大数据开发岗位的面试通常具有很强的综合性，既考察对底层原理的掌握，也检验对前沿技术的了解。

以下内容整合了近1年主流大厂的高频面试常问知识点，帮读者快速构建知识体系。这些是面试的核心内容，掌握它们能让你在技术面试中更有底气。

---

一、Hadoop & HDFS & YARN

这部分是基石，面试重点在于对HDFS读写、YARN资源调度以及容错机制的理解。

• HDFS核心组件与架构：
  • NameNode：管理文件系统的命名空间（元数据）。元数据存储在内存、fsimage（磁盘镜像）和edits（操作日志）中。
  • DataNode：负责实际数据的存储和读写。
• HDFS读写流程：
  • 写入流程：客户端向NameNode请求上传，NameNode返回DataNode列表，客户端与DataNode建立管道（Pipeline）进行数据传输，最后通知NameNode。
  • 读取流程：客户端向NameNode请求读取，NameNode返回DataNode列表，客户端直接与DataNode建立连接读取数据。
• 高可用（HA）与容错：
  • NameNode高可用：通过配置主备NameNode，结合JournalNode共享edits日志，以及ZooKeeper进行故障自动切换来实现。
  • DataNode容错：数据被切分为块（默认128MB）并复制多份（默认3副本）存储在不同的节点上，确保数据不丢失。
• YARN资源调度：
  • 核心组件：ResourceManager（全局资源管理和任务调度）和NodeManager（单节点资源管理）。
  • 调度器：常见的包括FIFO（先进先出，简单但不适合多租户）、Capacity Scheduler（划分队列，适合多租户）和Fair Scheduler（动态分配资源，适合共享集群）。
  • MRv2：相比MRv1，将资源管理与作业调度/监控分离，提高了扩展性和资源利用率。

---

二、Spark

Spark面试的核心在于与Hadoop的对比、RDD和DataFrame的原理、任务提交流程、DAG调度以及内存/并行度调优。

• Spark vs. Hadoop：
  • 核心优势：Spark将中间结果存储在内存中，对于迭代计算（如机器学习）比Hadoop MapReduce快100倍以上。Spark Streaming采用微批处理，而Flink是真正的流处理。
• 核心抽象：
  • RDD (弹性分布式数据集)：Spark的核心数据抽象，是不可变的、分区的、可并行计算的集合，具有容错性和数据共享能力。
  • DataFrame：以命名列形式组织的分布式数据集，类似于关系型数据库中的表。Spark SQL会将DataFrame的查询优化成一个高效的执行计划。
• 任务提交与执行流程：
  • Driver：运行应用的main()函数，创建SparkContext，负责将用户代码转化为任务并调度到Executor上执行。
  • Executor：在工作节点上执行任务、存储数据并提供给应用程序的进程。
  • DAG (有向无环图)：SparkContext将应用程序的RDD操作转化为DAG，由DAGScheduler将DAG划分为多个Stage（阶段），每个Stage包含一组可以并行执行的任务。
• 性能优化：
  • 数据倾斜：常见解决方案包括增加并行度、使用随机前缀进行预处理、自定义分区器等。
  • 内存调优：合理配置spark.memory.fraction和spark.memory.storageFraction，平衡存储和执行内存。

---

三、Hive

这部分侧重数据仓库建模（ETL、分层）、SQL优化（数据倾斜处理）以及Hive与MySQL等关系型数据库的对比。

• Hive与关系型数据库的区别：
  • 数据规模：Hive面向海量数据的批处理（OLAP），关系型数据库面向小规模数据的实时交互（OLTP）。
  • 执行引擎：Hive底层将SQL转换为MapReduce/Spark任务，延迟较高；关系型数据库自己执行，延迟低。
• 表类型：
  • 内部表（Managed Table）：Hive拥有其数据和元数据的完全控制权，删除表时会一并删除数据。
  • 外部表（External Table）：Hive仅管理元数据，数据存储在外部路径（如HDFS），删除表时只删除元数据，不删数据。
• 数据倾斜：
  • 原因：某些Key（如NULL值、热点数据）的数据量过大，导致处理这些Key的任务成为瓶颈。
  • 解决方案：
    1. 参数调优：开启hive.groupby.skewindata优化Group By的数据倾斜。
    2. SQL改写：针对NULL值，可过滤或打散（如随机加前缀）；针对Join热点Key，可拆分为两阶段Join。
    3. 分桶（Bucketing）：对频繁Join的列进行分桶，可显著提升Join效率。
• HQL执行顺序：FROM → ON → JOIN → WHERE → GROUP BY → HAVING → SELECT → DISTINCT → ORDER BY → LIMIT。

---

四、消息队列 (Kafka / Pulsar)

Kafka面试的重点在于其高性能设计（顺序写、零拷贝）、分区与副本机制、消息可靠性（Exactly-Once语义）以及最新架构演进。

• 核心架构：包含Producer（生产者）、Broker（服务节点）、Consumer（消费者）、Topic（主题）和Partition（分区）。
• 高性能原因：
  1. 顺序读写：利用磁盘顺序读写的特性，速度接近内存随机读写。
  2. 零拷贝（Zero-Copy）：利用sendfile()系统调用，使数据直接从PageCache传输到网卡，避免CPU拷贝。
  3. 批量处理：Producer批量发送消息，减少网络开销；Consumer批量拉取消息，提高吞吐量。
• 数据可靠性与一致性：
  • 消息确认（ACKs）：
    • acks=0：生产者不等待确认，吞吐量最高，可能丢失数据。
    • acks=1：生产者等待Leader副本确认，吞吐量高，Leader宕机可能丢失数据。
    • acks=all/-1：生产者等待所有同步副本确认，吞吐量最低，数据最可靠。
  • Exactly-Once语义：通过幂等性生产者和事务实现。
• 新特性：从Kafka 3.0开始，KRaft模式（基于Raft共识算法）逐渐取代ZooKeeper用于元数据管理，简化了架构和运维。

---

五、实时计算 (Flink)

Flink面试的焦点在于其“真正的流处理”模型、与Spark Streaming的对比、时间语义、状态与容错机制以及Flink CDC等高级应用。

• Flink vs. Spark Streaming：
  • 处理模型：Flink是原生流处理（逐条处理，毫秒级延迟），而Spark Streaming是微批处理（将小批量数据当作RDD处理，秒级延迟）。
  • 时间语义：Flink原生支持事件时间（Event Time）、处理时间和摄入时间，并内置Watermark机制处理乱序数据；Spark Streaming早期版本主要基于处理时间。
• 核心技术：
  • Checkpoint：Flink实现Exactly-Once语义的关键机制，它会定期为整个作业生成分布式快照，故障恢复时可从最近的Checkpoint恢复。
  • State与Checkpoint：通过Checkpoint将State持久化到HDFS等分布式存储，实现故障恢复。
  • Watermark：用于衡量事件时间进度，处理乱序到达的数据。
• 应用场景：实时数据分析、风控、监控告警、Flink CDC（Change Data Capture）等。

---

六、NoSQL数据库 (HBase)

HBase面试的重点在于其列式存储模型、与HDFS的协作、Region拆分与负载均衡，以及关键的RowKey设计。

• HBase vs. HDFS：HBase提供实时、随机、海量数据的读写能力，而HDFS是高吞吐、顺序访问的分布式文件系统。HBase表的数据最终存储在HDFS上。
• 核心组件：
  • HMaster：负责Region分配、负载均衡和DDL操作。
  • RegionServer：负责处理客户端的读写请求，管理其上的Region。
  • ZooKeeper：协调HMaster主备选举，存储集群元数据位置。
• 数据模型：RowKey + Column Family + Column Qualifier + Timestamp + Value。
• RowKey设计：
  • 原则：唯一性、散列性（避免热点）、长度适中（16-30字节为佳）。
  • 避免热点：采用加盐、哈希、反转等方法使RowKey均匀分布，避免RegionServer访问不均。

---

七、算法与数据治理

这部分包括大数据场景下的常见算法（Top K、海量数据去重）、数据仓库分层、元数据管理（DataHub/Atlas）以及数据质量评估（完整性、准确性等）。

• 大数据算法（Top K问题）：使用最小堆，遍历海量数据，对每个元素与堆顶比较，若大于堆顶则替换并调整堆。
• 海量数据去重：通常使用布隆过滤器，判断一个元素是否在一个集合中。
• 数据仓库分层：
  • ODS：原始数据层，存放未经处理的原生数据。
  • DWD：数据明细层，进行数据清洗、维度退化、事实表标准化。
  • DWS：数据服务层，以数据域为单位进行轻度聚合。
  • ADS：数据应用层，为具体报表或应用提供高度聚合的数据。
• 元数据管理：技术元数据（表结构、ETL脚本）和业务元数据（指标定义、业务术语），管理工具如Apache Atlas。
• 数据质量：完整性、准确性、一致性、时效性等。

---

八、开放性问题

开放性问题旨在考察你的项目经验、问题解决思路和对技术的热情。

• 常见类型：
  • 项目经验：详细介绍一个你负责的数据处理项目，包括背景、数据量、架构设计、遇到的挑战及解决方案。
  • 设计题：例如“如何设计一个实时数据流处理平台？”或“如何设计一个数据仓库？”。
  • 问题排查：比如“你的Spark任务很慢，如何定位和解决？”。
  • 技术热点：你对数据湖、存算分离、实时数仓等技术的理解。
• 回答要点：使用STAR法则（情境-任务-行动-结果）回答项目问题。展示你的思考过程和解决问题的能力，而不仅仅是结果。

面试前重点复习自己薄弱的环节，特别是像数据倾斜、Exactly-Once语义、Spark DAG调度这些常考常新的难点。