HDFS 写数据流程和副本机制是怎样的？
面试怎么回答
客户端先向 NameNode 请求创建文件和 Block 位置，NameNode 只管理元数据。客户端按返回的 DataNode 列表建立 Pipeline，把 Packet 发给第一个节点，再逐级写入和转发；ACK 从最后一个节点反向返回。节点失败时客户端重建 Pipeline，NameNode 后续补足副本，并通过机架感知分散故障域。排障时我会关注最慢 DataNode、ACK 延迟和 Pipeline 重建。
先把这段讲顺；面试官追问时，再展开下面的原理和细节。
详细讲解
客户端写入一个三副本文件时，不是把同一份数据分别上传三次。真正的链路是一条 DataNode Pipeline，数据向后传递，ACK 再反向返回。
理解这条链路，才能解释节点故障和写入恢复。
NameNode 管理命名空间和副本位置，客户端按块建立 DataNode Pipeline，数据包顺序传递并通过反向 ACK 确认。
先向 NameNode 请求创建
客户端请求创建文件，NameNode 检查路径、权限和租约，并为新 Block 选择 DataNode。NameNode 保存元数据，不承载实际文件数据。
建立副本 Pipeline
客户端把 Packet 发给第一个 DataNode，第一个写本地并转发给第二个，第二个再转发给第三个。这样客户端不需要向每个副本重复发送完整数据。
ACK 反向确认
最后一个 DataNode 完成后向前一个返回 ACK，最终回到客户端。只有 Pipeline 中各节点确认，Packet 才被视为成功；客户端还会管理校验和与重试。
故障时重建链路
某个 DataNode 失败后，Pipeline 会移除故障节点并继续写入可用节点，NameNode 后续安排补副本。还要结合机架感知，在可靠性与跨机架网络开销之间平衡。
为什么不能只回答概念？
“误区：文件内容先写进 NameNode，再复制到 DataNode”之所以常见，是因为它在理想数据和单次执行里往往说得通。但生产环境会加入数据规模、异常值、并发、版本、失败重试和下游口径，这些条件一变化，只记住术语就很容易给出错误结论。
所以我会把 先向 NameNode 请求创建、建立副本 Pipeline、ACK 反向确认、故障时重建链路 串成一条完整链路。最终判断标准不是某个函数或配置是否出现，而是能否稳定得到可解释、可验证、可恢复的业务结果。
落地时我会检查什么？
- 输入边界：确认数据范围、时间口径、主键和异常值是否符合假设。
- 执行过程：观察分区、并行度、状态、Shuffle 或资源变化，验证方案是否真正生效。
- 输出结果：用行数、唯一性、关键指标和样本明细证明结果正确，而不是只看任务成功。
- 失败恢复：说明重跑、回滚、版本兼容和责任人，避免一次成功后无人维护。
这些检查不一定全部写进一条 SQL 或一个任务，但面试时能主动补充，说明你回答的不是背诵题，而是在描述一套可上线的工程方案。
一个典型场景
一个典型现象是写入延迟突然升高，但 NameNode 指标正常。继续排查发现 Pipeline 中某台 DataNode 磁盘抖动，所有 Packet 的 ACK 都被最慢节点拖住。只看客户端吞吐会误判网络问题，结合 DataNode 磁盘和 Pipeline 重建日志才能定位。
HDFS 写入性能取决于 Pipeline 最慢环节。