---

一、HDFS 概述

1. 定位与特点

• 分布式文件系统：HDFS（Hadoop Distributed File System）是 Hadoop 生态的核心组件，专为海量数据存储和批处理设计。

• 核心设计原则：

  • 高容错性：数据自动多副本冗余，支持硬件故障自动恢复。

  • 高吞吐量：顺序读写优化，适合离线数据分析（如 MapReduce）。

  • 可扩展性：支持 PB 级数据存储，通过横向扩展节点实现容量增长。

• 适用场景：日志存储、数据仓库、ETL 处理、机器学习训练数据存储等。

---

二、HDFS 核心架构

1. 核心组件

• NameNode（NN）：

  • 元数据管理：维护文件系统的目录树、文件块映射（Block Map）和副本位置。

  • 单点问题：早期版本仅支持单 NameNode（通过 Secondary NameNode 辅助合并元数据），Hadoop 2.x 后支持 HA（High Availability） 双 NameNode 架构。

• DataNode（DN）：

  • 数据存储：实际存储数据块（Block，默认 128MB/256MB）。

  • 心跳机制：定期向 NameNode 汇报存活状态和块信息。

• Secondary NameNode（SNN）：

  • 辅助合并 FsImage 和 EditLog：定期合并元数据快照，减轻 NameNode 负担（非 HA 模式）。

2. 文件写入流程

1. 客户端请求：向 NameNode 申请写入文件。
2. 元数据分配：NameNode 分配 DataNode 列表（默认 3 副本）。
3. 流水线写入：客户端将数据块写入第一个 DataNode，DataNode 依次转发到其他节点。
4. 确认提交：所有 DataNode 确认写入后，NameNode 更新元数据。

客户端 -> NameNode: 创建文件请求  
NameNode -> 客户端: 分配 DataNode 列表 [DN1, DN2, DN3]  
客户端 -> DN1: 发送数据块  
DN1 -> DN2: 转发数据块  
DN2 -> DN3: 转发数据块  
DN3 -> DN2: 确认写入  
DN2 -> DN1: 确认写入  
DN1 -> 客户端: 确认写入  
客户端 -> NameNode: 提交文件元数据  

3. 文件读取流程

1. 客户端请求：向 NameNode 获取文件块位置。
2. 数据块定位：NameNode 返回最近的 DataNode 列表。
3. 并行读取：客户端直接从 DataNode 读取数据块。

客户端 -> NameNode: 获取文件块位置  
NameNode -> 客户端: 返回 DataNode 列表 [DN2, DN1, DN3]  
客户端 -> DN2: 读取数据块（就近原则）  

---

三、HDFS 核心机制

1. 数据副本策略

• 默认副本数：3（可配置）。

• 副本放置策略：

  • 第一副本：优先写入客户端所在节点（若为集群内节点）。

  • 第二副本：同一机架（Rack）的另一个节点。

  • 第三副本：不同机架的节点。

2. 容错机制

• DataNode 故障：NameNode 检测到心跳超时后，触发副本复制到其他节点。

• NameNode HA：

  • Active-Standby 模式：通过 ZooKeeper 实现故障切换（Failover）。

  • 共享存储（JournalNode）：确保 Standby NameNode 实时同步 EditLog。

3. 数据一致性

• 写一致性：HDFS 采用 “Write Once, Read Many”（WORM） 模型，文件一旦写入不可修改（仅支持追加）。

• 追加写入：通过 hdfs append 命令或 API 实现（需开启支持）。

---

四、HDFS 操作与管理

1. 命令行工具

• 基本操作：

  # 查看文件列表
  hdfs dfs -ls /path# 上传文件
  hdfs dfs -put localfile /hdfs/path# 下载文件
  hdfs dfs -get /hdfs/path/file localdir# 删除文件
  hdfs dfs -rm /hdfs/path/file
  

• 文件系统检查：

  # 查看文件块分布
  hdfs fsck /path/file -files -blocks -locations
  

2. 配置文件

• 核心配置项：

  • hdfs-site.xml：定义副本数、块大小、HA 配置等。

  • core-site.xml：定义 NameNode 地址（fs.defaultFS）。

<!-- hdfs-site.xml -->
<property><name>dfs.replication</name><value>3</value>
</property>
<property><name>dfs.blocksize</name><value>134217728</value> <!-- 128MB -->
</property>

3. 高可用（HA）配置

• JournalNode 配置：

  <property><name>dfs.journalnode.edits.dir</name><value>/path/to/journal</value>
  </property>
  

• 故障切换控制器：

  <property><name>dfs.ha.automatic-failover.enabled</name><value>true</value>
  </property>
  

---

五、HDFS 最佳实践

1. 性能优化

• 避免小文件：合并小文件（使用 HAR 或 CombineFileInputFormat）。

• 调整块大小：根据数据访问模式调整块大小（如 256MB 用于大文件）。

• 数据本地性：在计算框架（如 Spark）中优先调度任务到数据所在节点。

2. 监控与运维

• 监控指标：

  • NameNode：堆内存使用率、RPC 延迟、文件系统容量。

  • DataNode：磁盘使用率、网络吞吐量、块副本数。

• 日志分析：通过 NameNode Audit Log 跟踪文件操作记录。

3. 安全机制

• Kerberos 认证：启用 Kerberos 防止未授权访问。

• HDFS 权限：类似 Linux 文件系统的权限模型（用户/组/其他）。

  hdfs dfs -chmod 750 /path
  hdfs dfs -chown user:group /path
  

---

六、常见问题与解决方案

1. NameNode 堆内存溢出：

   • 增大 HADOOP_HEAPSIZE，启用 GC 优化参数。

   • 启用 NameNode 元数据分片（Federation）。

2. DataNode 磁盘不均：

   • 启用 Balancer 工具均衡数据分布：

     hdfs balancer -threshold 10  # 磁盘使用率差异阈值10%
     

3. 文件无法删除：

   • 检查权限，或启用强制删除：

     hdfs dfs -rm -r -skipTrash /path  # 绕过回收站
     

4. 副本数不足：

   • 手动触发副本复制：

     hdfs dfs -setrep -w 5 /path/file  # 设置副本数为5并等待完成
     

---

七、HDFS 与其他存储系统对比

特性	HDFS	Amazon S3	HBase
数据模型	文件系统（目录/文件）	对象存储（Key-Value）	列式数据库（NoSQL）
延迟	高吞吐，高延迟	中等延迟	低延迟（随机读写）
适用场景	批处理、离线分析	云原生存储、归档	实时查询、随机访问

---

八、总结

HDFS 是构建大数据存储和计算平台的基石，其核心价值在于：

• 高可靠存储：通过多副本和自动恢复机制保障数据安全。

• 无缝集成：与 Hadoop 生态工具（MapReduce、Hive、Spark）深度协同。

• 横向扩展：支持从 TB 到 PB 级数据存储。

关键实践建议：

• 生产环境必须启用 HA 和 Kerberos。

• 避免存储小文件，定期运行 Balancer 优化数据分布。

• 结合计算框架（如 Spark）利用数据本地性提升性能。

---