introduction of hdfs

1. HDFS 原理及使用介绍
江宇

2. HDFS
• HDFS 简介
• HDFS 架构
• HDFS 使用
• Use case
• HDFS内部结构
• Q&A及其它

3. HDFS 简介

4. HDFS 简介

5. HDFS 简介
• 开源的GFS的部分实现
• Master/slave 架构
• 部署在低廉的计算机集群中
• 高容错性
• Semi-POSIX
• Unix-like permission， ugi
• 对Batch处理的优化，不适用于low latency
• 新浪的版本0.20.203, 1.0.2(scribe接收)

6. HDFS 简介
• Streaming data access
• Batch processing rather than ineractive user
access
• Write once, read many times
• Large files
• 适用场景：日志挖掘，大规模机器学习，
爬虫建立索引

7. HDFS 简介
• HDFS不适用的场景
---存储小文件
---大量的随机读
---需要对文件进行修改(不支持)

8. HDFS 架构

9. HDFS 架构

10. HDFS 使用接口
• Shell 命令:hadoop fs –cmd
cat chgrp chmod chown copyFromLocal copyToLocal cp du, dus expunge
get getmerge ls, lsr mkdir movefromLocal mv put rm rmr setrep stat tail
test text touchz

11. HDFS 使用接口
• Thrift 接口 ：可扩展的，跨语言的服务框架
– 启动Hadoop集群
– 启动thrift server
($HADOOP_HOME/src/contrib/thriftfs/scripts/
start_thrift_server.sh）
– 将相应语言的gen-*拷贝至client
– Client引用相应接口，关注于业务实现

12. HDFS 使用接口
• FUSE接口:Filesystem in Userspace 能够将用
户空间挂在到Linux上使用

13. HDFS 使用接口
• 其它HDFS接口
HTTP FTP

14. HDFS 使用接口
• 原生的JAVA 接口 write:

15. HDFS 使用接口
• Read

16. HDFS 使用接口
• 注意的问题
seek是一个耗时的操作，尽量顺序读
再用完后关闭输入输出流，加finally异常处
理
write支持append

17. Use Case
• Map-reduce
• 云存储
• Stream log (Scribe)

18. HDFS 内部结构
• INode:用来存放文件及目录的基本信息，包括名称，
父节点，修改时间，访问时间，ugi等
• INodeFile:继承自Inode，还包括文件对应的Block列
表，复制数等
• INodeDirectory:继承自Inode,还包括有Inode列表组成
的文件或目录树结构
• Block(BlockInof):文件物理存储的抽象，包括有
blockId，size以及时间戳等
• BlocksMap:保存block到Inode和DataNode的映射
• FSImage：保存文件系统的整个目录树
• FSEditlog：操作日志

19. NameNode 作用
• 负责 NameSpace ,两大主要内存结构
Inode,BlockMap
• Inode map file blocks (固化FSImage)
• BlocksMap map blocksDatanode(每次集群
启动汇报)
• 所有的元数据都在内存中

20. NameNode 作用
• 元数据包含:
---List of files
---List of Blocks for each file
---List of DataNodes for each block
---File attributes, e.g creation time, replication
factor
---namespace attributes, needed replication
excess replication, under replication
---FSImage, FSEditlog

21. DataNode 作用
• DataNode作用
---Block Server ,存储数据，存储meta-data 如CRC，
blockId与底层物理存储的映射
---与client rpc连接，传输或接收数据
---与NameNode rpc连接，周期性的发送block report，
把所有的Blocks向namenode汇报（默认1小时)
---与NameNode rpc连接，heartbeat,从NameNode获取
cmd(默认3s)
---与其它DataNode建立pipeline

22. Block存放策略
• 目前的策略是
---第一份副本放在本地node
---第二份副本放在不同机架的node上
---第三份副本放在与第二个相同机架的不
同node上
---多余三份副本任意
client读取最近node上的数据

23. 写流程

24. 写流程

25. 写流程

26. 写流程

27. 读流程

28. 其它

29. Q&A
THANKS