知识卡片

普通读书笔记卡 · 2697.a

HDFS适配大文件

理解等级:未标注

HDFS 为大文件的批量顺序读写设计:把文件切成大数据块(书中版本为 64MB)分散到多个节点,默认每块 3 个副本,追求吞吐而非交互响应,采用“一次写入、多次读取”模型简化一致性。因此它不适合低延迟访问、大量小文件并发写和随意修改文件。这不是缺陷,而是设计目标不同。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《云计算:从基础架构到最佳实践》第11章《分布式云存储》(源文件:_epub-src/OEBPS/Text/part0019_split_002.html) - 结论依据:原文说明HDFS设计原则包括允许节点错误、流式数据访问(尽可能提高IO吞吐量)、大规模数据集、“一次写入多次读取”;分块存储适合大文件一次写入多次读取,不适合低延时访问、小文件多并发写和文件任意修改;默认副本数3,数据块64MB(书中版本)。 - 原始内容:整个集群的设计原则是尽可能提高IO吞吐量……HDFS采用的是“一次写入多次读取”的文件访问模型……这种文件分块存储方式非常适合大文件的一次写入多次读取的场合,当然对于低延时数据访问、小文件多并发写及文件任意修改的访问并不是十分适合。