此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
文件系统胜任批量
分布式文件系统适合主数据集,因为批处理主要顺序扫描大文件,天然受益于数据本地性和副本容错。把它当作不可变事实仓库,可以避开在线数据库随机写入带来的复杂事务压力。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
文件是字节序列,使用它们最有效的方法是扫描。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第4章《批处理层的数据存储》"4.2 为批处理层选择存储方案"一节(源文件:_epub-src/OEBPS/Text/032.xhtml)
- 结论依据:原文对比键/值存储与文件系统,指出键/值存储"有很多不需要的特性:随机读、随机写……而这将增加存储成本、降低读写数据的性能",而"文件系统只给你所需要的(没有其他)……最重要的是,文件系统实现了细粒度的权限系统,完美支持强制不变性",说明批处理层应选文件系统而非在线数据库。
- 原始内容:文件是字节序列,使用它们最有效的方法是扫描……与键/值存储不同,文件系统只给你所需要的(没有其他),同时也不会限制你在存储成本和处理成本之间进行权衡。最重要的是,文件系统实现了细粒度的权限系统,完美支持强制不变性……分布式文件系统具有容错能力,即使有一台机器出现故障……你的所有文件和数据仍将可以访问到。