知识卡片
文件系统胜任批量
内容
分布式文件系统适合主数据集，因为批处理主要顺序扫描大文件，天然受益于数据本地性和副本容错。把它当作不可变事实仓库，可以避开在线数据库随机写入带来的复杂事务压力。
参考来源
- 位置：《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》第4章《批处理层的数据存储》"4.2 为批处理层选择存储方案"一节（源文件：_epub-src/OEBPS/Text/032.xhtml）
- 结论依据：原文对比键/值存储与文件系统，指出键/值存储"有很多不需要的特性：随机读、随机写……而这将增加存储成本、降低读写数据的性能"，而"文件系统只给你所需要的（没有其他）……最重要的是，文件系统实现了细粒度的权限系统，完美支持强制不变性"，说明批处理层应选文件系统而非在线数据库。
- 原始内容：文件是字节序列，使用它们最有效的方法是扫描……与键/值存储不同，文件系统只给你所需要的（没有其他），同时也不会限制你在存储成本和处理成本之间进行权衡。最重要的是，文件系统实现了细粒度的权限系统，完美支持强制不变性……分布式文件系统具有容错能力，即使有一台机器出现故障……你的所有文件和数据仍将可以访问到。