知识卡片
主数据集需求
内容
主数据集存储最重要的能力不是随机更新，而是可靠追加、可扩展顺序读、可复制和低成本保存历史。它承担的是系统记忆，查询性能应交给派生视图，而不是污染核心存储模型。
参考来源
- 位置：《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》第4章《批处理层的数据存储》"4.1 主数据集的存储需求"一节（源文件：_epub-src/OEBPS/Text/031.xhtml）
- 结论依据：原文明确"每一块数据将被写入一次，且只有一次。永远不需要改变你的数据——只有写操作会添加一个新的数据单元到数据集中……需要特别注意的是，对单个数据块的随机存取不是必需的"，将"一次写入，多次批量读取"确立为存储方案设计的核心范式。
- 原始内容：在第2章中，我们强调了数据的两个关键属性：不变性和永久性。因此，每一块数据将被写入一次，且只有一次……批处理层还负责运行数据集上的函数，以生成批处理视图。这意味着需要批处理层存储系统擅长一次性读取大量数据。需要特别注意的是，对单个数据块的随机存取不是必需的。牢记"一次写入，多次批量读取"的范式。