知识卡片
追加要保持数据集约束
把文件移动进目录不等于安全追加数据集。重名文件可能冲突,编码或压缩格式不一致可能需要逐记录转换,分区目录不一致则可能让查询漏读新记录。数据集级抽象应检查这些约束,并执行明确的重命名、转码或拒绝操作;不能只靠调用方记住每个底层文件规则。
与[[新文件追加不可变数据]]的联系:目录追加还需保持名称、编码和分区兼容性。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
所有这些为了确保以上操作正常执行而需要的操作和检查,都显著表明文件和文件夹对于操纵数据集来说是一种太过底层的抽象。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第4章《批处理层的数据存储》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/036.xhtml)
- 结论依据:原文分别给出重名、文件格式不同及错误目录层次三个反例。
- 原始内容:所有这些为了确保以上操作正常执行而需要的操作和检查,都显著表明文件和文件夹对于操纵数据集来说是一种太过底层的抽象。