知识卡片
垂直分区降成本
内容
垂直分区把不同类型或不同访问模式的数据拆开存储，让批处理作业只扫描需要的字段或事实类别。它不是为了漂亮的目录结构，而是为了减少不必要的 I/O，并让数据演化更可控。
参考来源
- 位置：《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》第4章《批处理层的数据存储》"4.5 垂直分区"一节（源文件：_epub-src/OEBPS/Text/035.xhtml）
- 结论依据：原文明确"许多计算并不需要检视所有的数据……批处理存储应允许你对数据进行分区，这样函数就只会访问到与计算相关的数据。这个过程被称为垂直分区，这样可以极大地提高批处理层的效率"，并举登录数据按天分文件夹为例说明其作用是减少不必要的I/O而非目录美观。
- 原始内容：尽管批处理层的作用是用来在整个数据集上运行函数，但是许多计算并不需要检视所有的数据……批处理存储应允许你对数据进行分区，这样函数就只会访问到与计算相关的数据。这个过程被称为垂直分区，这样可以极大地提高批处理层的效率……通过将每天的信息分类到不同的文件夹，一个函数就可以选择只包含计算相关数据的文件夹。