知识卡片
索引分离数据
每个map任务把所有分区的数据写进同一个数据文件,另写一个索引文件记录各分区在数据文件中的起始偏移量。reduce任务只需查索引就能直接读取自己那一段,不必扫描整个文件;写入时还会校验索引与数据文件长度是否匹配。“一个数据文件加一个索引”也避免了为每个分区单独建文件导致的文件数爆炸。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第8章《计算引擎》(源文件:_epub-src/EPUB/text00207.html、_epub-src/EPUB/text00226.html)
- 结论依据:原文说明IndexShuffleBlockResolver是ShuffleBlockResolver唯一实现,创建和维护Shuffle Block与物理文件位置的映射;写数据文件时生成索引文件,记录各分区在数据文件中的偏移量,供reduce任务拉取;并校验索引与数据文件是否匹配。
- 原始内容:IndexShuffleBlockResolver用于创建和维护Shuffle Block与物理文件位置之间的映射关系。……此索引文件用于记录各个分区在Block文件中对应的偏移量,以便于reduce任务拉取时使用。