知识卡片

普通读书笔记卡

分块计数需守住词边界

理解等级:高级

按固定字节块读取文本做词频统计时,块边界可能落在词中间;直接对每块拆词,会把一个词算成两段。示例代码又以文件长度除块长的整数商作循环次数,尾部不足一块也可能漏读。应让分块解析识别跨块词,并处理最后一段数据。发散:切分策略必须与记录边界相容,不能只按便于并行的字节数划分。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》2.5.4“实现Hadoop经典实例Word Count”(源文件:`_epub-src/OEBPS/text00022.html`) - 结论依据:原文明确提示按 64K 获取时会截断单词,并指向 6.7 节;当前示例代码用 `length()/n` 作整数循环次数、逐块拆词,支持对不足整块的尾部提出核查。 - 原始内容:现实场景中工人应该分布在不同计算机,每台计算机上的数据文件不相同(如果数据文件不同,每次按照64K获取处理截断单词的情况,请参考6.7节的文件解析处理)