知识卡片
分块计数需守住词边界
按固定字节块读取文本做词频统计时,块边界可能落在词中间;直接对每块拆词,会把一个词算成两段。示例代码又以文件长度除块长的整数商作循环次数,尾部不足一块也可能漏读。应让分块解析识别跨块词,并处理最后一段数据。发散:切分策略必须与记录边界相容,不能只按便于并行的字节数划分。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》2.5.4“实现Hadoop经典实例Word Count”(源文件:`_epub-src/OEBPS/text00022.html`)
- 结论依据:原文明确提示按 64K 获取时会截断单词,并指向 6.7 节;当前示例代码用 `length()/n` 作整数循环次数、逐块拆词,支持对不足整块的尾部提出核查。
- 原始内容:现实场景中工人应该分布在不同计算机,每台计算机上的数据文件不相同(如果数据文件不同,每次按照64K获取处理截断单词的情况,请参考6.7节的文件解析处理)