知识卡片
任务切分不能破坏语义
并行处理前先确定业务中的完整处理单元。一个 HTTP 请求可能跨多行且字段互相关联;若框架直接按行切分,就会丢失请求级语义,之后再快的并行计算也无法补回正确性。应先按请求等逻辑边界组装数据,再决定怎样分配任务及合并结果。这里指出的是数据边界与计算模型的匹配问题,并非 MapReduce 一概不能处理此类数据。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大规模分布式系统架构与设计实战》第1章《概述》1.3“使用Hadoop时碰到的问题”(源文件:`_epub-src/OEBPS/text00006.html`)
- 结论依据:原文以秒杀请求分析为例,指出一个请求跨多行且行间有逻辑关系,不能简单按行拆分合并;据此提炼任务边界须保持业务语义的适用条件。
- 原始内容:HTTP协议报文一个请求占多行,各行之前有一定逻辑关系,不能简单以行拆分和合并。