知识卡片
数据规模决定搬运方向
分布式任务要决定搬运数据,还是把计算放到数据所在节点。输入小可随任务发送;输入大时只传命令或地址,由工作节点本地读取。中间结果也应按大小决定返回调度者汇总,或在工作节点之间合并。这减少无谓网络传输,但仍要核对数据位置、访问权限和结果一致性。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》2.1.4“基于网状直接交互的计算模式”(源文件:`_epub-src/OEBPS/text00011.html`)
- 结论依据:原文分别讨论小数据随 Warehouse 传输、大数据留在工人节点、大小结果采用不同合并路径,支持按数据规模选择计算与传输位置。
- 原始内容:如果数据大,可以直接保存在工人机器上,Warehouse里只放工头的命令,工人收到命令后直接在本地读取数据计算;或者工头把数据地址、数据库表连接信息等发给工人用于计算,但是不传数据。