知识卡片

普通读书笔记卡

数据规模决定搬运方向

理解等级:高级

分布式任务要决定搬运数据,还是把计算放到数据所在节点。输入小可随任务发送;输入大时只传命令或地址,由工作节点本地读取。中间结果也应按大小决定返回调度者汇总,或在工作节点之间合并。这减少无谓网络传输,但仍要核对数据位置、访问权限和结果一致性。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》2.1.4“基于网状直接交互的计算模式”(源文件:`_epub-src/OEBPS/text00011.html`) - 结论依据:原文分别讨论小数据随 Warehouse 传输、大数据留在工人节点、大小结果采用不同合并路径,支持按数据规模选择计算与传输位置。 - 原始内容:如果数据大,可以直接保存在工人机器上,Warehouse里只放工头的命令,工人收到命令后直接在本地读取数据计算;或者工头把数据地址、数据库表连接信息等发给工人用于计算,但是不传数据。