知识卡片

普通读书笔记卡 · 1780.b.3

迭代缓存需稳定数据位置

理解等级:中级

Twister、HaLoop等历史框架通过缓存可复用中间结果、让相同数据尽量落到同一机器,并改造通信路径来减少迭代开销。缓存收益依赖下一轮能复用前一轮状态;调度若频繁迁移数据,节省的磁盘读写可能变成网络搬运。它们减少重复开销,并不消灭所有I/O和通信。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:范型与架构 · 查看原书依据

      在将数据分布到多机环境时,尽可能将数据和机器之间的分配关系固定化,即一部分数据初次被分配到某个机器后,在以后的迭代过程中也尽可能将这批数据分配到这个机器,这样可以避免多轮迭代中反复、频繁的网络传输操作。

    参考来源

    - 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html) - 结论依据:原文在本章对迭代缓存需稳定数据位置给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。 - 原始内容:在将数据分布到多机环境时,尽可能将数据和机器之间的分配关系固定化,即一部分数据初次被分配到某个机器后,在以后的迭代过程中也尽可能将这批数据分配到这个机器,这样可以避免多轮迭代中反复、频繁的网络传输操作。