知识卡片
迭代缓存需稳定数据位置
Twister、HaLoop等历史框架通过缓存可复用中间结果、让相同数据尽量落到同一机器,并改造通信路径来减少迭代开销。缓存收益依赖下一轮能复用前一轮状态;调度若频繁迁移数据,节省的磁盘读写可能变成网络搬运。它们减少重复开销,并不消灭所有I/O和通信。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:范型与架构 · 查看原书依据
在将数据分布到多机环境时,尽可能将数据和机器之间的分配关系固定化,即一部分数据初次被分配到某个机器后,在以后的迭代过程中也尽可能将这批数据分配到这个机器,这样可以避免多轮迭代中反复、频繁的网络传输操作。
参考来源
- 位置:《大数据日知录:架构与算法》第15章《机器学习:范型与架构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00020.html)
- 结论依据:原文在本章对迭代缓存需稳定数据位置给出的定义、机制或示例支持本卡;技术产品描述限于2014年书中版本,示例与实测区分。
- 原始内容:在将数据分布到多机环境时,尽可能将数据和机器之间的分配关系固定化,即一部分数据初次被分配到某个机器后,在以后的迭代过程中也尽可能将这批数据分配到这个机器,这样可以避免多轮迭代中反复、频繁的网络传输操作。