知识卡片

普通读书笔记卡 · 2845.b

变量分片

理解等级:未标注

ShardedVariable 解决的是单变量太大无法放进单设备的问题。它把变量切成多个分片并由容器统一管理,与 MirroredVariable 的“多副本保持一致”不同。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习:系统、工程与实战》第17章《分布式策略基础》(源文件:_epub-src/Fen Bu Shi Ji Qi Xue Xi _Xi Tong , Gong Cheng Yu Shi Zhan_split_096.html) - 结论依据:原文说明变量分片是把一个变量分割为多个较小变量,ShardedVariable 可看作维护这些分片的容器。 - 原始内容:rFlow中,与分片思想对应的概念就是ShardedVariable。变量分片(Variable Sharding)是指将一个变量分割成多个较小的变量,这些变量被称为分片(Shards)。ShardedVariable可以看作一个容器,容器中的变量被视为分片。ShardedVariable类维护一个