返回主题:训练并行策略

知识卡片

普通读书笔记卡 · 2795.b

模型并行要传中间值

理解等级:未标注

模型并行把神经网络的神经元分给不同节点,每个节点存储自己负责的参数、权重和输入输出。训练时节点之间要不断传数据:前向传播时,下游节点依赖上游节点算出的隐含层激活值;反向传播时,上游节点依赖下游节点传回的误差值来更新权重。跨节点依赖越多,通信开销越大。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第6章《机器学习算法与分布式改进》(源文件:_epub-src/OEBPS/Text/chapter6-5-2.xhtml) - 结论依据:原文说明模型并行时每个节点负责部分神经元及其参数、权重、输入输出,节点之间需传输同步数据;前传时上面节点需要下面节点更新隐含层激活值,后传时下面节点需要上面节点传播误差值来更新权重。 - 原始内容:·节点和节点之间需要连接激活函数和神经元权重之间的计算关系,通过节点之间传输同步数据。……·神经网络训练时,后传过程是,下面的节点需要上面的节点传播误差值来更新模型的输入层和连边权重。