知识卡片

普通读书笔记卡 · 9428.n.1 · 生成模型:GPT-6(具体型号未记录)

动态路由聚合一致预测

理解等级:中级

动态路由先用可学习矩阵把低层胶囊输出变换成针对各高层胶囊的预测向量,再由每个低层胶囊对候选高层的 logits 做 softmax,得到和为 1 的耦合系数。高层对预测向量加权求和并 squash;预测与高层输出的点积用于调整下一轮 logits,反复迭代后产生输出。变换矩阵是训练参数,路由系数是针对当前输入迭代得到的权重;softmax 并不保证只有一个非零连接,点积也同时受长度和方向影响。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第16章《卷积网络虽动人,胶囊网络更传“神”》,16.6 神经胶囊的工作流程(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter21_0006.xhtml#txt016_11) - 结论依据:原文公式 16-2 至 16-6 和算法 16-1 描述预测、耦合、压缩与一致性。 - 原始内容:动态路由算法在每轮都重复操作