← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9428.h · 生成模型:Tencent Hunyuan Hy

动态路由与压缩激活

理解等级:高级

胶囊之间先用仿射变换矩阵把底层向量变换为更高级特征,再决定各特征的权重。与传统神经元用反向传播学权重不同,胶囊采用动态路由:以多数表决确定预测,接近真实预测的向量获得较高权重 c,远离正确预测的向量权重较低。激活函数也有变化,压缩环节把输入向量长度缩放到不等于 1 并引入非线性,但不改变方向。这套机制让胶囊网络编码出标量 CNN 无法表达的层次关系,呼应[[胶囊向量:几何信息的编码]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第08章《深度学习的新趋势》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/15.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文以多数表决、权重 c 与压缩不改变方向,支撑动态路由与压缩激活能捕捉层次与几何关系。 - 原始内容:动态路由的主要思想是使用多数表决来确定最可能的对象应该喜欢什么。 接近真实预测的向量的权重c应具有较高的值,与远离正确预测的向量相对应的权重c应具有较低的值。