知识卡片
Embedding不足与优化
Embedding 虽流行但有明显短板:维度通常被当作超参数,缺乏按实际情况选择的依据;多特征向量化时往往统一取相同维度,而非按贡献与特性量身定制;稀疏特征的长尾数据会影响训练;与 RGB 相比可解释性不够透明。针对空间分布影响泛化误差,业界从表示与结构两端优化。阿里提出 Residual Embedding,类似聚类思想,把向量表示为“中心向量+残差向量”,使同类向量簇内高度聚集,包络半径由残差尺度限定。Google 则优化编码空间:不再让每个特征都只占一个维度,而是为更高频、更有效的特征分配更多编码位置,且借助强化学习而非手工完成。其做法是把原始嵌入矩阵分块为嵌入块,控制器为每个特征在单尺寸嵌入(SE)与多尺寸嵌入(ME)间选择。这些优化体现了“表示更紧凑、结构更按需分配”的权衡思路。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 Embedding技术总结 · 查看原书依据
比如Embedding的维度一般作为超参数,不能根据实际情况选择合理的大小;涉及多个特征的向量化时,一般都采样相同的维度,而不是根据各特征的贡献及特性进行量身定做;对一些稀疏特征进行的Embedding,存在长尾数据而影响训练效果;另外,与RGB相比,Embedding的可解释性不够透明
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第16章 Embedding技术总结(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter20_0001.xhtml)
- 结论依据:原文 16.1.4 节列举了维度、统一维度、长尾、可解释性四类不足;16.2 节分别给出阿里的 Residual Embedding 与 Google 的强化学习编码空间优化及嵌入块、SE/ME 细节。
- 原始内容:比如Embedding的维度一般作为超参数,不能根据实际情况选择合理的大小;涉及多个特征的向量化时,一般都采样相同的维度,而不是根据各特征的贡献及特性进行量身定做;对一些稀疏特征进行的Embedding,存在长尾数据而影响训练效果;另外,与RGB相比,Embedding的可解释性不够透明