知识卡片
低维与Embedding编码
当类别数巨大,基础/目标编码会膨胀,可用更省空间或表达力更强的编码。二进制编码把类别先转 1..n 顺序整数再转二进制,每位成一列,n 个类目只需 log2(n) 列(100 类只需 7 列,远少于独热 100 列),适合类目总数大的特征。哈希编码先把类别数字化再用哈希函数映射到低维空间(保持类间距离),无需维护映射表、规模不随类目增多而涨,但可能哈希冲突、个性化弱。Embedding 编码是深度学习主流:建 m×n 矩阵(m 类目数、n 向量维),每类别用一个向量表示,实现上可对标签编码取向量或用哈希编码取向量;简单快速、表达强、不易过拟合,广泛应用。模型编码则是 LGBM/CatBoost 自带类别编码(如 LGBM 的 GS 梯度统计编码)。相关卡见 [[目标编码及进阶变种]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 构建推荐系统的特征 3.4 怎么处理离散特征 · 查看原书依据
9.Embedding编码 Embedding主要在深度学习中使用,需要建立一个 m × n 的矩阵, m 为类别个数, n 为代替类别的向量,意思是每一个特征的每一个类别都用一个维度为 n 的向量表示
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第3章《构建推荐系统的特征》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/39.html;src-022)
- 结论依据:原文给出二进制编码省列数、哈希编码低维免映射及冲突缺点、Embedding 的 m×n 矩阵两种实现与模型编码适用范围,支撑本卡。
- 原始内容:9.Embedding编码 Embedding主要在深度学习中使用,需要建立一个 m × n 的矩阵, m 为类别个数, n 为代替类别的向量,意思是每一个特征的每一个类别都用一个维度为 n 的向量表示