知识卡片
PinSage图召回负样本
PinSage(Pinterest)基于 GraphSage 做 i2i 召回,主要三处优化:1)Convolve 聚合——邻居节点先过一层 dense 再聚合,且按 random walk 算出的节点权重聚合(类似 GAT),离线指标提升 46%;目标节点与聚合向量拼接后再过 dense、归一化。与 GraphSage 的区别是:邻居用重要采样(非随机)、聚合用局部图卷积、更新后再替换当前 Embedding。
2)负样本选择——简单随机负采样分辨率只到 1/500(从 20 亿里找最相似 1000 个太粗),于是对每个 (q,i) 对按相对 q 的 Personalized PageRank 分值排序,取 2000~5000 位的物品作“困难负样本”,逼模型区分“很相似”与“微相似”。
3)渐进式训练——全程用困难负样本会让收敛减半,故第一轮只用简单负样本快速落到低损失区,之后每轮给每个物品加 (n−1) 个困难负样本逐步变难。注意这与 EBR“先难后易”结论相反,说明同一训练策略在不同业务效果可能不同。PinSage 已全量上线,是值得尝试的图算法。关联 [[GraphSage图采样聚合]]、[[EBR负样本筛选与采样偏差]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 个性化召回层样本选择和模型选择 7.4 基于图网络的召回 · 查看原书依据
在这里,Pin-Sage聚合经过一层dense层之后的邻居节点Embedding时,它基于random walk计算出的节点权重做聚合操作(其实就是GAT)
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第7章《个性化召回层样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/78.html;src-045)
- 结论依据:原文列出 PinSage 相对 GraphSage 的三点优化(convolve、重要采样、困难负样本+渐进训练)及其与 EBR 结论相反,支撑本卡。
- 原始内容:在这里,Pin-Sage聚合经过一层dense层之后的邻居节点Embedding时,它基于random walk计算出的节点权重做聚合操作(其实就是GAT)