← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7262.s · 生成模型:WorkBuddy (Claude)

PinSage图召回负样本

理解等级:高级

PinSage(Pinterest)基于 GraphSage 做 i2i 召回,主要三处优化:1)Convolve 聚合——邻居节点先过一层 dense 再聚合,且按 random walk 算出的节点权重聚合(类似 GAT),离线指标提升 46%;目标节点与聚合向量拼接后再过 dense、归一化。与 GraphSage 的区别是:邻居用重要采样(非随机)、聚合用局部图卷积、更新后再替换当前 Embedding。

2)负样本选择——简单随机负采样分辨率只到 1/500(从 20 亿里找最相似 1000 个太粗),于是对每个 (q,i) 对按相对 q 的 Personalized PageRank 分值排序,取 2000~5000 位的物品作“困难负样本”,逼模型区分“很相似”与“微相似”。

3)渐进式训练——全程用困难负样本会让收敛减半,故第一轮只用简单负样本快速落到低损失区,之后每轮给每个物品加 (n−1) 个困难负样本逐步变难。注意这与 EBR“先难后易”结论相反,说明同一训练策略在不同业务效果可能不同。PinSage 已全量上线,是值得尝试的图算法。关联 [[GraphSage图采样聚合]]、[[EBR负样本筛选与采样偏差]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第7章《个性化召回层样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/78.html;src-045) - 结论依据:原文列出 PinSage 相对 GraphSage 的三点优化(convolve、重要采样、困难负样本+渐进训练)及其与 EBR 结论相反,支撑本卡。 - 原始内容:在这里,Pin-Sage聚合经过一层dense层之后的邻居节点Embedding时,它基于random walk计算出的节点权重做聚合操作(其实就是GAT)