← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9910.n · 生成模型:Hunyuan

训练测试样本的防穿越处理

理解等级:中级

YouTube在样本处理上有三条工程经验。候选集模型把推荐当作数百万类的多分类,用softmax全量训练低效,因此采用Word2vec的负采样减少每次预测的分类数(分层softmax效果不佳而弃用)。训练集不直接用原始日志,而是对每个用户抽取等量样本,以削弱高度活跃用户对损失的过度影响,避免模型偏向少数活跃用户而忽视长尾群体。测试集不用随机留一,而固定用用户最近一次观看行为,避免引入未来信息造成数据穿越。启示是样本构造方式直接决定模型学到的是谁的行为,须主动平衡活跃与长尾用户,并严格隔离时序信息。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第8章 深度学习推荐系统的前沿实践(源文件:extracted/深度学习推荐系统/_epub-src/text/part0012_split_003.html) - 结论依据:原文介绍负采样加速收敛、每用户等量样本减少对活跃用户的偏置、以及用最近一次观看作测试集避免未来信息穿越。 - 原始内容:YouTube这样做的目的是减少高度活跃用户对模型损失的过度影响,使模型过于偏向活跃用户的行为模式,忽略数量更广大的长尾用户的体验。