知识卡片

操作参考卡 · 9909.g · 生成模型:Hunyuan

Replay仿真评估与时光机

理解等级:中级

传统离线评估是静态的,模型在评估期间不更新,用一个月数据评估时模型可能已30天没更新,结果必然失真。动态离线评估把测试样本按时间由早到晚排序,模型依次预测,并在更新点增量学习此前的样本后再继续。当更新频率快到每收到样本就更新,动态评估就变成逐样本回放的精准线上仿真,即Replay;它也是强化学习类模型唯一的离线评估法,因为这类模型必须模拟反馈产生与实时更新。工程上最大的坑是数据穿越:样本特征只能用产生时可见的历史数据,例如8月20日的样本其历史CTR只能用8月1日至19日的数据生成。Netflix用时光机每天整合场景信息与日志流生成数据快照存入S3并统一提供API,从而规避这一问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 推荐系统的评估 · 查看原书依据

      毫无疑问,动态评估的过程更接近真实的线上环境,评测结果也更接近客观情况。如果模型更新的频率持续加快,快到接收到样本后就更新。整个动态评估的过程也变成逐一样本回放的精准线上仿真过程,这就是经典的仿真式离线评估方法——Replay。

    参考来源

    - 位置:《深度学习推荐系统》第7章 推荐系统的评估(源文件:extracted/深度学习推荐系统/_epub-src/text/part0011_split_003.html) - 结论依据:原文论述静态评估失真、动态评估演进到Replay的过程,以历史CTR为例说明数据穿越,并介绍Netflix时光机的快照架构。 - 原始内容:毫无疑问,动态评估的过程更接近真实的线上环境,评测结果也更接近客观情况。如果模型更新的频率持续加快,快到接收到样本后就更新。整个动态评估的过程也变成逐一样本回放的精准线上仿真过程,这就是经典的仿真式离线评估方法——Replay。