知识卡片

操作参考卡 · 9910.b · 生成模型:Hunyuan

在线数据整合的实时性要点

理解等级:高级

为实现准实时训练,Facebook基于Scribe构建online data joiner,把多路数据流整合成带标签样本,其中三个设计点最有借鉴价值。第一是waiting window:曝光后要等多久判定是否产生点击,窗口过大损害实时性,过小则点击来不及关联导致样本CTR偏低,需按业务调优。第二是全局统一action id与HashQueue缓存曝光,等待窗口过期仍未匹配点击的曝光被当作负样本;业界也常用Kafka加Flink或Spark Streaming实现。第三是数据流保护:一旦样本分布异常(如action id的Bug使所有样本变负样本),实时训练会立刻污染模型,因此必须设异常检测并在分布突变时切断在线学习。要点是实时样本流的正确性与实时性同等重要,必须有熔断机制。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 深度学习推荐系统的前沿实践 · 查看原书依据

      waiting window指的是在曝光(impression)发生后,要等待多久才能够判定一个曝光行为是否产生了对应的点击。如果waiting window过大,则数据实时性会受影响;如果waiting window过小,则会有一部分点击数据来不及与曝光数据进行联结

    参考来源

    - 位置:《深度学习推荐系统》第8章 深度学习推荐系统的前沿实践(源文件:extracted/深度学习推荐系统/_epub-src/text/part0012_split_001.html) - 结论依据:原文围绕waiting window设定、全局统一action id与HashQueue、以及样本分布异常时切断在线学习的保护机制展开。 - 原始内容:waiting window指的是在曝光(impression)发生后,要等待多久才能够判定一个曝光行为是否产生了对应的点击。如果waiting window过大,则数据实时性会受影响;如果waiting window过小,则会有一部分点击数据来不及与曝光数据进行联结