知识卡片

操作参考卡 · 9903.c · 生成模型:Hunyuan

数据流三级平台与三出口

理解等级:中级

推荐系统的数据部分负责用户、物品、场景信息的收集与处理。按实时性由强到弱,三类平台依次是客户端及服务器端实时数据处理、流处理平台准实时数据处理、大数据平台离线数据处理;实时性递减的同时,海量数据处理能力由弱到强,因此成熟系统会三者取长补短、配合使用。原始数据经加工后有三个出口:生成模型训练与评估所需的样本数据,生成线上推断所需的服务特征,生成系统监控与商业智能(BI)所需的统计型数据。数据是系统的“水源”,只有持续且纯净,系统才能高效运转并准确输出;实时性与处理能力不可兼得,须按场景权衡组合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 互联网的增长引擎——推荐系统 · 查看原书依据

      将负责数据收集与处理的三种平台按照实时性的强弱排序,依次为“客户端及服务器端实时数据处理”“流处理平台准实时数据处理”“大数据平台离线数据处理”。在实时性由强到弱递减的同时,三种平台的海量数据处理能力则由弱到强。

    参考来源

    - 位置:《深度学习推荐系统》第1章 互联网的增长引擎——推荐系统(源文件:extracted/深度学习推荐系统/_epub-src/text/part0005_split_002.html) - 结论依据:原文按实时性强弱排列三种数据处理平台,指出其处理能力反向变化,并明确列出原始数据加工后的三个出口,强调数据是推荐系统的“水源”。 - 原始内容:将负责数据收集与处理的三种平台按照实时性的强弱排序,依次为“客户端及服务器端实时数据处理”“流处理平台准实时数据处理”“大数据平台离线数据处理”。在实时性由强到弱递减的同时,三种平台的海量数据处理能力则由弱到强。