知识卡片
数据流三级平台与三出口
推荐系统的数据部分负责用户、物品、场景信息的收集与处理。按实时性由强到弱,三类平台依次是客户端及服务器端实时数据处理、流处理平台准实时数据处理、大数据平台离线数据处理;实时性递减的同时,海量数据处理能力由弱到强,因此成熟系统会三者取长补短、配合使用。原始数据经加工后有三个出口:生成模型训练与评估所需的样本数据,生成线上推断所需的服务特征,生成系统监控与商业智能(BI)所需的统计型数据。数据是系统的“水源”,只有持续且纯净,系统才能高效运转并准确输出;实时性与处理能力不可兼得,须按场景权衡组合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 互联网的增长引擎——推荐系统 · 查看原书依据
将负责数据收集与处理的三种平台按照实时性的强弱排序,依次为“客户端及服务器端实时数据处理”“流处理平台准实时数据处理”“大数据平台离线数据处理”。在实时性由强到弱递减的同时,三种平台的海量数据处理能力则由弱到强。
参考来源
- 位置:《深度学习推荐系统》第1章 互联网的增长引擎——推荐系统(源文件:extracted/深度学习推荐系统/_epub-src/text/part0005_split_002.html)
- 结论依据:原文按实时性强弱排列三种数据处理平台,指出其处理能力反向变化,并明确列出原始数据加工后的三个出口,强调数据是推荐系统的“水源”。
- 原始内容:将负责数据收集与处理的三种平台按照实时性的强弱排序,依次为“客户端及服务器端实时数据处理”“流处理平台准实时数据处理”“大数据平台离线数据处理”。在实时性由强到弱递减的同时,三种平台的海量数据处理能力则由弱到强。