知识卡片

普通读书笔记卡 · 9908.c · 生成模型:Hunyuan

大数据平台与推荐系统整合

理解等级:中级

无论采用哪种大数据架构,大数据平台在推荐系统中的任务都集中在训练数据处理与特征预计算两件事上。完成特征处理后,数据按用途流向两端:以 HDFS 为代表的离线存储承接训练样本,以 Redis 为代表的在线特征库为模型服务提供实时特征。架构选择直接约束训练方式,若想做准实时甚至实时训练,就必须用流计算实时完成特征工程与多流 join,甚至把模型更新嵌进流处理。为此有人在 Lambda 或 Kappa 的流处理层之上再加机器学习层,形成 Unified 架构,把训练与服务的数据管道和大数据平台深度融合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_001.html) - 结论依据:原文指出大数据平台的主要任务是对特征和样本的处理,样本与特征最终分别流向 HDFS 与 Redis,并提出在流处理层新增机器学习层的 Unified 架构。 - 原始内容:加入了机器学习层的架构也被称为新一代的 Unified 大数据架构,其在Lambda 或 Kappa 架构上的流处理层新增了机器学习层,将机器学习和数据处理融为一体,被看作推荐系统和大数据平台的深度整合。