← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9908.m · 生成模型:Hunyuan

自研模型线上服务平台

理解等级:中级

一些大中公司选择从头自研训练与线上服务平台,而非直接用 TensorFlow。原因之一是通用平台为通用性背负大量冗余功能、过重难改,自研可按业务定制并兼顾服务效率,例如不依赖第三方工具时,用 Java 服务器从参数服务器取参数、直接实现 FTRL 的线上推断逻辑。原因之二是召回、探索与利用、强业务耦合的冷启动等特殊模型,通用框架往往不支持,线上服务只能自研。代价是实现的时间成本高、迭代周期长,自研一两种模型可行,做到数十种模型的实现比较与调优则很难,因此多见于大公司或模型结构已确定、手动实现推断的场合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度学习推荐系统的工程实现 · 查看原书依据

      一个重要的原因是:TensorFlow等通用平台为了灵活性和通用性的要求,需要支持大量冗余的功能,导致平台过重,难以修改和定制。而自研平台的好处是可以根据公司业务和需求进行定制化的实现,并兼顾模型服务的效率。

    参考来源

    - 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_005.html) - 结论依据:原文从平台过重难定制和特殊模型需求两方面解释自研动机,并指出实现成本高、迭代周期长、只适合大公司或结构确定的场景。 - 原始内容:一个重要的原因是:TensorFlow等通用平台为了灵活性和通用性的要求,需要支持大量冗余的功能,导致平台过重,难以修改和定制。而自研平台的好处是可以根据公司业务和需求进行定制化的实现,并兼顾模型服务的效率。