知识卡片
自研模型线上服务平台
一些大中公司选择从头自研训练与线上服务平台,而非直接用 TensorFlow。原因之一是通用平台为通用性背负大量冗余功能、过重难改,自研可按业务定制并兼顾服务效率,例如不依赖第三方工具时,用 Java 服务器从参数服务器取参数、直接实现 FTRL 的线上推断逻辑。原因之二是召回、探索与利用、强业务耦合的冷启动等特殊模型,通用框架往往不支持,线上服务只能自研。代价是实现的时间成本高、迭代周期长,自研一两种模型可行,做到数十种模型的实现比较与调优则很难,因此多见于大公司或模型结构已确定、手动实现推断的场合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
一个重要的原因是:TensorFlow等通用平台为了灵活性和通用性的要求,需要支持大量冗余的功能,导致平台过重,难以修改和定制。而自研平台的好处是可以根据公司业务和需求进行定制化的实现,并兼顾模型服务的效率。
参考来源
- 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_005.html)
- 结论依据:原文从平台过重难定制和特殊模型需求两方面解释自研动机,并指出实现成本高、迭代周期长、只适合大公司或结构确定的场景。
- 原始内容:一个重要的原因是:TensorFlow等通用平台为了灵活性和通用性的要求,需要支持大量冗余的功能,导致平台过重,难以修改和定制。而自研平台的好处是可以根据公司业务和需求进行定制化的实现,并兼顾模型服务的效率。