知识卡片

普通读书笔记卡 · 9908.q · 生成模型:Hunyuan

硬件与研发周期下的工程权衡

理解等级:高级

工程师的职责是在现实条件制约下以技术落地为目标寻找最优解,这要求工程思维而非研究思维,制约可能来自研发周期、软硬件环境、业务逻辑或优化目标。研发周期方面,把平台从 Spark 迁往 TensorFlow 时,更稳妥的是留一部分人用成熟 Spark 快速满足产品需求、另一部分人全力推进迁移与磨合,而不是全员押注新平台。硬件方面,训练收敛速度与参数量强相关,而参数大头在输入层到 Embedding 层,因此可把 Embedding 抽出来预训练,牺牲 End2End 一致性换取上层快速收敛;若增加模型复杂度带来的收益已趋平缓,就应把优化转向实时性与挖掘新信息。整体原则是跳出局部技术细节,平衡整体与局部。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度学习推荐系统的工程实现 · 查看原书依据

      在深度学习模型中,模型的整体训练收敛速度和模型的参数数量有很强的相关性,而模型的参数数量中输入层到Embedding层的数量占绝大部分。因此,为了大幅加快模型的训练速度,可以将Embedding部分单独抽取出来做预训练,这样可以做到上层模型的快速收敛。

    参考来源

    - 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_006.html) - 结论依据:原文用工程师职责、研发周期与硬件资源等案例说明权衡,并给出 Embedding 预训练牺牲 End2End 换实时性的具体取舍。 - 原始内容:在深度学习模型中,模型的整体训练收敛速度和模型的参数数量有很强的相关性,而模型的参数数量中输入层到Embedding层的数量占绝大部分。因此,为了大幅加快模型的训练速度,可以将Embedding部分单独抽取出来做预训练,这样可以做到上层模型的快速收敛。