知识卡片

操作参考卡 · 9908.p · 生成模型:Hunyuan

Redis容量约束下模型瘦身

理解等级:高级

线上服务要实时拿到模型参数和特征,Redis 因快成为主流,但内存比存储和计算更稀缺昂贵,容量因而成为制约上线方式的关键因素。工程师需从模型与特征两侧瘦身。模型侧关注稀疏性:面对千万量级特征维度与参数,舍弃大量次要特征、容忍一定精度损失,以换更快预估与更少资源;增强稀疏性的手段有 L1 正则化、FTRL 等稀疏训练方法。特征侧先用主成分分析等筛选,在不明显降效的前提下减少数量。当多种技术途径优劣难判时,可把备选方案都实现,再用离线指标和线上 A/B 测试比较,按数据做最终取舍。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度学习推荐系统的工程实现 · 查看原书依据

      对于千万甚至更高量级的特征维度,理论上参数的数量级也在千万量级,线上服务是很难支持这种级别的数据量的,这就要求工程上关注模型的稀疏性,关注主要特征,舍弃大量次要特征,舍弃一定的模型预测准确度,提升线上预估的速度,减小工程资源消耗。

    参考来源

    - 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_006.html) - 结论依据:原文指出 Redis 成本与容量是关键约束,并给出关注模型稀疏性、L1/FTRL、特征筛选以及离线与 A/B 测试比较的工程解决思路。 - 原始内容:对于千万甚至更高量级的特征维度,理论上参数的数量级也在千万量级,线上服务是很难支持这种级别的数据量的,这就要求工程上关注模型的稀疏性,关注主要特征,舍弃大量次要特征,舍弃一定的模型预测准确度,提升线上预估的速度,减小工程资源消耗。