知识卡片
最近邻搜索替代端到端推断
候选集生成模型训练时用softmax做多分类,但线上服务并不直接跑这套网络:输出层参数矩阵m乘n(m为最后ReLU层维度,n为视频总数)极大,端到端推断开销过高。YouTube的权衡是训练后取出Embedding——视频向量来自softmax矩阵的列向量,用户向量则是输入该用户特征后最后一层ReLU的输出——把二者存入Redis等内存库,线上用最近邻搜索(如局部敏感哈希)取Top-K候选,可把服务复杂度降到常数级。这是典型的训练与推断解耦:用离线训练换在线效率,甚至不必把网络推断逻辑搬上服务器。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 深度学习推荐系统的前沿实践 · 查看原书依据
在模型服务过程中,如果对每次推荐请求都端到端地运行一遍候选集生成网络的推断过程,那么由于网络结构比较复杂,参数数量特别是输出层的参数数量非常巨大,整个推断过程的开销会很大。
参考来源
- 位置:《深度学习推荐系统》第8章 深度学习推荐系统的前沿实践(源文件:extracted/深度学习推荐系统/_epub-src/text/part0012_split_003.html)
- 结论依据:原文详述候选集网络线上改用最近邻搜索,视频Embedding取自softmax参数矩阵列向量、用户Embedding取自ReLU输出,并用局部敏感哈希降至常数复杂度。
- 原始内容:在模型服务过程中,如果对每次推荐请求都端到端地运行一遍候选集生成网络的推断过程,那么由于网络结构比较复杂,参数数量特别是输出层的参数数量非常巨大,整个推断过程的开销会很大。