← 返回刚才阅读的位置

知识卡片

结构图卡 · 9813.m · 生成模型:DeepSeek-V4.1-Flash

DSSM的双塔与softmax

理解等级:高级

DSSM 要解决字面匹配失效:查询“手机壳”和标题“iPhone 保护套”没有一个共同词,但语义相关。它的做法是双塔:Query 塔和 Doc(标题)塔结构相同但参数独立,各自把输入文本压成一个 128 维语义向量。输入层把句子转成字向量并组合 Bi-gram、Tri-gram 特征,表示层用词袋方式加三层全连接(300-300-128),激活函数用 tanh。匹配层只做一件事:算两个向量的余弦相似度 s(q,d)。训练时把 Query 对应的正样本文档和随机采样的负样本放在一起,用 softmax 把相似度转成后验概率 P(D+|Q)=exp(r·s(q,d+))/Σ_{d∈D} exp(r·s(q,d)),r 是平滑因子,D 是正样本加负样本构成的集合;损失是正样本的负对数似然,残差反向传播更新两塔参数。由于两塔在匹配层之前没有任何交互,文档向量可以离线算好并建索引,线上只需算查询向量再做近邻查找,这是双塔结构被广泛采用的根本原因。它的短板也很明显:表示层是词袋,语序和上下文信息丢失,“手机壳”和“壳手机”得到同一个向量;端到端弱监督训练使输出不可控。

结构图:

flowchart TD
  Q["Query 文本"] --> QT["Query 塔:字向量→300→300→128"]
  QT --> QV(("q"))
  D["Doc 标题"] --> DT["Doc 塔:字向量→300→300→128"]
  DT --> DV(("d"))
  QV --> S["余弦相似度"]
  DV --> S
  S --> P["softmax:正样本后验概率"]
  P --> L["负对数似然"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0079.html) - 结论依据:原文说明 DSSM 用 DNN 分别把 Query 和 Title 映射为低维语义向量、再用余弦相似度计算距离,这正是双塔加匹配层的结构来源。 - 原始内容:它的思想很简单,就是将Query和Title的海量点击曝光日志用DNN(Deep Nature Networks)表达为低维语义向量,并通过余弦相似度来计算两个语义向量的距离,最终训练出语义相似度模型。