知识卡片

结构图卡

语义相似图过滤兴趣噪声

理解等级:未标注

[[微博兴趣实时抽取与离线优化]]中离线挖掘系统要解决的核心问题是:某个 用户历史累积的兴趣词里,哪些真正代表他的兴趣、哪些只是随手转发(比如为了抽奖)产生的 噪声?判断依据是一个假设——如果用户真的对某个主题感兴趣,他不会只发一条相关内容,而是 会反复发布语义相近的多条微博,所以”是否被反复提及、且提及的词彼此语义相近”就成了区分 真兴趣和噪声的信号。具体做法是把该用户历史积累的所有兴趣词构建成一张语义相似图:任意 两个词之间先计算上下文相似性(词经常出现在相似的上下文里,语义就相近),相似性超过 阈值就在图中连一条边;然后在这张图上运行Pagerank算法迭代打分。Pagerank的核心机制—— 一个节点如果被很多”有分量”的节点指向,自己的分量也会提高——在这里的效果是:如果某个 主题上用户反复发了很多语义相近的词,这些词会彼此连接形成一个连接紧密的子图,子图内的 词会持续互相”投票”提升彼此的得分,子图越密集、得分越高;而偶然出现的孤立噪声词几乎 没有其他词与它语义相近、连边稀疏,得分自然很低。最终只保留得分较高的词作为该用户的 真实兴趣词,其余作为噪声过滤掉。

结构图:

flowchart LR
    A[用户历史兴趣词集合] --> B[计算任意两词的上下文相似性]
    B -->|相似性超阈值| C[语义相似图: 相近词间连边]
    C --> D[图上运行Pagerank迭代打分]
    D --> E[密集子图内的词互相提升得分]
    D --> F[孤立噪声词连边稀疏得分低]
    E --> G[保留高分词作为真实兴趣词]
    F --> H[过滤为噪声]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据时代的IT架构设计》第3篇《微博用户兴趣建模系统架构》"三、离线挖掘系统" (源文件:_epub-src/OEBPS/text00013.html) - 结论依据:原文说明假设用户对某兴趣点会反复发布语义相近的微博,进而通过计算词间上下文 相似性构建语义相似图、在图上运行Pagerank算法打分,密集子图得分高被保留、孤立词得分低 被过滤,直接支撑本卡片对该去噪机制的结构梳理。 - 原始内容:我们通过图挖掘算法来解决上述问题,将某个用户历史累计的兴趣词构建成一个 语义相似图……如果两个单词上下文相似性高于一定值则在图中建立一条边。然后在这个图上 运行Pagerank算法来不断迭代给单词节点打分……如果用户某个兴趣比较突出,则很容易形成 一个连接密集的子图……密集子图越大,其相互增强作用越明显,最后得分也会越高。