知识卡片

操作参考卡 · 6267.b

先过滤低频再比较搭配

理解等级:中级

示例先统计二元组,再去掉少于两次的候选和含停用词的候选,之后按评分取前N名。频率门槛控制偶然罕见组合,评分调整共现相对强度,两者职责不同;提高门槛也可能丢掉有价值的低频术语。不能把得分高或进入前25就称为已证实概念。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      finder.apply_freq_filter(2) finder.apply_word_filter(lambda w: w in nltk.corpus.stopwords.words('english')) scorer = nltk.metrics.BigramAssocMeasures.jaccard collocations = finder.

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.4 分析人类语言中的二元文法》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u067-ch04-033)。 - 结论依据:原文在“finder.apply_freq_filter(2)”附近的定义、例子或代码支撑本卡核心说明:示例先统计二元组,再去掉少于两次的候选和含停用词的候选,之后按评分取前N名。边界按已读前提解释;示例未执行。 - 原始内容:finder.apply_freq_filter(2) finder.apply_word_filter(lambda w: w in nltk.corpus.stopwords.words('english')) scorer = nltk.metrics.BigramAssocMeasures.jaccard collocations = finder.