知识卡片
搭配频率与关联强度分开
原始相对频率描述某个n-gram占所定义总观察数的比率,回答出现得多不多;关联评分还考虑组成词各自多常见,回答共现是否超出基线。两者可产生不同排序,常见组合未必有很强专属性,低频高分也需检查稳定性。分母要按具体实现说明,不能把总词次与二元组窗口数无条件混用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
原始频率 一如其名,原始频率(Raw frequency)是一个n元文法频率与所有n元文法频率的比率。它对检测文本中特定搭配的整体频率有用。 雅卡尔系数 雅卡尔系数(Jaccard Index)是用来测量集合之间的相似度的比率。如应用在搭配中,它被定义为一个搭配的频率除以搭配(在感兴趣的搭配中包含至少一个单词)的总数。它对判断给定的词汇是否能构成搭配很有用,
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.4 分析人类语言中的二元文法》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u067-ch04-038)。
- 结论依据:原文在“原始频率”附近的定义、例子或代码支撑本卡核心说明:原始相对频率描述某个n-gram占所定义总观察数的比率,回答出现得多不多;关联评分还考虑组成词各自多常见,回答共现是否超出基线。边界按已读前提解释;示例未执行。
- 原始内容:原始频率 一如其名,原始频率(Raw frequency)是一个n元文法频率与所有n元文法频率的比率。它对检测文本中特定搭配的整体频率有用。 雅卡尔系数 雅卡尔系数(Jaccard Index)是用来测量集合之间的相似度的比率。如应用在搭配中,它被定义为一个搭配的频率除以搭配(在感兴趣的搭配中包含至少一个单词)的总数。它对判断给定的词汇是否能构成搭配很有用,