知识卡片
词型比例依赖语料和切词
本节词汇丰富性是类型—词次比:互异token数除以全部token数。结果受切词、大小写归并、重复内容和语料范围影响,比较对象时先统一这些条件。对昵称和标签使用同一公式得到的是这些实体的互异比例,不应仍直接叫自然语言表达能力;数值也不自动证明话题宽泛或营销有效。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 词型比例依赖语料和切词
- · 9.23.3 讨论
原书出处 · 2 处
- · 查看原书依据
不重复的单词的个数除以文本中所有单词个数得到的表达式,这是非常基本但是却很重要的度量方式。在人际交流中,词汇丰富性是一个非常有趣的概念,因为它为某个人或团体的词汇丰富性提供了定量的度量。例如,设想一下,你正在听某个人重复地说“and stuff”概括的描述信息而不是提供具体的例子的方法去通过细节强调观点。现在,我们将这个说话者和其他很少说“stuff”一词,
- · 查看原书依据
len(set(tokens))/len(tokens) # A nested helper function for computing the average number of words per tweet def average_words(statuses): total_words = sum([ len(s.split()) for s in
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第1章《1.4.3 计算推文的词汇丰富性》(spine65;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0054.html;u025-ch01-028)。
- 结论依据:原文在“不重复的单词的个数除以文本中所有单词个数”附近的定义、例子或代码支撑本卡核心说明:本节词汇丰富性是类型—词次比:互异token数除以全部token数。边界按已读前提解释;示例未执行。
- 原始内容:不重复的单词的个数除以文本中所有单词个数得到的表达式,这是非常基本但是却很重要的度量方式。在人际交流中,词汇丰富性是一个非常有趣的概念,因为它为某个人或团体的词汇丰富性提供了定量的度量。例如,设想一下,你正在听某个人重复地说“and stuff”概括的描述信息而不是提供具体的例子的方法去通过细节强调观点。现在,我们将这个说话者和其他很少说“stuff”一词,
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第9章《9.23.3 讨论》(spine149;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0138.html;u229-ch01-028)。
- 结论依据:重复配方仍按不同token数除以token总数,不能凭低比例证明集体思维。
- 原始内容:len(set(tokens))/len(tokens) # A nested helper function for computing the average number of words per tweet def average_words(statuses): total_words = sum([ len(s.split()) for s in