知识卡片
平均词数不同于平均词长
average_words先累加每条文本切分出的token数,再除以文本条数,返回每条平均token数。它没有统计字符长度,因此原文把结果说成“单词的平均长度”错误。得到约六个token也不能推出几乎没有缩写或噪声;这些需要观察内容和相应指标。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 平均词数不同于平均词长
- · 9.23.3 讨论
原书出处 · 2 处
- · 查看原书依据
total_words/len(statuses) print lexical_diversity(words) print lexical_diversity(screen_names) print lexical_diversity(hashtags) print average_words(status_texts) 警告:在Python 3.0之前,
- · 查看原书依据
average_words(statuses): total_words = sum([ len(s.split()) for s in statuses ]) return 1.0*total_words/len(statuses) status_texts = [ status['text'] for status in statuses ] scree
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第1章《1.4.3 计算推文的词汇丰富性》(spine65;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0054.html;u025-ch01-030)。
- 结论依据:原文在“total_words/len(statuses)”附近的定义、例子或代码支撑本卡核心说明:average_words先累加每条文本切分出的token数,再除以文本条数,返回每条平均token数。边界按已读前提解释;示例未执行。
- 原始内容:total_words/len(statuses) print lexical_diversity(words) print lexical_diversity(screen_names) print lexical_diversity(hashtags) print average_words(status_texts) 警告:在Python 3.0之前,
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第9章《9.23.3 讨论》(spine149;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0138.html;u229-ch01-030)。
- 结论依据:函数把分词数总和除以推文数,正文提到平均词长但代码并未计算它。
- 原始内容:average_words(statuses): total_words = sum([ len(s.split()) for s in statuses ]) return 1.0*total_words/len(statuses) status_texts = [ status['text'] for status in statuses ] scree