知识卡片
空语料需要定义统计结果
词型比例在token为空时分母为零,平均每条词数在状态列表为空时也没有定义。应把“没有可统计数据”作为明确结果处理,而不是让演示公式直接除零,或任意填零后与真正低多样性混淆;如何返回缺失或错误应由分析接口约定。
第9章analyze_tweet_content只提前检查statuses是否为空,未检查提到名、标签或所有文本token是否为空;这些子语料为空时,词型比例函数仍会除零。空消息集合和空实体集合须分别定义结果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 空语料需要定义统计结果
- · 9.23.3 讨论
原书出处 · 2 处
- · 查看原书依据
len(set(tokens))/len(tokens) # A function for computing the average number of words per tweet def average_words(statuses): total_words = sum([ len(s.split()) for s in statuses ]) r
- · 查看原书依据
lexical_diversity(screen_names) print "Lexical diversity (hashtags):", lexical_diversity(hashtags) print "Averge words per tweet:", average_words(status_texts) # Sample usage q = '
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第1章《1.4.3 计算推文的词汇丰富性》(spine65;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0054.html;u025-ch01-031)。
- 结论依据:原文在“len(set(tokens))/len(tokens)”附近的定义、例子或代码支撑本卡核心说明:词型比例在token为空时分母为零,平均每条词数在状态列表为空时也没有定义。边界按已读前提解释;示例未执行。
- 原始内容:len(set(tokens))/len(tokens) # A function for computing the average number of words per tweet def average_words(statuses): total_words = sum([ len(s.split()) for s in statuses ]) r
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第9章《9.23.3 讨论》(spine149;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0138.html;u229-ch01-031)。
- 结论依据:即使statuses非空,screen_names或hashtags仍可为空并导致除零。
- 原始内容:lexical_diversity(screen_names) print "Lexical diversity (hashtags):", lexical_diversity(hashtags) print "Averge words per tweet:", average_words(status_texts) # Sample usage q = '