知识卡片
总体词型比不能逐条分摊
把全语料的互异词数/总词数,直接解释为每条推文拥有相同比例的独特信息,混淆了总体词型与逐条重复。教学反例:两条文本“a b”和“a c”共有三个词型、四个词次,总体比例0.75,但每条内部都是两个互异词;乘平均词数所得1.5不是每条内部互异词数2。该比值也不度量语义信息量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
每条状态更新携带了67%的互异的信息。考虑到每条推文平均单词个数为6,这就相当于每条推文有4个互异的单词。这个数据是与我们的直觉相符的,因为#MentionSomeoneImportantForYou这个热门主题标签的特性就是为了查询包含很少单词的响应信息。在任何情况下,0.67的词汇丰富性对于日常人际交往来说已经算很高了,但是考虑到数据的特性,这个值也似乎
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第1章《1.4.3 计算推文的词汇丰富性》(spine65;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0054.html;u025-ch01-029)。
- 结论依据:原文在“每条状态更新携带了67%的互异的信息”附近的定义、例子或代码支撑本卡核心说明:把全语料的互异词数/总词数,直接解释为每条推文拥有相同比例的独特信息,混淆了总体词型与逐条重复。边界按已读前提解释;示例未执行。
- 原始内容:每条状态更新携带了67%的互异的信息。考虑到每条推文平均单词个数为6,这就相当于每条推文有4个互异的单词。这个数据是与我们的直觉相符的,因为#MentionSomeoneImportantForYou这个热门主题标签的特性就是为了查询包含很少单词的响应信息。在任何情况下,0.67的词汇丰富性对于日常人际交往来说已经算很高了,但是考虑到数据的特性,这个值也似乎