知识卡片

问题卡 · 6267.c

合并文档会产生跨边界词对

理解等级:中级

示例把各动态的词直接串成一条序列后取二元组,前一篇末词和后一篇首词也会成为相邻候选。若目标是篇内语言搭配,这种边界组合是人为产物;应按文档或句子统计并合并计数,或明确标记边界,而不是把数组相邻自动当语言相邻。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      all_tokens = [token for activity in data for token in activity['object']['content' ].lower().split()] finder = nltk.BigramCollocationFinder.from_words(all_tokens) finder.apply_freq

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.4 分析人类语言中的二元文法》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u067-ch04-034)。 - 结论依据:原文在“all_tokens = [token for activity”附近的定义、例子或代码支撑本卡核心说明:示例把各动态的词直接串成一条序列后取二元组,前一篇末词和后一篇首词也会成为相邻候选。边界按已读前提解释;示例未执行。 - 原始内容:all_tokens = [token for activity in data for token in activity['object']['content' ].lower().split()] finder = nltk.BigramCollocationFinder.from_words(all_tokens) finder.apply_freq