知识卡片
语料承载隐性语言知识
把choosespain.com正确切分成choose Spain,模型只查语料中的词序频率;自然产生的文本能承载搭配规律,使数据驱动方法无需显式编码全部领域知识。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 自然语言语料库数据 · 查看原书依据
我们发现“choose Spain”出现了3210次,而“chooses pain”在表里一次都没有出现(这意味着它在1MB的语料库中出现次数少于40次)。因此,“choose Spain”出现至少80次,可以作为正确的分割。
参考来源
- 位置:《数据之美》第14章《自然语言语料库数据》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0393.xhtml)
- 结论依据:N元计数对比支持choose Spain比chooses pain更可能的分词。自然文本频率能隐式承载部分搭配知识,无需把每条知识手写成规则。
- 原始内容:我们发现“choose Spain”出现了3210次,而“chooses pain”在表里一次都没有出现(这意味着它在1MB的语料库中出现次数少于40次)。因此,“choose Spain”出现至少80次,可以作为正确的分割。