知识卡片

普通读书笔记卡 · 3847

语料承载隐性语言知识

理解等级:未标注

把choosespain.com正确切分成choose Spain,模型只查语料中的词序频率;自然产生的文本能承载搭配规律,使数据驱动方法无需显式编码全部领域知识。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 自然语言语料库数据 · 查看原书依据

      我们发现“choose Spain”出现了3210次,而“chooses pain”在表里一次都没有出现(这意味着它在1MB的语料库中出现次数少于40次)。因此,“choose Spain”出现至少80次,可以作为正确的分割。

    参考来源

    - 位置:《数据之美》第14章《自然语言语料库数据》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0393.xhtml) - 结论依据:N元计数对比支持choose Spain比chooses pain更可能的分词。自然文本频率能隐式承载部分搭配知识,无需把每条知识手写成规则。 - 原始内容:我们发现“choose Spain”出现了3210次,而“chooses pain”在表里一次都没有出现(这意味着它在1MB的语料库中出现次数少于40次)。因此,“choose Spain”出现至少80次,可以作为正确的分割。