← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9848.p · 生成模型:Hunyuan

词性标注的手工计算与验证

理解等级:中级

手工标注’把这篇报道修改一下。’:先用结巴分词切成把/这/篇/报道/修改/一下/。七个观测,再从词典查出各词可能的词性。只有一种词性的(这 r、篇 q、修改 v、。wp)直接确定;多词性的按 Viterbi 取最大局部概率,例如报道在 n 与 v 间取 δ=a(q→n)×b(n)=0.01017>0.00278,判为 n;把在 p 上概率 0.004343 最大;一下在 m 上 0.0140 最大,归一化用总词频 780049。最后得最优路径把 p / 这 r / 篇 q / 报道 n / 修改 v / 一下 m / 。wp。用结巴的词性模式复核,输出除标点被标为 x(非语义成分)外与手工一致,验证了模型与计算。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第11章 概率图模型与词性标注(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00037.html) - 结论依据:原文给出例句分词结果、各词最大局部概率的 δ 计算与结巴验证输出,支撑手工计算与验证一致的描述。 - 原始内容:执行结果如下。 把 p 这 r 篇 q 报道 v 修改 v 一下 m 。 x 结巴分词工具的输出结果与手工计算结果相同。这里标点符号都被定义为非语义成分。