知识卡片

普通读书笔记卡 · 9848.o · 生成模型:Hunyuan

词性标注的HMM建模与数据资源

理解等级:中级

词性标注把词性当作隐状态、词当作观测,直接用 HMM 的五元组建模。语料库是基础:《人民日报》标注语料库约 3500 万字,提供分词与词性标注资源。词性表列出 28 个标签,构成隐状态集合 S;词典 coreDict.txt 记录词、词性与词频,词频归一化后作为发射概率矩阵 B,词是显状态、词性是显隐对应关系;从语料统计出的词性转移矩阵 A 与初始概率向量(词性总词频作归一化参数)提供其余两项。表11.7(词性表)、11.8(词典)、11.9(转移矩阵与初始概率)合起来就构成完整的词性标注 HMM。中文词性受上下文影响,同一词可有不同词性,正适合用 Viterbi 求解最可能的词性序列。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 概率图模型与词性标注 · 查看原书依据

      我们把表11.8中的词典作为发射概率矩阵。其中词典中的每个词汇相当于隐马尔科夫模型的显式状态,第二列的词性作为显状态与隐状态(词性标签)的对应关系,词频字段相当于概率。通过归一化就可以把词频变为0~1之间的概率值。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第11章 概率图模型与词性标注(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00037.html) - 结论依据:原文说明词性表、词典、转移矩阵与初始概率的来源与作用,并明确指出表11.7/11.8/11.9 共同构成完整 HMM,支撑建模结论。 - 原始内容:我们把表11.8中的词典作为发射概率矩阵。其中词典中的每个词汇相当于隐马尔科夫模型的显式状态,第二列的词性作为显状态与隐状态(词性标签)的对应关系,词频字段相当于概率。通过归一化就可以把词频变为0~1之间的概率值。