知识卡片
句法分析与词性标注
句法分析(parsing)是把非结构化文本解构、转成有结构表示的过程,输入可能是文本文件、日志、XML、HTML 或 Word 文档,输出是后续步骤能直接消费的结构。它是文本分析三步(句法分析、搜索与检索、文本挖掘)中的第一步,但三步并非严格串行:可以先建好结构化存储,再在上面做检索,或直接在整个存储上做挖掘。
词性标注(POS tagging)是最常用的句法分析手段:输入一个句子,输出与每个词对应的标签序列。按 Penn Treebank 标签集,He saw a fox 会得到 PRP VBD DT NN,即代词、动词过去式、限定词、名词单数。
为什么有用:同一个词在不同词性下语义不同,词性是把词放进语法角色的最便宜的特征;它还能支撑命名实体识别、信息抽取和情感分析,因为极性词主要来自形容词与副词。
边界:标签集是语言相关的,标注器在口语、新词、领域术语上精度下降;词性只是形态层信息,不解决词义歧义。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
非结构化文本可以是一个文本文件、一个网络日志、一个可扩展标记语言(XML)文件、一个超文本标记语言(HTML)文件,或者一个Word文档。句法分析将文本进行解构,然后以一种更为结构化的方式来呈现它,以供后续步骤使用。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_001.html)
- 结论依据:9.1 节定义 parsing 与三步关系,随后以 He saw a fox 为例说明 Penn Treebank 的 POS 标注输出。
- 原始内容:非结构化文本可以是一个文本文件、一个网络日志、一个可扩展标记语言(XML)文件、一个超文本标记语言(HTML)文件,或者一个Word文档。句法分析将文本进行解构,然后以一种更为结构化的方式来呈现它,以供后续步骤使用。