知识卡片
分词约定影响后续语法特征
Treebank式分词会把部分缩略/所有格拆出成分,便于后续语法分析,并不等于简单按空格拆词。拆分保留哪些符号、怎样处理URL,会影响词频与词性输入;应按任务确认分词约定,不能把书内I与m的简写当所有版本的精确输出或默认去掉所有标点。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
所有格形式的名词上分别标记要素。例如,分析句子“I’m hungry”,将会产生不同的要素“I”和“m”,保留主语和“I’m”动词之间的区别。和你想象的一样,是时候开始仔细检查句子中主语和动词之间关系的高级分析了,对这类语法信息的“细粒度”访问可能非常有价值。 已知句子解析器(sentence tokenizer)和分词器,首先可以把文本解析为句子,然后把每
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第5章《5.3.2 人类语言数据的句子检测》(spine94;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0083.html;u078-ch05-017)。
- 结论依据:原文在“所有格形式的名词”附近的定义、例子或代码支撑本卡核心说明:Treebank式分词会把部分缩略/所有格拆出成分,便于后续语法分析,并不等于简单按空格拆词。边界按已读前提解释;示例未执行。
- 原始内容:所有格形式的名词上分别标记要素。例如,分析句子“I’m hungry”,将会产生不同的要素“I”和“m”,保留主语和“I’m”动词之间的区别。和你想象的一样,是时候开始仔细检查句子中主语和动词之间关系的高级分析了,对这类语法信息的“细粒度”访问可能非常有价值。 已知句子解析器(sentence tokenizer)和分词器,首先可以把文本解析为句子,然后把每