知识卡片
单词边界不是自然语言分词
通常的单词边界只是相邻位置两侧是否属于某字符类别的判断,不理解词义。NE14AD8可被视作一个单词,M.I.T.却被分开;不能因此声称程序理解了自然语言。边界采用的单词类别也不保证与同一引擎的\w完全一致。选择检索规则时,应明确需要的是字符类别边界还是语言层面的分词。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
语意分析:它们认为“NE14AD8”是一个单词,而“M.I.T.”不是。 顺序环视(?=…)、(?!…);逆序环视(?<=…)、(?<!…) 在前一章“使用环视功能在数值中插入逗号”(☞59)的例子中,我们已经介绍过顺序环视和逆序环视结构(统称为环视)。但关于它们还有很
参考来源
- 位置:《精通正则表达式(第3版)》常用的元字符和特性(spine 23;来源项目book-sources,`extracted/精通正则表达式(第3版)/_epub-src/text/part0008_split_004.html`;来源键`s023-ch03-032`)。
- 结论依据:本节文字及表3-6至3-14和相邻代码图实际展开该内容;版本表仅作历史范围,不宣称现版本功能一致。
- 原始内容:语意分析:它们认为“NE14AD8”是一个单词,而“M.I.T.”不是。 顺序环视(?=…)、(?!…);逆序环视(?<=…)、(?<!…) 在前一章“使用环视功能在数值中插入逗号”(☞59)的例子中,我们已经介绍过顺序环视和逆序环视结构(统称为环视)。但关于它们还有很