知识卡片
词边界不等于自然语言边界
正则 \b 依赖引擎对“词字符”的定义来判断边界,不能直接当成中文等自然语言的分词器;\w 也主要围绕基本拉丁字母、数字和下划线。发散:多语言文本校验应先定义目标字符集与分词规则,再选适用的 Unicode 属性匹配或专门分词工具,而非套用英文边界。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 元素 Elements · 查看原书依据
\b被指定为一个字边界(word-boundary)标识,它方便用于对文本的字边界进行匹配。遗憾的是,它使用\w去寻找字边界,所以它对多语言应用来说是完全无用的。这并不是一个好的特性。
参考来源
- 位置:《JavaScript语言精粹(修订版)》第7章《正则表达式 Regular Expressions》“元素 Elements”(源文件:`_epub-src/text/part0014_split_003.html`)
- 结论依据:原文指出 `\w` 与 `\b` 不能代表所有语言的词与边界;[MDN 词边界说明](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Regular_expressions/Word_boundary_assertion)也明确建议中文等语言使用更合适的分词工具。
- 原始内容:\b被指定为一个字边界(word-boundary)标识,它方便用于对文本的字边界进行匹配。遗憾的是,它使用\w去寻找字边界,所以它对多语言应用来说是完全无用的。这并不是一个好的特性。