← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 1495.f

词边界不等于自然语言边界

理解等级:高级

正则 \b 依赖引擎对“词字符”的定义来判断边界,不能直接当成中文等自然语言的分词器;\w 也主要围绕基本拉丁字母、数字和下划线。发散:多语言文本校验应先定义目标字符集与分词规则,再选适用的 Unicode 属性匹配或专门分词工具,而非套用英文边界。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 元素 Elements · 查看原书依据

      \b被指定为一个字边界(word-boundary)标识,它方便用于对文本的字边界进行匹配。遗憾的是,它使用\w去寻找字边界,所以它对多语言应用来说是完全无用的。这并不是一个好的特性。

    参考来源

    - 位置:《JavaScript语言精粹(修订版)》第7章《正则表达式 Regular Expressions》“元素 Elements”(源文件:`_epub-src/text/part0014_split_003.html`) - 结论依据:原文指出 `\w` 与 `\b` 不能代表所有语言的词与边界;[MDN 词边界说明](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Regular_expressions/Word_boundary_assertion)也明确建议中文等语言使用更合适的分词工具。 - 原始内容:\b被指定为一个字边界(word-boundary)标识,它方便用于对文本的字边界进行匹配。遗憾的是,它使用\w去寻找字边界,所以它对多语言应用来说是完全无用的。这并不是一个好的特性。