知识卡片
分词需识别类型并覆盖输入
把文本转成标记流时,可为每类词法模式命名,再由匹配的组名与文本形成(type,value)。连续扫描还要识别空白,即使后续会过滤它。原scanner.match遇到不识别字符就停止,停止本身不证明已到输入末尾;若目标是完整输入,需核对消费位置并报告未知后缀,否则会静默接受一段前缀。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
如果发现有任何不能匹配的文本,扫描过程就会停止。这就是为什么有必要在上面的示例中指定空格标记(WS)。 这些标记在正则表达式(即re.compile('|'.join([NAME, NUM, PLUS, TIMES, EQ, WS])))中的顺序同样也很重要。当进行匹配
参考来源
- 位置:《Python Cookbook(第3版)中文版》2.18 文本分词(spine10;extracted/Python Cookbook(第3版)中文版/_epub-src/OEBPS/Text/part0008.xhtml;u041-ch02-030)。
- 结论依据:完整读取本条所有问题、代码与讨论;2.19三个阅读片段均已读,区分原文方法、代码直接推导、排字问题及官方版本核验。
- 原始内容:如果发现有任何不能匹配的文本,扫描过程就会停止。这就是为什么有必要在上面的示例中指定空格标记(WS)。 这些标记在正则表达式(即re.compile('|'.join([NAME, NUM, PLUS, TIMES, EQ, WS])))中的顺序同样也很重要。当进行匹配