知识卡片

问题卡 · 5689.a

分词需识别类型并覆盖输入

理解等级:中级

把文本转成标记流时,可为每类词法模式命名,再由匹配的组名与文本形成(type,value)。连续扫描还要识别空白,即使后续会过滤它。原scanner.match遇到不识别字符就停止,停止本身不证明已到输入末尾;若目标是完整输入,需核对消费位置并报告未知后缀,否则会静默接受一段前缀。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      如果发现有任何不能匹配的文本,扫描过程就会停止。这就是为什么有必要在上面的示例中指定空格标记(WS)。 这些标记在正则表达式(即re.compile('|'.join([NAME, NUM, PLUS, TIMES, EQ, WS])))中的顺序同样也很重要。当进行匹配

    参考来源

    - 位置:《Python Cookbook(第3版)中文版》2.18 文本分词(spine10;extracted/Python Cookbook(第3版)中文版/_epub-src/OEBPS/Text/part0008.xhtml;u041-ch02-030)。 - 结论依据:完整读取本条所有问题、代码与讨论;2.19三个阅读片段均已读,区分原文方法、代码直接推导、排字问题及官方版本核验。 - 原始内容:如果发现有任何不能匹配的文本,扫描过程就会停止。这就是为什么有必要在上面的示例中指定空格标记(WS)。 这些标记在正则表达式(即re.compile('|'.join([NAME, NUM, PLUS, TIMES, EQ, WS])))中的顺序同样也很重要。当进行匹配