知识卡片
ASCII扫描器的边界
按字节递增的扫描器适用于本书限定的 ASCII 字符,却不能直接用来识别完整 Unicode 字符。UTF-8 中一个字符可能占多个字节,若仍按 input[i] 取得单字节,就可能把一个字符拆坏。支持 Unicode 不只是把 ch 改为 rune,还要改变读取与推进规则,并同步检查标识符判定等辅助函数。实现的简洁来自范围约束,不能把教学限制误写成语言通用能力。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 词法分析 · 查看原书依据
在谈到readChar时,值得指出的是,该词法分析器仅支持ASCII字符,不能支持所有的Unicode字符。这么做也是为了让事情保持简单,让我们能够专注于解释器的基础部分。如果要完全支持Unicode和UTF-8,就要将l.ch的类型从byte改为rune,同时还要修改读取下一个字符的方式
参考来源
- 位置:《用Go语言自制解释器》spine第05项《词法分析》(来源项目 book-sources,源文件:extracted/用Go语言自制解释器/_epub-src/OEBPS/Text/epub_0005.html)。
- 结论依据:原文说明本卡讨论的职责或实现约束;解释限于此处教学实现。
- 原始内容:在谈到readChar时,值得指出的是,该词法分析器仅支持ASCII字符,不能支持所有的Unicode字符。这么做也是为了让事情保持简单,让我们能够专注于解释器的基础部分。如果要完全支持Unicode和UTF-8,就要将l.ch的类型从byte改为rune,同时还要修改读取下一个字符的方式