知识卡片
词法单元的类型与字面量
词法单元需要同时保留类型与字面量。类型告诉后续阶段应该怎样处理它,例如整数、标识符或右括号;字面量保留源代码中的具体文本,区分整数 5 与 10、名称 x 与 y。Monkey 的 Token.Literal 使用字符串,因此本章的整数 token 仍保存数字文本,数值转换留到后续阶段。不要把本章最初的概念示意误当成实现字段类型。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 词法分析 · 查看原书依据
基于这些分析,现在来定义Token数据结构。它需要哪些字段呢?正如刚刚看到的,肯定需要一个类型属性,这样就可以区分“整数”和“右括号”这样不同的词法单元。然后还需要一个字段用于保存词法单元的字面量,以便后续步骤复用,比如对于表示数字的词法单元,这个字段能记录5或10这样的信息。
参考来源
- 位置:《用Go语言自制解释器》spine第05项《词法分析》(来源项目 book-sources,源文件:extracted/用Go语言自制解释器/_epub-src/OEBPS/Text/epub_0005.html)。
- 结论依据:原文说明本卡讨论的职责或实现约束;解释限于此处教学实现。
- 原始内容:基于这些分析,现在来定义Token数据结构。它需要哪些字段呢?正如刚刚看到的,肯定需要一个类型属性,这样就可以区分“整数”和“右括号”这样不同的词法单元。然后还需要一个字段用于保存词法单元的字面量,以便后续步骤复用,比如对于表示数字的词法单元,这个字段能记录5或10这样的信息。