知识卡片

普通读书笔记卡 · 1268.g.2.b · 生成模型:GPT-6

词法单元的类型与字面量

理解等级:初级

词法单元需要同时保留类型与字面量。类型告诉后续阶段应该怎样处理它,例如整数、标识符或右括号;字面量保留源代码中的具体文本,区分整数 5 与 10、名称 x 与 y。Monkey 的 Token.Literal 使用字符串,因此本章的整数 token 仍保存数字文本,数值转换留到后续阶段。不要把本章最初的概念示意误当成实现字段类型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 词法分析 · 查看原书依据

      基于这些分析,现在来定义Token数据结构。它需要哪些字段呢?正如刚刚看到的,肯定需要一个类型属性,这样就可以区分“整数”和“右括号”这样不同的词法单元。然后还需要一个字段用于保存词法单元的字面量,以便后续步骤复用,比如对于表示数字的词法单元,这个字段能记录5或10这样的信息。

    参考来源

    - 位置:《用Go语言自制解释器》spine第05项《词法分析》(来源项目 book-sources,源文件:extracted/用Go语言自制解释器/_epub-src/OEBPS/Text/epub_0005.html)。 - 结论依据:原文说明本卡讨论的职责或实现约束;解释限于此处教学实现。 - 原始内容:基于这些分析,现在来定义Token数据结构。它需要哪些字段呢?正如刚刚看到的,肯定需要一个类型属性,这样就可以区分“整数”和“右括号”这样不同的词法单元。然后还需要一个字段用于保存词法单元的字面量,以便后续步骤复用,比如对于表示数字的词法单元,这个字段能记录5或10这样的信息。