知识卡片
Token带类型与值
词法解析的产物是一串有意义的标记(Token):按词法规则把文本切开,每个标记带有类型(数字、字符串等)和值。书中以JavaScript解析器Esprima为例,源码被解析成这样的标记集合。后续的语义处理只面对标记序列,不再关心字符细节,编译器、配置加载和资源解析都采用这种分层。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《TypeScript图形渲染实战:2D架构设计与实现》第2章《使用TypeScript实现Doom 3词法解析器》(源文件:_epub-src/OEBPS/Text/000026.xhtml、_epub-src/OEBPS/Text/000027.xhtml)
- 结论依据:原文说明本章目的之一是将文本按词法规则解析成有意义的标记(Token);以Esprima为例,JS源码被解析成Token集合,每个Token有表示类型分类的type属性和表示值的value属性。原卡“最小不可再分单元”的定义书中无原文,已改写并改名。
- 原始内容:如何将文本按照词法规则描述解析成有意义的标记(Token)是本章的另外一个重要目的。……每个Token具有type属性,表示该Token的类型分类,并且具有value属性,表示该Token的值是什么。