← 返回刚才阅读的位置

知识卡片

结构图卡 · 1467.c.1.b.4

Scanner满足词法接口

理解等级:中级

goyacc 通过 yyLexer.Lex 获取 token,通过 Error 报告词法相关错误。书中 Scanner 手写实现该接口;Lex 的语义值参数带回位置和值,返回整数标记 token 类型,0 与 invalid 分别有终止和非法字符含义。

结构图:

classDiagram
 class yyLexer {
 <<interface>>
 Lex(lval *yySymType) int
 Error(e string)
 }
 class Scanner {
 Lex(v *yySymType) int
 }
 yyLexer <|.. Scanner : 隐式实现

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 4 处

    参考来源

    - 位置:《TiDB源码阅读系列文章》第05章《TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现》(来源项目:book-sources;源文件:extracted/TiDB源码阅读系列文章/_epub-src/OEBPS/Text/TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现.html;阅读段落 36,37,40,41;均为书中版本) - 结论依据:原文对Scanner满足词法接口给出上述机制或边界;本卡把已读说明整理为可独立理解的解释。 - 原始内容:goyacc 是 golang 版的 Yacc。和 Yacc 的功能一样,goyacc 根据输入的语法规则文件,生成该语法规则的 go 语言版解析器。goyacc 生成的解析器 yyParse 要求词法分析器符合下面的接口: …… type yyLexer interface { Lex(lval *yySymType) int Error(e string) } …… TiDB 没有使用类似 Lex 的工具生成词法分析器,而是纯手工打造,词法分析器对应的代码是 parser/lexer.go, 它实现了 goyacc 要求的接口: …… ... // Scanner implements the yyLexer interface. type Scanner struct { r reader buf bytes.Buffer errs []error stmtStartPos int // For scanning su