知识卡片
Scanner满足词法接口
goyacc 通过 yyLexer.Lex 获取 token,通过 Error 报告词法相关错误。书中 Scanner 手写实现该接口;Lex 的语义值参数带回位置和值,返回整数标记 token 类型,0 与 invalid 分别有终止和非法字符含义。
结构图:
classDiagram
class yyLexer {
<<interface>>
Lex(lval *yySymType) int
Error(e string)
}
class Scanner {
Lex(v *yySymType) int
}
yyLexer <|.. Scanner : 隐式实现
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 4 处
- TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现 · 查看原书依据
goyacc 是 golang 版的 Yacc。和 Yacc 的功能一样,goyacc 根据输入的语法规则文件,生成该语法规则的 go 语言版解析器。goyacc 生成的解析器 yyParse 要求词法分析器符合下面的接口:
- TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现 · 查看原书依据
type yyLexer interface { Lex(lval *yySymType) int Error(e string) }
- TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现 · 查看原书依据
TiDB 没有使用类似 Lex 的工具生成词法分析器,而是纯手工打造,词法分析器对应的代码是 parser/lexer.go, 它实现了 goyacc 要求的接口:
- TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现 · 查看原书依据
... // Scanner implements the yyLexer interface. type Scanner struct { r reader buf bytes.Buffer errs []error stmtStartPos int // For scanning su
参考来源
- 位置:《TiDB源码阅读系列文章》第05章《TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现》(来源项目:book-sources;源文件:extracted/TiDB源码阅读系列文章/_epub-src/OEBPS/Text/TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现.html;阅读段落 36,37,40,41;均为书中版本)
- 结论依据:原文对Scanner满足词法接口给出上述机制或边界;本卡把已读说明整理为可独立理解的解释。
- 原始内容:goyacc 是 golang 版的 Yacc。和 Yacc 的功能一样,goyacc 根据输入的语法规则文件,生成该语法规则的 go 语言版解析器。goyacc 生成的解析器 yyParse 要求词法分析器符合下面的接口: …… type yyLexer interface { Lex(lval *yySymType) int Error(e string) } …… TiDB 没有使用类似 Lex 的工具生成词法分析器,而是纯手工打造,词法分析器对应的代码是 parser/lexer.go, 它实现了 goyacc 要求的接口: …… ... // Scanner implements the yyLexer interface. type Scanner struct { r reader buf bytes.Buffer errs []error stmtStartPos int // For scanning su