知识卡片
词法与语法分析分工
词法分析将字符流识别成 token;语法分析把 token 按产生式组合成树。前者解决“这是一段什么词”,后者解决“这些词怎样组成语句”。语法树保留语义处理需要的结构,不必像表达式计算器那样立即求值。
关联:[[终结符与非终结符]]从相邻机制说明这一边界。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 3 处
- TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现 · 查看原书依据
上图描述了使用 Lex & Yacc 构建编译器的流程。Lex 根据用户定义的 patterns 生成词法分析器。词法分析器读取源代码,根据 patterns 将源代码转换成 tokens 输出。Yacc 根据用户定义的语法规则生成语法分析器。语法分析器以词法分析器输出的 tokens 作
- TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现 · 查看原书依据
上面例子中语法规则关联的动作,在完成语法解析的同时,也完成了表达式求值。一般我们希望语法解析的结果是一棵抽象语法树(AST),可以这么定义语法规则关联的动作:
- TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现 · 查看原书依据
上面是一个语法规则定义的片段,我们可以看到,每个规则关联的动作不再是求值,而是调用相应的函数,该函数会返回抽象语法树的节点类型 nodeType,然后将这个节点压回堆栈,解析完成时,我们就得到了一颗由 nodeType 构成的抽象语法树。对这个语法树进行遍历访问,可以生成机器代码,也可以解
参考来源
- 位置:《TiDB源码阅读系列文章》第05章《TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现》(来源项目:book-sources;源文件:extracted/TiDB源码阅读系列文章/_epub-src/OEBPS/Text/TiDB 源码阅读系列文章(五)TiDB SQL Parser 的实现.html;阅读段落 12,31,33;均为书中版本)
- 结论依据:原文对词法与语法分析分工给出上述机制或边界;本卡把已读说明整理为可独立理解的解释。
- 原始内容:上图描述了使用 Lex & Yacc 构建编译器的流程。Lex 根据用户定义的 patterns 生成词法分析器。词法分析器读取源代码,根据 patterns 将源代码转换成 tokens 输出。Yacc 根据用户定义的语法规则生成语法分析器。语法分析器以词法分析器输出的 tokens 作 …… 上面例子中语法规则关联的动作,在完成语法解析的同时,也完成了表达式求值。一般我们希望语法解析的结果是一棵抽象语法树(AST),可以这么定义语法规则关联的动作: …… 上面是一个语法规则定义的片段,我们可以看到,每个规则关联的动作不再是求值,而是调用相应的函数,该函数会返回抽象语法树的节点类型 nodeType,然后将这个节点压回堆栈,解析完成时,我们就得到了一颗由 nodeType 构成的抽象语法树。对这个语法树进行遍历访问,可以生成机器代码,也可以解