知识卡片
词法分析同时识别类别和值
词法分析把字符序列划成标记,并区分变量名、数字、运算符等类别。A+B与A + B可得到同一标记序列,因此不能只按空格切词。
类别之外还要保留词素或语义值,例如数字实际值与变量名称;消费到标记边界的字符、文件结束与非法输入也需约定。图8-1只有简化分隔流程,不是完整语言扫描器。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 8.4 词法分析
原书出处 · 1 处
- 8.4 词法分析 · 查看原书依据
实际语言有许多不同类型的标记,例如名称、数字和运算符。语言通常有运算符和操作数,就像数学一样,操作数可以是变量或常量(数字)。语言自由形式的特性也使事情复杂化,例如,对照A+B和A + B(注意空格),A + B中暗含了分隔符。两种形式有相同的解释,但第一种形
参考来源
- 位置:《计算机系统解密》8.4 词法分析(来源项目book-sources,源文件:extracted/计算机系统解密/_epub-src/text/part0093.html)
- 结论依据:本项全部正文与图表实际读取,区分作者示例、推导与实现边界;纠错另有明确说明。
- 原始内容:实际语言有许多不同类型的标记,例如名称、数字和运算符。语言通常有运算符和操作数,就像数学一样,操作数可以是变量或常量(数字)。语言自由形式的特性也使事情复杂化,例如,对照A+B和A + B(注意空格),A + B中暗含了分隔符。两种形式有相同的解释,但第一种形