知识卡片
流式解析仍要管理输入资源
tokenize.generate_tokens接收读行函数,逐步解析Python源文本并产出TokenInfo,而不是每行只返回一个独立迭代器。生成过程与底层文件生命周期是两回事:原书open(…).readline隐藏了文件句柄,不能据按需处理就认定文件会及时关闭。应让调用方明确持有和关闭输入,输出类型编号也有版本背景。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 语法最佳实践——类级别以下 2.2.2 yield 语句 · 查看原书依据
tokens = tokenize.generate_tokens(reader)
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》Python高级编程(第2版) · 第2章 语法最佳实践——类级别以下,spine011单元008;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00010.html。
- 结论依据:原文把open返回对象的readline交给generate_tokens,显示解析按需而文件句柄仍存在,故惰性输出不能证明底层资源及时关闭。未在本机运行示例或改变环境。
- 原始内容:o.py').readline >>> tokens = tokenize.generate_tokens(reader) >>> next(tokens) TokenInfo(type=57 (COMMENT), string='# -*- coding: utf-8 -*-', star