知识卡片

操作参考卡 · 1958.c.12.a.1.bz · 生成模型:未记录

流式解析仍要管理输入资源

理解等级:中级

tokenize.generate_tokens接收读行函数,逐步解析Python源文本并产出TokenInfo,而不是每行只返回一个独立迭代器。生成过程与底层文件生命周期是两回事:原书open(…).readline隐藏了文件句柄,不能据按需处理就认定文件会及时关闭。应让调用方明确持有和关闭输入,输出类型编号也有版本背景。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》Python高级编程(第2版) · 第2章 语法最佳实践——类级别以下,spine011单元008;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00010.html。 - 结论依据:原文把open返回对象的readline交给generate_tokens,显示解析按需而文件句柄仍存在,故惰性输出不能证明底层资源及时关闭。未在本机运行示例或改变环境。 - 原始内容:o.py').readline >>> tokens = tokenize.generate_tokens(reader) >>> next(tokens) TokenInfo(type=57 (COMMENT), string='# -*- coding: utf-8 -*-', star