知识卡片

操作参考卡 · 6368

限行读取不同于逐块遍历

理解等级:中级

nrows只读指定总行数,适合查看前段;chunksize返回可迭代的分块读取器,便于依次遍历完整文件。分块降低每次驻留量,但若随后把所有块长期保留,内存优势会丢失。看前5行也不能证明文件其余部分可解析或类型一致。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      chunksize=1000) In [875]: chunker Out[875]: <pandas.io.parsers.TextParser at 0x8398150> read_csv所返回的这个TextParser对象使你可以根据chunksize对文件进行逐块迭代。比如说,我们可以迭代处理ex6.csv,将值计数聚合到"key"列中,如下所示:

    参考来源

    - 位置:《利用Python进行数据分析》第6章《逐块读取文本文件》(spine287;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0273.html;u133-ch06-006)。 - 结论依据:原文在“chunksize=1000”附近的定义、例子或代码支撑本卡核心说明:nrows只读指定总行数,适合查看前段;chunksize返回可迭代的分块读取器,便于依次遍历完整文件。边界按已读前提解释;示例未执行。 - 原始内容:chunksize=1000) In [875]: chunker Out[875]: <pandas.io.parsers.TextParser at 0x8398150> read_csv所返回的这个TextParser对象使你可以根据chunksize对文件进行逐块迭代。比如说,我们可以迭代处理ex6.csv,将值计数聚合到"key"列中,如下所示: