知识卡片

操作参考卡 · 9838.r · 生成模型:Hunyuan

数据导入、持久化与大文件读取

理解等级:中级

机器学习常面对几十 MB 到几 TB 的表格与文本,数据导入方式要按规模选。几十 KB 到几十 MB 的数据表在 64 位系统上可直接读入内存:用 open 读取内容,splitlines 按行切成一维表,再按分隔符把每行拆成行向量,最后用 mat 转成矩阵返回。需要以对象形式保存时,用 cPickle 的 dump 把矩阵对象写入文件,之后用 load 读回,实现持久化。遇到接近 40GB 的单文本文件时不能一次性载入,改用生成器逐行读取:readfilelines 用 readline 配合 yield 返回每一行,nmax 控制读取行数,nmax=0 表示读到文件尾,这样内存里只保留当前行,避免溢出。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 机器学习的基础 · 查看原书依据

      机器学习一般要处理的都是海量的表格和文本,小的数据集几十MB,大的几TB,如果处理不当,有时候是件比较麻烦的事情。本小节主要讲解数据导入、持久化的一些方法。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第1章 机器学习的基础(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00007.html) - 结论依据:原文按数据规模给出 file2matrix 读入、cPickle 持久化与 readfilelines 逐行读取三段代码,并说明各自适用条件。 - 原始内容:机器学习一般要处理的都是海量的表格和文本,小的数据集几十MB,大的几TB,如果处理不当,有时候是件比较麻烦的事情。本小节主要讲解数据导入、持久化的一些方法。