知识卡片
数据导入、持久化与大文件读取
机器学习常面对几十 MB 到几 TB 的表格与文本,数据导入方式要按规模选。几十 KB 到几十 MB 的数据表在 64 位系统上可直接读入内存:用 open 读取内容,splitlines 按行切成一维表,再按分隔符把每行拆成行向量,最后用 mat 转成矩阵返回。需要以对象形式保存时,用 cPickle 的 dump 把矩阵对象写入文件,之后用 load 读回,实现持久化。遇到接近 40GB 的单文本文件时不能一次性载入,改用生成器逐行读取:readfilelines 用 readline 配合 yield 返回每一行,nmax 控制读取行数,nmax=0 表示读到文件尾,这样内存里只保留当前行,避免溢出。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 机器学习的基础 · 查看原书依据
机器学习一般要处理的都是海量的表格和文本,小的数据集几十MB,大的几TB,如果处理不当,有时候是件比较麻烦的事情。本小节主要讲解数据导入、持久化的一些方法。
参考来源
- 位置:《机器学习算法原理与编程实践》第1章 机器学习的基础(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00007.html)
- 结论依据:原文按数据规模给出 file2matrix 读入、cPickle 持久化与 readfilelines 逐行读取三段代码,并说明各自适用条件。
- 原始内容:机器学习一般要处理的都是海量的表格和文本,小的数据集几十MB,大的几TB,如果处理不当,有时候是件比较麻烦的事情。本小节主要讲解数据导入、持久化的一些方法。