知识卡片
数据规模的两种瓶颈
数据规模既可能超过单机存储,也可能让搬运分散数据比计算本身更费时。样本太多与特征太多是不同瓶颈,前者可保留每行的全部特征来分配样本,后者可拆开模型坐标。衡量收益时把切分后的内存峰值和数据交换都计入。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第1章 引言
原书出处 · 1 处
- 引言 1.1 大数据对机器学习的挑战 · 查看原书依据
(1)数据的规模超出单一机器的存储容量,单机算法无法对样本进行有效的处理;
参考来源
- 位置:《分布式机器学习:交替方向乘子法在机器学习中的应用》第1章《引言》1.1 大数据对机器学习的挑战(来源项目 book-source,源文件:extracted/分布式机器学习:交替方向乘子法在机器学习中的应用/_epub-src/OEBPS/Text/chapter1.xhtml)
- 结论依据:1.1 大数据对机器学习的挑战中的定义、更新式或实验叙述提供本卡依据。数据规模既可能超过单机存储,也可能让搬运分散数据比计算本身更费时。
- 原始内容:(1)数据的规模超出单一机器的存储容量,单机算法无法对样本进行有效的处理;