返回主题:企业数据战略、组织与价值评估

知识卡片

普通读书笔记卡 · 2779.a

容量大不等于样本多

理解等级:未标注

评估数据规模不能只看存储容量。三种容量大但价值低的情形:单个对象很大但记录少,如 2GB 视频只算 1 个样本;记录少但维度极多,如 100 个客户各有 1 万个维度,带来稀疏和共线性;记录和维度都不多,但单个维度(如大文本字段)容量很大。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第10章《企业大数据价值评估》"10.1.1 数据规模"之"数据记录数"(源文件:_epub-src/OEBPS/text00159.html) - 结论依据:原文说明"单纯的数据存储容量大,并不意味着具备大量可用的数据样本。以下几种情况数据存储容量较大,但是却很难具备较高的数据价值:单个数据对象大,但数据记录数较少……数据库中的记录数少,但是数据维度非常多……数据库中的记录数少,同时维度也不多,但每个维度的容量较大",直接支撑本卡结论。 - 原始内容:单纯的数据存储容量大,并不意味着具备大量可用的数据样本……单个数据对象大,但数据记录数较少。比如,一个视频文件可能达到2GB,但实际上样本量只是一个,因此无法从中提取有效且稳定的知识规律