知识卡片
大数据的4V特征及与传统数据的差异
内容
业界对”大数据”没有统一定义(麦肯锡、维基百科、高德纳等机构各给 出不同表述),但普遍用4V特征来刻画它区别于传统数据的地方——这 比纠结精确定义更有实用价值,因为它指出了”到底哪里不一样”,从而 解释了为什么传统技术处理不了。巨量性(Volume)指数据规模从GB、 TB级迈向PB、EB甚至ZB级;多样性(Variety)指数据类型从单一的 结构化数据扩展到大量半结构化、非结构化数据(XML、图像、视频、 传感器数据等);高速性(Velocity)指数据产生和处理的速度持续加快, 很多场景要求近实时处理,而不是攒够一批再离线处理;价值性(Value) 指的是一个反直觉的特点——数据体量越大,单位数据的价值密度反而 越低(大量数据是噪声或冗余),但数据的整体价值在提高,这意味着 “数据多”本身不等于”有用”,价值提炼高度依赖处理方式和工具的质量。 这四个特征直接解释了传统数据库工具为什么力不从心:巨量性超出单机 存储/处理能力,多样性超出关系模型的结构化假设,高速性超出批处理 架构的响应能力,而低价值密度意味着必须先经过复杂的处理和过滤才能 提炼出有效信息——不是简单堆更多硬件就能解决的问题。
结构图:
flowchart LR
A[大数据4V特征] --> B[Volume 巨量性<br/>GB→TB→PB→EB/ZB]
A --> C[Variety 多样性<br/>结构化→半结构化/非结构化]
A --> D[Velocity 高速性<br/>批处理→近实时]
A --> E[Value 价值性<br/>单位价值密度降低,整体价值提高]
B --> F[超出单机存储处理能力]
C --> G[超出关系模型结构化假设]
D --> H[超出批处理架构响应能力]
E --> I[需复杂处理才能提炼有效信息]
参考来源
- 位置:《数据库原理(微课版)》第12章《大数据管理技术》12.1节"大数据
的概念"(源文件:_epub-src/index_split_008.html)
- 结论依据:原文明确"目前,普遍以4V特征来描述大数据……Volume
(巨量性):数据量巨大……Variety(多样性):数据类型复杂多样……
Velocity(高速性):数据具有高速性……Value(高价值,低价值密度):
数据具有潜在价值。由于数据体量不断增大,单位数据的价值密度不断
降低,而数据的整体价值在提高",因此可以推出4V特征各自的含义及
其解释了传统技术为何无法应对大数据。
- 原始内容:Value(高价值,低价值密度):数据具有潜在价值。由于
数据体量不断增大,单位数据的价值密度不断降低,而数据的整体价值
在提高。有人甚至将大数据的价值等同于黄金和石油。