知识卡片
大数据的4V特征:不是数据量大就叫大数据
内容
“大数据”这个概念本质上描述的是一种现象:一个组织日常运营和用户行为积累产生的数据增长速度极快,快到现有的常规数据库管理工具已经难以驾驭——难点集中体现在数据的获取、存储、搜索、共享、分析和可视化这几个环节,数据量级也早已超出GB、TB这类常见单位的衡量范围,进入PB、EB乃至ZB级别。但仅凭”数据量很大”并不足以判定某个场景就是大数据场景,业界公认的判定标准是”大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低(Value)”这四个特征(4V),只有同时具备这四个特征的数据,才真正称得上大数据——大量化对应体量本身超出常规工具的处理能力;多样化对应数据来源和格式的异构性(结构化、半结构化、非结构化数据混杂);快速化对应数据产生和需要被处理的速度极快,往往要求近实时甚至实时处理;价值密度低则对应海量数据里真正有价值的信息占比很低,需要专门的技术手段才能从大量噪音中提炼出有效信息。这个4V标准的价值在于它给”要不要按大数据的方式去设计系统”这个问题提供了一个具体的判断框架:如果一个业务场景的数据只是”量比较大”,但来源单一、增长平稳、价值密度也不低(比如一个稳定运行多年、结构规范的传统企业数据库),即使数据总量达到了TB甚至PB级别,也未必真的需要引入一整套大数据技术栈去应对——只有当4个特征同时叠加出现时,传统数据库管理工具真正的驾驭能力才会被突破,这时才真正需要专门的大数据技术架构。
参考来源
- 位置:《高可用架构(第1卷)》第6章《大数据与数据库》"6.1 某音乐公司的大数据实践"节,"6.1.1 什么是大数据"(源文件:_epub-src/OEBPS/Text/Chapter6_1_2.xhtml)
- 结论依据:原文说明"'大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低(Value)'就是'大数据'显著的4V特征……或者说,只有具备4V特征的数据,才是大数据",直接支撑本卡片结论。
- 原始内容:所谓"大数据"(BIG DATA)其实指的是这样一种现象……"大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低(Value)"就是"大数据"显著的4V特征……或者说,只有具备4V特征的数据,才是大数据。