返回主题:企业数据战略、组织与价值评估

知识卡片

结构图卡 · 2781.c

大数据三类边界

理解等级:未标注

大数据看似能覆盖企业运营的方方面面,但有三类领域是它天生难以触及的。稀疏或罕见事件:数据预处理阶段通常会把异常值处理掉,罕见事件恰恰对应着这些异常值,即便专门针对异常数据去挖掘,海量数据里也只有寥寥几条相关记录——事件本身发生得太偶然,从数据角度根本看不出规律。社会化认知知识:计算机擅长的是显性规则计算(空间、维度、数量、距离都是它的计算基础),但涉及情感、关系、上下文情景、背景环境这类掺杂社会化属性的问题时,计算机很难理解、分辨、计算和表达。难以量化的实体和属性:很多实体属性根本无法直接用数据衡量,比如判断”这个人像张三”时,”像”的程度到底是多少,这种连人类自己都说不清楚的东西,大数据更难衡量和测算。三类边界共同揭示了大数据能力的天花板:它擅长处理”数据量足够大、规则足够显性、属性足够可量化”的问题,一旦某个维度跌破这个门槛(太罕见、太依赖社会语境、太模糊),再多的数据和算力也无济于事。

结构图:

flowchart TB
  A["大数据能力天花板"]
  A --> B["稀疏罕见事件<br/>异常值被过滤,样本太少无规律"]
  A --> C["社会化认知知识<br/>情感/关系/语境计算机难以表达"]
  A --> D["难以量化的实体属性<br/>连人类自己都说不清的模糊程度"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第12章《大数据当前问题及挑战》"12.3 价值挑战"之"大数据到底能用在哪?"(源文件:_epub-src/OEBPS/text00178.html) - 结论依据:原文说明"大数据通常无法从非常稀疏或罕见事件中得到有价值的规律……大数据通常很难处理有关情感、关系、上下文情景、背景环境等社会化认知的知识……大数据无法处理很难量化的实体和属性",直接支撑本卡结构图。 - 原始内容:大数据通常无法从非常稀疏或罕见事件中得到有价值的规律……大数据通常很难处理有关情感、关系、上下文情景、背景环境等社会化认知的知识……大数据无法处理很难量化的实体和属性