数据平台三大职责，与数据价值的"规模门槛"

数据平台的核心职责主要分三部分：数据管理、数据分析、数据应用。数据管理是基础功能，包含数据采集（从业务系统搜集日志、用户行为、业务数据等，传送到数据平台）、数据存储（把采集到的数据存储起来用于后续分析）、数据访问（对外提供SQL、Hive、Key-Value等各种协议用于读写数据）、数据安全（数据平台通常是多业务共享的，部分业务敏感数据需要保护，防止被其他业务读取甚至修改，因此需要设计数据安全策略）四个子职责。数据分析包含数据统计（根据原始数据统计出总览数据，如PV、UV、交易额）、数据挖掘（为了与机器学习/深度学习区分，这里特指传统数据挖掘方式，即有经验的数据分析人员基于数据仓库构建一系列规则来分析数据、发现隐含规律，经典案例是沃尔玛啤酒与尿布的关联发现）、机器学习与深度学习（属于数据挖掘的具体实现方式，但因实现方式与传统数据挖掘差异较大，数据平台需要针对二者独立设计）三个层次。数据应用则很广泛，既包括在线业务（如推荐、广告），也包括离线业务（如报表、欺诈检测、异常检测）。但数据应用能发挥价值有一个前提门槛：必须有”大数据”，只有数据规模达到一定程度，基于数据的分析、挖掘才能发现有价值的规律、现象、问题；如果数据没有达到一定规模，通常只做好数据统计就足够了——尤其很多初创企业，完全没必要一开始就照搬BAT级别的数据平台架构来建设自己的系统。

结构图：

flowchart TB
  A["数据平台三大职责"]
  A --> B["数据管理(基础)：采集/存储/访问/安全"]
  A --> C["数据分析：统计→挖掘→机器学习/深度学习"]
  A --> D["数据应用：在线(推荐/广告)+离线(报表/欺诈检测)"]
  B --> C --> D
  D --> E{"数据规模是否达到<br/>'大数据'门槛？"}
  E -->|否| F["做好数据统计即可<br/>初创企业无须对标BAT"]
  E -->|是| G["分析挖掘才能发现有价值的规律"]