此笔记位置已失效,请从目录继续阅读。
全书导读
这本书由数据中台服务商数澜科技的团队集体编写,讨论企业怎样建设和运营数据中台。作者给数据中台下的定义是“一套可持续让数据用起来的机制”,而不是一个产品或一个大数据平台,所以全书除了技术架构,还花了大量篇幅讲组织、标准、运营和交付。
全书 17 章分四部分:第 1–3 章讲概念、方法论和成熟度评估;第 4–10 章依次讲数据汇聚、数据开发、数据体系、数据资产管理、数据应用、运营和安全;第 11 章讲工程化交付;第 12–17 章是政务、制造、汽车、地产、零售、医药六个行业案例。
阅读时需要注意两点。第一,作者团队是厂商,书中关于选用成熟平台、市场规模和客户数量的表述带有立场,作者自己也提醒读者“不要被厂商的一些概念迷惑”。第二,书中多处表格和流程以图片形式给出(如技术选型表、交付任务的实施思路表),笔记只采用正文中有文字说明的内容。
全书主线
全书的主线是一个价值闭环:业务产生数据,中台把数据变成资产,资产以服务的形式回到业务,业务的使用再反过来推动资产优化。作者把它概括为“业务数据化—数据资产化—资产服务化—服务业务化”。
围绕这个闭环,前三章先回答“为什么”和“建不建”:数据中台与业务中台、数据仓库、数据湖等的区别,建设方法论的五个层面,以及用成熟度模型和可共享资源判断企业是否需要中台。
第 4–8 章沿着数据流动的顺序讲“怎么建”:汇聚打破物理孤岛,开发把原始数据加工成资产,四层数据体系保证口径一致,资产管理让资产可见、可懂、可用,数据应用把资产变成服务和产品。
第 9–10 章讲“怎么持续”:运营让资产越用越多、越用越活,成本运营防止数据增长吞噬收益,安全管理是一切的地基。第 11 章把建设过程固化为可复制的交付框架,六个行业案例则展示同一套方法在不同场景中的取舍。
序
序由金蝶创始人撰写,说明在人工智能和国家数据局成立的背景下数据能力的重要性,以及金蝶与数澜科技的合作和本书第 2 版的定位,没有独立的方法论述。
前言
前言说明第 2 版新增了工程化交付体系和六个行业案例,回顾了数据中台从被追捧到被质疑的过程,并列出中台建设仍待解决的四个痛点:数据泄露与滥用、数据质量、数据格式与标准不一致、数据治理。作者的立场是:抛开“数据中台”这个名词,如何利用多年积累的数据支撑业务转型,是企业的共同诉求。这一立场在第 1 章的定义中展开。
第1部分 数据中台建设方法与架构设计
第一部分(第 1–3 章)给出数据中台的定义、建设方法论和总体架构,并提供成熟度评估工具和成功要素,帮助企业判断自己所处的阶段和建设路径。
第1章 解码数据中台
第 1 章先回顾数据中台的由来:阿里巴巴 2014 年从 Supercell 接触中台概念,提出“大中台、小前台”,此后中台逐渐被各行业接受。面对各种定义,数据中台是持续用数机制给出作者的机制性定义:数据中台是依据企业特有的业务模式和组织架构,持续把数据变成资产并服务于业务的机制,需要战略、组织和人才的配合,并且因企而异。
接着厘清相关概念。中台价值取决于可共享资源比较数据中台与业务中台:前者抽象数据能力,后者抽象业务流程,两者形成数据闭环但没有先后顺序;是否值得建中台,关键看有没有可共享的资源,这也是“数据中台人人可建、业务中台须慎重”的理由。数据中台与相邻概念把数据中台与数据仓库、BI、数据湖、数据编织逐一对比,结论是这些概念多偏技术或某类应用,而数据中台关注的是让数据持续服务业务的机制。数据中台不推倒现有系统回应企业最常见的担心:数据中台不需要推倒现有信息架构,而是汇聚各系统的数据,面向业务实体构建场景化的数据能力。
第2章 数据中台建设与架构
第 2 章给出方法论和架构。数据中台不是大数据平台说明价值框架的闭环,并指出数据中台与大数据平台的本质区别:后者关注技术,前者关注数据的业务服务能力,因此需要与业务部门同等的组织地位,是“一把手工程”。
数据中台建设方法论框架把方法论整理为五个层面:1 项战略行动、2 个保障条件(组织保障和数据意识)、4 条目标准则(可见、可懂、可用、可运营)、4 套建设内容(工具、数据、应用、运营体系)和 5 个关键步骤。数据中台建设五步展开五个步骤:理现状、立架构、建资产、用数据、做运营,其中后三步在架构稳定后不断循环。数据中台总体架构描述总体架构:数据中台位于云基础底座与业务应用之间,由汇聚、开发、数据体系、资产管理、数据应用以及运营体系和安全管理组成。
第3章 数据应用成熟度评估与成功要素
第 3 章提供自我评估工具。数据应用成熟度四阶段把数据应用能力分为统计分析、决策支撑、数据驱动、运营优化四个阶段,并从战略、数据形态、应用场景、工具和组织五个维度刻画每个阶段。数据资产运营的五个前提列出进入运营优化阶段的五个前提:资产可追溯、状态可获取、调用方可知、全链路可监控、共享渠道丰富。
何种企业适合建数据中台讨论什么样的企业适合建数据中台,用四个企业例子区分“推荐算法项目”“数据中台”和“业务中台”三类需求。数据中台的七个成功要素给出七个成功要素:数据战略、组织架构、企业文化、制度流程、软件平台、科学实施和持续运营,其中“整体规划、分步实施,从业务最关心的数据入手”是最具操作性的建议。
第2部分 数据中台建设内容与运营方法
第二部分(第 4–10 章)按数据流动的顺序讲解数据中台的核心模块:汇聚、开发、数据体系、资产管理、数据应用,以及让中台持续运转的运营机制和安全管理。
第4章 数据汇聚:打破企业数据孤岛
第 4 章讲数据流通的第一步。三种客户端埋点的取舍比较全埋点、可视化埋点和代码埋点的适用情形,并说明服务端埋点、线下采集、爬虫和手工填报等来源。采集汇聚交换与ELT区分采集、汇聚和交换三种能力,并解释作者倾向 ELT 的理由:ETL 在抽取时清洗,可能丢掉日后才显现价值的数据。
四种开源汇聚工具对比对比 Flink CDC、Canal、Sqoop、DataX 四种开源工具的机制与局限,结论是单一工具无法满足复杂场景。于是汇聚产品的插件化同步描述如何把它们封装成统一的汇聚产品:读写插件加同步核心模块,支持离线、实时和流批一体,全量与增量同步,以及前置稽核、转换、加密和流量控制。存储选型与数据湖入湖讨论汇聚后的存储选型,并介绍数据湖的读时模式、数据编目以及物理入湖与虚拟入湖。
第5章 数据开发:数据价值提炼工厂
第 5 章讲把原始数据加工成资产的“流水线”。五类数据计算能力按场景把计算能力分为批计算、流计算、流批一体、在线查询和即席分析五类。Spark对MR的三点改进解释 MapReduce 的执行流程以及 Spark 的三点改进。流批一体与Kappa架构介绍流批一体的四个统一、Kappa 架构和 Flink 加数据湖的实时数仓,以及湖仓一体。
接着分三类开发套件。离线作业的调度与基线讲离线开发的依赖与时间调度、基线控制、代码校验、多环境发布和基于血缘的推荐依赖;统一数据权限管理中心讲如何用插件化的统一权限中心管理多引擎的数据权限;实时开发的四项能力讲实时开发的元数据管理、SQL 驱动、组件化开发和反压告警;算法开发套件的构成讲算法开发套件,包括可视化与 Notebook 建模、数据标注、算法组件和多版本框架隔离。
第6章 数据体系建设
第 6 章是全书技术含量最高的一章,讲数据如何分层组织。数据体系四层与引用规范给出贴源层、统一数仓层、标签层、应用层四个分层及严格的引用规范:业务只能使用标签层和应用层的数据。贴源数据表的设计规范说明贴源层的设计规范,例如表命名、增量表与全量表、半结构化数据的解析。
统一数仓层采用维度建模。维度建模的核心概念解释推荐维度建模的理由和核心概念,尤其是“派生指标 = 原子指标 + 修饰词 + 时间周期”。数据域划分四阶段讲数据域划分的四个阶段与维度表设计,三类事实表与设计五步讲三类事实表、设计五步以及冗余维度属性的代价。
标签层面向对象建模。标签层的对象与三类标签介绍属性、统计、算法三类标签和人、物、关系三类对象;ID打通与置信度选择说明 ID 打通是标签体系的前提,以及按业务选择置信度;标签类目体系的设计讲标签类目体系的设计;标签与标签值的区分区分标签与标签值并给出设计注意事项;标签融合表宜用横表比较横表与纵表并推荐横表。最后,应用层:一份数据多套存储说明应用层如何解决规范稳定与灵活高性能之间的矛盾,以及“一份数据多套存储”。
第7章 数据资产管理
第 7 章讲如何管理已经建成的数据资产。数据资产与数据治理给出数据资产的定义与三个特征,并说明本书把数据治理并入资产管理的理由:资产管理在治理之外增加了流通、价值评估和运营。数据资产管理十三职能概括资产管理面临的六项挑战、四个目标和十三个职能。
接下来重点讲几个职能。数据标准难在落地指出数据标准难在落地而不在制定,并比较源系统改造、数据中心落地、接口标准化三种落地方式。元数据是数据的地图用“户口本”和“地图”比喻元数据,区分指向上游的血缘分析和指向下游的影响性分析。主数据管理的内容介绍主数据管理,数据质量的九项标准给出九项数据质量标准和管理闭环,并强调质量问题的根源是管理。按可恢复性定生命周期按可恢复性区分数据,制定不同的生命周期策略。
第8章 数据应用体系建设
第 8 章讲数据如何最终发挥价值。数据应用的三层架构把数据应用拆为数据、引擎、交互三层,并介绍查询、搜索、分析、算法推理、数据交换五类引擎。应用数据集的六项考量列出准备应用数据集时的六项考量,并强调“以稳定可控的技术为首要目标,不盲目追求新架构、新技术”。数据服务与四类数据产品介绍主动调用与订阅推送两种服务方式,以及可视化大屏、BI 报表、数据洞察、数据智能产品四类数据产品。
第9章 数据中台运营机制
第 9 章讲中台建成后如何让资产“越用越多,越用越活”。质量安全是运营的地基用自评模型说明数据质量与安全是运营的地基,提效降本是打造影响力的关键。中台运营的四个切入点给出统一战略、搭建组织、营造氛围、实践创新四个切入点,并提醒“数据大屏不等于数据中台”。
资产运营方面,资产运营四目标与价值归因提出可阅读、易理解、好使用、有价值四个目标和几种价值评估方式;看选用治评与运营五动作描述“看、选、用、治、评”的链路和运营人员的五个动作;标签价值不能只看调用量说明标签价值不能只看调用量,并给出三层质量指标;资产分级脱敏与审计讲资产的分级分类、脱敏与加密、监控审计。
成本运营方面,按数据阶段优化存储成本按数据阶段优化存储成本,计算成本的五种浪费归纳计算成本的五种浪费,成本账单落到责任人主张把成本账单落实到责任人。最后,业务部门应推动资产优化总结三条运营经验,其中最关键的判断是业务部门才是资产优化的合适推动者;把规范融入工具则强调把规范融入工具。
第10章 数据安全管理
第 10 章单独讨论安全。数据安全的损害与挑战说明数据安全问题在个人、组织、公共和国家四个层面的损害,以及平台、服务和数据本身三类技术挑战。数据安全管理体系六层给出贯穿数据生命周期的六层安全管理体系。
技术手段方面,认证权限与多租户隔离介绍 Kerberos 加 LDAP 的统一认证、表级与字段级权限以及多租户隔离;对称与非对称加密的选用讲先分级再加密的原则和对称与非对称加密的选用;共享暗水印与分级容灾讲脱敏方法、共享文件的数字暗水印、分级容灾以及隐私计算等技术趋势。
第3部分 数据中台工程化交付体系
第三部分只有第 11 章,把数据中台的建设过程固化为可复制的工程化交付框架。
第4部分 数据中台行业解决方案与案例
第四部分是六个行业案例。它们都沿用前面的方法论,但侧重点各不相同。
第12章 政务行业案例:浙江某区县公共数据平台项目
先编目后归集的推进路径记录区县公共数据平台“先编目、后归集”的推进路径,包括数源单位的编目责任、归集优先级和“目录之外无应用,目录之外无数据”的长效机制。政务数据治理与共享闭环讲政务数据的质量来源、治理闭环、共享前置条件和保障体系,以及项目成效。
第13章 制造行业案例:S集团财务资金风险监控平台项目
应收应付全链路监控介绍一家工程机械企业如何把应收应付数据独立入湖、串成全业务链,并用规则引擎做防篡改和合规校验,使风险监控覆盖率从 60% 提升到 80%。
原书依据 · 1 处
第14章 汽车行业案例:W集团车联网大数据分析平台项目
车联网的平台数据应用介绍车联网平台“平台 + 数据 + 应用”的建设思路,包括先用演示环境获得批准、数据指标化与标签化,以及里程预测和驾驶行为分析两个 AI 场景。
原书依据 · 1 处
第15章 地产行业案例:Z集团客户数据中台从规划到落地
客户产品员工三类拉通讲地产集团如何基于 OneID 拉通客户、产品、员工三类数据,并为每个房间建立全生命周期档案。客户原声解析与缺陷溯源讲如何用算法解析客户原声并把产品缺陷溯源到责任环节。
第16章 零售行业案例:B公司零售大数据平台项目
零售人货场标签与OneID介绍生鲜零售企业的五层架构、“人、货、场”标签体系和打通多渠道会员的 OneID。
原书依据 · 1 处
第17章 医药行业案例:央国企S公司的数字化转型项目
场景驱动的转型蓝图讲医药企业如何以营销域为试点,用场景驱动的方式推演数字化蓝图,并只把具备数据条件的高优先级场景放进一期。总仓加分仓的数仓模式介绍“总仓 + 分仓”的数仓模式,以及在需求变化快的项目中如何用多个铁三角保障交付。
跨章综合
“机制”而非“产品”是全书反复强调的定位。 从第 1 章的定义(数据中台是持续用数机制)、第 2 章与大数据平台的区分(数据中台不是大数据平台),到第 9 章“数据大屏不等于数据中台”(中台运营的四个切入点)和第 3 章“不要被厂商概念迷惑”(何种企业适合建数据中台),作者一直在说明:技术只是一部分,组织、标准和运营决定中台能否持续。
数据是否可以重建,决定了多处设计。 第 4 章倾向 ELT(采集汇聚交换与ELT)、第 6 章贴源层保留原始数据(贴源数据表的设计规范)、第 7 章按可恢复性定生命周期(按可恢复性定生命周期)和第 9 章的存储成本优化(按数据阶段优化存储成本)都基于同一个判断:原始数据丢了就找不回,中间数据只要逻辑在就能重算。
ID 打通是标签和画像的前提。 第 6 章的 ID-Mapping 与置信度(ID打通与置信度选择)在地产案例的客户 ID 拉通(客户产品员工三类拉通)和零售案例的 OneID(零售人货场标签与OneID)中都得到了应用。
规范要靠工具和责任落地。 数据标准难在落地(数据标准难在落地),质量问题根源在管理(数据质量的九项标准),所以作者主张把规范融入工具(把规范融入工具),把成本和问题落实到责任人(成本账单落到责任人),并让业务部门推动资产优化(业务部门应推动资产优化)。
原书依据 · 16 处
- 第1章 解码数据中台 · 查看原书依据
- 第2章 数据中台建设与架构 · 查看原书依据
- 第9章 数据中台运营机制 · 查看原书依据
- 第3章 数据应用成熟度评估与成功要素 · 查看原书依据
- 第4章 数据汇聚:打破企业数据孤岛 · 查看原书依据
- 第6章 数据体系建设 · 查看原书依据
- 第7章 数据资产管理 · 查看原书依据
- 第9章 数据中台运营机制 · 查看原书依据
- 第6章 数据体系建设 · 查看原书依据
- 第15章 地产行业案例:Z集团客户数据中台从规划到落地 · 查看原书依据
- 第16章 零售行业案例:B公司零售大数据平台项目 · 查看原书依据
- 第7章 数据资产管理 · 查看原书依据
- 第7章 数据资产管理 · 查看原书依据
- 第9章 数据中台运营机制 · 查看原书依据
- 第9章 数据中台运营机制 · 查看原书依据
- 第9章 数据中台运营机制 · 查看原书依据
发散与实践
本书生成了两张实践卡:一张用九项质量标准为本仓库的 cardbox 卡片库设计只读体检清单,对应数据质量的九项标准;另一张按可恢复性为本地批次产物制定保留策略,对应按可恢复性定生命周期和按数据阶段优化存储成本。