主题对照

企业数据战略、组织与价值评估

比较企业如何确定大数据战略定位与启动时机、设计数据部门组织与岗位、评估数据投入产出与资产价值,以及数据与业务、经验决策之间的协作边界。

65 张卡片 · 8 本书

本层 65 张卡片 · 含下级覆盖 65 张卡片

本主题的卡片

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位

大数据的判定门槛

Gartner 强调大数据需要新处理模式才具备决策力,麦肯锡强调规模超出传统数据库工具的获取、存储、管理和分析能力。判定门槛不是体量本身,而是常规工具能否处理。可从 6 个维度判断:容量、种类、速度、真实性、复杂性和价值(价值密度低)。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位

大数据价值由内向外

大数据对企业的价值是逐层释放的:先连接内部信息孤岛、实现全景查阅,再整合 IT 资源、缩短数据提取计算时间,然后延伸到供应链上下游做数据共享,最后借助算法发现业务规律、驱动业绩与用户体验。越往外越依赖前面打下的数据基础。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位

战略定位上下结合

大数据战略定位可以自下而上,也可以自上而下。自下而上容易落地,但总体战略可能不明确;自上而下更贴合企业竞争地位与市场需求,但若得不到认可或贯彻不到底也难落地。两种方式各有利弊,需要结合使用。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位

大数据战略四问

制定大数据战略前要回答四个问题:有什么数据(自有、合作伙伴、互联网,及其可靠性与质量);用什么技术实现(按需选用,不盲目求全);如何保证顺利完成(监督体系、管理模式和奖惩机制);应用策略是什么(各职能部门的落地需求,由 PMO 统筹)。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位

资源协同难在人

大数据涉及的内部资源分人、财、物三类,最难协同的是人,员工的行为直接成就或破坏大数据战略。常见阻力来自组织变革:目标不明确、新规则威胁旧权利、知识分享缺乏激励。应对思路是目标清晰化、管理扁平化、能力可量化、知识透明化。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位

功能定位五步递进

大数据功能定位分五步:打通数据孤岛,一站式整合结构化与非结构化数据;借数据血缘理解数据结构;通过过滤、填充、合并建立数据标准;融合分类、聚类、回归等算法建设模型;让模型在营销、广告、征信、风控等领域商用。每一步都以前一步为基础。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位

拖延启动代价更高

书中四类客户说明拖延大数据的代价:A 认为数据库够用,等需要时已理不清数据,只能重构;B 靠一位架构师维系,人走即失控;C 自己做但缺统一团队和标准流程,迟迟无进展;D 有团队但流程和执行力不足,数据仍对不上业务和财务。拖延只会把成本推到事后补救。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位

阶段决定数据目标

大数据目标随企业发展阶段变化:初创期重在生存,只需奠定数据收集、标准和整合的基础;发展期转向发现业务规律、管控风险,建立模型传递给各部门;成熟期和衰退期要借数据创新,打通行业孤岛、搭建平台、寻求跨行业合作。不存在通用的最优大数据战略。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位

规划三阶段与六层服务

企业大数据规划实施建议按三个阶段推进:现状理解(分析企业现状及需求、整理行业优秀实践、研究舆情与竞争对手,确定有价值的商业目标);方案设计(包含方案架构设计、应用策略、管控体系设计、IT体系设计四部分,其中方案架构要说清楚商业目标、软硬件与业务架构、实施计划和预期成本收益,管控体系要说清楚目标如何分解、方案是否偏移、奖罚与汇报机制);实施规划(细化每个产品从需求调研到部署上线的完整节奏,并按需引入外部供应商补足人力技术短板)。方案设计阶段中的IT体系设计进一步分为六层,各司其职:IaaS硬件服务层(计算/存储/网络资源)、PaaS平台服务层(存储组件、分布式协调、服务总线、消息总线、数据存储计算挖掘、全文检索、算法服务)、DaaS数据服务层(数据指标、数据模型、专家库)、SaaS软件服务层(面向各职能部门的应用产品)、OaaS运维服务层(运营和运维两层管理)、安全服务层(物理/网络/应用/数据安全)。这套六层划分的价值在于把”基础设施-平台能力-数据资产-业务应用-运维保障-安全兜底”清晰分层,任何一层出问题都可以定位到具体责任边界,而不是笼统地说”大数据系统”哪里坏了。

结构图:

flowchart TB
  A["阶段①现状理解<br/>需求分析+行业实践+舆情竞对研究"] --> B["阶段②方案设计"]
  B --> B1["方案架构设计"]
  B --> B2["应用策略"]
  B --> B3["管控体系设计"]
  B --> B4["IT体系设计(六层)"]
  B4 --> C1["IaaS 硬件服务层"]
  B4 --> C2["PaaS 平台服务层"]
  B4 --> C3["DaaS 数据服务层"]
  B4 --> C4["SaaS 软件服务层"]
  B4 --> C5["OaaS 运维服务层"]
  B4 --> C6["安全服务层"]
  B --> D["阶段③实施规划<br/>需求-设计-开发-测试-上线+供应商选型"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据职能规划

数据部门四种角色

企业大数据部门在组织中的地位可以按成熟度分成四个递进阶段。路人:部门处于企业边缘,职能定位不清晰、缺乏数据价值产出、没有大领导对接C-Level汇报,判断标准是反问”如果没有大数据部门,企业会损失什么”,答不上来就是路人状态。侍从:已有明确工作需求,承担数据管理、数据查询(业务部门”取数”)、数据校验、数据统计等职能,但缺乏独立自主性,永远是被动等待分配任务,无法决定业务该做什么。灯塔:企业的工作方向需要大数据部门指导,承担剖析过去(提炼历史规律)、监控现在(实时告警异常)、预测未来(辅助制定KPI与资源规划)三类职能,工作核心不再是执行而是给业务提供方向。先知:数据脱离对业务主体的依托,借助非结构化数据和人工智能技术自主创造、思考和优化业务,目前尚无大规模综合应用案例,只在垂直领域(机器翻译、语音识别等)有所突破。四个阶段的本质差异是”数据是否只能被动服务于业务、还是能反过来主导业务”。

结构图:

flowchart LR
  A["路人:可有可无<br/>无价值产出无高层汇报"] --> B["侍从:被动执行<br/>数据管理/查询/校验/统计"]
  B --> C["灯塔:主动指导<br/>剖析过去/监控现在/预测未来"]
  C --> D["先知:脱离业务依托<br/>数据自主创造和优化业务(尚未大规模落地)"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据职能规划

四种数据组织架构

企业大数据组织架构常见四种类型。分散型:数据部门分散挂在各业务中心之下,前期投入小、业务熟悉度高,但数据质量难保证、易形成孤岛、指标口径不统一、难以形成合力,常见于企业初期。集中型:所有数据工作汇总到IT中心统一管理,解决了口径不一致和质量问题,但业务理解弱、沟通流程复杂、技术响应慢,可通过派驻数据分析师入驻业务中心缓解,但分析师组织关系仍归技术中心。复合型:数据端集中到统一中心保证质量标准化,业务端在各业务中心设支持部门保证落地应用,IT/数据中心负责统一口径、搭建平台、开发智能产品,业务中心负责本地化应用和反馈需求,兼顾两者优点。矩阵型:常见于项目制的第三方服务公司,以项目而非部门为基本单位,资源池统一调度、项目独立核算,但员工缺乏归属感、成长路径受限、企业文化难落地。四种架构的核心权衡是”数据质量集中管控”与”业务贴合度”之间的取舍,复合型本质是用组织复杂度换取两头兼顾。

结构图:

flowchart TB
  A["分散型:挂各业务中心<br/>业务贴合但质量口径混乱"]
  B["集中型:全部收归IT中心<br/>质量统一但业务理解弱"]
  C["复合型:数据集中+业务分设支持部门<br/>两者兼顾,组织复杂度上升"]
  D["矩阵型:以项目为单位的资源池调度<br/>常见于第三方服务/项目制公司"]
  A -->|升级为解决孤岛问题| C
  B -->|派驻分析师缓解业务理解弱| C
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据职能规划

制度规范看规模

大数据制度与流程规范能让运作有序、降低沟通成本,界定各部门权责以免推诿越权,并通过约束降低业务和数据安全风险。但它主要适用于大中型企业;小企业更适合灵活管理、直接沟通和扁平化,生搬硬套只会增加流程负担。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据职能规划

数据项目六阶段

数据挖掘、分析和应用类工作按项目流程可分为六个阶段。需求沟通:不合理或不可行的需求当天直接驳回,建议设固定的数据对接人;纯粹是”验证效果”这类低价值需求应培训业务方自行实现,而非占用数据部门时间。需求提报:不符合公司利益的需求同样被驳回,涉及敏感指标或高权限的需求需走OA系统审批,通常1-7天完成。商业理解:把业务语言翻译成数据语言,明确预期效果的维度和范围,通常2-3天,产出是思维导图形式的分析思路。数据准备:从数据仓库取数、验证质量、特征提取、异常值处理、转换合并,通常1-4天,是最费时也最容易被低估的环节——原始数据质量差会直接拖累后续挖掘效果。数据挖掘(含分析):核心环节,涵盖统计方法、传统建模方法和监督/非监督学习算法,至少一周,产出挖掘报告。部署实施:包含结果沟通、制定落地方案、业务落地执行、数据再优化四个子步骤,约2周,最终产出落地计划和执行评估报告。整条流程的价值在于把”数据工作”从一个模糊的黑箱拆成六个有明确产出物和时间预期的环节,任何一步失控整个项目就会失去可追溯性。

结构图:

flowchart LR
  A["需求沟通<br/>1天内反馈"] --> B["需求提报<br/>1-7天"]
  B --> C["商业理解<br/>2-3天"]
  C --> D["数据准备<br/>1-4天(最易被低估)"]
  D --> E["数据挖掘/分析<br/>至少1周"]
  E --> F["部署实施<br/>约2周<br/>结果沟通→落地方案→执行→再优化"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据职能规划

数据挖掘岗边界模糊

数据挖掘岗很难固化定义:所需的统计、开发技能与算法开发岗高度重合;工作本身既可偏纯算法研究,也可偏会员挖掘、营销挖掘等业务应用。因此同名岗位在不同公司可能归技术序列或业务序列,实践中归入技术序列的居多。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路

平台六大规划原则

大数据平台规划需要同时满足六项原则。价值性:先梳理现有数据的量、类型、质量和分布,评估数据价值是建平台的前提,数据质量差就先补业务系统的数据规范,而不是急着上平台。实时性:传统定时批量处理会导致发现问题为时已晚,平台必须解决实时录入、实时计算、实时提取三个环节,否则只是升级版传统数据仓库。高效性:解决跨平台异构计算、任务优先级调度、传统ETL耗时过长三类效率瓶颈。安全性:按系统类(入口访问控制)、功能类(操作流程限制)、数据类(字段级与行级权限)、资源类(计算资源分配)四层设计,粒度从粗到细依次是系统→功能→数据→资源。延展性:通过组件化结构、标准化接口、开放功能包三种手段支撑未来的硬件、功能、应用扩展,降低二次开发成本。全局性:大型企业需要顶层设计覆盖技术架构、部署架构、资源评估、云形态、数据治理、应用整合、可维护性和内部推广培训等全维度,避免局部优化导致后期推倒重来。六项原则不是并列清单,而是分别从”值不值得建、建得动不动、建得快不快、建得稳不稳、建完能不能扩、建完能不能撑住整个企业”六个角度检验平台设计。

结构图:

flowchart TB
  A["大数据平台规划六原则"]
  A --> B["价值性:数据质量是前提"]
  A --> C["实时性:拒绝沦为升级版数据仓库"]
  A --> D["高效性:解决异构计算/调度/ETL耗时"]
  A --> E["安全性:系统→功能→数据→资源(粗到细)"]
  A --> F["延展性:组件化+标准化接口+开放功能包"]
  A --> G["全局性:顶层设计覆盖全维度"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路

蓝图与建设目标

目标蓝图强调整体、远期、宏观的方向定位;建设目标关注局部、近期、微观的需求点,直接决定实施进度和成果。建设目标应覆盖三层服务对象:企业客户(个性化与便捷)、企业自身(各职能的数据助手)、合作伙伴与产业链(整合上下游数据、共同成长)。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路

工作架构四层次

确定大数据组织职能前,先要理解大数据的工作架构分四层。源数据层:企业拥有的内外部数据,内部含本地文件和各应用系统数据,外部含网络数据和合作伙伴数据——巧妇难为无米之炊,没有源数据一切都无从谈起。数据整合层:把分散在各系统各角落的多源多库多表数据统一规整成可随时查询分析的格式,核心动作是合并、追加、汇总、排序。数据清洗层:按规则对数据做抽样、填补、删除、转换、筛选、计算,让数据能真实反映业务情况——清洗规则必须在具体业务情景指导下制定,脱离业务场景的清洗只是”空中楼阁”。数据使用层:大数据的最终目标层,把结果应用到生产或服务中,可能是可视化报表也可能是智能应用,具体到企业场景就是智能营销、智能财务、智能客服等。四层是严格自下而上的依赖关系:没有源数据就没法整合,没整合干净就没法清洗出有意义的结果,清洗质量决定了最终应用层面的价值上限。

结构图:

flowchart TB
  A["源数据层:内部本地文件/应用系统<br/>外部网络数据/合作伙伴数据"] --> B["数据整合层:合并/追加/汇总/排序"]
  B --> C["数据清洗层:抽样/填补/删除/转换/筛选<br/>必须在具体业务场景指导下进行"]
  C --> D["数据使用层:可视化/数据分析/数据模型/数据智能<br/>落地为智能营销/智能客服等具体应用"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路

PMO凌驾业务与IT

大数据 PMO 负责战略规划、产品定位、价值评估和资源平衡,它不隶属业务线或 IT 线,而是凌驾于两者之上,须由高层直接建立或自上而下部署。常见失败模式是从各部门抽调人员组项目组,项目结束各自归队,没有持续推动者完成闭环。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路

数据分析是枢纽

数据分析岗位是输入输出枢纽。输入包括数据内容、业务规则(指标先定义清楚)、分析方法和数据产品;输出包括数据报告(日常、经营、专题、战略)、数据价值(落地产生的经济效益)和数据标准(指标定义、来源与处理规范,可提升后续分析效率)。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路

人才引进三冲突

引进大数据人才会带来三类冲突:薪酬冲突,空降人才薪资高于内部,应公开差异并与市场回报挂钩;文化冲突,原环境差异越大、职位越高越明显;人员流失,未融入团队的空降人才可能排挤原有人才,最终新老双向流失。人才融入需要专门设计。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路

数据是锦上添花

数据投入产出有四个特征:逐利性、最优化(以最小投入获最大产出)、复杂性(风险不可避免,产出效果难以单独归因)、阶段性(数据规模不够时难以挖出规律)。因此数据多数时候是锦上添花而非雪中送炭;企业做大之后,数据投入产出评估的价值才真正显现。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路

数据投入产出评估

数据投入包含六类成本:固定投入费用(土地机房设备等一次性投入)、运营维护费用(日常运维、租赁、人力等持续投入)、时间成本(清洗沟通等隐性耗时)、风险成本(泄露和应用风险可能带来的损失)、机会成本(资源投入数据而非产品研发的替代性损失)、数据获取成本(购买或交换数据的直接花费)。数据产出包含两类:业务价值提升(营销成本降低、转化率提高等辅助决策效果,需通过优化前后对比评估)、数据现金流贡献(数据直接催生的新业务模式或新收入点,例如新广告位、个性化推荐佣金)。两端都通过总量、平均量、边际量三个指标衡量:总成本/总利润是简单加总;平均成本/平均利润是按主体(如人均)拆分;边际成本/边际利润则揭示了非线性规律——投入侧的单位成本会随规模扩大先高后降(固定成本被摊薄);产出侧的边际利润则呈现三阶段:初期随规模上升,达到一定规模后遇到瓶颈,若继续无节制投入资源反而因浪费导致边际利润下降。这套框架的价值在于把”数据到底值不值得投”从一句模糊判断变成一张可以逐项核算的成本收益表。

结构图:

flowchart LR
  subgraph IN["数据投入六类成本"]
    I1["固定投入"] 
    I2["运营维护"]
    I3["时间成本"]
    I4["风险成本"]
    I5["机会成本"]
    I6["数据获取成本"]
  end
  subgraph OUT["数据产出两类构成"]
    O1["业务价值提升"]
    O2["数据现金流贡献"]
  end
  IN --> M["总量/平均量/边际量三指标衡量"]
  OUT --> M
  M --> E["边际效应三阶段:规模效应上升→瓶颈→过度投入反而下降"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据价值评估

数据资产价值五维度

大数据虽然还没被企业当作资产运营,但已经符合”归属企业所有、基于过去行为产生、能带来经济利益”这三个资产特征。评估这份资产的价值要综合考虑五个维度。数据规模:不只是存储容量,还要看数据记录数(样本量)和数据特征数(可用维度),三者缺一不可。数据价值度:从实名(能否对应到真实个体)、相对稳定(更新频率是否合理)、结构化(是否利于挖掘)、业务相关(是否贴近核心业务)、可验证(真实性有效性能否核实)五方面衡量。数据鲜活性:既要求数据本身随业务变化及时更新,也要求更新的频率(毫秒级到天级)匹配数据本身的变化速度——性别几乎不用更新也能保持鲜活,但收入这类波动大的字段就需要高频更新才可信。数据关联维度:数据能否和其他数据打通整合,取决于关联标志是否唯一、通用、可识别、不变、健全。数据粒度:粒度越细可挖掘价值越大,基于每个事件的数据价值最高,其次是分层汇总统计,最后是整体汇总统计。五个维度共同决定了”这批数据到底值多少钱”,而不是简单看数据量大小。

结构图:

flowchart TB
  A["大数据资产价值评估五维度"]
  A --> B["数据规模:存储容量+记录数+特征数"]
  A --> C["数据价值度:实名/稳定/结构化/业务相关/可验证"]
  A --> D["数据鲜活性:本身及时更新+更新频率匹配变化速度"]
  A --> E["数据关联维度:唯一/通用/可识别/不变/健全"]
  A --> F["数据粒度:越细可挖掘价值越大"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据价值评估

容量大不等于样本多

评估数据规模不能只看存储容量。三种容量大但价值低的情形:单个对象很大但记录少,如 2GB 视频只算 1 个样本;记录少但维度极多,如 100 个客户各有 1 万个维度,带来稀疏和共线性;记录和维度都不多,但单个维度(如大文本字段)容量很大。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据价值评估

业务价值三环节

大数据对企业运营优化的价值覆盖决策、执行、评估三个环节。决策制定:基于历史数据形成对未来的预估,帮助企业建立预期目标、提前识别异常并做资源协调(例如预判下月流量300-500万,就该提前保障网站响应能力和营销预算)。业务执行:又分两类落地场景——第一类是明确的业务执行规则,数据直接给出可执行的具体特征(例如”要挽回流失会员,应挑选收入>5400元、最近购买时间5个月前、总订单金额元的会员”),这类规则可以直接被业务采用,落地价值最高;第二类是模糊的执行规则,数据只给出方向和路径,仍需业务人员进一步核实判断(例如”哪些页面流量最大,可以从这些页面入手提升站内引流”),是给业务的方向指示灯而非可以直接执行的清单。效果评估:又分效果定义(判断结果是否符合预期、是正常波动还是异常信号——”昨日订单量超过30000单”只是陈述,”超过正常水平230%“才是真正的结论定义)和效果分析(针对已知结论回答”为什么”,或针对未知领域探索”是什么”)。三环节呈现清晰的递进关系:决策制定回答”要不要做、准备什么资源”,业务执行回答”具体怎么做”,效果评估回答”做得好不好、为什么”。

结构图:

flowchart LR
  A["①决策制定<br/>基于历史预估未来,建立预期与资源图谱"] --> B["②业务执行"]
  B --> B1["明确规则:直接给可执行清单<br/>落地价值最高"]
  B --> B2["模糊规则:只给方向<br/>需业务进一步核实"]
  B --> C["③效果评估"]
  C --> C1["效果定义:判断正常/异常<br/>不是简单陈述数字变化"]
  C --> C2["效果分析:已知结论问为什么<br/>未知领域探索是什么"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据价值评估

结论要判断正常异常

“昨日比前日增长 20%”“流量下降 40 万”只是数据陈述。结论定义还要判断变化属于正常波动还是异常,例如“订单量超过正常水平 230%”“过去 1 小时流量突降 75%,是异常预警信号”“周注册量环比增 7%,属正常波动”。这样的结论才给出是否需要行动的依据。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据价值评估

销售贡献直接间接

评估数据对销售的贡献要区分两种:直接销售收入,指靠数据精准推送、被客户接受而促成的销售;间接销售收入,指数据与其他业务优化协同促成的提升,理论上要在其他要素不变的前提下对比数据介入前后。但现实中内外部因素难以控制,这种对比只能提供相对的参考估算。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战

数据价值难以量化

几乎所有公司都无法直接衡量大数据工作的价值,尤其是财务量化,没人能回答“没有大数据企业会损失多少钱”,这是价值评估的最大挑战。根本原因在于大数据价值具有模糊性,它无法独立于业务而单独存在,也就无法把数据的贡献从业务贡献中剥离出来。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战

大数据三类边界

大数据看似能覆盖企业运营的方方面面,但有三类领域是它天生难以触及的。稀疏或罕见事件:数据预处理阶段通常会把异常值处理掉,罕见事件恰恰对应着这些异常值,即便专门针对异常数据去挖掘,海量数据里也只有寥寥几条相关记录——事件本身发生得太偶然,从数据角度根本看不出规律。社会化认知知识:计算机擅长的是显性规则计算(空间、维度、数量、距离都是它的计算基础),但涉及情感、关系、上下文情景、背景环境这类掺杂社会化属性的问题时,计算机很难理解、分辨、计算和表达。难以量化的实体和属性:很多实体属性根本无法直接用数据衡量,比如判断”这个人像张三”时,”像”的程度到底是多少,这种连人类自己都说不清楚的东西,大数据更难衡量和测算。三类边界共同揭示了大数据能力的天花板:它擅长处理”数据量足够大、规则足够显性、属性足够可量化”的问题,一旦某个维度跌破这个门槛(太罕见、太依赖社会语境、太模糊),再多的数据和算力也无济于事。

结构图:

flowchart TB
  A["大数据能力天花板"]
  A --> B["稀疏罕见事件<br/>异常值被过滤,样本太少无规律"]
  A --> C["社会化认知知识<br/>情感/关系/语境计算机难以表达"]
  A --> D["难以量化的实体属性<br/>连人类自己都说不清的模糊程度"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战

产出四类意义缺为什么

大数据工作流末端产出的报表、数字、图像或结论,从结果意义上可归为四类。计划预测:对未来的预估推断,回归、分类都属此类,解答”是什么”的问题(预测结果是什么数值或类别)。结论定义:对现在或过去的结果做判断,评估是否符合预期或存在异常,异常检测属此类,解答”是什么”和”怎么样”的问题。规则提取:从数据中提取频繁规则来指导业务实践,频繁项集属此类,解答”是什么”和”怎么办”的问题。探索性知识:在没有明确先导结论时围绕某主题做探索性挖掘,聚类属此类,解答”是什么”的问题。但这四类意义里,恰恰缺了一个最常被业务方追问、也最重要的类型——”为什么”,即到底是哪些因素导致了某个结论、各因素的因果联系程度如何。书中举例:某公司昨日订单量增加15万单,到底是流量质量好、促销策划合理、页面体验好还是商品折扣高导致的?大数据通常很难解答这类问题,原因有二:一是无法通过多变量测试来控制单一因素,因为业务场景已经发生、环境要素都在同时变化,无法针对全局样本重新做对照实验;二是像”流程合理性”“页面体验友好度”这类属性本身很难被客观量化,连专家打分法也难以给出可信解释,量化的第一步就卡住了。这说明大数据擅长回答”发生了什么、会发生什么、该怎么办”,但对”根本原因是什么”这类因果推断问题,天生存在方法论上的局限。

结构图:

flowchart TB
  A["大数据产出的四类意义"]
  A --> B["计划预测:是什么<br/>回归/分类"]
  A --> C["结论定义:是什么+怎么样<br/>异常检测"]
  A --> D["规则提取:是什么+怎么办<br/>频繁项集"]
  A --> E["探索性知识:是什么<br/>聚类"]
  F["缺失的第五类:为什么<br/>因果归因,大数据难以解答"]
  A -.对比.-> F
查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 1766 事件是事实来源 路径上下文 复杂软件设计之道:领域驱动设计全面解析与实战 · 事件溯源 理解等级:未标注
    • 展开或收起下级: 1766.d 投射连接读写 路径上下文 复杂软件设计之道:领域驱动设计全面解析与实战 · 事件溯源 理解等级:未标注
  • 展开或收起下级: 1841 比特衰减与动态平衡 路径上下文 演进式架构(原书第2版) · 演进软件架构 理解等级:未标注
    • 展开或收起下级: 1841.h 演进架构的三个条件 路径上下文 Building Evolutionary Architectures Automated Software Governance, 2nd Edition · Evolving Software Architecture 理解等级:中级
      • 展开或收起下级: 1841.h.1 适应度引导变化 路径上下文 Building Evolutionary Architectures Automated Software Governance, 2nd Edition · Evolving Software Architecture 理解等级:中级
        • 展开或收起下级: 1841.h.1.a 适应度函数的定义 路径上下文 Building Evolutionary Architectures Automated Software Governance, 2nd Edition · Fitness Functions 理解等级:初级
          • 展开或收起下级: 1841.h.1.a.1 循环依赖扩散变化 路径上下文 Building Evolutionary Architectures Automated Software Governance, 2nd Edition · Fitness Functions 理解等级:中级
            • 展开或收起下级: 1841.h.1.a.1.a 入耦合与出耦合 路径上下文 Building Evolutionary Architectures Automated Software Governance, 2nd Edition · Automating Architectural Governance 理解等级:中级
              • 展开或收起下级: 1841.h.1.a.1.a.3 共变性识别连锁修改 路径上下文 Building Evolutionary Architectures Automated Software Governance, 2nd Edition · Evolutionary Architecture Topologies 理解等级:初级
                • 展开或收起下级: 1841.h.1.a.1.a.3.f 强度距离与影响面 路径上下文 Building Evolutionary Architectures Automated Software Governance, 2nd Edition · Evolutionary Architecture Topologies 理解等级:高级
                  • 展开或收起下级: 1841.h.1.a.1.a.3.f.1 限界上下文保护模型 路径上下文 Building Evolutionary Architectures Automated Software Governance, 2nd Edition · Evolutionary Architecture Topologies 理解等级:中级
                    • 展开或收起下级: 1841.h.1.a.1.a.3.f.1.f 正交耦合分开关注点 路径上下文 Building Evolutionary Architectures Automated Software Governance, 2nd Edition · Evolutionary Architecture Topologies 理解等级:中级
                      • 展开或收起下级: 1841.h.1.a.1.a.3.f.1.f.1 数据网格的四个原则 路径上下文 Building Evolutionary Architectures Automated Software Governance, 2nd Edition · Evolutionary Architecture Topologies 理解等级:中级
                        • 1841.h.1.a.1.a.3.f.1.f.1.b 数据网格的四个组成 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第3章 设计好的数据架构 理解等级:中级
  • 展开或收起下级: 1845 共生性:给耦合一套精确词汇 路径上下文 演进式架构(原书第2版) · 演进式架构拓扑 理解等级:未标注
  • 展开或收起下级: 1958 分治知识抽象三武器 路径上下文 恰如其分的软件架构 · 概述 理解等级:未标注
    • 展开或收起下级: 1958.ac 架构统筹整体并预防风险 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第1章 架构师的修炼 理解等级:中级
      • 展开或收起下级: 1958.ac.3 架构师连接业务与研发 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第1章 架构师的修炼 理解等级:中级
        • 展开或收起下级: 1958.ac.3.a 技术价值要落到业务结果 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第1章 架构师的修炼 理解等级:中级
          • 1958.ac.3.a.5 先问数据业务再建平台 主题成员 架构真意企业级应用架构设计方法论与实践 · 第10章 大数据时代变革 理解等级:中级
          • 1958.ac.3.a.6 建设路线兼顾全局与落地 主题成员 架构真意企业级应用架构设计方法论与实践 · 第10章 大数据时代变革 理解等级:高级
  • 展开或收起下级: 2275 系统三要素 路径上下文 从零开始学架构 · 架构到底是指什么? 理解等级:未标注
    • 展开或收起下级: 2275.as 运维平台四化 路径上下文 从零开始学架构 · 互联网架构模板:"平台"技术 理解等级:未标注
      • 展开或收起下级: 2275.as.6 数据平台承载数据价值 主题成员 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:初级
        • 展开或收起下级: 2275.as.6.d 存储按访问用途分层 路径上下文 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
          • 2275.as.6.d.1 数仓整合历史数据 主题成员 Practical Lakehouse Architecture · Chapter 2. Traditional Architectures and Modern Data Platforms 理解等级:初级
        • 展开或收起下级: 2275.as.6.f 数据产品面向消费 主题成员 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:初级
          • 展开或收起下级: 2275.as.6.f.3 数据网格由领域负责数据产品 路径上下文 Practical Lakehouse Architecture · Chapter 7. The Big Picture: Designing and Implementing a Lakehouse Platform 理解等级:中级
          • 2275.as.6.f.4 数据产品需可用契约 主题成员 Learning Domain-Driven Design · 数据网格 理解等级:高级
        • 展开或收起下级: 2275.as.6.j 数据应用需要贯通治理链 主题成员 架构真意企业级应用架构设计方法论与实践 · 第三部分导读 理解等级:中级
          • 2275.as.6.j.1 数据价值从保存走向应用 主题成员 架构真意企业级应用架构设计方法论与实践 · 第10章 大数据时代变革 理解等级:中级
          • 2275.as.6.j.4 数据应用成熟度的四个侧面 主题成员 架构真意企业级应用架构设计方法论与实践 · 第10章 大数据时代变革 理解等级:中级
        • 展开或收起下级: 2275.as.6.k 数据中台以持续价值为核心 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第10章 大数据时代变革 理解等级:中级
  • 展开或收起下级: 2280 故障不同于失效 路径上下文 数据密集型应用系统设计 · 可靠性、可伸缩性、可维护性 理解等级:未标注
    • 展开或收起下级: 2280.h 可维护性三支柱 路径上下文 数据密集型应用系统设计 · 可靠性、可伸缩性、可维护性 理解等级:未标注
      • 展开或收起下级: 2280.h.1 组合工具即成为系统设计者 路径上下文 数据密集型应用系统设计 · 第一章:可靠性、可伸缩性、可维护性 理解等级:初级
        • 展开或收起下级: 2280.h.1.a 数据工程的定义 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第1章 数据工程概述 理解等级:初级
          • 2280.h.1.a.2 从大数据工程师到生命周期工程师 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第1章 数据工程概述 理解等级:中级
          • 2280.h.1.a.3 数据工程在数据科学上游 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第1章 数据工程概述 理解等级:初级
          • 2280.h.1.a.4 数据成熟度的三个阶段 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第1章 数据工程概述 理解等级:中级
          • 2280.h.1.a.5 A型与B型数据工程师 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第1章 数据工程概述 理解等级:中级
          • 2280.h.1.a.6 数据工程师的上下游与方向 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第1章 数据工程概述 理解等级:初级
          • 展开或收起下级: 2280.h.1.a.7 评估源系统的问题清单 路径上下文 数据工程之道-设计和构建健壮的数据系统 · 第2章 数据工程生命周期 理解等级:中级
            • 2280.h.1.a.7.c 数据只有被使用才有价值 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第2章 数据工程生命周期 理解等级:中级
          • 展开或收起下级: 2280.h.1.a.10 先懂源系统再取数 路径上下文 数据工程之道-设计和构建健壮的数据系统 · 第5章 源系统中的数据生成 理解等级:初级
            • 2280.h.1.a.10.i 数据共享与第三方数据 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第5章 源系统中的数据生成 理解等级:初级
          • 展开或收起下级: 2280.h.1.a.14 信任是数据服务之本 路径上下文 数据工程之道-设计和构建健壮的数据系统 · 第9章 为分析、机器学习和反向ETL提供数据服务 理解等级:初级
            • 2280.h.1.a.14.b 自助服务为何难成 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第9章 为分析、机器学习和反向ETL提供数据服务 理解等级:中级
          • 2280.h.1.a.16 工具越简单工程师越上移 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第11章 数据工程的未来 理解等级:初级
  • 展开或收起下级: 2770 大数据的判定门槛 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位 理解等级:未标注
    • 2770.a 大数据价值由内向外 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位 理解等级:未标注
    • 2770.b 战略定位上下结合 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位 理解等级:未标注
    • 2770.c 大数据战略四问 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位 理解等级:未标注
    • 2770.d 资源协同难在人 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位 理解等级:未标注
    • 2770.e 功能定位五步递进 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位 理解等级:未标注
    • 2770.f 拖延启动代价更高 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位 理解等级:未标注
    • 2770.g 阶段决定数据目标 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位 理解等级:未标注
    • 2770.h 规划三阶段与六层服务 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据战略定位 理解等级:未标注
  • 展开或收起下级: 2771 数据部门四种角色 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据职能规划 理解等级:未标注
    • 2771.a 四种数据组织架构 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据职能规划 理解等级:未标注
    • 2771.b 制度规范看规模 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据职能规划 理解等级:未标注
    • 2771.c 数据项目六阶段 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据职能规划 理解等级:未标注
    • 2771.d 数据挖掘岗边界模糊 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据职能规划 理解等级:未标注
  • 展开或收起下级: 2773 平台六大规划原则 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路 理解等级:未标注
    • 2773.a 蓝图与建设目标 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路 理解等级:未标注
    • 2773.b 工作架构四层次 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路 理解等级:未标注
    • 2773.c PMO凌驾业务与IT 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路 理解等级:未标注
    • 2773.d 数据分析是枢纽 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路 理解等级:未标注
    • 2773.g 人才引进三冲突 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路 理解等级:未标注
    • 2773.h 数据是锦上添花 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路 理解等级:未标注
    • 2773.i 数据投入产出评估 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据自主实施思路 理解等级:未标注
  • 展开或收起下级: 2779 数据资产价值五维度 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据价值评估 理解等级:未标注
    • 2779.a 容量大不等于样本多 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据价值评估 理解等级:未标注
    • 2779.c 业务价值三环节 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据价值评估 理解等级:未标注
    • 2779.d 结论要判断正常异常 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据价值评估 理解等级:未标注
    • 2779.e 销售贡献直接间接 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据价值评估 理解等级:未标注
  • 展开或收起下级: 2781 数据挑战五问题 路径上下文 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战 理解等级:未标注
    • 2781.b 数据价值难以量化 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战 理解等级:未标注
    • 2781.c 大数据三类边界 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战 理解等级:未标注
    • 2781.d 产出四类意义缺为什么 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战 理解等级:未标注
    • 2781.f 数据与业务争时间 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战 理解等级:未标注
    • 2781.g 数据是素材人是关键 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战 理解等级:未标注
    • 2781.h 经验与数据决策互补 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战 理解等级:未标注
  • 展开或收起下级: 2782 数据资产价值曲线 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据未来趋势 理解等级:未标注
    • 2782.a 数据资产四类构成 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据未来趋势 理解等级:未标注
  • 2823 算法系统两点不同 主题成员 分布式机器学习实战 · 大数据算法系统架构 理解等级:未标注
  • 4646 分析模型服务活动洞察 主题成员 Learning Domain-Driven Design · 数据网格 理解等级:高级

未编号或编号待整理

  • 指标价值门槛 理解等级:未标注

    数据中台实战:手把手教你搭建数据中台 · 数据中台入门攻略

  • 第三方采集边界 理解等级:未标注

    数据中台实战:手把手教你搭建数据中台 · 数据采集

  • 数据资产标准 理解等级:未标注

    数据中台实战:手把手教你搭建数据中台 · 数据存储与计算

来源书籍

来源书籍

分布式机器学习实战

大数据与机器学习平台工程类

Skill 版本:v8

书籍类型:工程实践

清单覆盖 7/7

34 张卡片

主题索引

组织与架构协同演进

比较团队边界、组织结构与技术架构如何对齐,以及组织惯性对架构变革的影响。

255 张卡片 · 57 本书

主题索引

数据分析、实验与因果

从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。

84 张卡片 · 13 本书

主题索引

Lambda架构与数据系统分层

比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。

83 张卡片 · 17 本书

主题索引

数字化转型

比较传统企业向数字化转型的阶段、经济逻辑与阻力:速度经济、反馈循环、质量与速度的取舍、文化变革与沟通。

58 张卡片 · 5 本书

主题索引

因果推断与反事实

比较潜在结果框架、双重差分、合成控制与贝叶斯结构时序等构造反事实、区分相关与因果的方法。

15 张卡片 · 5 本书