主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
7/7
Skill 版本:v7
四象限结论:工程实践(高信息浓度 + 低稳定性)
评级理由:
这本书把企业大数据建设拆成战略定位、组织职能、解决方案选型、自主实施、技术介绍、架构设计、技术开发、工作流、业务应用、价值评估、社会价值、问题挑战、未来趋势十三个层面,不是单纯讲”大数据是什么”,而是反复讨论”独立研发/第三方方案/联合开发如何权衡”“组织架构如何设计才能匹配大数据职能”“投入产出与数据风险如何管理”等决策性内容,信息浓度整体偏高。但全书强绑定2017年前后的大数据生态与市场语境:第5章大量篇幅罗列Hadoop、NoSQL、实时计算、全文检索、数据可视化、中间件、关系型数据库、ETL等具体技术栈,第7-8章依赖当时的HDFS/Hive/HBase/MySQL等具体存储引擎,第9章的用户画像、个性化营销、精准广告、征信等业务应用案例也带有明显的时代特征,工具名、技术成熟度和行业格局已发生变化,稳定性不高。更适合把它当作企业大数据落地的组织与决策框架来读,而非当作长期不变的原理书或现代技术选型手册。
类别:企业大数据建设类(2026-09-27 按授权新建,见 category-checklists.md;v7 首次解析时因无人值守未记类别)
本次实际使用规则:book-notes v8(2026-09-27 P1→v8 批处理修订),详见 _workflow.md。书中技术栈与行业案例以 2017 年前后为背景,卡片保留方法论,具体产品与市场情况以书中时点为准。
| 章节号 | 章节标题 | 精读/略读 | 状态 | 卡片数 |
|---|---|---|---|---|
| 第1章 | 企业大数据战略定位 | 精读:战略定位、资源协同和启动时机直接影响项目成败 | done | 9 |
| 第2章 | 企业大数据职能规划 | 精读:组织角色、架构模式和制度流程属于可迁移的管理框架 | done | 5 |
| 第3章 | 企业大数据解决方案 | 精读:自研、外购、联合开发的权衡适合沉淀为选型卡片 | done | 6 |
| 第4章 | 企业大数据自主实施思路 | 精读:覆盖规划原则、组织、技术方案、投入产出和风险管理 | done | 12 |
| 第5章 | 大数据技术介绍 | 精读:Hadoop生态/NoSQL/实时计算等概念定义需强制生卡,具体工具版本细节按需过滤 | done | 12 |
| 第6章 | 大数据架构设计 | 精读:架构设计原则、核心要素、设计模式是可迁移的方法论 | done | 4 |
| 第7章 | 大数据技术开发 | 精读:采集/存储/计算/服务/管理的分层设计逻辑,具体存储引擎实现细节按需过滤 | done | 6 |
| 第8章 | 大数据工作流 | 精读:数据源到应用的全链路工作流划分与质量管理框架 | done | 11 |
| 第9章 | 企业大数据业务应用 | 精读:用户画像/个性化营销/精准广告/征信四类场景的方法论,具体案例数据按需过滤 | done | 16 |
| 第10章 | 企业大数据价值评估 | 精读:资产价值与业务价值的评估维度框架 | done | 6 |
| 第11章 | 大数据的社会价值 | 精读:民生/政务/产业价值的定位视角 | done | 3 |
| 第12章 | 大数据当前问题及挑战 | 精读:数据/安全/价值/认知/技术/人才六类挑战框架 | done | 9 |
| 第13章 | 大数据未来趋势 | 精读:价值资产化等四个趋势判断框架 | done | 3 |
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 第三方Cookie追踪生态巨变:对RTB精准广告架构的冲击核验 | 证据验证 | done | 第9章 | 已通过WebSearch核验Safari/Firefox早已默认拦截第三方Cookie,Chrome经历”计划淘汰→2024年7月放弃彻底淘汰→2025年10月退役Privacy Sandbox大部分技术”的反复过程,当前广告生态处于碎片化混合状态,产出《书中受众定向技术 vs 冲击程度》对照框架,见ideas/idea-001-第三方Cookie追踪生态巨变对RTB精准广告架构的冲击核验.md |
| 2 | ZestFinance多模型投票征信案例的现状核验 | 证据验证 | done | 第9章 | 已通过WebSearch核验ZestFinance已更名Zest AI并持续运营,2026年获CNBC/American Banker两项权威认可、融资达5.539亿美元,”多模型投票”框架经受住时间检验,产出对照说明框架,见ideas/idea-002-ZestFinance多模型投票征信案例的现状核验.md |
| 必答维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 战略定位与启动时机 | 已覆盖 | [[战略定位上下结合]]、[[大数据战略四问]]、[[阶段决定数据目标]]、[[拖延启动代价更高]]、[[资源协同难在人]] |
| 组织职能与角色 | 已覆盖 | [[数据部门四种角色]]、[[四种数据组织架构]]、[[制度规范看规模]]、[[PMO凌驾业务与IT]]、[[数据分析是枢纽]] |
| 方案选型与自建外购 | 已覆盖 | [[三种方案实现方式]]、[[参照竞品选型动因]]、[[主导权与数据归属]]、[[选型三原则四陷阱]]、[[按匹配度评估方案]] |
| 平台架构与技术分层 | 已覆盖 | [[存储组件分工共存]]、[[十项核心架构要素]]、[[八种架构设计模式]]、[[四种存储组件分工]]、[[全量与增量采集]]、[[专业调度替代Crontab]] |
| 数据工作流与质量管理 | 已覆盖 | [[数据质量六维度]]、[[数据清洗六项内容]]、[[数据脱敏五步]]、[[CRISP-DM六步骤]]、[[数据生命周期七阶段]]、[[数据质量为何被轻视]] |
| 业务应用场景 | 已覆盖 | [[场景分析五要素]]、[[画像标签权重公式]]、[[用户画像四类风险]]、[[精准广告生态与竞价]]、[[征信多模型投票]] |
| 价值评估、风险与局限 | 已覆盖 | [[数据投入产出评估]]、[[别忽视数据应用风险]]、[[数据资产价值五维度]]、[[安全一票否决]]、[[大数据三类边界]]、[[数据价值难以量化]] |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| 13.2节大数据产业生态五个特点(多源共享/组件衔接/端到端一体化/跨界流通/政策配套)及阿里巴巴投资版图具体案例、13.3节数据来源四类主题(自然/民生/政务/产业数据)与数据应用三消费主体(个人/企业/政府)分类罗列、图13-1至图13-3与表13-1配图表(图片表格不可读) | 13 | 属于产业生态描述性罗列和具体企业投资案例,偏行业综述性质而非可迁移决策框架;核心洞察(数据资产价值曲线五阶段/数据资产四类构成/应用智能化三阶段)已在ch13-001至ch13-003中概括,未单独展开生卡 |
| 12.3节大数据应用主体规模限制(只适用大型超大型企业)具体展开、12.5节技术挑战六方面(数据采集获取/存储查询/处理计算/挖掘学习/理解应用/管理扩展)具体技术难点罗列(如数据血缘地图追踪/多维可视化展示难题/算法并行化改造难题)、12.6节人才挑战三方面(实践/技术/人才储备)具体展开、12.7节小结 | 13 | 属于对已概括核心洞察的场景化细化展开,以及偏领域综述性质的技术难点罗列;核心洞察(数据挑战五问题/安全一票否决权/价值无法量化的根本原因/大数据能力三边界/产出四类意义缺为什么/结果不客观的四操纵点/数据业务需求冲突本质/数据只是素材人才才是价值来源/拍脑袋与数据决策互补)已在ch12-001至ch12-009中概括,未单独展开生卡 |
| 11.1节民生价值六大领域(医疗卫生/交通出行/家庭生活/就业工作/教育学习/社会保障)具体应用场景罗列、11.2节对外事务处理四方面(提升综合国力/突破技术封锁/维护国家安全/促进国际合作)与对内事务管理六方面(政府转型/行政效率/创新管理/服务升级/权力监督/社会稳定)具体展开、11.3节重塑国际价值链分工与促进产业协同优化/加快产业升级创新具体展开 | 12 | 属于政策层面的宏观应用场景罗列,信息浓度偏低、多为倡导性表述而非可迁移的决策框架或机制;核心洞察(数据主权作为第四类主权要素/全样本监督替代抽样监督/产业结构不合理的两个层次)已在ch11-001至ch11-003中概括,未单独展开生卡 |
| 10.1.2节数据价值度五标准(实名/相对稳定/结构化/业务相关/可验证)具体展开、10.1.3节数据鲜活性两方面具体案例、10.1.5节数据粒度具体举例、10.2.1节用户体验提升企业维度与感知维度各四项指标具体展开、10.2.4节供应链优化六个评估方向具体展开 | 11 | 属于已在ch10-001总览卡中概括的维度细化展开,避免重复生卡;核心可迁移方法论(资产价值五维度/数据规模陷阱/数据关联维度五标准/业务价值三环节/结论定义与陈述区别/销售贡献直接间接区分)已在ch10-001至ch10-006中概括,未单独展开生卡 |
| 9.3.1节个性化营销发展历程具体年代事件罗列(1995年Web Watcher/1996年My Yahoo/2003年Google AdWords等)、9.4.1节网络广告市场规模历年具体数据、9.4.2节DMP架构与受众定向标签体系具体表格、9.5.1节征信权威定义具体条文、9.5.5节中国征信业四阶段发展历程与四大制约瓶颈具体展开、9.6节小结、图9-29至图9-40与表9-3配图表(图片表格不可读) | 10 | 属于具体历史年代事件罗列和图片表格无法提取内容;核心可迁移方法论(个性化营销诞生逻辑/三种推荐算法边界/服务个性化优势/受众定向谱系/精准广告生态与竞价流程/定向到竞价的演进/广告计费方式/程序化广告作弊主体/征信多模型投票/四种征信模型对比/三类征信区别)已在ch09-006至ch09-016中概括,未单独展开生卡 |
| 9.1.4节大量行业具体应用案例罗列(互联网零售/电力/金融电信/公共服务行业各类具体场景如RFM模型/电网负荷预测/证券策略/纳税评估等)、9.1.3节连续与分类变量质量评估具体统计量列举、9.2.3节精准营销个性化推荐/反欺诈风控/需求驱动改进三类场景具体展开、9.2.4节用户画像三大应用价值(对内产品设计/对外精准营销/行业用户研究)具体展开及各行业指标清单、图9-1至图9-28配图、表9-1⁄9-2权重示例表(图片表格不可读) | 9 | 属于具体行业案例名录、统计量罗列和已在核心卡片中概括过的应用价值细化展开;核心可迁移方法论(场景分析五要素/三方数据分类/用户画像设计四问/用户画像建模公式/用户画像四大风险)已在ch09-001至ch09-005中概括,未单独展开生卡 |
| 8.1节四类数据源(日志文件/数据库/网络爬虫/第三方API)具体细分列举、8.3节关系型数据库与分布式文件系统的分工(与ch06-001/ch07-002已概括内容重叠)、8.4.1节Loader/Data In作者自研组件具体细节、8.4.2节My SQL函数级基础计算(算术/日期/字符串/格式化/加密/类型转换)与统计分析方法(集中度/离散度/分布状态/假设检验/变异数分析)的公式与函数示例、8.4.3节语音分析全流程(语音信号预处理/角色识别/HMM等模型训练/语音合成)与文本分析(分词/词性标注/文本聚类分类等应用/情感分析)、图像分析(图像预处理八项技术/特征提取/图像识别四方法/图像理解四方法)与视频分析(目标检测/背景建模七方法/目标跟踪四类算法)的算法名录与实现细节、8.4.4节降维/回归/聚类/分类/关联/时间序列/异常检测/协同过滤/主题模型九大类算法的具体算法名称清单(PCA/SVM/HMM等数十种)、8.5节数据驱动九类智能应用场景具体展开、8.6.2节影响数据质量三类因素具体细节、8.6.3节数据开发/处理/存储标准的具体命名规范与SQL编码细则、表8-1至表8-10与图8-1至图8-16配图(图片表格不可读) | 8 | 属于具体算法名称清单罗列(数十种降维/回归/聚类/分类算法名)、MySQL函数级示例、语音图像视频处理的算法实现细节,以及与前几章已概括内容重叠的部分;核心可迁移方法论(数据质量六维度/数据清洗六项/数据脱敏五步骤/三种计算时效性/相关性非因果/语音识别与理解区别/聚类与分类区别/辅助决策与数据驱动区别/数据质量管理被低估的原因/CRISP-DM六步骤/数据生命周期七阶段)已在ch08-001至ch08-011中概括,未单独展开生卡 |
| 7.1节作者自研Loader/Data In组件具体工作流程与增强特性、7.2节Hadoop与传统数据仓库共存后期替代策略(与ch06-001大数据平台数据存储共存性原则高度重叠)、7.3节Paper组件具体架构与数据流配置界面、7.4节服务层三层架构(数据网关层/服务总线层/功能组件层)具体划分、7.5.1监控管理具体协议与告警渠道罗列、7.5.3服务发布审批生命周期具体流程、7.6应用域三个基本特征具体展开、表7-1至表7-3与图7-1至图7-12配图(图片表格不可读) | 7 | 属于作者自研产品的具体工作流程细节、与前一章已概括方法论重复的内容、以及图片表格无法提取的部分;核心可迁移方法论(全量增量采集权衡/四种存储组件分工/五类挖掘算法适用场景/服务化应对局部失败四手段/专业调度系统应对Crontab三缺陷/权限管理两级设计)已在ch07-001至ch07-006中概括,未单独展开生卡 |
| 大数据平台周边五类补充技术具体工具罗列(数据可视化H5/Highcharts/ECharts/D3、高速缓存Redis/Memcached、消息系统Kafka/MQ、数据挖掘Mahout/Python/R、ETL工具)、6.2节高性能场景某企业具体性能指标表6-1(图片不可读)、6.3节同城双活四类组件(源数据/Hive/HBase/HDFS)各自不同同步策略的具体实现细节、图6-1至图6-3配图 | 6 | 属于具体工具名录罗列和图片表格无法提取内容,以及容灾同步的具体实现细节;核心可迁移方法论(存储共存性原则/十项架构要素/分布式与集群区别/八种设计模式)已在ch06-001至ch06-004中概括,未单独展开生卡 |
| 第5章绝大部分具体实现细节:HDFS/HBase/Impala/YARN/Zookeeper的字节级存储格式与选举协议源码级描述、Hive/HQL具体语法与调优参数、MongoDB集群部署与文件存储原理、Spark/Storm/Kafka具体API代码与架构图、Oracle体系结构(SGA/PGA/表空间/段/区段/块/重做日志等DBA级细节)、MySQL特性罗列、HTML5/jQuery/Highcharts/ECharts/D3/Bootstrap可视化组件语法、Kettle/Sqoop具体命令与参数表、RHadoop/Mahout/MLlib/Python/SystemML算法库清单及安装步骤、全书图5-1至图5-92配图与表5-1至表5-16参数表(图片/表格不可读) | 5 | 属于强绑定2016-2017年Hadoop/Spark/Redis/Oracle等特定版本的源码级实现细节、具体命令语法和配置参数,接近技术文档摘抄而非本书原创方法论;核心可迁移的分布式系统设计原理(三副本跨机架容错/Shuffle本质/HBase只增不删/YARN职责解耦/NoSQL的BASE取舍/RDD依赖类型/Redis持久化权衡/倒排索引/TF-IDF相关性排序/检索技术演进/取余分布命中率雪崩/Kafka顺序写盘与无状态设计)已在ch05-001至ch05-012中概括,未单独展开生卡 |
| 4.2节国内某烟草公司大数据平台目标蓝图具体能力清单、4.4.1组织结构设计的四方面意义具体展开、4.5.1节大数据系统建设方案十个具体实施步骤(集群硬件优化/软件优化/Sqoop数据迁移/Web Service/YARN多租户等Hadoop生态具体技术细节)及4.5.2节某企业大数据与BI整合的具体产品案例(数据魔方/精准营销等)、4.6节人才规划的指导思想/五项原则/人才培养两种途径/创新孵化四点意义/五种激励方案具体展开、4.7.3节数据投入产出优化的项目管理五要素(范围/时间/成本/质量/风险)与人员管理三要素具体展开、4.8.3节数据风险管理两项原则具体展开、图4-1至图4-19各配图、表4-1数据分析与烹饪对比表(图片不可读) | 4 | 属于强绑定2017年前后具体Hadoop生态技术实施细节(Sqoop/YARN/Hive外部表等)、单一企业案例的具体数值指标、以及通用管理学原则(项目管理五要素等)的标准罗列,非本书独有核心洞察;核心可迁移方法论(六大规划原则/目标蓝图与建设目标区别/工作架构四层次/PMO凌驾式治理/数据分析输入输出/技术选型三原则四陷阱/BI融合策略/人才引进三冲突/投入产出四特征与评估框架/风险管理两类型与三阶段四级监管)已在ch04-001至ch04-012中概括,未单独展开生卡 |
| 阿里云大数据解决方案具体产品目录(推荐引擎/公众趋势分析/数据集成/移动数据分析/DataV/Quick BI/画像分析/机器学习平台/智能语音交互/OCR/人脸识别等)及国内外服务商名录(阿里巴巴/百度/腾讯/华为/Amazon/Oracle/SAP等)、需求规划分析3.2.3节业务应用需求与技术工作需求的具体问题清单罗列、图3-1至图3-17各产品界面配图、表3-1/表3-2性能规格与选型要素汇总表(图片不可读) | 3 | 属于强绑定2017年前后具体云厂商产品名称与界面截图的名录式罗列,非概念/原则类内容;核心可迁移的选型决策框架(三种实现方式/竞品参照心理/内部环境隐性变量/四类特性评估/收费模式)已在ch03-001至ch03-006中概括,未单独展开生卡 |
| 2.2节六大类具体岗位(基础平台类网络工程师/Hadoop运维/数据管理类CDO/技术研发类大数据架构师及各类开发工程师/产品设计类项目经理UI/UE/数据挖掘类/数据分析类战略分析师数据分析师网站分析师等)的详细职责与具体技术栈要求(Hadoop/Hive/HBase/Spark/SPSS/D3等)、图2-1至图2-7组织架构与流程配图、2.3.3节制度流程规范文档模板的页眉页脚封面正文排版细节 | 2 | 属于强绑定2017年前后具体技术栈的岗位说明书式罗列,以及纯排版格式规范,不属于概念/原则/架构类强制生卡范畴;核心可迁移的组织设计框架(角色隐喻/架构类型/制度意义/项目流程)已在ch02-001至ch02-005中概括,未单独展开生卡 |
| 大数据项目难推进的12条具体原因罗列、电商零售企业大数据功能定位三条主线(客户/运营/产品)具体展开、外部市场竞争环境三要素(宏观经济/竞争对手/客户)对战略的具体影响、上下游供应商水平高低两种应对策略、表1-1大数据平台技术与传统数据库差异对比表(图片不可读)、图1-1至图1-6企业大数据战略定位/电商功能定位/发展阶段/规划闭环等配图 | 1 | 属于具体列表罗列、图片表格无法提取文本、以及已在ch01-005/ch01-008中概括过核心结论的细化展开,核心可迁移方法论已生成对应卡片,未单独展开生卡 |
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
本书从战略定位、组织职能、方案选型、自主实施、Hadoop 生态技术、架构设计、技术开发、数据工作流、业务应用、价值评估、社会价值、挑战与趋势十三个层面讲企业大数据建设;卡片复用大数据计算范式、存储复制、检索、缓存、架构风格、机器学习、因果推断、隐私伦理、用户行为建模、架构决策与数字化转型等既有主题,并新建“企业数据战略、组织与价值评估”“数据质量与数据治理”“大数据营销、广告与征信应用”三个主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 大数据的判定门槛 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 大数据价值由内向外 | 已创建 | notes/_topics/enterprise-data-strategy.md、notes/_topics/digital-transformation.md |
| 战略定位上下结合 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 大数据战略四问 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 资源协同难在人 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 功能定位五步递进 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 拖延启动代价更高 | 已创建 | notes/_topics/enterprise-data-strategy.md、notes/_topics/digital-transformation.md |
| 阶段决定数据目标 | 已创建 | notes/_topics/enterprise-data-strategy.md、notes/_topics/digital-transformation.md |
| 规划三阶段与六层服务 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 数据部门四种角色 | 已创建 | notes/_topics/enterprise-data-strategy.md、notes/_topics/org-architecture-alignment.md |
| 四种数据组织架构 | 已创建 | notes/_topics/enterprise-data-strategy.md、notes/_topics/org-architecture-alignment.md |
| 制度规范看规模 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 数据项目六阶段 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 数据挖掘岗边界模糊 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 三种方案实现方式 | 已复用 | notes/_topics/architecture-decision-making.md |
| 参照竞品选型动因 | 已复用 | notes/_topics/architecture-decision-making.md |
| 数据文化决定落地 | 已复用 | notes/_topics/architecture-decision-making.md |
| 主导权与数据归属 | 已复用 | notes/_topics/architecture-decision-making.md |
| 方案特性四维评估 | 已复用 | notes/_topics/architecture-decision-making.md |
| 按匹配度评估方案 | 已复用 | notes/_topics/architecture-decision-making.md |
| 平台六大规划原则 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 蓝图与建设目标 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 工作架构四层次 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| PMO凌驾业务与IT | 已创建 | notes/_topics/enterprise-data-strategy.md、notes/_topics/org-architecture-alignment.md |
| 数据分析是枢纽 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 选型三原则四陷阱 | 已复用 | notes/_topics/architecture-decision-making.md、notes/_topics/open-source-adoption.md |
| BI短期互补长期整合 | 已复用 | notes/_topics/architecture-decision-making.md |
| 人才引进三冲突 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 数据是锦上添花 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 数据投入产出评估 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 别忽视数据应用风险 | 已创建 | notes/_topics/data-quality-governance.md |
| 风险管理三阶段四级 | 已创建 | notes/_topics/data-quality-governance.md |
| HDFS三副本放置 | 已复用 | notes/_topics/distributed-storage-replication.md |
| Shuffle整理键值对 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| HBase追加后台合并 | 已复用 | notes/_topics/distributed-storage-replication.md、notes/_topics/storage-data-structures.md |
| YARN拆分两类职责 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| NoSQL以一致性换扩展 | 已复用 | notes/_topics/distributed-storage-replication.md、notes/_topics/storage-model-choices.md |
| RDD依赖决定恢复代价 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| RDB与AOF的取舍 | 已复用 | notes/_topics/caching-strategies.md |
| 倒排索引反向查找 | 已复用 | notes/_topics/storage-data-structures.md、notes/_topics/inverted-index-query.md |
| TF-IDF与向量空间 | 已复用 | notes/_topics/relevance-ranking-evaluation.md |
| 从Lucene到ES | 已复用 | notes/_topics/open-source-adoption.md、notes/_topics/inverted-index-query.md |
| 取余分布扩容雪崩 | 已复用 | notes/_topics/caching-strategies.md、notes/_topics/distributed-data-sharding.md |
| Kafka顺序写与无状态 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 存储组件分工共存 | 已复用 | notes/_topics/lambda-architecture.md、notes/_topics/storage-model-choices.md |
| 十项核心架构要素 | 已复用 | notes/_topics/architecture-styles.md |
| 分布式与集群之别 | 已复用 | notes/_topics/architecture-styles.md |
| 八种架构设计模式 | 已复用 | notes/_topics/architecture-styles.md |
| 全量与增量采集 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 四种存储组件分工 | 已复用 | notes/_topics/storage-model-choices.md |
| 五类挖掘算法分工 | 已复用 | notes/_topics/ml-fundamentals.md |
| 局部失败是常态 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 专业调度替代Crontab | 已复用 | notes/_topics/toil-automation.md |
| 权限两个维度 | 已创建 | notes/_topics/data-quality-governance.md、notes/_topics/least-privilege-access-control.md |
| 数据质量六维度 | 已创建 | notes/_topics/data-quality-governance.md |
| 数据清洗六项内容 | 已创建 | notes/_topics/data-quality-governance.md |
| 数据脱敏五步 | 已创建 | notes/_topics/data-quality-governance.md、notes/_topics/data-ethics-privacy.md |
| 三种计算时效 | 已复用 | notes/_topics/big-data-compute-paradigms.md、notes/_topics/lambda-architecture.md |
| 相关不等于因果 | 已复用 | notes/_topics/causal-inference-observational.md |
| 语音识别不等于理解 | 已复用 | notes/_topics/conversational-systems.md |
| 聚类与分类之别 | 已复用 | notes/_topics/ml-fundamentals.md、notes/_topics/matrix-factorization-clustering.md |
| 辅助决策与数据驱动 | 已复用 | notes/_topics/business-driven-tech-evolution.md |
| 数据质量为何被轻视 | 已创建 | notes/_topics/data-quality-governance.md |
| CRISP-DM六步骤 | 已复用 | notes/_topics/ml-fundamentals.md |
| 数据生命周期七阶段 | 已创建 | notes/_topics/data-quality-governance.md |
| 场景分析五要素 | 已创建 | notes/_topics/big-data-business-applications.md |
| 三方数据与其弊端 | 已创建 | notes/_topics/big-data-business-applications.md |
| 用户画像设计四问 | 已创建 | notes/_topics/big-data-business-applications.md、notes/_topics/user-behavior-modeling.md |
| 画像标签权重公式 | 已创建 | notes/_topics/big-data-business-applications.md、notes/_topics/user-behavior-modeling.md |
| 用户画像四类风险 | 已创建 | notes/_topics/big-data-business-applications.md、notes/_topics/data-ethics-privacy.md |
| 每个客户即细分市场 | 已创建 | notes/_topics/big-data-business-applications.md、notes/_topics/user-behavior-modeling.md |
| 三种推荐算法边界 | 已创建 | notes/_topics/big-data-business-applications.md、notes/_topics/ml-fundamentals.md |
| 服务个性化更灵活 | 已创建 | notes/_topics/big-data-business-applications.md |
| 受众定向方法谱系 | 已创建 | notes/_topics/big-data-business-applications.md |
| 精准广告生态与竞价 | 已创建 | notes/_topics/big-data-business-applications.md |
| 合约广告到实时竞价 | 已创建 | notes/_topics/big-data-business-applications.md |
| 四种广告计费方式 | 已创建 | notes/_topics/big-data-business-applications.md |
| 广告作弊四类主体 | 已创建 | notes/_topics/big-data-business-applications.md |
| 征信多模型投票 | 已创建 | notes/_topics/big-data-business-applications.md、notes/_topics/ml-fundamentals.md |
| 四种经典征信模型 | 已创建 | notes/_topics/big-data-business-applications.md、notes/_topics/ml-fundamentals.md |
| 三类征信的区别 | 已创建 | notes/_topics/big-data-business-applications.md |
| 数据资产价值五维度 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 容量大不等于样本多 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 关联维度五标准 | 已创建 | notes/_topics/data-quality-governance.md |
| 业务价值三环节 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 结论要判断正常异常 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 销售贡献直接间接 | 已创建 | notes/_topics/enterprise-data-strategy.md、notes/_topics/causal-inference-observational.md |
| 数据主权第四要素 | 已复用 | notes/_topics/data-ethics-privacy.md |
| 全样本替代抽样监督 | 已复用 | notes/_topics/data-ethics-privacy.md |
| 产业结构两个层次 | 已复用 | notes/_topics/digital-transformation.md |
| 数据挑战五问题 | 已创建 | notes/_topics/data-quality-governance.md |
| 安全一票否决 | 已创建 | notes/_topics/data-quality-governance.md |
| 数据价值难以量化 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 大数据三类边界 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 产出四类意义缺为什么 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 数据结果并不中立 | 已复用 | notes/_topics/data-ethics-privacy.md |
| 数据与业务争时间 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 数据是素材人是关键 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 经验与数据决策互补 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 数据资产价值曲线 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 数据资产四类构成 | 已创建 | notes/_topics/enterprise-data-strategy.md |
| 应用智能化三阶段 | 已复用 | notes/_topics/digital-transformation.md、notes/_topics/business-driven-tech-evolution.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较团队边界、组织结构与技术架构如何对齐,以及组织惯性对架构变革的影响。
主题索引
比较架构风格作为预制约束集的价值与代价、风格与模式的区别,以及大泥球、镜像、回调等具体风格。
主题索引
比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。
主题索引
比较在不确定性下做架构决策的方法:以风险而非结果评价决策、期望值与决策树、认知偏差、根因追问与避免不必要的决策。
主题索引
比较传统机器学习、深度学习与强化学习的学习方式、特征假设、模型取舍与数据反馈闭环。
主题索引
比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。
主题索引
比较业务规模与复杂度变化如何驱动技术选型和架构分阶段演进。
主题索引
比较如何识别和控制重复性运维工作,以及自动化的演进阶段、收益与风险。
主题索引
从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。
主题索引
比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。
主题索引
比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。
主题索引
比较学习、选型、灰度引入与二次开发开源项目的方法与风险控制。
主题索引
批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。
主题索引
质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。
主题索引
比较企业如何确定大数据战略定位与启动时机、设计数据部门组织与岗位、评估数据投入产出与资产价值,以及数据与业务、经验决策之间的协作边界。
主题索引
分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。
主题索引
比较传统企业向数字化转型的阶段、经济逻辑与阻力:速度经济、反馈循环、质量与速度的取舍、文化变革与沟通。
主题索引
数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。
主题索引
比较全序与分区内有序的边界、序号与单写者怎样维持顺序,以及延时消息、时间轮和迟到事件的处理方式。
主题索引
比较特征值分解、SVD、NMF 等矩阵分解与 K 均值、层次聚类、深度聚类在规律挖掘与降维中的取舍。
主题索引
比较离散选择模型、生存分析与用户生命周期价值(LTV)建模的假设、估计方法与解读方式。
主题索引
监督、无监督、强化、在线四类学习方式各自依赖什么假设;把学习写成「假设—损失—优化」之后,泛化、过拟合、维数灾难与评估口径怎么定义,以及一个业务问题该先定分类目标还是先选算法。
主题索引
比较TF-IDF、向量空间模型与相关性反馈等排序依据,以及召回率与精确率在不同检索场景中的取舍。
主题索引
比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。
主题索引
这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。
主题索引
比较任务型、问答型、闲聊型对话的语义表示、意图与参数、多轮语境与澄清、检索与知识、训练回流与对话平台化设计。
主题索引
比较潜在结果框架、双重差分、合成控制与贝叶斯结构时序等构造反事实、区分相关与因果的方法。