主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
- 本书是数据领域多位知名从业者(Jeff Hammerbacher、Toby Segaran 等)合著的文集,每章围绕一个真实的数据项目 (火星探测器图像处理、PNUTS云存储、Facebook数据平台、Radiohead音乐视频数据采集、DNA数据、政治数据分析等) 展开,核心讲的是数据收集、存储、发现、可视化、伦理边界背后的原理和权衡,而非某个具体工具的操作步骤。 - 虽然部分案例涉及的具体系统或时代背景会过时(如某些2009年前后的云存储和社交数据平台),但书中提炼的原理—— 如何为用户设计数据收集方式、如何让数据变得可被发现、可视化如何服务于协作和探索、数据不能替代什么—— 这些原理本身具有跨越技术栈更迭的稳定性,和《架构之美》的评级逻辑一致。 - 全书采用"具体案例 + 原理提炼"的文集结构,与《团队之美》《架构之美》的评级逻辑一致。 - 该评级已按用户指示直接采用推荐结论执行(用户已在此前授权后续同类决策自动按推荐执行,无需逐一确认)。
尚未完成类别清单核对。
原书为《Beautiful Data》(O’Reilly,Toby Segaran & Jeff Hammerbacher 编),是《程序之美系列套装(6册)》中的第4册,多位数据领域从业者合著的文集。 EPUB 已解压至共享目录
notes/程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/, 本书对应 spine 范围Text/part0283.xhtml~Text/part0454.xhtml(对应 toc.ncx 中 playOrder 431~602)。
理由: - 本书是数据领域多位知名从业者(Jeff Hammerbacher、Toby Segaran 等)合著的文集,每章围绕一个真实的数据项目 (火星探测器图像处理、PNUTS云存储、Facebook数据平台、Radiohead音乐视频数据采集、DNA数据、政治数据分析等) 展开,核心讲的是数据收集、存储、发现、可视化、伦理边界背后的原理和权衡,而非某个具体工具的操作步骤。 - 虽然部分案例涉及的具体系统或时代背景会过时(如某些2009年前后的云存储和社交数据平台),但书中提炼的原理—— 如何为用户设计数据收集方式、如何让数据变得可被发现、可视化如何服务于协作和探索、数据不能替代什么—— 这些原理本身具有跨越技术栈更迭的稳定性,和《架构之美》的评级逻辑一致。 - 全书采用”具体案例 + 原理提炼”的文集结构,与《团队之美》《架构之美》的评级逻辑一致。 - 该评级已按用户指示直接采用推荐结论执行(用户已在此前授权后续同类决策自动按推荐执行,无需逐一确认)。
| 章节号 | 章节标题 | 状态 | 卡片数 |
|---|---|---|---|
| 译者序 | 译者序 | done | 0 |
| 前言 | 前言 | done | 0 |
| 第1章 | 在数据中观察生活 | done | 17 |
| 第02章 | 美丽的人们:设计数据收集方法时牢记用户 | done | 12 |
| 第03章 | 火星上的嵌入式图像数据处理 | done | 12 |
| 第04章 | PNUTShell中的云存储设计 | done | 11 |
| 第05章 | 信息平台和数据科学家的兴起 | done | 14 |
| 第06章 | 照片档案的地理之美 | done | 9 |
| 第07章 | 数据发现数据 | done | 8 |
| 第08章 | 实时的可移动数据 | done | 9 |
| 第09章 | 探寻Deep Web | done | 9 |
| 第10章 | 构建Radiohead的“House of Cards” | done | 9 |
| 第11章 | 都市数据可视化 | done | 10 |
| 第12章 | Sense.us的设计 | done | 14 |
| 第13章 | 数据所做不到的 | done | 10 |
| 第14章 | 自然语言语料库数据 | done | 13 |
| 第15章 | 数据中的生命:DNA漫谈 | done | 14 |
| 第16章 | 美化真实世界中的数据 | done | 11 |
| 第17章 | 数据浅析:探索形形色色的社会定型 | done | 13 |
| 第18章 | 旧金山海湾区之殇:次贷危机的影响 | done | 17 |
| 第19章 | 美丽的政治数据 | done | 9 |
| 第20章 | 连接数据 | done | 8 |
全书主线、22项正文与跨章综合。历史概览原文保留于本轮证据目录。
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| NORA(无明显关系意识) | 第7章 | 赌场案例所述的关系发现技术名称,书中提及SRD与后续IBM归属,未展开实现算法。 |
| 实体解析与匹配/归并(entity resolution vs. match-merge/merge-purge) | 第7章 | 目录需识别同一实体的不同描述,但其身份判断算法及与去重归并的区别超出本章范围。 |
| Web Hooks | 第8章 | 通过HTTP POST把事件通知推送到其他服务的机制名称。 |
| OAuth | 第8章 | 用户授予服务访问权限并以令牌完成集成的授权框架;具体协议版本未在本章展开。 |
| Blind URL(盲链接) | 第8章 | 持有链接即可访问被分享内容的方式,书中指出存在被猜测导致泄露的风险。 |
| XMPP、BitTorrent、WebSocket、Comet、PubSub | 第8章 | 作为传输或实时通信模型的历史/技术例子被介绍;本章未提供足够内容作为独立操作指南。 |
| 查询模板(query template)、绑定输入项/自由输入项 | 第9章 | 用于把表单输入控件组织为可重复探测的一组候选查询。 |
| 富信息量模板(informative template)、富信息量测试 | 第9章 | 通过返回页面内容签名的差异估算输入组合是否带来新记录。 |
| 类型化文本输入(typed input) | 第9章 | 邮编、日期、价格等需按特定格式/范围输入的字段。 |
| GET/POST、幂等URL | 第9章 | 用于说明可索引查询地址与有副作用表单的边界;协议操作细节未独立成卡。 |
| 笛卡儿积、页面签名、back-off探测 | 第9章 | 分别用于解释组合爆炸、页面去噪与逐步增加文本候选值上限。 |
Lidar、GeoVideo、Processing、点云(point cloud)、.obj、粒子系统、二维遮罩 |
第10章 | 分别用于激光测距、近距离面部几何捕捉、数据可视化工具、空间采样表示、处理后数据格式及静态/动态点云效果。 |
| 红桃皇后效应、信息瀑布 | 第13章 | 前者说明收集能力与分析工具共同演进;后者指群体决策互相影响后形成的依赖链。 |
| token、type、语料库、词汇、N元/一元/二元/五元模型 | 第14章 | 说明文本集合、序列单位及按相邻词项统计概率的语言模型。 |
| 记忆化、动态规划、Viterbi算法、对数概率、未知词平滑 | 第14章 | 用于分词候选搜索、避免重复计算、控制数值下溢和处理语料未收录词项。 |
| 噪声渠道模型、编辑距离、爬山算法、随机重启、期望效用 | 第14章 | 分别用于拼写纠错、候选邻域搜索及把错误代价纳入决策。 |
| 密码子、基因表达、启动子、增强子、GPCR、表观遗传、肿瘤抑制基因 | 第15章 | 分别用于遗传编码、转录调控、信号机制、环境注释和癌症损伤案例。 |
| SNP、CNV、FASTQ、SRF、Lustre、FUSE、Sequencescape | 第15章 | 分别指碱基变异/重复变化、测序数据格式、分布式存储/文件接口和样本工作流工具。 |
| 中性进化、参考基因组图 | 第15章 | 前者作为基因差异的随机基线;后者表达群体内不同序列的可能表示。 |
| 溶解度、众包、开放记录本科学、实验上下文、异常值 | 第16章 | 分别指化合物在溶剂中的溶解能力、开放招募测量、公开实验记录、解释测量差异的条件及偏离群体的数据点。 |
| CAS号、InChI、InChIKey、SMILES、RDF、SPARQL、三元组 | 第16章 | 化学实体的私有/开放标识、紧凑结构编码、机器可读资源关系及查询语言。 |
| ChemSpider、RON、DBPedia、ChEBI、CDK、化学空间 | 第16章 | 化学信息聚合与链接服务、分子识别服务、外部知识图谱、工具包及可视化所表示的候选化合物空间。 |
| FaceStat、数据清洗、探索性数据分析(EDA) | 第17章 | 用户上传照片及评分构成的观察数据集;本章以探索而非验证预设假设为分析目标。 |
| 直方图、核密度估计、LOESS、置信区间、自适应分箱、相关矩阵 | 第17章 | 用于检查分布、呈现密度与均值不确定性、处理稀疏区间和筛选变量关联的分析工具。 |
| Zipf定律、幂律、长尾分布、条件概率 | 第17章 | 描述自由文本标签的词频形态,并估计标签与性别等属性的关系。 |
| K均值、K值、质心、高维特征空间 | 第17章 | 通过质心迭代分组数值样本;分组数及低维展示都会影响解释。 |
| GMap图片拼接、Ajax、OpenLayers、Modest Maps | 第11章 | 分别指基于瓦片的客户端地图组合、异步浏览器交互及地图交互/渲染工具或库;本章主要以其历史角色说明Web地图演进。 | | 可寻性(findability)、Scented Widgets、Measure Map | 第11章 | 分别涉及信息空间定位、带内容/使用线索的嵌入式筛选器和时间轴设计的历史启发。 | | CrimeWatch、Crimespotting、BeautifulSoup、Charles、LiveHTTPHeaders、NumPy、Twisted Python | 第11章 | 原项目及其会话重构、HTML解析、图像数组处理和事件驱动采集工具;未扩展为当前操作指南。 |
| CPI(消费者价格指数)、指数化(indexing) | 第18章 | 以基期价格换算房价,并讨论CPI住房子指数与研究对象口径重叠。 | | 分位数(十分位数)、广义可加模型(GAM)、价格回落(price fall) | 第18章 | 分别用于描述房价分布、平滑城市时间走势及汇总峰值至低谷的相对跌幅。 | | 地理编码精度类别、变异系数(coefficient of variation) | 第18章 | 前者标明位置结果的准确层级;后者以标准差除以均值表达相对波动。 |
| 党派偏好(partisan bias)、选区重划(redistricting) | 第19章 | 前者以两党各得50%选票为基准衡量席位偏离;后者重新划分选区边界。 | | 完全分割(complete separation)、弱信息先验(weakly informative prior)、小倍数(small multiples) | 第19章 | 分别描述极端逻辑回归系数、有限收缩估计的先验及并列可比图布局。 | | 本地党派(local partisanship) | 第19章 | 以个人住址周边1公里内的登记选民倾向,刻画细于县级结果的地理差异。 |
| 集体调解(collective reconciliation)、实体解析(entity resolution) | 第20章 | 结合图中相连实体的候选匹配证据,迭代判断不同记录是否指向同一对象。 | | 本体(ontology)、统一资源标识符(URI)、信息仓库问题 | 第20章 | 分别指共享字段语义、对象标识机制,以及组织内数据分隔导致不可见的问题。 | | 中心索引关键字(CIK)、消息传递(message-passing) | 第20章 | CIK标识证券公司;消息传递在关联节点间传播候选匹配证据。 |
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| Chicago Crime、Housing Maps、FundRace、Mapping Hacks | 项目/书籍 | 第11章 | Web地图混搭与在线地理数据发布的先行案例。 |
| “The Long Zoom” | 文章/概念 | 第11章 | 用来描述从游戏、电影等媒介形成的长距离缩放地图体验预期。 |
| Scented Widgets(Willett、Heer、Agrawala) | 论文 | 第11章 | 犯罪类型选择器和地图高亮线索的设计参考。 |
| Measure Map、Flickr、Modest Maps | 项目/软件库 | 第11章 | 分别为时间轴交互启发、地图交互启发及开放复用的地图组件库。 |
| “Designing Data For Reuse”及REST/URI资料 | 演讲/论文 | 第11章 | 支持可读、可构造且可共享的数据URL和Web资源表达讨论。 |
| GCode“House of Cards”项目页 | 项目网站 | 第10章 | 视频、点云样例、交互式查看器和再创作工具的发布入口。 |
| Processing.org | 软件/项目网站 | 第10章 | 作者用于说明Processing参与数据可视化创作并提供示例代码。 |
| Threat & Fraud Intelligence—Las Vegas Style | 论文 | 第7章 | 赌场欺诈情报案例的延伸资料,供追溯原始案例。 |
| Anonymized Semantic Directories: A Privacy-Enhancing Architecture for Enterprise Discovery | 论文/书章 | 第7章 | 目录匿名化与企业可发现性的进一步阅读来源。 |
| Markle Foundation关于不可变审计日志的论文 | 论文 | 第7章 | 支持隐私治理中记录查询操作、结果和责任监督的延伸阅读。 |
| Anscombe的“四重奏” | 论文/数据集案例 | 第12、13章 | 说明相同的均值、方差等摘要可能掩盖数据形态差异。 |
| Bertin《Sémiologie Graphique》及Cleveland与McGill图形感知研究 | 书/论文 | 第12章 | 作为视觉变量编码与定量图形感知的理论背景。 |
| Ware《Information Visualization: Perception for Design》 | 书 | 第12章 | 视觉感知与信息可视化设计的参考来源。 |
| Wattenberg与Kriss《Designing for Social Data Analysis》 | 论文 | 第12章 | 堆叠图及社交数据分析设计的相关参考。 |
| Croes关于荷兰犹太人生存率的研究、Robison等对挑战者号图表论争的研究 | 论文 | 第12章 | 分别支撑数据用途风险案例与视觉证据论争的延伸追溯。 |
| Kahneman与Tversky《Prospect Theory: An Analysis of Decision under Risk》 | 论文 | 第13章 | 收益与损失情境下风险选择不对称的理论背景。 |
| Lord等《Biased Assimilation and Attitude Polarization》 | 论文 | 第13章 | 既有假设如何影响人们对新证据的吸收与态度判断。 |
| Iyengar与Lepper《When Choice Is Demotivating》 | 论文 | 第13章 | 选项增多如何提高决策负担并降低行动意愿和满意度。 |
| Sellenbarger,《华尔街日报》Work and Family专栏(2008-03-22) | 新闻报道 | 第13章 | 婚前同居与离婚相关性被误写成因果建议的案例。 |
| Goldstein等《Choosing Outcomes Versus Choosing Products》 | 论文 | 第13章 | 用概率结果分布帮助投资者理解退休结果范围的工具。 |
| Gould《The Median Is Not the Message》 | 文章 | 第13章 | 中位生存期不能代表个体结果,也不能抹去分布差异。 |
| Jeng《A Selected History of Expectation Bias in Physics》 | 论文 | 第13章 | 说明既有预期可能影响科学观察与证据解释。 |
| Lo与Repin《The Psychophysiology of Real-Time Financial Risk Processing》 | 论文 | 第13章 | 投资收益经验与风险决策中的生理反应研究。 |
| Bikhchandani等《Learning from the Behavior of Others》 | 论文 | 第13章 | 群体模仿和信息瀑布如何使事件判断相互依赖。 |
| Dwyer《Examples of Overfitting Encountered When Building Private Firm Default Prediction Models》 | 工作论文 | 第13章 | 私营企业违约预测中的过拟合案例与模型风险。 |
| Epstein《Why Model?》 | 论文 | 第13章 | 建模作为探索场景和明确假设的用途。 |
| Ge等《All Sky Extrasolar Planet Searches with Multi-Object Dispersed Fixeddelay Interferometer》 | 论文 | 第13章 | 少量观测拟合行星信号的例子及过拟合风险。 |
| Krumme《Telling Tales: The Effects of Narrative Creation on Decision-Making with Data》 | 工作论文 | 第13章 | 人们从数据构造故事如何影响决策的实验背景。 |
| Norvig《How to Write a Spelling Corrector》及其语言模型代码 | 源码项目/文章 | 第14章 | 拼写纠错代码示例的原始实现与进一步阅读入口。 |
| Singh《The Code Book》 | 书 | 第14章 | 替换密码破解策略的参考来源。 |
| Raynard《Secret Code Breaker》 | 书 | 第14章 | 替换密码案例的取材来源。 |
| Mitton拼写错误词对语料 | 数据集 | 第14章 | 为编辑操作概率提供成对正确词与误拼词数据。 |
| Watson与Crick《Molecular Structure of Nucleic Acids》 | 论文 | 第15章 | DNA互补配对和复制机制的原始结构论文。 |
| Crick与Brenner基因编码研究 | 论文/研究 | 第15章 | 基因密码子读取框架的早期逆向工程。 |
| Mendel豌豆杂交研究 | 研究 | 第15章 | 离散遗传因子解释性状不被连续混合稀释。 |
| 人类基因组计划、千人基因组计划、国际癌症基因组协会 | 研究项目 | 第15章 | 大规模参考基因组测序、群体差异和癌症基因组研究的项目背景。 |
| Wellcome Sanger Institute、Illumina GA2 | 研究机构/测序平台 | 第15章 | 高通量短读测序、样本工作流和数据处理案例。 |
| Ensembl、UCSC Genome Browser、HapMap、SNPedia | 数据库/项目 | 第15章 | 基因组浏览、群体单倍型和遗传变异信息资源。 |
| 23andMe、Navigenics、Pacific Biosciences、Oxford Nanopore | 公司/测序技术 | 第15章 | 个人基因服务及下一代读取技术的案例或前景背景。 |
| Bradley《Open Notebook Science Using Blogs and Wikis》 | 论文 | 第16章 | 开放记录本科学的研究与实践背景。 |
| Bradley等《Optimization of the Ugi reaction using parallel synthesis and automated liquid handling》 | 论文/项目 | 第16章 | 溶解度数据与并行化学实验项目背景。 |
| Steinbeck等化学开发工具包研究 | 论文/软件 | 第16章 | 由SMILES计算化学描述符的工具基础。 |
| InChI、SMILES、RDF、SPARQL | 标准/格式/查询语言 | 第16章 | 化学实体识别、分子结构编码及自描述数据发布与查询。 |
| ChemSpider、RON、DBPedia、ChEBI、ONS-Solubility | 数据库/项目/服务 | 第16章 | 化学实体聚合、开放数据链接和溶解度记录来源。 |
| GDoc API、Second Life | API/可视化平台 | 第16章 | 书中开放电子表格接口和三维协作可视化的历史案例。 |
| O’Connor与Biewald的FaceStat数据分析项目 | 数据项目 | 第17章 | 用户评价数据、代码及本章探索分析的实际对象。 |
| R、R-project.org、Quick-R、RSeek | 统计软件/文档资源 | 第17章 | 本章用于数据探索、统计绘图及R学习的工具和入口。 |
| Zipf《The Psychobiology of Language》 | 书/研究 | 第17章 | 标签词频幂律讨论的历史来源。 |
| Peter Dalgaard《Introductory Statistics with R》 | 书 | 第17章 | R统计分析入门参考。 |
| Hastie、Tibshirani与Friedman《The Elements of Statistical Learning》 | 书 | 第17章 | 聚类、局部加权回归及机器学习方法的延伸参考。 |
| Manning与Schütze《Foundations of Statistical Natural Language Processing》;Jurafsky与Martin《Speech and Language Processing》 | 书 | 第17章 | 自由文本标签及语言统计分析的延伸参考。 |
| Gelman与Hill《Data Analysis Using Regression and Multilevel/Hierarchical Models》 | 书 | 第17章 | 置信区间及部分汇聚估计的进一步阅读。 |
| Tukey《Exploratory Data Analysis》 | 书 | 第17章 | 探索性数据分析方法的参考。 |
| Gentleman与Temple Lang《Statistical Analyses and Reproducible Research》 | 论文 | 第18章 | 可复现研究与研究成果公开复核的理论来源。 |
| Goldberg《A Geocoding Best Practices Guide》 | 技术报告 | 第18章 | 地理编码服务及精度评估的延伸参考。 |
| USC WebGIS Services | 服务/项目 | 第18章 | 本章地理编码数据的来源。 |
| McKinley《From Housing to Haven to Foreclosure Leader》 | 新闻报道 | 第18章 | Stockton止赎背景案例的来源。 |
| Wood《Generalized Additive Models: An Introduction with R》 | 书 | 第18章 | 广义可加模型的进一步方法参考。 |
| Gelman《A Bayesian Formulation of Exploratory Data Analysis and Goodness-of-Fit Testing》 | 论文 | 第19章 | 图形探索与统计模型拟合检查的背景。 |
| Gelman与King《Enhancing Democracy Through Legislative Redistricting》 | 论文 | 第19章 | 选区重划与党派偏好分析的先行研究。 |
| Gelman、Jakulin、Pittau与Su《A Weakly Informative Default Prior Distribution for Logistic and Other Regression Models》 | 论文 | 第19章 | 弱信息先验处理逻辑回归极端估计的参考。 |
| Gelman、Pasarica与Dodhia《Let’s Practice What We Preach: Turning Tables into Graphs》 | 论文 | 第19章 | 将统计表格改为图形表达的研究来源。 |
| Kastellec、Lax与Phillips《Public Opinion and Senate Confirmation of Supreme Court Nominees》 | 技术报告 | 第19章 | 公众意见与参议院提名表决分析的延伸来源。 |
| Bertin《Semiology of Graphics》;Tufte《Envisioning Information》 | 书 | 第19章 | 图形符号、信息组织及小倍数布局的参考书。 |
| Catalist | 数据/服务 | 第19章 | 本章地方党派图层使用的选民数据来源。 |
| Freebase | 数据库/项目 | 第20章 | 示例数据集及数据整合工作的背景。 |
| Geonames | 数据库/项目 | 第20章 | 世界地名及经纬度等公共地理数据来源示例。 |
| 美国人口普查局、SEC、EPA、USDA、NCBI | 政府数据源 | 第20章 | 人口、公司财务、污染、营养与生命科学数据的公共来源示例。 |
| Open Linked Data与通用URI/本体 | 标准/项目 | 第20章 | 跨数据库共享实体标识和字段语义的倡议。 |
| Bhattacharya《Collective Entity Resolution》博士论文 | 博士论文 | 第20章 | 集体调解方法的进一步阅读来源。 |
| Freebase、Wikipedia与Netflix电影数据 | 数据集/服务 | 第20章 | 展示跨数据源电影匹配的案例数据。 |
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | 绘制章节覆盖与卡片分布 | 真实任务 | done | 第17章 | 章节级CSV、分布图与异常回查记录 |
| 002 | 核验合集书目实体匹配 | 真实任务 | done | 第20章 | 六册书目映射表、误合并风险与待核验清单 |
未采用更多实践候选:相近的图表选择、数据清洗、开放数据连接和统计检验候选已由上述两项覆盖其核心学习目标;其余需要外部私有数据或会造成未经授权的现实干预,缺少合适对象或边界。
命中类别:数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:
| 必答维度 | 覆盖判断与证据 |
|---|---|
| 问题定义与工作流 | 已涉及:第1、2、20章从实际用户问题、采集目标和可用数据出发;概览及相应章节卡保留了问题与数据条件。 |
| 数据获取、清洗与质量 | 已涉及:第2、3、6、14、15、17、20章;覆盖用户输入、遥测、地理照片、文本、基因组、异常值及跨源匹配。 |
| 探索、统计推断与不确定性 | 已涉及:第12、13、17、18、19章;有分布、置信区间、偏差、因果边界、样本口径和地理解释限制。 |
| 特征、模型与评价 | 已涉及:第3、13、17、19章;覆盖图像/文本处理、预测与过拟合、聚类、回归及模型判断边界。 |
| 实验、因果与数据泄漏 | 已涉及:第1、12、13、17、18章;区分实验问题、相关与因果、选择偏差和观察数据边界;未把案例相关性写成普遍因果。 |
| 工具、可复现与工程化 | 已涉及:第3–11、14–17、20章;工具与项目案例已按历史语境记录,复现及部署建议未泛化成当前版本事实。 |
| 业务价值、伦理与沟通 | 已涉及:第1、2、7、12、13、18–20章;涵盖用户体验、隐私、协作表达、社会偏差、决策和数据治理。 |
近似类别排除:数据可视化工具类不命中,本书讨论多种可视化方法及历史工具案例,并非某一图表库或工具API指南;社交网络数据分析类不命中,社交数据是个别案例,不是全书目标。没有为未命中类别补造清单项。
| 卡片标题 | 结论(已复用/已创建/无需加入/待复核) | 主题文件或原因 |
|---|---|---|
| 自然对话式记录 | 已复用 | notes/_topics/ucd-principles.md |
| 支持事后补录 | 已复用 | notes/_topics/data-quality-governance.md |
| 数据可视化讲故事 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 按具体误读迭代可视化 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 社会比较呈现相对位置 | 已创建 | notes/_topics/data-visualization-interaction.md |
| GPS环境估值须披露推断边界 | 无需加入 | 聚焦该项目对GPS代理估值与误差边界的具体说明,现有跨书主题不能准确表达该方法边界,先不加入。 |
| 数据存储选型服从处理需求 | 已复用 | notes/_topics/storage-model-choices.md |
| 预留可扩展数据字段 | 已复用 | notes/_topics/database-design-er-modeling.md |
| 统一数据模式降低协作成本 | 已复用 | notes/_topics/database-design-er-modeling.md |
| 数据处理四阶段流水线 | 已复用 | notes/_topics/data-quality-governance.md |
| 估值透明与说明量平衡 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 连续数值用渐变色编码 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 高亮关注对象并保留上下文 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 图表选择服从用户心智模型 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 分享汇总而非位置原始数据 | 已复用 | notes/_topics/data-ethics-privacy.md |
| 个体动机决定反馈设计 | 无需加入 | 聚焦该案例中个体目标与反馈内容的对应关系;现有行为建模主题讨论统计模型,不涵盖此设计判断。 |
| 情绪标签云编码出现频度 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 让表单先看起来很短,再根据用户的回答动态展开后续问题 | 已复用 | notes/_topics/ucd-principles.md |
| 推断位置也要守住隐私承诺 | 已复用 | notes/_topics/data-ethics-privacy.md |
| 说服技巧对调研而言是一场灾难——诱导用户给出讨喜的答案,等于亲手毁掉数据的价值 | 已复用 | notes/_topics/user-research-methods.md |
| 认可经验更能激励受访者 | 已复用 | notes/_topics/user-research-methods.md |
| 能推迟到用户提交之后再处理的工作,就不要让用户等在那里 | 无需加入 | 这是该问卷产品关于即时处理与后台处理的特定体验权衡,当前主题索引没有准确匹配的跨书主题。 |
| 可访问性从目标用户出发 | 已复用 | notes/_topics/ucd-principles.md |
| 调研身份与数据用途需透明 | 已复用 | notes/_topics/user-research-methods.md |
| 分别满足受访者与客户需求 | 已复用 | notes/_topics/ucd-principles.md |
| 让产品适应用户而非反过来 | 已复用 | notes/_topics/ucd-principles.md |
| 用真实熟人替代虚构画像 | 已复用 | notes/_topics/user-research-methods.md |
| 长文本分块降低阅读负担 | 已复用 | notes/_topics/ucd-principles.md |
| 分支表单清除隐藏答案 | 已复用 | notes/_topics/data-quality-governance.md |
| 位打包的空间速度权衡 | 无需加入 | 聚焦凤凰号12位像素与处理器字长间的嵌入式实现取舍;现有主题没有足够贴合的跨书范围。 |
| 静态槽换取运行确定性 | 无需加入 | 聚焦飞行软件静态内存槽的具体故障边界;现有生命周期主题不覆盖固定槽分配的可靠性权衡。 |
| 显式ID绑定关联数据 | 已复用 | notes/_topics/data-quality-governance.md |
| 职责耦合推高后期改造成本 | 已复用 | notes/_topics/architecture-principles-complexity.md |
| 既有设施影响技术选型 | 已复用 | notes/_topics/architecture-decision-making.md |
| 共享任务减少重复代码 | 无需加入 | 这是凤凰号压缩任务划分与程序空间限制的案例结论;当前主题无法准确表达其任务边界。 |
| 原地处理节省图像缓冲区 | 无需加入 | 聚焦图像缓冲区与失败回滚的特定取舍;当前主题无精确跨书匹配。 |
| 压缩策略服从保真需求 | 已复用 | notes/_topics/image-compression.md |
| 用图像熵估算压缩率 | 已复用 | notes/_topics/image-compression.md |
| 分段身份支持局部恢复 | 已复用 | notes/_topics/data-interchange-formats.md |
| FMECA提前规划错误处理 | 已复用 | notes/_topics/risk-driven-architecture.md |
| 槽资源交接要校验所有权 | 已复用 | notes/_topics/resource-ownership-lifetime.md |
| 复杂查询走后台预计算 | 已复用 | notes/_topics/dataflow-unbundled-databases.md |
| 时间轴序列化更新副本 | 已复用 | notes/_topics/consistency-models.md |
| 主副本随长期访问模式迁移 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 路由层屏蔽副本位置变化 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 可交换操作允许乱序执行 | 已复用 | notes/_topics/consistency-models.md |
| 稀疏数据需要灵活记录模式 | 已复用 | notes/_topics/database-design-er-modeling.md |
| 分区键决定查询效率 | 已复用 | notes/_topics/distributed-data-sharding.md |
| 读取操作按新鲜度选择路径 | 已复用 | notes/_topics/consistency-models.md |
| 复杂查询预建实例化视图 | 已复用 | notes/_topics/dataflow-unbundled-databases.md |
| 视图维护须控制同步成本 | 已复用 | notes/_topics/dataflow-unbundled-databases.md |
| 数据架构先匹配真实查询 | 已复用 | notes/_topics/database-design-er-modeling.md |
| 平台加速组织学习 | 无需加入 | 讨论组织数据平台的学习作用;现有大数据业务主题集中在营销、广告和征信,范围不匹配。 |
| 架构从具体问题长出 | 已复用 | notes/_topics/architecture-design-process.md |
| 数据空间支持多元访问 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 数据科学家描述复合职责 | 无需加入 | 讨论某组织中新兴岗位命名及职责组合;现有主题不覆盖数据科学职业角色。 |
| 关注廉价资源的互补能力 | 无需加入 | 属于资源稀缺与互补服务价值的经济学判断,和现有数据技术主题不匹配。 |
| ETL串起数据分析链路 | 已复用 | notes/_topics/data-quality-governance.md |
| 数据仓库的两种建模路径 | 已复用 | notes/_topics/database-design-er-modeling.md |
| 数据库迁移受生态差异制约 | 已复用 | notes/_topics/database-design-er-modeling.md |
| 原始数据回查支撑新分析 | 已复用 | notes/_topics/dataflow-unbundled-databases.md |
| 简单模型遇上大数据 | 已复用 | notes/_topics/ml-fundamentals.md |
| Hive让业务人员自助查数 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 多队列共享计算资源 | 已复用 | notes/_topics/capacity-scheduling.md |
| MAD平台兼顾全量灵活深分析 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 商业智能把信息送到行动点 | 无需加入 | 强调把洞察送达决策行动者;现有智能运维主题限定在运维场景,未找到准确的通用主题。 |
| 颜色编码应匹配感知差异 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 用位移线索补回位置 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 显露模式以激发追问 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 众包校验专业分类 | 已复用 | notes/_topics/data-quality-governance.md |
| 自愿贡献扩展覆盖 | 已复用 | notes/_topics/user-research-methods.md |
| 位置描述不等于地方意义 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 树形图用矩形包含关系表示层级 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 图形空间应对应数据含义 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 空间共现模式需要偏差解释 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 新观察触发关联检查 | 已复用 | notes/_topics/data-quality-governance.md |
| 目录承载可扩展发现 | 已复用 | notes/_topics/database-design-er-modeling.md |
| 目录须语义一致且感知关系 | 已复用 | notes/_topics/data-quality-governance.md |
| 新数据到达时增量处理 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 目录模型可降低数据共享风险 | 已复用 | notes/_topics/data-ethics-privacy.md |
| 新观察应能修正旧断言 | 已复用 | notes/_topics/data-quality-governance.md |
| 告警量应受响应能力约束 | 已复用 | notes/_topics/aiops-data-decision.md |
| 实时发现系统的八个组成环节 | 已复用 | notes/_topics/dataflow-unbundled-databases.md |
| 人驱数据轮询易空转 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 远程轮询代价更高 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 格式可读利于协作 | 已复用 | notes/_topics/data-interchange-formats.md |
| 中间层收拢异构适配 | 已复用 | notes/_topics/cloud-infrastructure-control-plane.md |
| 宽容解析外部数据 | 已复用 | notes/_topics/data-interchange-formats.md |
| 事件通知省去空轮询 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| API接入审视服务承诺 | 已复用 | notes/_topics/rpc-rest-api.md |
| 授权不应交出密码 | 已复用 | notes/_topics/auth-and-cryptography.md |
| 盲链接分享有泄露风险 | 已复用 | notes/_topics/data-ethics-privacy.md |
| 查询模板须产生内容差异 | 已创建 | notes/_topics/deep-web-crawling-search.md |
| 笛卡儿积易产生空URL | 已创建 | notes/_topics/deep-web-crawling-search.md |
| 从有效小模板扩展搜索 | 已创建 | notes/_topics/deep-web-crawling-search.md |
| 搜索规模决定自动化取舍 | 已创建 | notes/_topics/deep-web-crawling-search.md |
| 页面签名剔除展示噪声 | 已创建 | notes/_topics/deep-web-crawling-search.md |
| Deep Web藏在表单后 | 已创建 | notes/_topics/deep-web-crawling-search.md |
| 只抓无副作用的GET | 已创建 | notes/_topics/deep-web-crawling-search.md |
| 文本查询词应迭代生长 | 已创建 | notes/_topics/deep-web-crawling-search.md |
| 类型化输入要用有效样本 | 已创建 | notes/_topics/deep-web-crawling-search.md |
| 有目的地保留瑕疵 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 先设计要采集的数据 | 已复用 | notes/_topics/user-research-methods.md |
| 开放数据激发再创作 | 无需加入 | 该卡强调House of Cards开放数据供再创作的项目特征;现有数据治理主题讨论质量/生命周期/权限,不能准确承载其开放生态主张。 |
| 异构设备覆盖不同尺度 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 换个视角重看平常事物 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 点云由空间坐标和强度构成 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 抽样服从表达目标 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 不可复拍数据应多份保存 | 已复用 | notes/_topics/backup-disaster-recovery.md |
| 动态图点云需外部状态 | 已创建 | notes/_topics/data-visualization-interaction.md |
| 颜色粗筛缩小匹配范围 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 少量地理锚点可标定整张固定地图 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 有趣的可视化隐喻仍需原型验证 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 地理分区应贴合用户的社区认知 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 爬虫脆弱时应争取正式数据接口 | 已复用 | notes/_topics/deep-web-crawling-search.md |
| 客户端拼接地图瓦片 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 数据优先界面便于探索 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 筛选器兼具反馈功能 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 规范URL便于分享记录 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 有趣有用公开且免费的数据 | 无需加入 | 该卡概括本章数据项目评估标准,但现有数据治理主题侧重数据质量和风险,未准确覆盖数据公共价值的评价框架。 |
| 摘要相同不代表形态相同 | 已复用 | notes/_topics/data-visualization-interaction.md |
| URL让视图分享可复用 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 按结果状态识别等价视图 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 协作功能按需显现 | 已复用 | notes/_topics/ucd-principles.md |
| 书签串联视图形成叙事 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 数据价值与风险取决于使用方式 | 已复用 | notes/_topics/data-ethics-privacy.md |
| 数据比较前先核对采集口径 | 已复用 | notes/_topics/data-quality-governance.md |
| 真实数据原型加快方案筛选 | 已复用 | notes/_topics/ucd-principles.md |
| 堆叠图总览清晰却遮蔽个体趋势 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 图形标注支持异步指向 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 社会导航重新点燃数据探索 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 讨论补足可视化中的外部语境 | 已复用 | notes/_topics/ucd-principles.md |
| 图形编码须匹配数据类型与任务 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 动画应帮助跟踪变化而非拖慢分析 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 噪声数据诱发叙事 | 已创建 | notes/_topics/decision-theory-cognitive-bias.md |
| 收益与损失改变风险偏好 | 已创建 | notes/_topics/decision-theory-cognitive-bias.md |
| 基准率决定阳性含义 | 已创建 | notes/_topics/decision-theory-cognitive-bias.md |
| 模型依赖规律稳定假设 | 已创建 | notes/_topics/decision-theory-cognitive-bias.md |
| 决策要看完整结果分布 | 已创建 | notes/_topics/decision-theory-cognitive-bias.md |
| 确认偏见筛选新证据 | 已创建 | notes/_topics/decision-theory-cognitive-bias.md |
| 相关不等于因果 | 已复用 | notes/_topics/causal-inference-observational.md |
| 数据多不等于决策更好 | 已创建 | notes/_topics/decision-theory-cognitive-bias.md |
| 选项过多会抬高决策成本 | 已创建 | notes/_topics/decision-theory-cognitive-bias.md |
| 数据事件往往并不独立 | 无需加入 | 聚焦本章模型输入事件间的统计依赖,现有概率与因果主题不能准确容纳这一具体依赖边界。 |
| 语料承载隐性语言知识 | 已创建 | notes/_topics/statistical-nlp-language-models.md |
| 大语料简化平滑 | 已创建 | notes/_topics/statistical-nlp-language-models.md |
| 搜索策略取决于空间 | 已创建 | notes/_topics/statistical-nlp-language-models.md |
| 语料可得性决定数据方法 | 已创建 | notes/_topics/statistical-nlp-language-models.md |
| 测试集独立与算法无关 | 已创建 | notes/_topics/statistical-nlp-language-models.md |
| 语料库序列频次编码语言 | 已创建 | notes/_topics/statistical-nlp-language-models.md |
| 记忆化动态规划削减重复搜索 | 已创建 | notes/_topics/statistical-nlp-language-models.md |
| 未知词概率应非零且随长度衰减 | 已创建 | notes/_topics/statistical-nlp-language-models.md |
| 相邻词上下文能修正独立分词 | 已创建 | notes/_topics/statistical-nlp-language-models.md |
| 随机重启缓解爬山局部最优 | 已创建 | notes/_topics/statistical-nlp-language-models.md |
| 拼写纠正组合词频和错误概率 | 已创建 | notes/_topics/statistical-nlp-language-models.md |
| 训练语料错误会污染纠错模型 | 已创建 | notes/_topics/statistical-nlp-language-models.md |
| 决策应最大化期望效用 | 已创建 | notes/_topics/decision-theory-cognitive-bias.md |
| 密码子冗余缓冲突变 | 无需加入 | 这是分子遗传编码与突变容错机制,现有主题没有生命科学/基因组学范围。 |
| 互补链提供修复模板 | 无需加入 | 这是DNA互补链与修复过程的分子生物学原理,现有主题没有准确匹配的生物学索引。 |
| 遗传信息不会被平均 | 无需加入 | 该卡讨论离散遗传传递与变异,超出当前数据工程和决策主题范围。 |
| 中性进化提供差异基线 | 无需加入 | 该卡讨论群体遗传与中性进化基线,现有主题不覆盖进化生物学。 |
| 损伤累积扰乱基因控制 | 无需加入 | 该卡讨论DNA损伤和基因调控阈值,现有主题无对应生物学主题。 |
| 表观遗传调节基因表达 | 无需加入 | 该卡是分子生物学中的表观遗传机制,当前跨书主题不适配。 |
| DNA表达依赖蛋白质机器 | 无需加入 | 该卡讨论转录和翻译所依赖的细胞机制,现有主题没有生命科学覆盖。 |
| 重复测序降低变异误判 | 已复用 | notes/_topics/data-quality-governance.md |
| 样本元数据助力故障定位 | 已复用 | notes/_topics/data-quality-governance.md |
| 元数据模式运行时演进 | 已复用 | notes/_topics/data-quality-governance.md |
| 质控将失败样本回流重处理 | 已复用 | notes/_topics/data-quality-governance.md |
| 低成本保留测序原图 | 无需加入 | 该卡针对测序设备原始图像的保存策略,现有备份主题聚焦故障恢复,不足以表达其采集数据保真边界。 |
| 测序吞吐驱动平台扩容 | 无需加入 | 该卡是特定高通量测序平台扩展案例,现有容量调度主题不涵盖其仪器吞吐设计。 |
| DNA是生命的化学数据库 | 无需加入 | 该卡以DNA作为遗传信息载体的比喻解释生命科学概念,不是数据系统或数据库设计知识。 |
| 实验上下文解释异常值 | 已复用 | notes/_topics/data-quality-governance.md |
| 可疑数据保留并标注 | 已复用 | notes/_topics/data-quality-governance.md |
| 熟悉工具降低众包门槛 | 已复用 | notes/_topics/user-research-methods.md |
| 开放标识符支持集成 | 已复用 | notes/_topics/data-quality-governance.md |
| RDF连接不同资源 | 已复用 | notes/_topics/dataflow-unbundled-databases.md |
| 公布底层数据让读者自验 | 已复用 | notes/_topics/data-quality-governance.md |
| 每条数据都应连回原始记录 | 已复用 | notes/_topics/data-quality-governance.md |
| 数据格式兼顾人机阅读 | 已复用 | notes/_topics/data-interchange-formats.md |
| 开放服务促进跨领域协作 | 已复用 | notes/_topics/dataflow-unbundled-databases.md |
| 聚合服务连接分散数据源 | 已复用 | notes/_topics/dataflow-unbundled-databases.md |
| 可视化空白引导下一轮实验 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 公开分析中的取舍 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 点重叠时改看密度 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 稀疏区间放宽分箱 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 置信区间呈现估计不确定性 | 已复用 | notes/_topics/decision-theory-cognitive-bias.md |
| 相关矩阵筛查多变量关系 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 频数分布先暴露数据脏点 | 已复用 | notes/_topics/data-quality-governance.md |
| 保留原始标签再做归一化 | 已复用 | notes/_topics/data-quality-governance.md |
| 长尾词频不要套正态直觉 | 已复用 | notes/_topics/statistical-nlp-language-models.md |
| 低频标签先设统计门槛 | 已复用 | notes/_topics/data-quality-governance.md |
| K均值按质心反复归组 | 已复用 | notes/_topics/ml-fundamentals.md |
| 聚类结果需检查稳定性 | 已复用 | notes/_topics/ml-fundamentals.md |
| 高维聚类投影会掩盖差异 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 探索性关联不能冒充因果 | 已复用 | notes/_topics/causal-inference-observational.md |
| 先找网页背后数据 | 已复用 | notes/_topics/deep-web-crawling-search.md |
| 免费编码方案有代价 | 无需加入 | 本卡讨论具体地理编码服务的免费额度与精度成本,现有主题没有地理编码服务选型的合适范围。 |
| 可疑坐标按用途处理 | 已复用 | notes/_topics/data-quality-governance.md |
| 绝对变化与相对变化 | 已复用 | notes/_topics/decision-theory-cognitive-bias.md |
| 标准表格格式减少重复 | 已复用 | notes/_topics/data-interchange-formats.md |
| 缺失标记应服从分析用途 | 已复用 | notes/_topics/data-quality-governance.md |
| 价格调整要检查指标口径 | 已复用 | notes/_topics/data-quality-governance.md |
| 分位数揭示分布差异 | 已复用 | notes/_topics/decision-theory-cognitive-bias.md |
| 平滑能显趋势也会压峰 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 入样门槛限定比较范围 | 已复用 | notes/_topics/data-quality-governance.md |
| 基期指数便于比较走势 | 已复用 | notes/_topics/decision-theory-cognitive-bias.md |
| 观察性关联不能单独证明因果 | 已复用 | notes/_topics/causal-inference-observational.md |
| 地理口径错配会丢失匹配 | 已复用 | notes/_topics/data-quality-governance.md |
| 空间格网承载不同统计量 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 共享数据代码支持复核 | 已复用 | notes/_topics/data-quality-governance.md |
| 解析器必须处理边界情况 | 已复用 | notes/_topics/data-interchange-formats.md |
| 周期性变化要与趋势拆开 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 先画数据再选模型 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 检验处理效应需区分组间关系 | 已复用 | notes/_topics/causal-inference-observational.md |
| 弱先验缓解完全分割 | 已复用 | notes/_topics/decision-theory-cognitive-bias.md |
| 图形呈现模型估计与不确定性 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 小倍数支持多维比较 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 党派偏好衡量席位偏离选票 | 无需加入 | 该卡是选区重划分析中的政治代表性指标,现有主题没有政治制度与选举测量的匹配范围。 |
| 图注应交代图形如何产生 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 年龄趋势要放回选举序列 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 红蓝地区内部仍有异质性 | 已复用 | notes/_topics/data-visualization-interaction.md |
| 同名不等于同一实体 | 已复用 | notes/_topics/data-quality-governance.md |
| 误合并比重复更危险 | 已复用 | notes/_topics/data-quality-governance.md |
| 模式灵活性有两难 | 已复用 | notes/_topics/database-design-er-modeling.md |
| 链接能力受隐私约束 | 已复用 | notes/_topics/data-ethics-privacy.md |
| 关联可传播匹配证据 | 已复用 | notes/_topics/data-quality-governance.md |
| 先问可得数据再选技术 | 已复用 | notes/_topics/data-quality-governance.md |
| 数据孤岛也源于术语不一致 | 已复用 | notes/_topics/data-quality-governance.md |
| 共享URI仍不能消除实体匹配 | 已复用 | notes/_topics/data-quality-governance.md |
执行模式:light
建档进度:done
本轮实际规则:book-workflow v4 / book-notes v23;首次版本缺失,保持缺失。经典原理评级保留,合集第74条P1。
实践候选筛选:done
笔记版本:schema1;SHA-256 992da6e0a372116902067ad5624895777584670d0db5b72585cfc9431ccdd6f5。
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较备选方案设计、评估选择、容量预估与详细设计等架构设计流程中的判断方法。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。
主题索引
比较架构要解决的复杂度来源(性能、可用性、扩展、成本、安全、规模)以及合适、简单、演化等设计原则。
主题索引
比较备份独立性、恢复可验证性与恢复阶段的设计要点。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
比较在不确定性下做架构决策的方法:以风险而非结果评价决策、期望值与决策树、认知偏差、根因追问与避免不必要的决策。
主题索引
比较数据交换格式的简洁性、互通性与安全解析要求。
主题索引
多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。
主题索引
IaaS 云平台如何把异构资源封装成服务:API 与执行分离、调度与执行分离、数据库中介、驱动与插件适配后端、代理进入实例,以及以同样模式构建的数据、DNS、容器等上层服务。
主题索引
从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。
主题索引
比较以失败风险决定架构投入多少、做何分析的方法,包括风险的定义与分类、分析技术光谱、设计过程对风险的安排。
主题索引
质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。
主题索引
比较数据图形的视觉编码、用户解读、交互探索与叙事表达,关注图表如何服务具体问题及其误读边界。
主题索引
比较不同语言与框架如何表达独占/共享所有权、释放时机和作用域退出清理。
主题索引
面向交互式分析的执行引擎:列存与分区裁剪、查询编译与向量化执行、重分布连接与并行度、MPP 与混合数仓、Presto 式连接器解耦,以及预计算能省下多少。
主题索引
分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。
主题索引
比较数据库设计各阶段、数据抽象方法、E-R 模型的要素与集成冲突、向关系模型的转换规则,以及存取方法与重组织、重构的取舍。
主题索引
CNN、RNN、LSTM、Seq2Seq、GAN 的结构分工,以及检测、分割、修复、语音识别、语言模型这些任务怎样把表示学习落到具体输出上,各任务对归纳偏置的依赖有何不同。
主题索引
监督、无监督、强化、在线四类学习方式各自依赖什么假设;把学习写成「假设—损失—优化」之后,泛化、过拟合、维数灾难与评估口径怎么定义,以及一个业务问题该先定分类目标还是先选算法。
主题索引
比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。
主题索引
从全量重算转向增量维护:变化怎样传播、结果缓存与复用条件、物化视图的维护成本、Percolator 式快照与提交、观察通知与传播阈值,以及省计算为什么不等于省延迟。
主题索引
事件与消息的区别、事件建模与事件设计:事件键与单写者、事件大小与完整性、事件注册表与事件编排。
主题索引
比较以用户为中心的设计为何能减少返工、如何以证据替代个人偏好,以及对团队心态的要求。
主题索引
这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。
主题索引
比较不确定条件下的风险偏好、基准率、结果分布、确认偏差与选择过载,关注证据如何影响判断。
主题索引
比较访谈、情境观察、问卷与环境调研等用户研究方法及其偏差控制。
主题索引
比较深网页面发现、查询模板构造、搜索空间扩展、页面噪声去除及自动化采集的安全边界。
主题索引
比较智能运维的数据基础、模型训练、人机边界,以及从监测、分析到自动处置的决策闭环。
主题索引
比较二值图像的上下文建模、有损与无损压缩、JPEG、文本图像的字典压缩与版面切分方法。