来源书籍

数据之美

Skill 版本:v11 数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度: 229 张卡片

- 本书是数据领域多位知名从业者(Jeff Hammerbacher、Toby Segaran 等)合著的文集,每章围绕一个真实的数据项目 (火星探测器图像处理、PNUTS云存储、Facebook数据平台、Radiohead音乐视频数据采集、DNA数据、政治数据分析等) 展开,核心讲的是数据收集、存储、发现、可视化、伦理边界背后的原理和权衡,而非某个具体工具的操作步骤。 - 虽然部分案例涉及的具体系统或时代背景会过时(如某些2009年前后的云存储和社交数据平台),但书中提炼的原理—— 如何为用户设计数据收集方式、如何让数据变得可被发现、可视化如何服务于协作和探索、数据不能替代什么—— 这些原理本身具有跨越技术栈更迭的稳定性,和《架构之美》的评级逻辑一致。 - 全书采用"具体案例 + 原理提炼"的文集结构,与《团队之美》《架构之美》的评级逻辑一致。 - 该评级已按用户指示直接采用推荐结论执行(用户已在此前授权后续同类决策自动按推荐执行,无需逐一确认)。

Toby Segaran、Jeff Hammerbacher 编 · 祝洪凯、李妹芳、段炼 译 · 机械工业出版社 · 2010 · ISBN 978-7-111-31512-4

类别清单覆盖

尚未完成类别清单核对。

全书导读

本书通过二十个不同领域的项目解释数据工作:数据怎样获得、如何存放、怎样被发现与理解,以及结论能支持什么行动。数据不是天然可信的事实清单;采集界面、存储表示、处理算法和展示方式都会影响最后能看到什么。书中的系统和产品属于各自历史背景,阅读重点是具体约束下的设计理由。

全书主线

先明确谁需要理解什么问题,再看可用数据怎样形成。个人记录和调查表单说明采集会受到参与动机、信任与输入负担影响;火星图像处理和云存储说明基础设施还要面对内存、带宽、一致性和故障等限制。数据科学家的工作把这些技术条件连接到组织目标。

接下来,地理照片、实体发现、实时通知与网页表单检索展示不同的发现路径。点云、都市地图和协作可视化把数据转成人能探索的对象,语言、基因组、社会调查、住房与政治案例则说明领域知识怎样参与解释。最后,跨源实体连接把不同名字和记录联系起来,同时带来误匹配与隐私问题。

这些案例相互补充,不构成从采集到发布的唯一流程。第13章集中提醒:样本、基准率、损失函数和模型假设会改变结论。必须把这个提醒带回其他章节,区分观察、解释和因果推断,不把漂亮的图或复杂模型当成正确性的保证。

译者序

译者说明数据工作跨越不同学科,阅读这些项目需要同时理解技术与实际使用背景。本册不是单一软件工具教程,而是通过多种实践讨论数据怎样获得意义。

前言

编者用多个独立项目展示数据的收集、存储、组织、可视化和分析。各章并非一套必然依次执行的步骤;读者应观察具体问题怎样决定方法,并比较案例之间可迁移的原则。

第1章 在数据中观察生活

以PEIR与YFD说明个人数据系统怎样把收集、处理和可视化转化为可理解的生活反馈,重点讨论采集方式、数据处理和可视化设计。

先说明个人数据工具的增长及用户关心的是数据含义;再比较自动采集与日常手工输入,讨论低门槛入口、异步补录、数据库与多成员数据整合;随后给出PEIR的四阶段估值处理,并展开地图、颜色、交互、图表、隐私分享、个体动机和情绪表达等可视化取舍,最后回到让个人理解自身生活数据的目标。

自然对话式记录

关键字和值让个人数据采集像日常交谈一样简单。YFD借用用户已熟悉的Twitter发布习惯,不要求学习SQL式新语言;邮件虽可收发SMS,却通常不适合高频报告生活琐事。新采集入口应尽量贴合现有使用习惯,降低额外学习成本。

知识卡与原书证据。

原书依据 · 1 处

支持事后补录

现实采集会遇到断网、忘记或当时不便等情况。可靠系统应允许补录带时间戳的事件,并在离线时缓存后续同步;这两条路径分别应对用户未及时输入和设备暂时无法联网,不能把特定案例扩大成所有实时采集都不可靠。

知识卡与原书证据。

原书依据 · 1 处

数据可视化讲故事

个人数据可视化既要呈现准确事实,也要给出人物、时间、地点和结果原因等场景,让用户看见数据与自己生活的关系。教科书式图表和叙事表达各有优劣,目标是让事实与场景结合,而不是把其中一种表达天然判为枯燥或低质。

知识卡与原书证据。

原书依据 · 1 处

按具体误读迭代可视化

可视化迭代应先定位具体误读,再针对原因调整。PEIR案例中,轨迹染色与底图混淆;改用终点圆圈又让人误以为事件只发生在终点。团队据此调暗底图、突出全程轨迹,解决冲突。每轮改版都应对应一个可观察问题。

知识卡与原书证据。

原书依据 · 1 处

社会比较呈现相对位置

绝对碳排放值对用户可能缺少直觉参照,和好友的平均值、相对排名可以帮助理解其相对位置。PEIR把社会比较作为促进理解与行为改变的设计目标;原文没有证明比较必然导致行为改变,使用时需区分设计意图与实测效果。

知识卡与原书证据。

原书依据 · 1 处

GPS环境估值须披露推断边界

PEIR用手机GPS轨迹与天气等环境数据推估个人排放,不是直接测得的污染值。报告应区分观测与模型估计,并呈现误差边界;把代理变量说成实测值会让读者高估结论确定性。

知识卡与原书证据。

原书依据 · 1 处

数据存储选型服从处理需求

YFD以人工录入和简单插入、查询为主,PEIR则要频繁执行地理空间计算,二者因此选择不同数据库。选型应从数据操作模式和扩展需求出发;团队熟悉的工具只是候选,不能替代负载匹配。

知识卡与原书证据。

原书依据 · 1 处

预留可扩展数据字段

数据采集项目可能逐步增加跟踪字段;若模式没有扩展余地,新增数据会迫使团队频繁改造接口和存储。建模时应把已知变化方向纳入设计,同时避免为尚无证据的任意变化过度抽象。

知识卡与原书证据。

原书依据 · 1 处

统一数据模式降低协作成本

多人分别开发模块却各自定义数据表,会让后来者难以找到数据、理解模式并判断联系人。跨模块整合不是纯粹的代码整理:在对用户体验开发前统一数据模型,可以降低协作和交接成本。

知识卡与原书证据。

原书依据 · 1 处

数据处理四阶段流水线

PEIR把GPS转成个性化影响估值分为轨迹纠正与标注、活动分类、上下文估算、影响计算。分阶段让误差来源和中间结果可解释;前序估计含不确定性,后续结果不能被当成直接观测。

结构图:

flowchart TD
  A[轨迹纠正与标注] --> B[活动和位置分类]
  B --> C[天气路况等上下文估算]
  C --> D[个性化影响计算]

知识卡与原书证据。

原书依据 · 1 处

估值透明与说明量平衡

只给用户最终环境影响值,无法解释估算如何形成;展示处理细节与尺度说明能帮助用户理解结果。但信息越多不一定越好,界面要按解释价值筛选,避免透明度变成信息过载。

知识卡与原书证据。

原书依据 · 1 处

连续数值用渐变色编码

连续的环境影响值适合用渐变表达大小变化;离散、差异明显的颜色会让用户误以为数据属于不同类别。还要检查颜色的日常含义:绿色常被理解为“更好”,可能与高排放值的语义冲突。

知识卡与原书证据。

原书依据 · 1 处

高亮关注对象并保留上下文

地图同时显示大量轨迹时,突出当前选择、淡化其他轨迹但不完全隐藏,能让用户定位细节并保留整体空间关系。对象密集时这一办法仍会失效,需要标签或分类辅助,不能把高亮当成无限扩展的解法。

知识卡与原书证据。

原书依据 · 1 处

图表选择服从用户心智模型

PEIR发现用户把直方图横轴理解为时间,团队于是改用时间序列条形图呈现随时间变化的影响。图表应按用户要回答的问题和既有理解选择;统计上常见不等于对当前用户直观。

知识卡与原书证据。

原书依据 · 1 处

分享汇总而非位置原始数据

PEIR用环境影响与排放汇总值支持好友比较,不分享用户的GPS轨迹。需要社交比较时,应只开放完成目的所需的派生数据,并把位置轨迹等高敏感原始数据留在私有范围。

知识卡与原书证据。

原书依据 · 1 处

个体动机决定反馈设计

同一跟踪指标可能对应减重、自我观察或康复等不同目标。把个人动机显著呈现,能让反馈回到使用者自己的问题;不能假设同一种指标目标对每个人都相同,也不能仅凭界面设计推断行为一定改变。

知识卡与原书证据。

原书依据 · 1 处

情绪标签云编码出现频度

情绪难以压缩成单一数值时,YFD用标签云呈现用户选择的情绪词,并以字号表达出现频度。这保留了词语差异,但字号代表频次,不代表情绪强度、幸福程度或临床判断。

知识卡与原书证据。

原书依据 · 1 处

第02章 美丽的人们:设计数据收集方法时牢记用户

以奢侈品调查案例说明,以用户为中心的表单设计如何同时影响参与意愿、数据准确性、受访者信任和客户获取结果的方式。

先界定用户体验与数据质量的关系,再说明目标人群和调查场景;继而拆解可访问性、信任、问卷长度、准确回答和参与动机等难点;随后通过尊重用户、真实人物参照、清晰排版、渐进披露问题和后台处理等方案回应这些难点;最后区分受访者与客户的需求,并谨慎评估高回应率与设计之间的因果关系。

让表单先看起来很短,再根据用户的回答动态展开后续问题

把所有问题一次摊开会增加负担;按回答逐步显示追问,让用户先看到少量问题,并留在同一页面完成。每次额外跳转都可能成为放弃的机会。设计表单长度应关注用户当下感知的负担,而不只统计最终题目数。

知识卡与原书证据。

原书依据 · 1 处

推断位置也要守住隐私承诺

案例通过IP地址映射州份,避免增加一个直接询问字段;但IP地址本身仍是数据,推断也可能超出用户对“个人信息”的理解。减少表单负担不能替代透明告知、合法依据和最小化处理。先判断信息是否必要、来源是否合乎承诺,再比较直接收集和间接推断的风险。

知识卡与原书证据。

原书依据 · 1 处

说服技巧对调研而言是一场灾难——诱导用户给出讨喜的答案,等于亲手毁掉数据的价值

调研和推销是两件完全相反的事:推销要说服对方接受一个立场,调研要的却是不受污染的真实反应。做过大量调研的Roger Urban说得很直接:”如果你想要一份人为地非常肯定的数据,我每次都可以给你”——但如果是要靠这份数据做真正的商业或政治决策,这种被诱导出来的”好答案”毫无用处,因为人会不自觉地想让提问者满意,倾向于给出他们猜测提问者想听的回答。这提示一个判断”数据收集设计是否越界”的检验标准:任何会让受访者倾向于给出讨好性回答的措辞、暗示、语气,无论出发点是不是想让调研”看起来更成功”,都是在直接破坏这份数据本该具备的价值——调研设计追求的不是让人说”是”,而是让人说出他们真正的想法。

知识卡与原书证据。

原书依据 · 1 处

认可经验更能激励受访者

没有金钱奖励时,表达观点、被视为有经验或获得先机也可能促使人参与。面向年长受众的案例中,“经验之声”标题比诉诸后代的标题带来更高点击和完成率;单一案例不能证明恭维普遍有效,邀请文案仍应按受众测试。

知识卡与原书证据。

原书依据 · 1 处

能推迟到用户提交之后再处理的工作,就不要让用户等在那里

团队本可以在用户提交表单的瞬间就实时把IP地址转换成对应的州份,但他们特意选择了”先收集、事后批量处理”的方案——因为实时匹配即使技术上可行,也会给整个调研过程增加一点延迟,而这份延迟会被用户实实在在地感受到。团队总结的原则是:”不要为了你自己方便,让用户去做或者去等待你本可以自己完成的事情”。这提示一个划分”什么该在用户等待的时候做、什么该挪到后台异步做”的实用标准:不是问”这个处理复杂不复杂”,而是问”这件事必须现在做完,还是可以放到用户已经拿到他想要的东西之后再慢慢处理”——凡是能够延后处理、又不影响用户体验的工作,都应该被移出用户等待的那条路径。

知识卡与原书证据。

原书依据 · 1 处

可访问性从目标用户出发

可访问性不是只为少数特殊用户补的功能:按目标受众的年龄、视力和数字工具熟悉度检查表单,也会让更多人更容易读懂并完成任务。案例面向55至75岁人群,因而放大字体、提高对比度、避免只靠颜色传达信息。设计检查应从真实用户条件出发,而不是默认人人都能轻松阅读。

知识卡与原书证据。

原书依据 · 1 处

调研身份与数据用途需透明

线上调研应交代提问方、目的和数据用途,并让互动体现对受访者时间与回答的尊重:认真听取答案,避免重复近似问题。尊重有助于建立信任、鼓励真实回答并减少流失;若通过IP推断地区,也要说明处理和隐私边界。

知识卡与原书证据。

原书依据 · 1 处

分别满足受访者与客户需求

同一个数据产品可能服务于两类目标不同的人:填写问卷的受访者需要少等待、少操作,客户则希望尽快查看结果。先分清每类用户的任务,再决定哪些结果应即时展示、哪些可在后台整理,能避免把客户的便利成本转嫁给数据提供者。产品的“用户”不一定只有付费方。

知识卡与原书证据。

原书依据 · 1 处

让产品适应用户而非反过来

用户常会适应既有系统,但“能用”不等于设计合适。体验设计应按真实受众和任务调整产品,减少用户改变习惯的成本;没有一刀切方案,熟人只是临时参照,仍需让目标用户验证。

知识卡与原书证据。

原书依据 · 1 处

用真实熟人替代虚构画像

预算或时间不足以建立完整用户画像、开展现场观察时,可以先想一位自己真实认识且愿意帮助的人,用其处境校验早期设计决定;随后尽早请真实用户参与测试。熟人只是启动同理心的临时代理,不能替代目标用户研究,也不能把对熟人的想象当成普遍证据。

知识卡与原书证据。

原书依据 · 1 处

长文本分块降低阅读负担

网页上必须提供较长说明时,把内容按关键点拆成带标题的小块,比连续铺成一大段更便于略读和理解。案例把约250词的产品介绍分成多个小节;这并不意味着文字越少越好,而是让读者快速找到重点,再决定是否继续阅读。

知识卡与原书证据。

原书依据 · 1 处

分支表单清除隐藏答案

条件表单根据先前答案显示不同追问时,切换分支还要清除旧分支中已选内容;否则用户改了初始答案,隐藏问题的旧值可能仍被提交,形成与当前回答不一致的数据。分支可见性和提交状态应一并设计与验证。

知识卡与原书证据。

原书依据 · 1 处

第03章 火星上的嵌入式图像数据处理

以凤凰号着陆探测器为例,说明在高可靠、强约束的航天器上如何管理图像内存、组织并发任务、处理图像和选择压缩与传输策略。

先界定抗辐射处理器、预分配内存和科学成像要求;再解释12位像素与16位存储的取舍及三个任务的协作;随后介绍静态槽和显式所有权、消息队列异步交接、原地纠错与缩图;最后依据保真要求、图像熵、处理时延和带宽选压缩方法,并以可识别分段支持丢包后的局部恢复,结尾反思任务职责和心跳检查的历史设计选择。

位打包的空间速度权衡

凤凰号CCD像素为12位,但RAD6000按16位字高效访问。紧密打包虽省内存,却让循环处理增加解包、移位和重打包开销,也妨碍原地处理;每16位槽有4位未用,团队接受这25%的槽空间闲置以换取更简单、更快的处理。资源受限时应优化真正的瓶颈。

知识卡与原书证据。

原书依据 · 1 处

静态槽换取运行确定性

飞行软件禁用malloc,避免碎片、泄漏和空指针在远程任务中无法补救。系统启动时预分配固定内存槽,按图像大小管理;槽的数量可按任务调整。静态分配降低运行期故障风险,但要预先规划容量。

知识卡与原书证据。

原书依据 · 1 处

显式ID绑定关联数据

图像数据槽和头信息槽可按不同顺序分配、释放,两个数组的下标因此不保证一致。头信息保存图像ID,再按ID查找关联数据,避免依赖偶然的下标对齐;代价是增加标识和查找步骤。 结构图: 原书槽条目结构,头数据通过img_id关联图像,而非要求两数组同一索引;此关联表示编号配对,不是内存指针。

classDiagram
class ics_img_slot_entry_t {
uint16_t slot_status
int16_t slot_owner
int16_t slot_size
uint16_t* slot_address
}
class ics_hdr_slot_entry_t {
uint16_t slot_status
int16_t slot_owner
int16_t img_id
uint16_t[] hdr_data
}
ics_hdr_slot_entry_t --> ics_img_slot_entry_t : img_id匹配图像编号

知识卡与原书证据。

原书依据 · 1 处

职责耦合推高后期改造成本

相机任务同时负责成像、热控制和镜头运动,职责混杂使任务复杂。后来增加加热需求时,已定型的架构难以拆分。早期缺少拆分理由不代表耦合没有代价,变化路径应纳入设计权衡。

知识卡与原书证据。

原书依据 · 1 处

既有设施影响技术选型

团队选择轮询心跳,是因为测试设施已按此方式搭建,尽管首席工程师更认可异步计数器与回调。兼容现有基础设施可能成为真实约束,但不等于方案经过比较后最优;应把沿用成本与技术收益分开评估。

知识卡与原书证据。

原书依据 · 1 处

共享任务减少重复代码

当多种设备各自采集数据,却需要相同的压缩和下行处理时,把共用功能交给独立任务可避免重复代码、节省有限的程序空间。代价是增加任务间通信和调度复杂度;复用边界应由资源约束与验证能力共同决定,而不是只看代码重复。

知识卡与原书证据。

原书依据 · 1 处

原地处理节省图像缓冲区

图像槽十分有限时,可让算法直接读写同一块预分配空间,避免为中间结果再申请整幅图像大小的缓冲区。代价是处理失败后无法回滚,可能丢失或留下部分损坏图像;选择原地处理前,要确认输入能否重取、失败是否可接受以及错误检测是否足够。

知识卡与原书证据。

原书依据 · 1 处

压缩策略服从保真需求

压缩方案应由图像必须保留的细节、链路带宽、CPU时间和可用空间共同决定:可接受损失时选有损JPEG,需要原样还原时选Rice无损压缩;有时先把12位映射到8位也足够。压缩率不是孤立指标,科学数据尤其要先定义可容忍的信息损失。

知识卡与原书证据。

原书依据 · 1 处

用图像熵估算压缩率

若必须把压缩结果限制在目标大小,可先快速估计图像复杂度,再据此调整压缩强度:纹理与亮度变化多的高熵图像需要更强压缩,天空等细节少的低熵图像则较容易压缩。这是案例中的估算办法,实际系统仍应以编码结果和质量要求验证。

知识卡与原书证据。

原书依据 · 1 处

分段身份支持局部恢复

大图像分段并分别标识后,单个传输包丢失不必使整幅图像失效:地面可识别缺失分段并暂以空像素填充,后续重收到数据再补回。分段协议需携带可定位身份和序号;能否恢复仍取决于接收端保留重建状态及重传数据是否可得。

知识卡与原书证据。

原书依据 · 1 处

FMECA提前规划错误处理

关键软件不能把错误处理留到实现末尾补救。凤凰号团队在设计早期使用失效模式、影响及危害性分析(FMECA)指导实现和恢复能力;错误检查代码的规模甚至与正常处理相当。先系统枚举失效方式与后果,能让故障响应进入架构和测试计划。

知识卡与原书证据。

原书依据 · 1 处

槽资源交接要校验所有权

共享图像槽在相机任务与压缩任务之间转交时,应明确记录当前所有者并核对槽ID、图像ID和任务ID。这样能阻止过期消息或错误任务处理已被复用的内存槽。共享资源的正确性依赖可检查的所有权转移,不能只依赖调用顺序。

知识卡与原书证据。

原书依据 · 1 处

第04章 PNUTShell中的云存储设计

介绍PNUTS如何在水平扩展、全球复制、低延迟访问和一致性之间做设计取舍,并借助主副本、路由、分区和实例化视图满足Web应用工作负载。

先说明传统数据库扩容与全球复制的局限及廉价同步/昂贵异步原则;再以跨地域状态更新展示强一致、尽力而为及时间轴一致性,进而介绍记录级主副本、最新读/临界读和可交换更新;随后讨论路由、散列/范围分区和复杂查询,通过异步物化视图预先组织访问路径;最后比较BigTable、Dynamo、Azure SDS等方案,回看复杂查询能力对实际采用的影响。

复杂查询走后台预计算

跨地域写入不必等待所有副本同步确认;复杂连接或聚集查询则不能简单丢到后台让用户反复轮询。PNUTS用异步维护的实例化视图预先重组/聚合数据,让用户请求以较低延迟读取可接受稍旧的结果。设计时要区分可异步传播的后台更新与必须立即响应的查询路径,而不是把“昂贵”一概等同于“异步”。

知识卡与原书证据。

原书依据 · 1 处

时间轴序列化更新副本

跨地域复制可用ACID事务同步提交副本,但延迟和锁会拖慢写入;尽力而为的异步传播更快,却可能因更新乱序让副本分歧。最终一致性虽会收敛,也未必收敛到最新值。PNUTS让每条记录的主副本为更新排序,再异步传播:副本可暂时落后,最终按同一顺序收敛。ACID描述事务属性,不等同于一致性模型。

知识卡与原书证据。

原书依据 · 1 处

主副本随长期访问模式迁移

PNUTS为每条记录指定主副本;若长期访问模式改变,系统会调整归属,使多数写入仍在本地完成。原文称约85%的更新发生在主副本所在数据中心。迁移依据是长期模式,不是短期异地写入后必然迁往最近的数据中心。

知识卡与原书证据。

原书依据 · 1 处

路由层屏蔽副本位置变化

PNUTS让读写请求经路由层定位副本;记录主副本迁移或分区移动、拆分后,路由器转发到新位置,使底层调整对应用透明。抽象物理位置可降低故障恢复和扩容对调用方的影响,但请求路径依赖路由层持续提供正确映射。

知识卡与原书证据。

原书依据 · 1 处

可交换操作允许乱序执行

PNUTS对可交换操作(如计数器增加)传播操作本身,允许非主副本乱序执行,因为结果不依赖执行顺序。它不能与覆盖赋值混用:增加和重设无法在各副本间可靠排序。先判断操作是否可交换,再决定能否放宽顺序要求。

知识卡与原书证据。

原书依据 · 1 处

稀疏数据需要灵活记录模式

Web应用的数据常稀疏且随功能变化;不同类别记录未必有相同属性。允许同表记录携带不同字段,可降低加字段和组合异类记录的成本,也支持实例化视图把用户记录与评论等数据放在同一访问结构中。代价是应用需管理字段差异,不能因此省略模式约定。

知识卡与原书证据。

原书依据 · 1 处

分区键决定查询效率

散列分区利于按键定位单条记录;有序范围分区可把相同前缀的记录放在一起,让范围扫描或前缀查询少碰无关数据。分区方案因此要从真实查询形态出发:追求单点吞吐和范围检索会形成不同取舍,还要关注热点键造成的负载倾斜。

知识卡与原书证据。

原书依据 · 1 处

读取操作按新鲜度选择路径

复制系统可提供不同成本的读取语义:本地读取通常低延迟但可能过期;要求最新值时查询主副本;要保证用户连续刷新不倒退,则携带上次读到的版本做临界读。把新鲜度要求显式分档,可只为真正需要强保证的请求支付跨区成本。

知识卡与原书证据。

原书依据 · 1 处

复杂查询预建实例化视图

跨分区连接或全表聚集若放在用户请求中同步执行,会占用多台服务器并拖慢页面;若改成纯异步查询,又会迫使用户反复检查结果。对可预见的查询模板,可在后台异步维护实例化视图/索引,让请求同步读取预先组织的数据;前提是应用能容忍视图暂时过期,且维护成本不拖慢主读写。

知识卡与原书证据。

原书依据 · 1 处

视图维护须控制同步成本

预计算结构能加速读,但如果维护视图抢占主请求资源、增加同步读写延迟,或因资源不足长期积压而变得过期,就可能失去价值。评估物化视图时要同时量维护成本、读取收益和可接受陈旧度,并限制预连接等高开销更新。

知识卡与原书证据。

原书依据 · 1 处

数据架构先匹配真实查询

比较数据库方案时,应先列明目标负载的记录规模、读写方式、复制范围和查询形态,再评价架构取舍。PNUTS团队研究BigTable、Dynamo与Azure SDS后,仍按自身需求设计:优化单条记录读写、跨地域复制和灵活分区;代价是跨分区复杂查询较弱。选型应匹配实际负载,不能照搬相似系统。

知识卡与原书证据。

原书依据 · 1 处

第05章 信息平台和数据科学家的兴起

以Facebook的信息平台建设为主案例,串联商业智能、数据仓库、分布式分析、数据空间和数据科学家角色,说明基础设施与人员如何共同支持组织学习。

先从图书馆与大脑提出信息平台的摄取、处理、生成,再回溯ETL、商业智能演进和数据仓库建模;随后以扩容、恢复和非结构化日志暴露传统方案边界,转向Hadoop、Hive和可回查原始数据;最后比较MAD与数据空间,并以数据科学家的跨职能工作收束到学习型组织目标。

平台加速组织学习

图书馆与大脑都摄取、处理并生成信息;图书馆把个人的信息能力扩展到群体。作者将Facebook信息平台定位为帮助组织从经验数据学习、改进产品并制定目标的基础设施。评价平台应看它如何支持学习和行动,不能只看存储规模。

知识卡与原书证据。

原书依据 · 1 处

架构从具体问题长出

Facebook团队为回答用户增长问题,先用脚本抽取数据、守护进程处理日志、MySQL聚合,再用PHP展示摘要;事后才把这套做法识别为ETL、数据仓库和商业智能。该案例显示架构随具体分析需求逐步形成,不证明经典架构普遍都是事后涌现。

知识卡与原书证据。

原书依据 · 1 处

数据空间支持多元访问

数据空间用统一存储管理结构化与非结构化数据,并提供多种访问API,让工程师、分析师和报告人员按任务取用。它既不同于限定关系模型的数据仓库,也不同于只为部分数据建索引的企业搜索;重点是容纳多种数据格式和访问方式。

知识卡与原书证据。

原书依据 · 1 处

数据科学家描述复合职责

Facebook团队成员横跨数据管道、统计分析、算法实现和结果沟通,旧职位名无法概括这些职责,于是称为“数据科学家”。作者认为明确角色有助于设计培训课程、招聘层级和专业组织;命名应回应已经出现的工作组合。

知识卡与原书证据。

原书依据 · 1 处

关注廉价资源的互补能力

Varian的判断是:当资源变得普遍且廉价,与它互补的稀缺服务更值得关注;他以数据与分析为例。这个框架可用于识别互补能力,但原文没有给出分析能力价值会随时间持续上涨的规律。

知识卡与原书证据。

原书依据 · 1 处

ETL串起数据分析链路

ETL把分散来源的数据抽取出来,转换成便于分析的形式,再加载到分析存储中;商业智能工具随后在数据仓库上生成内部报告。它把“拿到原始数据”与“让业务能据此回答问题”连成可重复的处理链。

知识卡与原书证据。

原书依据 · 1 处

数据仓库的两种建模路径

企业统筹路径先研究已有数据源和商业目标,再建立企业数据模型;数据集市路径让各业务单位先建自己的主题库,再用总线连接,并以维度模型服务常见分析负载。前者强调全局一致,后者强调局部交付和查询便利,选型取决于跨域整合与响应速度的权衡。

知识卡与原书证据。

原书依据 · 1 处

数据库迁移受生态差异制约

数据库都宣称遵循关系模型,并不代表批量导入导出、SQL方言和客户端库兼容;迁移时这些差异会迫使团队重写脚本与查询。评估存储替换方案时,应把生态工具、驱动成熟度和迁移工作量纳入成本,而不能只比较数据库核心能力。

知识卡与原书证据。

原书依据 · 1 处

原始数据回查支撑新分析

只保留预先聚合的摘要会限制未来分析;原始日志若可持久保存并重新查询,团队便能在新问题出现后回看历史数据,构建当初未预见的分析。处理吞吐量和后续可查询性是两项不同能力,归档若不可访问,就不能支撑这种重分析。

知识卡与原书证据。

原书依据 · 1 处

简单模型遇上大数据

在某些机器学习任务中,扩大数据量并采用简单模型,可能比只用少量数据训练复杂模型更有效;但这不是跨任务的定律,仍需按问题检验。基础设施因而要能以合理成本积累和处理足够数据,使团队可以实际比较数据规模与模型复杂度的取舍。

知识卡与原书证据。

原书依据 · 1 处

Hive让业务人员自助查数

在分布式存储上提供类似SQL的查询层、分区和可指定序列化模式,可以把数据使用从工程团队扩展给市场、产品、销售和客服等角色。将结构解释推迟到加载或查询层,能适应持续变化的数据;自助访问仍需可靠权限、质量和成本边界。

知识卡与原书证据。

原书依据 · 1 处

多队列共享计算资源

同一分析集群承载报表、实验和产品任务时,不同任务优先级会争用计算资源;按队列分配共享资源,可以在复用集群的同时表达服务次序。队列策略应与任务时效、业务影响和公平性目标相配,避免高优先级任务长期挤压其他工作。

知识卡与原书证据。

原书依据 · 1 处

MAD平台兼顾全量灵活深分析

MAD概括大数据分析平台的三个目标:保存企业全部数据而不只保留预先建模的结构化部分;优雅应对数据模式变化;支持更深入的统计分析。三者分别对应数据广度、模式适应性和分析能力,缺一会限制可提出的问题。

知识卡与原书证据。

原书依据 · 1 处

商业智能把信息送到行动点

商业智能不仅是汇总报表,还包括按用户兴趣把相关信息选择性地送到需要采取行动的位置,并支持从全文资料中检索。系统的价值取决于洞察能否到达行动者;只有集中数据而没有面向使用者的分发与解释,信息仍难以改变决策。

知识卡与原书证据。

原书依据 · 1 处

第06章 照片档案的地理之美

通过Geograph照片档案,说明志愿者生成的地理数据如何与制图、信息可视化结合,以空间树形图探索地点描述、分类术语与地理位置之间的关系。

先区分位置与地方,并介绍Geograph如何汇集自愿拍摄和标注;再提出可视化探索的审美与效率原则,定义树形图并分析任意布局损失空间语义的问题;随后逐步把分类、频率、地理位置和偏移映射到矩形面积、颜色、空间排序与位移向量上,观察术语共现;最后回到数据深度、可读性与样本偏差的解释边界。

颜色编码应匹配感知差异

地理坐标用颜色编码时,颜色的感知差异应尽量对应位置差异。Geograph以CIELab的a、b分量编码东向和北向,使相近颜色表示相近位置;若感知距离与数值距离失配,视觉比较会误导。

知识卡与原书证据。

原书依据 · 1 处

用位移线索补回位置

树形图保留分类层级,却弱化真实地理位置。Geograph用位移向量连接节点布局位置与其地理位置:线越长,偏离越大。叠加空间线索可兼顾分类探索和地理差异。

知识卡与原书证据。

原书依据 · 1 处

显露模式以激发追问

数据可视化的深度在于显露先前隐藏的模式,并由此引出新问题。Geograph中描述词的空间共现差异能提示进一步探索方向;图表价值还取决于是否清晰、可用。

知识卡与原书证据。

原书依据 · 1 处

众包校验专业分类

Geograph参与者对场景术语的使用,与既有研究报告的术语及其使用程度高度相关。大规模自发标注可为专业分类提供经验检验;相关性仍需结合采样偏差解释。

知识卡与原书证据。

原书依据 · 1 处

自愿贡献扩展覆盖

Geograph让参与者自由选择有代表性的风景;项目已有8500多名贡献者,照片覆盖英国90%以上国土。分散参与能形成广域档案;原文未证明其成本更低或内容必然更真实。

知识卡与原书证据。

原书依据 · 1 处

位置描述不等于地方意义

位置回答对象在哪里,通常可用经纬度表示;地方还包含人们赋予环境的活动、感受和社会含义,未必能被坐标完整表达。把坐标、名称与参与者的文字描述结合起来,能从“点位”进一步理解人们如何经验一个地方。

知识卡与原书证据。

原书依据 · 1 处

树形图用矩形包含关系表示层级

树形图把层级数据表示为相互嵌套的矩形:父矩形包含子矩形,所有矩形无重叠地填满可用空间,面积、颜色或标注还可编码其他属性。它能在有限屏幕里同时呈现许多层级节点,但节点位置若按布局算法任意安排,就不能自动解释为地理关系。

知识卡与原书证据。

原书依据 · 1 处

图形空间应对应数据含义

图表占用的空间不只是版面:位置本身可以编码数据关系。评估图形时可分别问墨水有多少直接服务于数据、平面位置是否保留了地理或其他次序关系;高密度本身不是目标,只有读者能从布局中发现有效模式时,空间利用才有价值。

知识卡与原书证据。

原书依据 · 1 处

空间共现模式需要偏差解释

地理文本中的词语共现可能随地区变化,但观察到这种模式不能直接说明地貌导致了用词差异;它也可能来自区域语言、贡献者分布或个人选择。分析众包地理数据时,应把这些解释作为待区分的假设,并检查参与覆盖与样本偏差。

知识卡与原书证据。

原书依据 · 1 处

第07章 数据发现数据

说明组织如何通过持久化目录把新观察与历史信息关联,在满足预设相关性条件时及时通知相关方,并处理误判、资源和隐私边界。

先用服务提醒和赌场调查说明数据到达即可触发发现,而警报只用于安排调查;再指出大规模、实时发现不适合依赖递归联合搜索,转而使用目录,并从上下文无关、语义一致发展到关系感知和持久上下文;随后讨论关联阈值需匹配响应能力,列出实时发现系统的观察、特征、历史上下文、实体判断与修正、持久化、相关性评估和通知职责;最后提出隐私治理和数据最小化要求。

新观察触发关联检查

每条新记录到达时,系统将其与历史信息按预设条件关联;达到条件就发出警报,供有限调查资源优先处理。共享电话号码只能触发调查,不足以证明犯罪。

知识卡与原书证据。

原书依据 · 1 处

目录承载可扩展发现

跨系统逐次联合查询需反复访问数据源;递归扩展会增加延迟,也依赖各系统可用。维护专用目录并返回指向原文的指针,才能支持大规模实时可发现性。

知识卡与原书证据。

原书依据 · 1 处

目录须语义一致且感知关系

上下文无关目录独立索引文档;语义一致目录识别不同表述指向同一实体;关系感知目录还保存实体间关系。持久上下文能支持关键词匹配难以发现的关联。

知识卡与原书证据。

原书依据 · 1 处

新数据到达时增量处理

历史数据达4 EB、每分钟新增5 TB时,周末全量扫描难以承担。把相关性检查放在新数据进入目录时,以持久上下文做增量判断,可避免反复重扫全部存量;案例强调处理时机与数据规模的关系。

知识卡与原书证据。

原书依据 · 1 处

目录模型可降低数据共享风险

目录架构可以减少跨组织共享的原始数据:各方先交换必要的索引或关联信息,原始记录仍留在各自系统,按需授权查看;查询和发现结果可留日志以支持监督。它不会自动保证隐私,索引范围、访问权限、错误纠正和未授权搜索监控仍需治理。

知识卡与原书证据。

原书依据 · 1 处

新观察应能修正旧断言

实体关联是会随证据变化的断言:新观察可能把先前分开的实体确认成同一对象,也可能拆开先前误合并的实体。系统若只能追加关联、不能修正旧判断,长期积累就会偏离现实;因此应保存可追溯的断言并允许后续证据触发复核。

知识卡与原书证据。

原书依据 · 1 处

告警量应受响应能力约束

告警系统的目标不是尽可能多地报出关联,而是让有限的调查资源优先处理最重要的项目。风险规则的灵敏度应与风险、人员编制和响应能力相配;资源增加时才适合提高灵敏度。否则告警超过处理能力,重要线索也会淹没在队列里。

知识卡与原书证据。

原书依据 · 1 处

实时发现系统的八个组成环节

实时发现系统依次处理新观察、特征、历史上下文和实体断言;断言可能是新实体、已知实体或相关实体。新证据若推翻旧判断,还要修正并持久化断言,继而评估是否命中兴趣规则并通知相关方。修正旧断言是闭环的一部分,不能只做一次匹配。

结构图:

flowchart LR
    O[新观察] --> F[提取并分类特征]
    F --> H[查找历史上下文]
    H --> A[判断新实体、已知或相关]
    A --> C[累计并持久化断言]
    A -->|新证据推翻旧判断| U[修正旧断言]
    U --> C
    C --> R[评估兴趣规则]
    R --> N[通知相关方]

知识卡与原书证据。

原书依据 · 1 处

第08章 实时的可移动数据

解释社交数据的实时访问为何不适合依赖高频轮询,并比较事件通知、普适协议、中间代理与访问授权的取舍。

先从社交数据超出传统浏览器访问方式的背景引出实时性;再比较HTTP等普适传输与XML可读性带来的便利,以及接口缺少服务承诺和远程轮询的成本;随后以1-9-90假设的Flickr/FriendFeed案例展示空轮询,用酒吧服务员类比比较轮询与事件,并说明事件设施的实现代价;最后讨论HTTP POST/Web Hooks和中间代理如何连接异构来源、规范化数据,以及公共/私有数据授权、OAuth令牌与盲链接的安全边界。

人驱数据轮询易空转

当变化由人类行为触发时,频繁轮询可能大多只得到“没有更新”。本章将1-9-90比例套入Flickr/FriendFeed的历史示例,估算每天约290万次请求只命中约700次更新(约0.02%);这是特定假设下的估算,不是通用基准。若还要求低延迟,应比较事件通知成本与空轮询成本。

知识卡与原书证据。

原书依据 · 1 处

远程轮询代价更高

远程API轮询每次检查都要承担网络延迟和协议交互成本,重复的无变化查询因而比本地循环更昂贵。评估轮询设计时应把远程往返、连接和服务负载单独计入,不能用本地I/O的成本推断网络访问也便宜;实际差距还取决于协议、距离、负载和图中采用的吞吐量假设。

知识卡与原书证据。

原书依据 · 1 处

格式可读利于协作

XML并非紧凑高效的通信格式,但文本可读,开发者能直接检查数据并参与调试;若只能靠解码工具理解载荷,沟通和改进都会多一道门槛。面向广泛集成时,应把可读性、工具支持和带宽成本一起权衡;这不意味着大型二进制载荷也该改成文本。

知识卡与原书证据。

原书依据 · 1 处

中间层收拢异构适配

当多个数据源的协议、格式和通知方式各异,而多个消费者又需要它们时,中间层可集中接入、清洗和规范化,让下游只面对统一入口。它把重复适配变成共享能力;发散:统一入口也会成为共同依赖,需评估其可用性、治理权和故障影响。

知识卡与原书证据。

原书依据 · 1 处

宽容解析外部数据

不同服务对标准、编码和转义的实现会有差异,生成软件也可能有缺陷,因此严格转换器不能假设输入总符合规范。解析外部数据时要容忍可识别的变体,并把异常纳入校验和诊断;宽容不等于静默接受错误值,必要时应保留原始数据以便追查。

知识卡与原书证据。

原书依据 · 1 处

事件通知省去空轮询

当数据由用户行为产生且需要及时触达时,事件模式让发布方在变化发生后通知消费者,可减少反复查询“是否更新”的空请求。它需要捕获、传递事件及相应框架,复杂度高于循环轮询;选择时应同时衡量变化稀疏度、时效要求和事件设施成本。

知识卡与原书证据。

原书依据 · 1 处

API接入审视服务承诺

把多个外部API组合成实时应用,会把上游性能和可用性带入自己的产品;本章指出当时许多Web API仓促推出且少有服务等级协议。接入前应核对服务承诺与故障边界,并为上游延迟或不可用设计降级路径。发散:没有SLA时,应把依赖的不确定性纳入产品时效承诺。

知识卡与原书证据。

原书依据 · 1 处

授权不应交出密码

第三方集成若直接索要用户密码,会让用户为功能便利交出过多凭据。原文介绍的OAuth流程让用户在服务方确认授权范围,集成方获得令牌而非密码,用户还能撤销许可。应用权限应按需授予并保持可撤回,避免把账号口令扩散到多个服务。

知识卡与原书证据。

原书依据 · 1 处

盲链接分享有泄露风险

盲链接可让没有账号的人直接访问被分享内容,操作简单,但链接一旦被猜到或转发,内容就可能泄露。它适合有意以持有链接作为访问条件的有限分享,不能等同于可验证身份和撤销权限的授权机制;敏感数据应采用更明确的访问控制。

知识卡与原书证据。

原书依据 · 1 处

第09章 探寻Deep Web

说明如何让隐藏在HTML表单后的匿名信息页面进入通用搜索索引,同时控制查询数量、站点负载和结果质量。

先界定表单后的Deep Web及传统链接爬虫的覆盖盲区,排除登录、反馈、购物等私密或有副作用的表单;再比较需要人工映射的垂直搜索与通用自动探寻,解释GET/POST对URL索引的影响;随后把表单抽象成绑定与自由输入项构成的查询模板,以返回页面的富信息量测试筛选有价值的字段组合,并自底向上扩展模板;最后分别处理通用文本框的迭代关键词探测和邮编、日期、价格等类型化输入的有效样本选择,并指出相关输入域的联合取值仍可提升覆盖;结合实验结果总结自动化覆盖能力与边界。

查询模板须产生内容差异

查询模板把一部分输入项设为绑定项,其余留作自由项;用不同绑定值生成样本提交,再比较返回记录是否实质不同。若只改变排序、版式或广告,输入项没有增加可索引内容。签名还要过滤“无结果”提示中回显的查询值,避免把相同空页误判成不同内容。发散:用可观测输出筛变量时,先定义什么才算有效差异。

知识卡与原书证据。

原书依据 · 1 处

笛卡儿积易产生空URL

多个表单输入项的候选值做笛卡儿积,会迅速产生大量提交,其中不少返回空结果。书中Cars.com案例以5个输入项组合出2.4亿多个URL,而当时仅有65辆待售汽车。枚举前先估算组合规模与有效结果量,再设计覆盖与请求成本的折中,避免把穷举当成完整性的代名词。

知识卡与原书证据。

原书依据 · 1 处

从有效小模板扩展搜索

查询模板空间有指数级组合时,可先测单个输入项,再从已验证有信息量的较小模板逐步扩展;若某模板所有低一维扩展都无信息量,就可按书中的单调性假设剪枝。扩展时仍要考虑与已有字段交互的组合,不能只组合单独有效的字段,否则可能漏掉需多个条件共同作用的结果。

知识卡与原书证据。

原书依据 · 1 处

搜索规模决定自动化取舍

垂直搜索靠人工为有限领域建立表单语义映射,能精细整合同类来源,却难覆盖边界不清、语言众多的整个Web。面向数百万表单时,作者转向无需人工监督的通用探测,以单点精度换广泛覆盖。发散:先判断目标是少数来源的深度整合,还是长尾来源的规模覆盖,再选择人工映射与自动化的投入比例。

知识卡与原书证据。

原书依据 · 1 处

页面签名剔除展示噪声

比较查询结果时,签名应忽略HTML排版、结果排序和广告等展示差异,并移除空结果提示里回显的查询值;否则同一空页会因搜索词不同而被误判为不同内容。过滤也不能抹掉真实记录差异。发散:相似度规则要用有记录与空结果样本共同校准,避免误并和漏并。

知识卡与原书证据。

原书依据 · 1 处

Deep Web藏在表单后

Deep Web指必须向HTML表单提交合适值才会返回、因而普通链接爬虫难以发现和索引的页面。本章范围主要是允许匿名检索的信息表单,并排除登录、反馈和购买等涉及私密信息或会改变状态的提交。搜索盲区来自入口方式,而非内容本身不可公开。

知识卡与原书证据。

原书依据 · 1 处

只抓无副作用的GET

GET把查询参数放进URL,使不同表单提交可由不同地址表示并进入搜索索引;POST把参数放在请求体中,结果地址无法据此区分,而且按HTML规范应承载会改变状态或产生副作用的操作。抓取表单前还要排除登录和个人信息入口,不能为扩大覆盖而触发用户状态变更。

知识卡与原书证据。

原书依据 · 1 处

文本查询词应迭代生长

通用文本框没有可用的领域词典时,可先从表单页面抽取相关词作为种子,提交查询后再从返回页面发现新候选词,反复探测并按结果覆盖筛选。要剔除几乎处处出现的模板词和只出现一次的偶然词。发散:候选词不是固定清单,而是被目标站点的数据逐步反馈修正。

知识卡与原书证据。

原书依据 · 1 处

类型化输入要用有效样本

邮编、日期和价格等文本框虽看似任意文本,实际只接受特定类型或范围;无效值会得到错误页。探测时应识别输入类型,并为有限集合抽取样本、为连续范围按不同数量级均匀采样,再用结果差异评估信息量。未来还可识别相关输入域(如最低价与最高价),联合测试精心选择的有效值以发现更多页面。

知识卡与原书证据。

原书依据 · 1 处

第10章 构建Radiohead的“House of Cards”

展示如何以Lidar和GeoVideo采集点云,把数据本身作为音乐视频素材,并通过处理、渲染和开放工具形成可交互的再创作作品。

先交代项目从数据驱动视频的创意缘起,再比较适用于远景和人脸近景的两种传感设备,并解释点云坐标与强度表示;随后说明车载扫描、现场有意保留的采集瑕疵及不可复拍数据备份,再经设备参数转换与静态/动态点云的不同粒子处理形成视频;最后以交互查看器、公开数据和工具邀请观众从新视角继续创作。

有目的地保留瑕疵

GeoVideo能捕捉面部纹理,团队比较后仍决定只保留点云:纹理版像电子游戏角色,抽象版更接近导演想要的数字幻影。车载扫描产生的道路起伏也未被校正,因为它更简单且增加趣味。表现精度应服从表达目标;这不意味着可忽略测量质量。

知识卡与原书证据。

原书依据 · 1 处

先设计要采集的数据

数据创作先问目标数据形态,再安排传感器、物体和采集路径;传统镜头里看不出效果的镜面有机玻璃,仍可改变扫描结果。面包车扫描也让镜头视角留到后期重建。发散:拍摄方案应从可用数据反推现场布置。

知识卡与原书证据。

原书依据 · 1 处

开放数据激发再创作

公开原始点云和生成工具后,观看者可以自行选择视角与呈现方式,做出原团队没预想的版本。该项目报告超过10万人下载数据;这是单个项目的历史结果,不保证开放必然带来同等参与。发散:开放素材时同时提供可运行的查看或创作入口。

知识卡与原书证据。

原书依据 · 1 处

异构设备覆盖不同尺度

Lidar适合户外大范围扫描,但约2厘米点距难呈现面部细节;GeoVideo适合近距离人脸,点距可达0.2毫米。把设备按场景能力分工,能覆盖远景与特写,也降低作品被看成单一设备演示的风险。发散:先列采集尺度与精度需求,再选互补设备。

知识卡与原书证据。

原书依据 · 1 处

换个视角重看平常事物

普通人脸与郊区建筑也能成为有辨识度的数据作品,关键在新的采集和呈现视角。Radiohead视频把熟悉对象转为点云,并用故事和交互查看改变观看经验。发散:素材平常时,先探索表示方式,再决定是否需要更稀有对象。

知识卡与原书证据。

原书依据 · 1 处

点云由空间坐标和强度构成

本章把每个扫描点表示为x、y、z坐标及强度;坐标相对设备原点,强度再映射成灰度。点云因此是带空间位置的采样,不是天然带纹理的照片。发散:解释点云图时应交代坐标基准、强度映射和采样密度,避免把显示效果误当真实表面。

知识卡与原书证据。

原书依据 · 1 处

抽样服从表达目标

GeoVideo能捕捉精细数据,但作品不必照单全收;团队发现大范围抽样得到的点更符合期望表达。采样目标由作品要传达的形态决定,而不是追求最大数据量。发散:把采样策略和任务目标一起评估,并保留足以复核的原始数据。

知识卡与原书证据。

原书依据 · 1 处

不可复拍数据应多份保存

不可复现的现场数据若丢失,后续渲染与创作也失去基础。Thom相关数据拍摄约10小时,团队因此把数据保存在多块硬盘。发散:采集时就规划并验证副本;备份介质数量本身不能替代恢复校验。

知识卡与原书证据。

原书依据 · 1 处

动态图点云需外部状态

静态点集在帧间保持稳定,可把选中点交给粒子系统并持续改变;动态点云每帧重建,旧点很快被新点替换,逐点衰减状态会丢失。案例以叠加二维遮罩近似表达动态衰减,代价是无法与静态方案逐点对应。

结构图:

flowchart TD
  A[点云类型] --> B{帧间点身份稳定吗}
  B -->|静态点集| C[选择目标点]
  C --> D[逐点接入粒子系统]
  B -->|动态点云每帧重建| E[逐点衰减状态失效]
  E --> F[二维遮罩叠加粒子]
  F --> G[近似表达整体衰减]

知识卡与原书证据。

原书依据 · 1 处

第11章 都市数据可视化

通过奥克兰CrimeSpotting项目展示如何从封闭地图中提取犯罪数据、把数据组织成可探索且可分享的公共服务,并依据用户反馈调整数据分区和来源。

先提出数据有趣、有用、公开且免费的四项标准及其受众/环境理解理由,并回顾Web地图和客户端拼接技术;再说明模拟会话、图像识别、颜色预筛、参照点定位和报告去重组成的数据提取链路;随后以总览地图、时间/类型筛选和规范URL提高可发现性与可分享性;最后记录奇特可视化隐喻的试验边界、巡警区对齐社区认知,以及以官方数据替换脆弱爬取后带来的速度与精度改善。

颜色粗筛缩小匹配范围

逐像素用已知图标匹配整张地图很慢。先按犯罪图标的特征色筛出少量候选位置,再对候选区域做高成本精确匹配,可用廉价粗筛减少后续计算。发散:粗筛应优先排除大量明显无关项,同时保留可接受的漏检边界。

知识卡与原书证据。

原书依据 · 1 处

少量地理锚点可标定整张固定地图

当同一输入总生成布局、尺寸固定的地图时,可在每种布局上标注少数已知交叉口的像素坐标和真实经纬度,再以线性关系推算其他像素位置。发散:这种校准依赖地图视图可重复;缩放、裁切或布局变化后应重新标定。

知识卡与原书证据。

原书依据 · 1 处

有趣的可视化隐喻仍需原型验证

时空光锥能把犯罪对社区的影响表达成由模糊风险聚焦到具体事件的过程,但作者团队发现它放进主网站会显得怪异,因此保留为尚待试验的概念。发散:设计隐喻应通过原型检查可读性和使用场景,概念吸引力本身不能证明它适合上线。

知识卡与原书证据。

原书依据 · 1 处

地理分区应贴合用户的社区认知

团队起初把警务服务区、委员会区和邮递区视为定位噪音;居民反馈却说明,巡警区才对应其日常沟通对象及社区边界。依用户熟悉的空间组织犯罪数据,才让页面支持当地居民与警员沟通。发散:数据分区应从使用者实际协作关系验证,而非只沿用机构内部边界。

知识卡与原书证据。

原书依据 · 1 处

爬虫脆弱时应争取正式数据接口

模拟用户会话并抓取地图的流程耗时、易错,还会增加目标网站负载。继续优化抓取没有解决根因;市政府改为提供官方表格后,采集从数小时降为几分钟,定位也更准确。发散:当方案依赖绕过上游系统时,应评估协商正式数据出口的成本与收益。

知识卡与原书证据。

原书依据 · 1 处

客户端拼接地图瓦片

把地图切成可复用图片块,由浏览器按视口组合,能避免每次平移都让服务器重绘整幅地图,并为更丰富的制图效果留出资源。发散:交互界面若能在客户端组合稳定资源,可把服务器压力换成网络传输与客户端工作。

知识卡与原书证据。

原书依据 · 1 处

数据优先界面便于探索

向导式查询要求用户先知道要找哪个地方;总览地图则允许从整体浏览,再按时间、类型或地理范围逐步缩小。把数据概要和探索入口放在前面,可支持尚无明确问题的发现过程。发散:搜索产品可同时提供精确查询和开放式浏览路径。

知识卡与原书证据。

原书依据 · 1 处

筛选器兼具反馈功能

时间和类型选择器既缩小地图中的报告范围,也显示当前数据覆盖日期及所选类型数量;高亮反馈还能让被遮挡的类别重新可见。筛选因此不只是输入条件,也能帮助用户理解数据分布和控件效果。

知识卡与原书证据。

原书依据 · 1 处

规范URL便于分享记录

把报告类型、日期和区域编码进可读的分层URL,并把多种等价地址重定向到同一规范形式,使两个人分享的链接指向同一查询结果。发散:可分享的地址应稳定、可读且具有一致的规范化规则。

知识卡与原书证据。

原书依据 · 1 处

有趣有用公开且免费的数据

本章以“有趣、有用、公开、免费”评价数据:数据应吸引收集者、观众或机构,帮助人们理解环境,并允许公众免费查看和讨论。可信原始数据与多种访问方式支持居民使用。

知识卡与原书证据。

原书依据 · 1 处

第12章 Sense.us的设计

以sense.us为案例,说明如何把人口普查数据处理成可探索的可视化,并通过协作机制让个人观察、外部语境和群体讨论共同支持数据理解。

先说明数据的价值与伤害取决于用途、治理和用户理解,再介绍人口普查数据的领域知识、口径协调及隐私限制;随后通过真实数据原型筛选视觉方案,比较堆叠图等编码与任务的适配及交互代价;继而说明URL分享、视图状态索引、图形标注、书签线索和社会导航如何连接异步讨论;最后以用户研究展示探索、讨论和外部上下文的循环及其解释边界。

摘要相同不代表形态相同

统计摘要相似的数据集仍可能有不同分布形态;Anscombe四组的图形揭示了摘要掩盖的结构。分析时应把摘要与图形检查结合,避免把汇总指标当作完整数据。

知识卡与原书证据。

原书依据 · 1 处

URL让视图分享可复用

把当前可视化状态写入随视图更新的URL,用户复制链接即可分享,也能借浏览器前进/后退恢复历史状态。复用熟悉的链接动作,降低协作门槛。

知识卡与原书证据。

原书依据 · 1 处

按结果状态识别等价视图

不同参数可能产生同一可视化结果;若直接比较参数字符串,会把等价视图当作不同状态。应按实际可见数据归一化过滤条件后再索引,比较结果而非输入形式。

知识卡与原书证据。

原书依据 · 1 处

协作功能按需显现

协作不应妨碍个人使用:默认隐藏视图标注,把评论放在不显眼处,用户需要时再显示图形标注。按需呈现可保留个人探索空间。

知识卡与原书证据。

原书依据 · 1 处

书签串联视图形成叙事

浏览时可把多个当前视图保存为书签,再将书签链接插入评论形成多视图叙述;按顺序串联视图,能帮助读者沿比较过程理解结论。长论证可拆成可追踪的观察序列。

知识卡与原书证据。

原书依据 · 1 处

数据价值与风险取决于使用方式

数据只有在被正确收集、妥善保护并由合适的人理解和使用时,才可能转化为更好的判断。同一份细致人口数据用于公共服务时有益,若被迫害者利用也会放大伤害。设计数据系统时应同时检查用途、访问者和未来可能出现的滥用情境,而非只看数据是否准确。

知识卡与原书证据。

原书依据 · 1 处

数据比较前先核对采集口径

跨年份比较前应先确认变量定义、调查问题和覆盖范围是否稳定;同名年度数据不一定天然可比。统一编码和文档能减少口径差异,但和谐化过程包含人工判断,标准化不能消除由建模选择带来的偏差。

知识卡与原书证据。

原书依据 · 1 处

真实数据原型加快方案筛选

先用真实数据快速搭出多种可视化原型,再请同事反馈,可以在投入完整系统开发前发现哪些呈现方式有分析价值。原型评估能把开发资源留给经过初步验证的方案;反馈对象与目标用户不同,结论仍需后续用户验证。

知识卡与原书证据。

原书依据 · 1 处

堆叠图总览清晰却遮蔽个体趋势

堆叠图把多条时间序列叠加,适合观察整体组成和总量变化,也能支持筛选;但曲线位置会让单条序列的趋势难以准确判断。需要看某个类别时,应允许用户隔离该序列,并结合更直接的比较视图,而不是把总览图当作所有问题的答案。

知识卡与原书证据。

原书依据 · 1 处

图形标注支持异步指向

远程、异步讨论缺少现场交谈时的手势指向,可让评论附带覆盖在视图上的图形标注,使参与者能共同定位正在讨论的特征。复用一套自由格式标注工具还能简化实现并保持体验一致;标注应能按需显示,避免遮挡个人探索。

知识卡与原书证据。

原书依据 · 1 处

社会导航重新点燃数据探索

用户独自探索数据时可能耗尽兴趣;可搜索的评论列表和他人保存的视图能提供新的入口,让用户发现别人的问题或观察并开始自己的分析。Sense.us的观察显示,两种活动会形成正反馈,但这只是该原型中的使用模式,不能当作所有产品必然有效的规律。

知识卡与原书证据。

原书依据 · 1 处

讨论补足可视化中的外部语境

图表展示趋势,却未必包含解释趋势所需的税制、历史事件或数据口径。让用户围绕特定视图提问、补充上下文并比较假设,能把观察推进到可检验的解释;评论是线索而非因果证明,仍需独立核实。

知识卡与原书证据。

原书依据 · 1 处

图形编码须匹配数据类型与任务

可视化编码应同时匹配数据类型和用户任务:位置适用于精确比较,颜色区分分类标签较有效,却不适合精确表达数值。选图前先问用户要辨别、比较还是发现异常,再选择视觉变量;漂亮或熟悉的图形不自动代表表达准确。

知识卡与原书证据。

原书依据 · 1 处

动画应帮助跟踪变化而非拖慢分析

动画能让用户跟踪视图状态的变化,但过慢会打断分析,过度使用也会变成干扰。Sense.us团队反复调整形式和时长,约一秒的转换让观察者跟上变化而不必停下来等待;这个时长是案例参数,实际产品应按任务测试。

知识卡与原书证据。

原书依据 · 1 处

第13章 数据所做不到的

说明数据可以提供观察与证据,却无法替代人对模式、概率、因果和结果分布的审慎解释;认知偏差、成本、非平稳环境及事件依赖都会限制数据驱动决策。

先以人类模式识别引出从噪声中编故事的叙事谬误和确认偏见,再用收益/损失选择说明风险偏好的不对称;随后分别讨论样本量、错误代价、处理与选择成本,相关和因果的区别,以及描述性统计对分布形状的压缩;再指出过拟合、世界变化、基准概率误判和概率直觉限制预测,最后以出借行为相互影响说明事件独立性及数据观察者偏见的边界。

噪声数据诱发叙事

叙事谬误是把噪声中的偶然模式编成连贯因果故事;随机股价图配上新闻后,受试者会更确信判断。故事顺畅不等于关系真实,解释数据前可检验随机数据是否也能支持同一叙述。

知识卡与原书证据。

原书依据 · 1 处

收益与损失改变风险偏好

确定收益7400美元低于75%获10000美元的期望7500美元;确定损失7400美元与75%损失10000美元的期望损失7500美元。偏好确定收益、厌恶确定损失可使A+D=-100、B+C=+100,差200美元(原文误称2000)。框架会改变风险选择。

知识卡与原书证据。

原书依据 · 1 处

基准率决定阳性含义

患病率0.1%、敏感度99%、健康者误报率1%时,百万人约有990个真阳性和9990个假阳性;阳性预测值为990/(990+9990)≈9.0%。原书漏将真阳性计入分母,误写为9.9%;检测结果须结合基准率。

知识卡与原书证据。

原书依据 · 1 处

模型依赖规律稳定假设

少量历史点可被复杂曲线完美拟合,但拟合不能证明未来仍服从同一结构。预测模型隐含规律稳定的假设,结构突变可能使表现骤降;历史数据无法单独验证这一假设。

知识卡与原书证据。

原书依据 · 1 处

决策要看完整结果分布

中位生存期把群体分布压成一个位置:右偏分布中,一部分人可能远超中位数。它便于概括群体,却不是个体命运;解读风险时还应查看完整分布和尾部。

知识卡与原书证据。

原书依据 · 1 处

确认偏见筛选新证据

确认偏见是把既有结论带入新分析,并更容易注意或接受支持原假设的证据,甚至可能在反面证据压倒性时仍坚持旧判断。它不同于从噪声中编出连贯故事:前者偏向筛选证据,后者偏向组织解释。检验分析时,可先写下什么观察会推翻自己的假设,再主动寻找这类证据。

知识卡与原书证据。

原书依据 · 1 处

相关不等于因果

两个变量一起变化,只能说明它们在样本中相关;共同原因、选择偏差或偶然波动都可能造成这种关系,单凭相关性无法确定因果方向。把婚前同居与离婚率的相关直接写成同居导致离婚,就是把建议包装成数据结论。解释关联前要寻找能区分因果机制与替代解释的证据。

知识卡与原书证据。

原书依据 · 1 处

数据多不等于决策更好

增加样本通常能缩小随机误差,但前提是分布与抽样假设合适,而且新增数据确实改善要处理的错误。若漏掉致命疾病的代价远高于一次误报,收集能降低漏报的数据可能比单纯扩大样本更有价值。数据工作应先明确误差类型、代价和分布假设,再决定增加什么数据。

知识卡与原书证据。

原书依据 · 1 处

选项过多会抬高决策成本

选择集合扩大不只增加比较工作,还可能让人拖延、放弃选择,并降低事后满意度;更多可选项因而不必然改善决定。设计数据界面或决策流程时,可先呈现与当前目标最相关的少量选项,再允许用户按需展开,避免把筛选成本全部转嫁给决策者。

知识卡与原书证据。

原书依据 · 1 处

数据事件往往并不独立

若一项事件会改变他人观察、判断或参与的机会,多个数据点就可能彼此依赖,不能当作独立重复证据。P2P借贷中,出借人会模仿已有竞标,竞标越多又可能带来更快的后续竞标;忽略这种羊群效应会高估样本提供的独立信息。建模前应检查数据生成过程中的社会互动与共同冲击。

知识卡与原书证据。

原书依据 · 1 处

第14章 自然语言语料库数据

展示如何用大规模自然语言语料估计概率模型,并把它用于分词、密码解码、拼写纠正、分类、翻译等不确定任务;同时说明搜索空间、数据质量和决策代价对模型效果的限制。

先定义语料库、token/type和N元计数,并说明词频分布高度偏斜;随后以无空格分词说明概率模型、候选枚举、打分选择及记忆化动态规划,再比较上下文模型和未知词估计;接着从穷举凯撒移位转到需随机重启的爬山搜索,再用贝叶斯公式组合候选词概率与拼写噪声,讨论语料纠错、分类/翻译中的数据来源;最后总结数据规模能简化模型,但任务选择还须考虑期望效用并保持独立测试纪律。

语料承载隐性语言知识

把choosespain.com正确切分成choose Spain,模型只查语料中的词序频率;自然产生的文本能承载搭配规律,使数据驱动方法无需显式编码全部领域知识。

知识卡与原书证据。

原书依据 · 1 处

大语料简化平滑

大语料让未见的词序组合更少,N元模型可用“愚蠢回退”等简单方法处理残余稀疏性。数据规模变化可能使过去复杂的平滑策略不再必要。

知识卡与原书证据。

原书依据 · 1 处

搜索策略取决于空间

候选少时可穷举;存在可证明的非最优条件时可安全剪枝;搜索空间过大且无保证时才用启发式,接受不能保证全局最优。策略取决于空间规模与结构。

知识卡与原书证据。

原书依据 · 1 处

语料可得性决定数据方法

机器翻译和语言识别有大量自然产生的语料样例,语义解析则缺少自然生成的解析标注数据。判断数据驱动任务的可行性时,应先核对所需训练样本能否规模化获得。

知识卡与原书证据。

原书依据 · 1 处

测试集独立与算法无关

训练集用于建模,校验集用于选方案;测试集评估未见数据,理想情况下用过即弃。但数据昂贵时可权衡复用,前提是避免用测试集反复调优造成过拟合;独立评估要求与算法类型无关。

知识卡与原书证据。

原书依据 · 1 处

语料库序列频次编码语言

语料库是文本集合;token是文本序列中的单词或标点,每种不同token是一个type,type集合构成词汇。统计相邻n个token的N元频次,就能从真实用语估计序列概率。词频高度偏斜,因此语料规模和低频处理会影响模型边界。

知识卡与原书证据。

原书依据 · 1 处

记忆化动态规划削减重复搜索

分词若递归枚举所有切分会重复求解相同后缀;缓存每个子串的最佳结果后,只需逐个子串计算并比较有限长度的首词候选,复杂度可从指数级降到多项式级。概率乘积改用对数加法还能避免数值下溢。

知识卡与原书证据。

原书依据 · 1 处

未知词概率应非零且随长度衰减

语料库未收录某词不代表它不可能出现,把未知词概率设为零会令含它的整条候选序列归零。可给未知词非零的平滑估计,并按词长降低概率,避免任意长随机字符串获得过高分。

知识卡与原书证据。

原书依据 · 1 处

相邻词上下文能修正独立分词

把词概率视为彼此独立时,常见的“sitdown”可能压过“sit down”的两个单词概率乘积。加入前一词条件概率后,常见搭配可得到更高分;上下文改善判别,但更长的N元模型也增加数据规模和计算代价。

知识卡与原书证据。

原书依据 · 1 处

随机重启缓解爬山局部最优

爬山搜索只接受分数不下降的邻居,无法保证越过局部峰值或平原。多次从随机密钥重新开始并比较结果,能增加找到较好解的机会,却仍不能保证全局最优;搜索次数和邻居设计仍需权衡。

知识卡与原书证据。

原书依据 · 1 处

拼写纠正组合词频和错误概率

拼写纠正要同时考虑候选词本身常不常见,以及输入错误把它变成当前字符串的可能性:按 P(候选|输入) ∝ P(输入|候选)P(候选) 排序。只选最高词频会把罕见但正确的词误改成常见词。

知识卡与原书证据。

原书依据 · 1 处

训练语料错误会污染纠错模型

网络语料若含大量真实拼写错误,模型会把错误词频当成正常语言证据,进而拒绝纠正同类错误。可用校对语料、词典约束或结合相似词的上下文共现识别噪声;数据清洗能改善模型,但计算成本可能很高。

知识卡与原书证据。

原书依据 · 1 处

决策应最大化期望效用

选择最可能结果只适用于各类错误代价相近的目标。若错误提示会造成尴尬等负效用,决策应结合结果概率与正负价值,最大化期望效用;因此模型输出相同,应用场景和代价不同也可能应采取不同动作。

知识卡与原书证据。

原书依据 · 1 处

第15章 数据中的生命:DNA漫谈

以DNA的编码和复制机制为起点,展示基因组作为数字化数据库如何容错、表达、演化并被现代测序平台读取;再说明测序吞吐增长如何推动实验室数据管理与基础设施演进。

先说明DNA的四元编码、双链互补、蛋白质读取和基因调控,并用表观遗传、癌症损伤阈值、密码子冗余、数字遗传和中性进化解释生命数据的工作方式;随后从基因组计划转向高通量短读测序,说明重复读取、海量图像和数据增长;最后展示样本流程元数据、可演进模式、分布式存储、质量控制闭环与开放数据如何支撑测序服务。

密码子冗余缓冲突变

64种三联密码子对应20种氨基酸和终止信号;多数氨基酸有多个密码子,末位变化常影响较小,因此冗余可缓冲部分突变。

知识卡与原书证据。

原书依据 · 1 处

互补链提供修复模板

DNA两条链按互补关系携带对应信息;一条链受损时,细胞可用另一条链作模板修复。A-T、C-G配对属于校正后的标准写法,不沿用原文误植。

知识卡与原书证据。

原书依据 · 1 处

遗传信息不会被平均

亲本各自的基因拷贝以离散序列传给后代,不会像混合液那样被平均稀释;但DNA序列会因变异而变化,离散编码不等于无限无损复制。

知识卡与原书证据。

原书依据 · 1 处

中性进化提供差异基线

判断基因差异是否受选择,先用中性进化估计随机变化速率,再比较观测差异;快于预期可能提示有利变化,慢于预期则可能受功能约束。

知识卡与原书证据。

原书依据 · 1 处

损伤累积扰乱基因控制

未修复的DNA损伤可触发细胞停止分裂并程序性死亡;若损伤累积扰乱基因控制,异常表达风险会上升。评估长期损耗时应关注修复与控制机制是否仍有效。

知识卡与原书证据。

原书依据 · 1 处

表观遗传调节基因表达

环境因素可给DNA添加化学标记,在不改动碱基序列的情况下抑制基因转录;这类表观遗传变化有时还能遗传。基因功能不只由编码序列决定,也受可逆调控信息影响。

知识卡与原书证据。

原书依据 · 1 处

DNA表达依赖蛋白质机器

DNA保存制造蛋白质的指令,但复制、转录、翻译和基因调控都依赖细胞中已有的蛋白质机器。遗传信息像程序蓝图,不能脱离执行系统独立运作;理解基因作用时要同时看编码与细胞环境。

知识卡与原书证据。

原书依据 · 1 处

重复测序降低变异误判

单次DNA测序可能把技术误差当成真实变异;对同一碱基做多次相互独立的读取,可利用重复一致性提高统计把握,再比较样本间差异。重复测量的价值在于分离信号与测量噪声,但前提是误差不能完全相关。

知识卡与原书证据。

原书依据 · 1 处

样本元数据助力故障定位

在跨人员、设备和实验室流转的样本上记录完整处理过程,能把最终测序结果与吞吐量、设备校准和协议偏差关联起来。数据质量问题因而可以沿样本路径回溯,而不只是看到一份异常结果。

知识卡与原书证据。

原书依据 · 1 处

元数据模式运行时演进

当实验协议和设备快速变化时,把可变字段定义为带版本的元数据族,并在运行时调整描述,可让新旧项目继续访问且减少开发者反复改固定数据库结构的负担。稳定身份等字段仍可保留为核心列以便查询。

知识卡与原书证据。

原书依据 · 1 处

质控将失败样本回流重处理

测序结果通过质量控制后,低产出、未知碱基过多或低复杂度等信号会暴露失败;把这些结果反馈到项目系统并自动重排样本,可形成从检测、告警到再处理的闭环,避免问题数据静默流入分析。

知识卡与原书证据。

原书依据 · 1 处

低成本保留测序原图

原始测序图像体量巨大、完整恢复昂贵,但低质量压缩图仍可在异常时供人工回看染色、油污或指纹等问题。归档策略可按用途分层:昂贵原始数据限期保留,低成本证据留作故障调查,不能把“不可用于分析”等同于“毫无价值”。

知识卡与原书证据。

原书依据 · 1 处

测序吞吐驱动平台扩容

测序数据增长会超过既有平台规模,要求同步扩充存储、网络与处理设施。平台容量应按数据生成速率和分析需求规划;书中的容量预测反映当时技术背景,不能直接作为今天的配置基准。

知识卡与原书证据。

原书依据 · 1 处

DNA是生命的化学数据库

DNA不只是组成生物体的物质,也承载了描述生命化学组成的信息。这个信息系统经长期演化形成简单、无固定模式且具容错性的组织方式;“数据库”是帮助理解其信息功能的类比,DNA仍由生物分子及细胞机制承载。

知识卡与原书证据。

原书依据 · 1 处

第16章 美化真实世界中的数据

以开放溶解度研究项目说明,如何通过透明记录、上下文验证、开放标识与机器可读服务,把带有噪声和瑕疵的真实测量变成可复查、可整合并能推动新实验的数据资源。

先提出真实测量的误差、选择性展示和出版容量问题,强调公开底层数据及处理过程;继而以开放记录本和逐条来源链接建立证据链,再用实验上下文解释异常值、保留并标注可疑数据;随后展示熟悉工具、开放标识、人机兼容格式、API与中心聚合服务如何发布和连接数据;最后通过RDF与跨源链接说明数据网络,并以可视化暴露研究空白、选择下一轮实验。

实验上下文解释异常值

记录实验条件可解释异常值:低溶解度读数来自短时搅拌,高值来自数小时搅拌,显示搅拌时间影响饱和。回查上下文再判断异常,勿只凭统计阈值剔除。

知识卡与原书证据。

原书依据 · 1 处

可疑数据保留并标注

对有争议的测量值保留原始记录,标注“请勿使用”及理由并链接实验本,让使用者检查证据后自行判断;透明处理也保留特殊用途下的数据价值。

知识卡与原书证据。

原书依据 · 1 处

熟悉工具降低众包门槛

采用贡献者熟悉的Wiki、表格和照片工具,减少学习专用系统的负担;同时考虑开放共享、稳定托管和API访问。熟悉工具可降低参与门槛。

知识卡与原书证据。

原书依据 · 1 处

开放标识符支持集成

CAS号只能查询且依赖外部机构;开放InChI可由公开标准与算法生成,并能在标识符和化学结构间转换,便于交换与集成。

知识卡与原书证据。

原书依据 · 1 处

RDF连接不同资源

RDF用可链接关系表达资源;实验数据通过共同化学标识符连接DBpedia后,可查询数据集之外的溶剂类别。自描述标准便于发布后由第三方组合数据。

知识卡与原书证据。

原书依据 · 1 处

公布底层数据让读者自验

若文章只展示典型结果,呈现的可能是研究者挑出的最好数据集,选择性展示会遮蔽测量波动。公开支撑论点的完整数据和处理筛选过程,能让读者独立复算并检视结论;透明不能消除争议,却能让讨论建立在共享证据上。

知识卡与原书证据。

原书依据 · 1 处

每条数据都应连回原始记录

汇总表中的每个测量值都应保留指向实验记录的链接,使使用者既能知道是谁提交了该断言,也能查看测量如何完成。可追溯来源让数据质量判断从信任作者转为检查证据,并方便机器按需取回原记录。

知识卡与原书证据。

原书依据 · 1 处

数据格式兼顾人机阅读

开放数据表应让人能读懂常用名称,也让程序能稳定处理机器标识符;例如同一化学实体可同时保留通用名和结构编码。双重表达降低人工理解和自动整合之间的转换损耗,但需要明确各字段语义与标识标准。

知识卡与原书证据。

原书依据 · 1 处

开放服务促进跨领域协作

开放数据和可访问服务让测量者、接口开发者与建模人员可以各自使用擅长的工具,再把结果组合起来,无须先建立正式合作关系。降低组织协调依赖后,外部使用者也可能以数据提供者未预料的方式扩展原始数据的价值。

知识卡与原书证据。

原书依据 · 1 处

聚合服务连接分散数据源

数据分散在许多来源时,单靠搜索工具仍会增加研究者定位和整合信息的成本。中心聚合服务通过共同标识符汇集记录并提供索引,让用户从一个入口发现分布来源;它应保留来源链接与校对信息,不能把聚合误当成统一权威。

知识卡与原书证据。

原书依据 · 1 处

可视化空白引导下一轮实验

把已有测量投到有意义的特征空间后,数据点覆盖区和空白区可以同时显现;空白提示哪些对象尚未测量,研究者便能结合资源限制选择下一轮实验。可视化因此不仅总结结果,也能把分析反馈到数据采集计划。

知识卡与原书证据。

原书依据 · 1 处

第17章 数据浅析:探索形形色色的社会定型

以FaceStat众包评分为例,展示如何从真实世界的混杂数据中清理和探索模式,同时公开处理选择、解释抽样与统计限制,避免把探索性关联写成确定的社会结论。

先提出大规模用户评价数据的探索目标,并声明不验证预设假设、公开处理选择;再由原始响应的频数与异常值检查进入清洗、数值汇总和初步分布探索;随后用平滑、置信区间、自适应分箱及相关矩阵分析年龄、魅力、性别等变量;再分析自由文本标签的保留、长尾词频和性别条件概率,并以词频门槛控制稀疏噪声;继而解释K均值在高维特征空间的聚类、参数选择和二维投影局限;最后将结果限定为后续研究线索,并指出受控研究与隐私考量。

公开分析中的取舍

探索性分析旨在发现有趣模式与关联,而非验证预设假设。对离群点、缺失值及不得不做的数据处理选择,应公开说明,让读者判断选择如何影响结果。

知识卡与原书证据。

原书依据 · 1 处

点重叠时改看密度

大量点重叠会使散点图难以呈现真实密度,甚至产生误导。此时可改画估计分布,例如用核密度估计平滑,而不是继续逐点叠画。

知识卡与原书证据。

原书依据 · 1 处

稀疏区间放宽分箱

样本稀疏区间的均值估计不确定性较大。FaceStat对年轻、年老的稀疏区间使用更宽的5年或10年分箱,以汇集更多观测;粒度应回应局部样本量。

知识卡与原书证据。

原书依据 · 1 处

置信区间呈现估计不确定性

汇总曲线应同时显示置信区间,帮助读者判断均值估计的不确定性。样本很少时区间可能很宽;区间窄只表示估计更精确,不能单独证明无偏或结论有效。

知识卡与原书证据。

原书依据 · 1 处

相关矩阵筛查多变量关系

多变量逐对画散点图不便于全局筛查。相关矩阵可把各变量成对关系编码为颜色,先定位可能值得深入检查的关联;相关性本身不证明因果。

知识卡与原书证据。

原书依据 · 1 处

频数分布先暴露数据脏点

众包表单会混入换行符、文本、格式错误值乃至重复灌入。先查看频数分布,罕见值常能暴露格式问题或绕过规则的行为,再按明确规则清洗;同时保留可追溯的原值,避免把真实的稀有观测误当噪声删掉。

知识卡与原书证据。

原书依据 · 1 处

保留原始标签再做归一化

自由文本中的大小写、标点和符号差异是否应合并,取决于具体分析用途;过早归一化会抹掉可能有意义的语义差别,而且原值丢失后难以恢复。先保留原始标签,在明确的分析或展示环节再做可逆变换,能兼顾后续不同问题。

知识卡与原书证据。

原书依据 · 1 处

长尾词频不要套正态直觉

Zipf型词频中,少数标签出现很多次,同时有大量标签只出现一两次;这种重尾分布不同于正态分布,尾部并非自动意味着错误。用对数秩与频率检查长尾形态时,还要看点的密集区,不能只凭一条拟合线概括所有词项。

知识卡与原书证据。

原书依据 · 1 处

低频标签先设统计门槛

按标签估计性别条件概率时,某标签若只出现一次,偶然落在某一组就会得到极端的比例值。先设置最低频数门槛再比较,可降低小样本造成的虚假特征;门槛会排除稀有信息,因此应随用途和数据规模说明取舍。

知识卡与原书证据。

原书依据 · 1 处

K均值按质心反复归组

K均值把每个样本表示为特征空间中的点,先选K个中心,再反复将样本分给中心并调整中心,使组内点尽量靠近各自质心。它适合探索数值特征中的分组结构;缺失值填补和尺度标准化会影响距离,因此预处理也是模型含义的一部分。

知识卡与原书证据。

原书依据 · 1 处

聚类结果需检查稳定性

K均值要求事先指定K,而数据本身通常不给出唯一正确的聚类数;不同K、算法或参数会形成不同分组。比较多种设定并查看重复出现的模式,能把聚类当作探索线索;若要声称存在真实类别,还需独立证据验证其稳定性与用途。

知识卡与原书证据。

原书依据 · 1 处

高维聚类投影会掩盖差异

聚类可在二十维特征空间按所有属性划分,但展示图往往只投影其中两三个维度;图上相互重叠的组仍可能在未显示的属性上不同。解释聚类图时要区分算法比较的完整空间与可视投影,并查看质心或各维特征,不能凭二维外观断言分组无差异。

知识卡与原书证据。

原书依据 · 1 处

探索性关联不能冒充因果

探索性分析从大量混杂数据中发现模式与关联,适合提出后续问题;它没有受控实验的设计,不能单凭相关性断言因果,也不应把探索出的群体模式写成定型结论。公开处理选择、样本限制与不确定性,再用更严格的研究设计检验,是从发现走向解释的必要步骤。

知识卡与原书证据。

原书依据 · 1 处

第18章 旧金山海湾区之殇:次贷危机的影响

以旧金山湾区2003—2008年住宅销售数据为例,展示从采集和地理编码到时间序列、分布、地区与人口统计比较的分析路径,并说明数据口径、抽样和观察性关联对危机解释的限制。

先找到机器可读销售数据并清洗格式,再地理编码、检查错误并按用途处理不确定位置;随后观察总体价格与销售周期,讨论通胀调整口径;继而用分位数和基期指数区分不同价位的绝对与相对冲击,再以筛选、平滑和指数化比较城市走势;最后连接人口普查数据、细看旧金山空间分布,以可复现数据和代码总结发现及后续研究边界。

先找网页背后数据

抓取报纸网站房价页时,团队发现每周页面由可直接下载的结构化文本生成。采集前先找机器可读源,可能比解析展示层HTML更省事、稳定。

知识卡与原书证据。

原书依据 · 1 处

免费编码方案有代价

为40多万地址编码时,商业API受日请求和授权限制;团队改用免费开源服务,接受速度较慢、精度较粗,并复核明显错误。方案需权衡授权、吞吐和精度。

知识卡与原书证据。

原书依据 · 1 处

可疑坐标按用途处理

地理编码错误能纠正就纠正;无法纠正时标为缺失。粗粒度区县分析或可保留记录,精确坐标分析则应排除可疑值,避免错误数字混入结果。

知识卡与原书证据。

原书依据 · 1 处

绝对变化与相对变化

住房价格绝对跌额受基数影响:高价房跌额较大;按危机前基期计算相对变化,低价房跌43%、高价房跌9%。绝对额与相对率回答不同问题,应并看。

知识卡与原书证据。

原书依据 · 1 处

标准表格格式减少重复

把重复键值文本转为CSV后,数据从90MB降至45MB,也更易由统计工具读取。结构化格式可通过集中字段名减少重复存储,并提升互操作性。

知识卡与原书证据。

原书依据 · 1 处

缺失标记应服从分析用途

经纬度被用于细粒度空间分析时,可疑地理编码应标为缺失,让该记录退出依赖坐标的分析;按城市或县汇总时,只要位置足够粗略仍可能可用。缺失不是统一的数据质量判决,而是字段精度与分析任务之间的边界。

知识卡与原书证据。

原书依据 · 1 处

价格调整要检查指标口径

把跨年房价换算为基期价格,可以分离一般物价变化与名义价格变化;但CPI含有住房相关子指数,而住房价格正是研究对象,调整指标可能与目标变量存在口径重叠。选择调整方法时须说明指标组成,并比较调整前后的结论。

知识卡与原书证据。

原书依据 · 1 处

分位数揭示分布差异

均值把整组房价压缩成一个数,可能遮住不同价格段的走势。逐月计算10%到90%的价格分位数,再分别按初始值指数化,能同时比较分布位置和相对变化;本案例中低价住房较早见顶、相对跌幅更大。

知识卡与原书证据。

原书依据 · 1 处

平滑能显趋势也会压峰

广义可加模型通过权衡拟合程度与曲线平滑度,压低短期噪声以显露长期走势;代价是尖锐局部波动也会被削弱。本章的城市房价图因此更易比较趋势,但非常昂贵住房的销售高峰不再突出。平滑参数和原始图应一并审视。

知识卡与原书证据。

原书依据 · 1 处

入样门槛限定比较范围

比较城市周均房价时,只保留平均每周至少10笔销售的城市,得到58个城市和总销售量的82%,但只覆盖城市总数的24%。门槛降低小样本均值的波动,却改变了代表范围;结论应明确适用于筛选后的城市集合。

知识卡与原书证据。

原书依据 · 1 处

基期指数便于比较走势

不同城市起始房价差距很大时,将每条价格序列除以各自初始值,可以把曲线置于共同基准,比较其相对变化,而不是混淆绝对价格水平与涨跌路径。展示指数时仍应保留原始价格视图,以免比例变化掩盖实际金额差异。

知识卡与原书证据。

原书依据 · 1 处

观察性关联不能单独证明因果

城市房价回落与收入、教育、通勤时间及住房建设呈现关联,可以帮助提出后续解释;但人口普查和销售数据的散点关系没有隔离混杂因素,也不能证明贫困导致跌价。把观察性结果作为待检验线索,再用更合适的数据设计验证机制。

知识卡与原书证据。

原书依据 · 1 处

地理口径错配会丢失匹配

销售数据把部分社区也当作“城市”,人口普查则按另一套城市边界统计,直接连接两表时58个销售城市中仅46个能匹配。跨来源整合前要检查实体定义、空间粒度和时间口径;名称相同不代表统计对象相同。

知识卡与原书证据。

原书依据 · 1 处

空间格网承载不同统计量

把经纬度划成格网后,可分别统计每格销售数量、平均房价与变异系数;前者描述交易密度,后两者描述价格水平和相对离散程度。地图中每层颜色都应对应清楚的统计量,否则视觉相邻容易让读者把不同问题误认为同一结论。

知识卡与原书证据。

原书依据 · 1 处

共享数据代码支持复核

公开数据和运行代码让读者能够复查处理流程、发现错误并观察修正对结论的影响;开源工具还降低了复现门槛。可复现不等于结论必然正确,它提供的是检查和重做的条件,仍需记录数据版本、依赖与处理选择。

知识卡与原书证据。

原书依据 · 1 处

解析器必须处理边界情况

批量采集到的数据不能只按理想样例写解析器:价格符号、日期格式、不同周次缺少的字段等边界情况都要显式处理。把缺字段写成缺失值并统一时间格式,比让少量异常记录悄悄破坏整批数据更可靠;应以实际样本持续校验解析规则。

知识卡与原书证据。

原书依据 · 1 处

周期性变化要与趋势拆开

每周销售量受季节影响,且报纸记录日期可能比实际截止日晚4到6周;因此短期波动既有季节因素,也有观测时点误差。解释危机趋势时应先建立季节基线并注明时间口径,对突然反弹保留多种解释,等待后续数据验证。

知识卡与原书证据。

原书依据 · 1 处

第19章 美丽的政治数据

以选区重划、总统选举、年龄差异、参议院表决和宾夕法尼亚党派地理为案例,说明统计图形如何帮助发现模型问题、比较估计并深化政治理解。

先提出图形作为研究和演示工具的写作检查,再展示选区重划中处理组与对照组的不同关系,说明先画数据有助于修正模型;继而以完全分割解释贝叶斯弱信息先验和小倍数图形,再通过多届选举与年龄组比较纠正单年印象;最后把州级公众意见与参议员投票模型合图,并将州县胜负图与局部选民倾向叠加,呈现模型不确定性和行政区内部差异。

先画数据再选模型

先把原始数据及拟合线画出来,可发现未建模的处理效应或交互。选区案例中,处理组与对照组关系不同,初始统一线性模型因此漏掉关键模式;图形能帮助诊断模型结构,不能替代建模。

知识卡与原书证据。

原书依据 · 1 处

检验处理效应需区分组间关系

重新划区约每十年发生,非处理年份占多数;合并拟合可能掩盖处理组关系差异。评估干预时,应检查处理与对照的前后关系是否不同,再决定是否建模交互或处理效应;不能机械地把分组建模当成普遍规则。

知识卡与原书证据。

原书依据 · 1 处

弱先验缓解完全分割

完全分割会使经典逻辑回归系数趋向无穷;弱信息先验可将极端估计收回有限范围,同时保留更大的不确定性。使用先验时还应检查它是否只缓和问题年份,而未不必要地影响其他估计。

知识卡与原书证据。

原书依据 · 1 处

图形呈现模型估计与不确定性

图形可并列呈现回归系数与不确定区间,帮助比较各年估计和检查模式,但不能单凭图形证明模型有效。提名人案例显示,州内公众支持越高,参议员赞成概率通常越高;不同提名人间仍有差异与不确定性。

知识卡与原书证据。

原书依据 · 1 处

小倍数支持多维比较

小倍数用相同坐标并列展示不同年份或方法的结果,让读者在同一视野中比较并减少坐标切换。它适合重复结构的多维对照;应说明共同尺度,避免把尺度一致误当成内容相同。

知识卡与原书证据。

原书依据 · 1 处

党派偏好衡量席位偏离选票

党派偏好描述:若全州两党票数各占一半,一党在立法席位中的预期份额偏离50%多少。它把选票分布与席位分配的差异压成可比较指标;衡量制度影响时仍要区分票份变化与重新划区造成的变化。

知识卡与原书证据。

原书依据 · 1 处

图注应交代图形如何产生

解释性图注应让读者知道图中点/线代表什么、不同图比较什么、绘图前做了哪些处理及其效果、下一步可如何延伸。这样图不只是展示结果,还能让分析者和读者追踪图形选择与结论之间的关系;这套提问也可用于检查图是否自明。

知识卡与原书证据。

原书依据 · 1 处

年龄趋势要放回选举序列

某一届选举的年龄组差异不能直接代表长期代际模式。比较多个年龄组和多届选举,并延长时间序列后,才能看出2008年的年轻选民支持度既有明显变化,也有此前1996年的相似例子;图形提示模式,不替代严肃的纵向研究。

知识卡与原书证据。

原书依据 · 1 处

红蓝地区内部仍有异质性

把州或县只涂成红、蓝两类,会隐藏边界内不同社区和个人的政治倾向。将县级选举结果与1公里邻域中的登记选民倾向叠加,可以同时看见宏观胜负和本地混合分布;地图粒度应与问题尺度一致,不能把行政区颜色当作每位居民的立场。

知识卡与原书证据。

原书依据 · 1 处

第20章 连接数据

总结跨领域数据连接的价值、实体匹配难点及现有方法,说明实体解析必须同时处理数据模式、名称歧义、隐私限制与网络关联证据。

先指出现实中常缺乏覆盖任务所需信息的干净数据集,提出优先寻找并连接可得数据;随后列举公共数据的跨域组合机会,再分析组织内信息孤岛和术语不一致;继而比较固定关系模式、通用图模型及URI/本体标准的边界,并揭示同名异物、异名同物与隐私标识缺失;最后讨论多字段规则的局限,介绍集体调解如何通过网络邻接和消息传递汇聚匹配证据。

同名不等于同一实体

跨数据源识别实体时,名称可能因语言或发布市场而变化,也可能多个实体同名;相似字符串不是等同证据。可组合发行年份、导演、演员等属性核验,属性组合越有区分力,误配风险越低。名称适合作候选线索,不能单独决定合并。

知识卡与原书证据。

原书依据 · 1 处

误合并比重复更危险

实体匹配的两类错误代价不对称:漏合并会留下重复记录,通常较易发现和清理;误合并会污染彼此属性,之后难以自动拆分。证据不足时应暂缓自动合并,避免把可见重复变成隐蔽错误。

知识卡与原书证据。

原书依据 · 1 处

模式灵活性有两难

本章比较两类存储取舍:关系模式适合可预测数据的高效查询,但频繁加字段或关系会增加迁移成本并使模式难维护;实体—关系通用图模型容易扩展关系,查询却可能需要大量自连接而变慢。应按实际变更与查询需求验证,不能把案例当作所有设计的必然两极。

知识卡与原书证据。

原书依据 · 1 处

链接能力受隐私约束

公共数据常不含社会保险号等敏感唯一标识,个人记录因此更难可靠匹配;但姓名不是唯一线索,仍可结合地址、其他属性和关系语境。隐私限制减少可用的强标识,匹配结果应保留不确定性,不能仅凭姓名自动合并。

知识卡与原书证据。

原书依据 · 1 处

关联可传播匹配证据

集体调解把实体和关系视为图,在若干候选匹配种子上迭代传递邻居证据;多个消息的交集可提高两条记录相同的可能性,即使它们缺少直接名称线索。结果仍依赖种子和关系数据,只表示“很可能”,不保证确定识别。

知识卡与原书证据。

原书依据 · 1 处

先问可得数据再选技术

面对分析任务,先查找现实中能获取的最佳数据集,再决定使用哪种统计或机器学习技术;漂亮算法无法弥补数据缺失、口径错位或不可访问。数据连接还可能把分散来源变成更有解释力的新资料,因此采集与整合常比追逐新模型更先决定分析上限。

知识卡与原书证据。

原书依据 · 1 处

数据孤岛也源于术语不一致

即使团队共享数据库和查询方式,不同研究组也可能用不同词描述同一实验、基因或疾病,导致相似数据无法被发现并重复实验。受控词汇和固定模式能帮助搜索,却很难覆盖所有真实表达;因此整合需要术语映射和语境证据,而非只开放数据库连接。

知识卡与原书证据。

原书依据 · 1 处

共享URI仍不能消除实体匹配

给事物分配共享URI并采用通用本体,能减少跨库名称和字段歧义;但参与者采用比例有限,甚至同一实体也未必使用同一URI。实体消歧仍需结合名称、属性与关系网络等证据;标准标识符是降低匹配成本的条件,不是自动整合的保证。

知识卡与原书证据。

原书依据 · 1 处

跨章综合

数据质量与解释质量相互制约。第二章的表单设计帮助人提供更可靠的信息,第六章提醒志愿照片并不均匀代表现实,第二十章则要求实体匹配保留错误风险。它们分别作用于采集、代表性与连接,任何一处失误都可能传到后续分析;增加样本量不能自动消除这些偏差。

工程约束决定哪些数据能及时到达。第三章以静态内存槽和任务交接控制航天器资源,第四章以记录级复制与不同读操作协调一致性,第八章在轮询与事件通知间取舍。三者处理不同对象,不能拼成一个通用架构,但都要求明确状态、责任与失败方式。

可视化既传达结果,也帮助提出新问题。地图、点云和协作讨论界面让人观察空间关系或共同探索;图的色彩、布局与可共享状态影响解释。第十三章的统计边界因此不是分析完成后的补充,而应贯穿问题定义、探索、建模和传播。书中两处算例的原始数字有误,知识卡已明确保留修正:两策略损益差为200;诊断例后验概率约9.0%。这些只是给定假设下的演算,不提供现实领域决策。

flowchart TD
 Q[明确问题与使用者] --> C[形成和取得数据]
 C --> S[表示 存储与处理]
 S --> F[发现 连接与分析]
 F --> V[呈现 讨论与使用]
 V -.新问题.-> Q
 E[来源 代表性 假设与误差] --- C
 E --- F
 E --- V

图连接各章共同关心的职责,实际项目可反复往返,某些案例只展开其中一部分。

读者延伸与实践

保留两项以本批真实文件为输入的计划:绘制章节覆盖与卡片分布,用异常回查检验统计口径;核验六册书目实体匹配,用作者、出版信息与源位置减少误合并。前者不把卡片数量当作阅读质量,后者不因标题相似就合并实体。计划及验证要求位于概览所链接的实践卡,尚未执行图表制作或完整匹配实验。

生成进度与管理记录

数据之美

原书为《Beautiful Data》(O’Reilly,Toby Segaran & Jeff Hammerbacher 编),是《程序之美系列套装(6册)》中的第4册,多位数据领域从业者合著的文集。 EPUB 已解压至共享目录 notes/程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/, 本书对应 spine 范围 Text/part0283.xhtml ~ Text/part0454.xhtml(对应 toc.ncx 中 playOrder 431~602)。

评级结论:经典原理(高浓度 + 高稳定性)

理由: - 本书是数据领域多位知名从业者(Jeff Hammerbacher、Toby Segaran 等)合著的文集,每章围绕一个真实的数据项目 (火星探测器图像处理、PNUTS云存储、Facebook数据平台、Radiohead音乐视频数据采集、DNA数据、政治数据分析等) 展开,核心讲的是数据收集、存储、发现、可视化、伦理边界背后的原理和权衡,而非某个具体工具的操作步骤。 - 虽然部分案例涉及的具体系统或时代背景会过时(如某些2009年前后的云存储和社交数据平台),但书中提炼的原理—— 如何为用户设计数据收集方式、如何让数据变得可被发现、可视化如何服务于协作和探索、数据不能替代什么—— 这些原理本身具有跨越技术栈更迭的稳定性,和《架构之美》的评级逻辑一致。 - 全书采用”具体案例 + 原理提炼”的文集结构,与《团队之美》《架构之美》的评级逻辑一致。 - 该评级已按用户指示直接采用推荐结论执行(用户已在此前授权后续同类决策自动按推荐执行,无需逐一确认)。

章节进度追踪表

章节号 章节标题 状态 卡片数
译者序 译者序 done 0
前言 前言 done 0
第1章 在数据中观察生活 done 17
第02章 美丽的人们:设计数据收集方法时牢记用户 done 12
第03章 火星上的嵌入式图像数据处理 done 12
第04章 PNUTShell中的云存储设计 done 11
第05章 信息平台和数据科学家的兴起 done 14
第06章 照片档案的地理之美 done 9
第07章 数据发现数据 done 8
第08章 实时的可移动数据 done 9
第09章 探寻Deep Web done 9
第10章 构建Radiohead的“House of Cards” done 9
第11章 都市数据可视化 done 10
第12章 Sense.us的设计 done 14
第13章 数据所做不到的 done 10
第14章 自然语言语料库数据 done 13
第15章 数据中的生命:DNA漫谈 done 14
第16章 美化真实世界中的数据 done 11
第17章 数据浅析:探索形形色色的社会定型 done 13
第18章 旧金山海湾区之殇:次贷危机的影响 done 17
第19章 美丽的政治数据 done 9
第20章 连接数据 done 8

Spine 文件映射(part 号 → 章节,章节内含多个小节 part 文件,仅列首尾)

  • part0283: 数据之美(书名页)
  • part0284: O’Reilly Media介绍
  • part0285: 译者序
  • part0286: 前言
  • part0287~0295: 第1章 在数据中观察生活
  • part0296~0301: 第2章 美丽的人们
  • part0302~0313: 第3章 火星上的嵌入式图像数据处理
  • part0314~0321: 第4章 PNUTShell中的云存储设计
  • part0322~0334: 第5章 信息平台和数据科学家的兴起
  • part0335~0342: 第6章 照片档案的地理之美
  • part0343~0352: 第7章 数据发现数据
  • part0353~0357: 第8章 实时的可移动数据
  • part0358~0362: 第9章 探寻Deep Web
  • part0363~0372: 第10章 构建Radiohead的”House of Cards”
  • part0373~0379: 第11章 都市数据可视化
  • part0380~0387: 第12章 Sense.us的设计
  • part0388~0391: 第13章 数据所做不到的
  • part0392~0398: 第14章 自然语言语料库数据
  • part0399~0404: 第15章 数据中的生命:DNA漫谈
  • part0405~0413: 第16章 美化真实世界中的数据
  • part0414~0424: 第17章 数据浅析:探索形形色色的社会定型
  • part0425~0437: 第18章 旧金山海湾区之殇:次贷危机的影响
  • part0438~0445: 第19章 美丽的政治数据
  • part0446~0453: 第20章 连接数据
  • part0454: 附录 作者简介

整书笔记

全书主线、22项正文与跨章综合。历史概览原文保留于本轮证据目录。

待关联术语(阶段三增补)
术语名 出现章节 一句话语境
NORA(无明显关系意识) 第7章 赌场案例所述的关系发现技术名称,书中提及SRD与后续IBM归属,未展开实现算法。
实体解析与匹配/归并(entity resolution vs. match-merge/merge-purge) 第7章 目录需识别同一实体的不同描述,但其身份判断算法及与去重归并的区别超出本章范围。
Web Hooks 第8章 通过HTTP POST把事件通知推送到其他服务的机制名称。
OAuth 第8章 用户授予服务访问权限并以令牌完成集成的授权框架;具体协议版本未在本章展开。
Blind URL(盲链接) 第8章 持有链接即可访问被分享内容的方式,书中指出存在被猜测导致泄露的风险。
XMPP、BitTorrent、WebSocket、Comet、PubSub 第8章 作为传输或实时通信模型的历史/技术例子被介绍;本章未提供足够内容作为独立操作指南。
查询模板(query template)、绑定输入项/自由输入项 第9章 用于把表单输入控件组织为可重复探测的一组候选查询。
富信息量模板(informative template)、富信息量测试 第9章 通过返回页面内容签名的差异估算输入组合是否带来新记录。
类型化文本输入(typed input) 第9章 邮编、日期、价格等需按特定格式/范围输入的字段。
GET/POST、幂等URL 第9章 用于说明可索引查询地址与有副作用表单的边界;协议操作细节未独立成卡。
笛卡儿积、页面签名、back-off探测 第9章 分别用于解释组合爆炸、页面去噪与逐步增加文本候选值上限。
Lidar、GeoVideo、Processing、点云(point cloud)、.obj、粒子系统、二维遮罩 第10章 分别用于激光测距、近距离面部几何捕捉、数据可视化工具、空间采样表示、处理后数据格式及静态/动态点云效果。
红桃皇后效应、信息瀑布 第13章 前者说明收集能力与分析工具共同演进;后者指群体决策互相影响后形成的依赖链。
token、type、语料库、词汇、N元/一元/二元/五元模型 第14章 说明文本集合、序列单位及按相邻词项统计概率的语言模型。
记忆化、动态规划、Viterbi算法、对数概率、未知词平滑 第14章 用于分词候选搜索、避免重复计算、控制数值下溢和处理语料未收录词项。
噪声渠道模型、编辑距离、爬山算法、随机重启、期望效用 第14章 分别用于拼写纠错、候选邻域搜索及把错误代价纳入决策。
密码子、基因表达、启动子、增强子、GPCR、表观遗传、肿瘤抑制基因 第15章 分别用于遗传编码、转录调控、信号机制、环境注释和癌症损伤案例。
SNP、CNV、FASTQ、SRF、Lustre、FUSE、Sequencescape 第15章 分别指碱基变异/重复变化、测序数据格式、分布式存储/文件接口和样本工作流工具。
中性进化、参考基因组图 第15章 前者作为基因差异的随机基线;后者表达群体内不同序列的可能表示。
溶解度、众包、开放记录本科学、实验上下文、异常值 第16章 分别指化合物在溶剂中的溶解能力、开放招募测量、公开实验记录、解释测量差异的条件及偏离群体的数据点。
CAS号、InChI、InChIKey、SMILES、RDF、SPARQL、三元组 第16章 化学实体的私有/开放标识、紧凑结构编码、机器可读资源关系及查询语言。
ChemSpider、RON、DBPedia、ChEBI、CDK、化学空间 第16章 化学信息聚合与链接服务、分子识别服务、外部知识图谱、工具包及可视化所表示的候选化合物空间。
FaceStat、数据清洗、探索性数据分析(EDA) 第17章 用户上传照片及评分构成的观察数据集;本章以探索而非验证预设假设为分析目标。
直方图、核密度估计、LOESS、置信区间、自适应分箱、相关矩阵 第17章 用于检查分布、呈现密度与均值不确定性、处理稀疏区间和筛选变量关联的分析工具。
Zipf定律、幂律、长尾分布、条件概率 第17章 描述自由文本标签的词频形态,并估计标签与性别等属性的关系。
K均值、K值、质心、高维特征空间 第17章 通过质心迭代分组数值样本;分组数及低维展示都会影响解释。

| GMap图片拼接、Ajax、OpenLayers、Modest Maps | 第11章 | 分别指基于瓦片的客户端地图组合、异步浏览器交互及地图交互/渲染工具或库;本章主要以其历史角色说明Web地图演进。 | | 可寻性(findability)、Scented Widgets、Measure Map | 第11章 | 分别涉及信息空间定位、带内容/使用线索的嵌入式筛选器和时间轴设计的历史启发。 | | CrimeWatch、Crimespotting、BeautifulSoup、Charles、LiveHTTPHeaders、NumPy、Twisted Python | 第11章 | 原项目及其会话重构、HTML解析、图像数组处理和事件驱动采集工具;未扩展为当前操作指南。 |

| CPI(消费者价格指数)、指数化(indexing) | 第18章 | 以基期价格换算房价,并讨论CPI住房子指数与研究对象口径重叠。 | | 分位数(十分位数)、广义可加模型(GAM)、价格回落(price fall) | 第18章 | 分别用于描述房价分布、平滑城市时间走势及汇总峰值至低谷的相对跌幅。 | | 地理编码精度类别、变异系数(coefficient of variation) | 第18章 | 前者标明位置结果的准确层级;后者以标准差除以均值表达相对波动。 |

| 党派偏好(partisan bias)、选区重划(redistricting) | 第19章 | 前者以两党各得50%选票为基准衡量席位偏离;后者重新划分选区边界。 | | 完全分割(complete separation)、弱信息先验(weakly informative prior)、小倍数(small multiples) | 第19章 | 分别描述极端逻辑回归系数、有限收缩估计的先验及并列可比图布局。 | | 本地党派(local partisanship) | 第19章 | 以个人住址周边1公里内的登记选民倾向,刻画细于县级结果的地理差异。 |

| 集体调解(collective reconciliation)、实体解析(entity resolution) | 第20章 | 结合图中相连实体的候选匹配证据,迭代判断不同记录是否指向同一对象。 | | 本体(ontology)、统一资源标识符(URI)、信息仓库问题 | 第20章 | 分别指共享字段语义、对象标识机制,以及组织内数据分隔导致不可见的问题。 | | 中心索引关键字(CIK)、消息传递(message-passing) | 第20章 | CIK标识证券公司;消息传递在关联节点间传播候选匹配证据。 |

引用文献(阶段三增补)
标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Chicago Crime、Housing Maps、FundRace、Mapping Hacks 项目/书籍 第11章 Web地图混搭与在线地理数据发布的先行案例。
“The Long Zoom” 文章/概念 第11章 用来描述从游戏、电影等媒介形成的长距离缩放地图体验预期。
Scented Widgets(Willett、Heer、Agrawala) 论文 第11章 犯罪类型选择器和地图高亮线索的设计参考。
Measure Map、Flickr、Modest Maps 项目/软件库 第11章 分别为时间轴交互启发、地图交互启发及开放复用的地图组件库。
“Designing Data For Reuse”及REST/URI资料 演讲/论文 第11章 支持可读、可构造且可共享的数据URL和Web资源表达讨论。
GCode“House of Cards”项目页 项目网站 第10章 视频、点云样例、交互式查看器和再创作工具的发布入口。
Processing.org 软件/项目网站 第10章 作者用于说明Processing参与数据可视化创作并提供示例代码。
Threat & Fraud Intelligence—Las Vegas Style 论文 第7章 赌场欺诈情报案例的延伸资料,供追溯原始案例。
Anonymized Semantic Directories: A Privacy-Enhancing Architecture for Enterprise Discovery 论文/书章 第7章 目录匿名化与企业可发现性的进一步阅读来源。
Markle Foundation关于不可变审计日志的论文 论文 第7章 支持隐私治理中记录查询操作、结果和责任监督的延伸阅读。
Anscombe的“四重奏” 论文/数据集案例 第12、13章 说明相同的均值、方差等摘要可能掩盖数据形态差异。
Bertin《Sémiologie Graphique》及Cleveland与McGill图形感知研究 书/论文 第12章 作为视觉变量编码与定量图形感知的理论背景。
Ware《Information Visualization: Perception for Design》 书 第12章 视觉感知与信息可视化设计的参考来源。
Wattenberg与Kriss《Designing for Social Data Analysis》 论文 第12章 堆叠图及社交数据分析设计的相关参考。
Croes关于荷兰犹太人生存率的研究、Robison等对挑战者号图表论争的研究 论文 第12章 分别支撑数据用途风险案例与视觉证据论争的延伸追溯。
Kahneman与Tversky《Prospect Theory: An Analysis of Decision under Risk》 论文 第13章 收益与损失情境下风险选择不对称的理论背景。
Lord等《Biased Assimilation and Attitude Polarization》 论文 第13章 既有假设如何影响人们对新证据的吸收与态度判断。
Iyengar与Lepper《When Choice Is Demotivating》 论文 第13章 选项增多如何提高决策负担并降低行动意愿和满意度。
Sellenbarger,《华尔街日报》Work and Family专栏(2008-03-22) 新闻报道 第13章 婚前同居与离婚相关性被误写成因果建议的案例。
Goldstein等《Choosing Outcomes Versus Choosing Products》 论文 第13章 用概率结果分布帮助投资者理解退休结果范围的工具。
Gould《The Median Is Not the Message》 文章 第13章 中位生存期不能代表个体结果,也不能抹去分布差异。
Jeng《A Selected History of Expectation Bias in Physics》 论文 第13章 说明既有预期可能影响科学观察与证据解释。
Lo与Repin《The Psychophysiology of Real-Time Financial Risk Processing》 论文 第13章 投资收益经验与风险决策中的生理反应研究。
Bikhchandani等《Learning from the Behavior of Others》 论文 第13章 群体模仿和信息瀑布如何使事件判断相互依赖。
Dwyer《Examples of Overfitting Encountered When Building Private Firm Default Prediction Models》 工作论文 第13章 私营企业违约预测中的过拟合案例与模型风险。
Epstein《Why Model?》 论文 第13章 建模作为探索场景和明确假设的用途。
Ge等《All Sky Extrasolar Planet Searches with Multi-Object Dispersed Fixeddelay Interferometer》 论文 第13章 少量观测拟合行星信号的例子及过拟合风险。
Krumme《Telling Tales: The Effects of Narrative Creation on Decision-Making with Data》 工作论文 第13章 人们从数据构造故事如何影响决策的实验背景。
Norvig《How to Write a Spelling Corrector》及其语言模型代码 源码项目/文章 第14章 拼写纠错代码示例的原始实现与进一步阅读入口。
Singh《The Code Book》 书 第14章 替换密码破解策略的参考来源。
Raynard《Secret Code Breaker》 书 第14章 替换密码案例的取材来源。
Mitton拼写错误词对语料 数据集 第14章 为编辑操作概率提供成对正确词与误拼词数据。
Watson与Crick《Molecular Structure of Nucleic Acids》 论文 第15章 DNA互补配对和复制机制的原始结构论文。
Crick与Brenner基因编码研究 论文/研究 第15章 基因密码子读取框架的早期逆向工程。
Mendel豌豆杂交研究 研究 第15章 离散遗传因子解释性状不被连续混合稀释。
人类基因组计划、千人基因组计划、国际癌症基因组协会 研究项目 第15章 大规模参考基因组测序、群体差异和癌症基因组研究的项目背景。
Wellcome Sanger Institute、Illumina GA2 研究机构/测序平台 第15章 高通量短读测序、样本工作流和数据处理案例。
Ensembl、UCSC Genome Browser、HapMap、SNPedia 数据库/项目 第15章 基因组浏览、群体单倍型和遗传变异信息资源。
23andMe、Navigenics、Pacific Biosciences、Oxford Nanopore 公司/测序技术 第15章 个人基因服务及下一代读取技术的案例或前景背景。
Bradley《Open Notebook Science Using Blogs and Wikis》 论文 第16章 开放记录本科学的研究与实践背景。
Bradley等《Optimization of the Ugi reaction using parallel synthesis and automated liquid handling》 论文/项目 第16章 溶解度数据与并行化学实验项目背景。
Steinbeck等化学开发工具包研究 论文/软件 第16章 由SMILES计算化学描述符的工具基础。
InChI、SMILES、RDF、SPARQL 标准/格式/查询语言 第16章 化学实体识别、分子结构编码及自描述数据发布与查询。
ChemSpider、RON、DBPedia、ChEBI、ONS-Solubility 数据库/项目/服务 第16章 化学实体聚合、开放数据链接和溶解度记录来源。
GDoc API、Second Life API/可视化平台 第16章 书中开放电子表格接口和三维协作可视化的历史案例。
O’Connor与Biewald的FaceStat数据分析项目 数据项目 第17章 用户评价数据、代码及本章探索分析的实际对象。
R、R-project.org、Quick-R、RSeek 统计软件/文档资源 第17章 本章用于数据探索、统计绘图及R学习的工具和入口。
Zipf《The Psychobiology of Language》 书/研究 第17章 标签词频幂律讨论的历史来源。
Peter Dalgaard《Introductory Statistics with R》 书 第17章 R统计分析入门参考。
Hastie、Tibshirani与Friedman《The Elements of Statistical Learning》 书 第17章 聚类、局部加权回归及机器学习方法的延伸参考。
Manning与Schütze《Foundations of Statistical Natural Language Processing》;Jurafsky与Martin《Speech and Language Processing》 书 第17章 自由文本标签及语言统计分析的延伸参考。
Gelman与Hill《Data Analysis Using Regression and Multilevel/Hierarchical Models》 书 第17章 置信区间及部分汇聚估计的进一步阅读。
Tukey《Exploratory Data Analysis》 书 第17章 探索性数据分析方法的参考。
Gentleman与Temple Lang《Statistical Analyses and Reproducible Research》 论文 第18章 可复现研究与研究成果公开复核的理论来源。
Goldberg《A Geocoding Best Practices Guide》 技术报告 第18章 地理编码服务及精度评估的延伸参考。
USC WebGIS Services 服务/项目 第18章 本章地理编码数据的来源。
McKinley《From Housing to Haven to Foreclosure Leader》 新闻报道 第18章 Stockton止赎背景案例的来源。
Wood《Generalized Additive Models: An Introduction with R》 书 第18章 广义可加模型的进一步方法参考。
Gelman《A Bayesian Formulation of Exploratory Data Analysis and Goodness-of-Fit Testing》 论文 第19章 图形探索与统计模型拟合检查的背景。
Gelman与King《Enhancing Democracy Through Legislative Redistricting》 论文 第19章 选区重划与党派偏好分析的先行研究。
Gelman、Jakulin、Pittau与Su《A Weakly Informative Default Prior Distribution for Logistic and Other Regression Models》 论文 第19章 弱信息先验处理逻辑回归极端估计的参考。
Gelman、Pasarica与Dodhia《Let’s Practice What We Preach: Turning Tables into Graphs》 论文 第19章 将统计表格改为图形表达的研究来源。
Kastellec、Lax与Phillips《Public Opinion and Senate Confirmation of Supreme Court Nominees》 技术报告 第19章 公众意见与参议院提名表决分析的延伸来源。
Bertin《Semiology of Graphics》;Tufte《Envisioning Information》 书 第19章 图形符号、信息组织及小倍数布局的参考书。
Catalist 数据/服务 第19章 本章地方党派图层使用的选民数据来源。
Freebase 数据库/项目 第20章 示例数据集及数据整合工作的背景。
Geonames 数据库/项目 第20章 世界地名及经纬度等公共地理数据来源示例。
美国人口普查局、SEC、EPA、USDA、NCBI 政府数据源 第20章 人口、公司财务、污染、营养与生命科学数据的公共来源示例。
Open Linked Data与通用URI/本体 标准/项目 第20章 跨数据库共享实体标识和字段语义的倡议。
Bhattacharya《Collective Entity Resolution》博士论文 博士论文 第20章 集体调解方法的进一步阅读来源。
Freebase、Wikipedia与Netflix电影数据 数据集/服务 第20章 展示跨数据源电影匹配的案例数据。

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
001 绘制章节覆盖与卡片分布 真实任务 done 第17章 章节级CSV、分布图与异常回查记录
002 核验合集书目实体匹配 真实任务 done 第20章 六册书目映射表、误合并风险与待核验清单

未采用更多实践候选:相近的图表选择、数据清洗、开放数据连接和统计检验候选已由上述两项覆盖其核心学习目标;其余需要外部私有数据或会造成未经授权的现实干预,缺少合适对象或边界。

类别清单核对

命中类别:数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:

必答维度 覆盖判断与证据
问题定义与工作流 已涉及:第1、2、20章从实际用户问题、采集目标和可用数据出发;概览及相应章节卡保留了问题与数据条件。
数据获取、清洗与质量 已涉及:第2、3、6、14、15、17、20章;覆盖用户输入、遥测、地理照片、文本、基因组、异常值及跨源匹配。
探索、统计推断与不确定性 已涉及:第12、13、17、18、19章;有分布、置信区间、偏差、因果边界、样本口径和地理解释限制。
特征、模型与评价 已涉及:第3、13、17、19章;覆盖图像/文本处理、预测与过拟合、聚类、回归及模型判断边界。
实验、因果与数据泄漏 已涉及:第1、12、13、17、18章;区分实验问题、相关与因果、选择偏差和观察数据边界;未把案例相关性写成普遍因果。
工具、可复现与工程化 已涉及:第3–11、14–17、20章;工具与项目案例已按历史语境记录,复现及部署建议未泛化成当前版本事实。
业务价值、伦理与沟通 已涉及:第1、2、7、12、13、18–20章;涵盖用户体验、隐私、协作表达、社会偏差、决策和数据治理。

近似类别排除:数据可视化工具类不命中,本书讨论多种可视化方法及历史工具案例,并非某一图表库或工具API指南;社交网络数据分析类不命中,社交数据是个别案例,不是全书目标。没有为未命中类别补造清单项。

主题索引维护

卡片标题 结论(已复用/已创建/无需加入/待复核) 主题文件或原因
自然对话式记录 已复用 notes/_topics/ucd-principles.md
支持事后补录 已复用 notes/_topics/data-quality-governance.md
数据可视化讲故事 已创建 notes/_topics/data-visualization-interaction.md
按具体误读迭代可视化 已创建 notes/_topics/data-visualization-interaction.md
社会比较呈现相对位置 已创建 notes/_topics/data-visualization-interaction.md
GPS环境估值须披露推断边界 无需加入 聚焦该项目对GPS代理估值与误差边界的具体说明,现有跨书主题不能准确表达该方法边界,先不加入。
数据存储选型服从处理需求 已复用 notes/_topics/storage-model-choices.md
预留可扩展数据字段 已复用 notes/_topics/database-design-er-modeling.md
统一数据模式降低协作成本 已复用 notes/_topics/database-design-er-modeling.md
数据处理四阶段流水线 已复用 notes/_topics/data-quality-governance.md
估值透明与说明量平衡 已创建 notes/_topics/data-visualization-interaction.md
连续数值用渐变色编码 已创建 notes/_topics/data-visualization-interaction.md
高亮关注对象并保留上下文 已创建 notes/_topics/data-visualization-interaction.md
图表选择服从用户心智模型 已创建 notes/_topics/data-visualization-interaction.md
分享汇总而非位置原始数据 已复用 notes/_topics/data-ethics-privacy.md
个体动机决定反馈设计 无需加入 聚焦该案例中个体目标与反馈内容的对应关系;现有行为建模主题讨论统计模型,不涵盖此设计判断。
情绪标签云编码出现频度 已创建 notes/_topics/data-visualization-interaction.md
让表单先看起来很短,再根据用户的回答动态展开后续问题 已复用 notes/_topics/ucd-principles.md
推断位置也要守住隐私承诺 已复用 notes/_topics/data-ethics-privacy.md
说服技巧对调研而言是一场灾难——诱导用户给出讨喜的答案,等于亲手毁掉数据的价值 已复用 notes/_topics/user-research-methods.md
认可经验更能激励受访者 已复用 notes/_topics/user-research-methods.md
能推迟到用户提交之后再处理的工作,就不要让用户等在那里 无需加入 这是该问卷产品关于即时处理与后台处理的特定体验权衡,当前主题索引没有准确匹配的跨书主题。
可访问性从目标用户出发 已复用 notes/_topics/ucd-principles.md
调研身份与数据用途需透明 已复用 notes/_topics/user-research-methods.md
分别满足受访者与客户需求 已复用 notes/_topics/ucd-principles.md
让产品适应用户而非反过来 已复用 notes/_topics/ucd-principles.md
用真实熟人替代虚构画像 已复用 notes/_topics/user-research-methods.md
长文本分块降低阅读负担 已复用 notes/_topics/ucd-principles.md
分支表单清除隐藏答案 已复用 notes/_topics/data-quality-governance.md
位打包的空间速度权衡 无需加入 聚焦凤凰号12位像素与处理器字长间的嵌入式实现取舍;现有主题没有足够贴合的跨书范围。
静态槽换取运行确定性 无需加入 聚焦飞行软件静态内存槽的具体故障边界;现有生命周期主题不覆盖固定槽分配的可靠性权衡。
显式ID绑定关联数据 已复用 notes/_topics/data-quality-governance.md
职责耦合推高后期改造成本 已复用 notes/_topics/architecture-principles-complexity.md
既有设施影响技术选型 已复用 notes/_topics/architecture-decision-making.md
共享任务减少重复代码 无需加入 这是凤凰号压缩任务划分与程序空间限制的案例结论;当前主题无法准确表达其任务边界。
原地处理节省图像缓冲区 无需加入 聚焦图像缓冲区与失败回滚的特定取舍;当前主题无精确跨书匹配。
压缩策略服从保真需求 已复用 notes/_topics/image-compression.md
用图像熵估算压缩率 已复用 notes/_topics/image-compression.md
分段身份支持局部恢复 已复用 notes/_topics/data-interchange-formats.md
FMECA提前规划错误处理 已复用 notes/_topics/risk-driven-architecture.md
槽资源交接要校验所有权 已复用 notes/_topics/resource-ownership-lifetime.md
复杂查询走后台预计算 已复用 notes/_topics/dataflow-unbundled-databases.md
时间轴序列化更新副本 已复用 notes/_topics/consistency-models.md
主副本随长期访问模式迁移 已复用 notes/_topics/distributed-storage-replication.md
路由层屏蔽副本位置变化 已复用 notes/_topics/distributed-storage-replication.md
可交换操作允许乱序执行 已复用 notes/_topics/consistency-models.md
稀疏数据需要灵活记录模式 已复用 notes/_topics/database-design-er-modeling.md
分区键决定查询效率 已复用 notes/_topics/distributed-data-sharding.md
读取操作按新鲜度选择路径 已复用 notes/_topics/consistency-models.md
复杂查询预建实例化视图 已复用 notes/_topics/dataflow-unbundled-databases.md
视图维护须控制同步成本 已复用 notes/_topics/dataflow-unbundled-databases.md
数据架构先匹配真实查询 已复用 notes/_topics/database-design-er-modeling.md
平台加速组织学习 无需加入 讨论组织数据平台的学习作用;现有大数据业务主题集中在营销、广告和征信,范围不匹配。
架构从具体问题长出 已复用 notes/_topics/architecture-design-process.md
数据空间支持多元访问 已复用 notes/_topics/big-data-compute-paradigms.md
数据科学家描述复合职责 无需加入 讨论某组织中新兴岗位命名及职责组合;现有主题不覆盖数据科学职业角色。
关注廉价资源的互补能力 无需加入 属于资源稀缺与互补服务价值的经济学判断,和现有数据技术主题不匹配。
ETL串起数据分析链路 已复用 notes/_topics/data-quality-governance.md
数据仓库的两种建模路径 已复用 notes/_topics/database-design-er-modeling.md
数据库迁移受生态差异制约 已复用 notes/_topics/database-design-er-modeling.md
原始数据回查支撑新分析 已复用 notes/_topics/dataflow-unbundled-databases.md
简单模型遇上大数据 已复用 notes/_topics/ml-fundamentals.md
Hive让业务人员自助查数 已复用 notes/_topics/big-data-compute-paradigms.md
多队列共享计算资源 已复用 notes/_topics/capacity-scheduling.md
MAD平台兼顾全量灵活深分析 已复用 notes/_topics/big-data-compute-paradigms.md
商业智能把信息送到行动点 无需加入 强调把洞察送达决策行动者;现有智能运维主题限定在运维场景,未找到准确的通用主题。
颜色编码应匹配感知差异 已创建 notes/_topics/data-visualization-interaction.md
用位移线索补回位置 已创建 notes/_topics/data-visualization-interaction.md
显露模式以激发追问 已创建 notes/_topics/data-visualization-interaction.md
众包校验专业分类 已复用 notes/_topics/data-quality-governance.md
自愿贡献扩展覆盖 已复用 notes/_topics/user-research-methods.md
位置描述不等于地方意义 已创建 notes/_topics/data-visualization-interaction.md
树形图用矩形包含关系表示层级 已创建 notes/_topics/data-visualization-interaction.md
图形空间应对应数据含义 已创建 notes/_topics/data-visualization-interaction.md
空间共现模式需要偏差解释 已创建 notes/_topics/data-visualization-interaction.md
新观察触发关联检查 已复用 notes/_topics/data-quality-governance.md
目录承载可扩展发现 已复用 notes/_topics/database-design-er-modeling.md
目录须语义一致且感知关系 已复用 notes/_topics/data-quality-governance.md
新数据到达时增量处理 已复用 notes/_topics/big-data-compute-paradigms.md
目录模型可降低数据共享风险 已复用 notes/_topics/data-ethics-privacy.md
新观察应能修正旧断言 已复用 notes/_topics/data-quality-governance.md
告警量应受响应能力约束 已复用 notes/_topics/aiops-data-decision.md
实时发现系统的八个组成环节 已复用 notes/_topics/dataflow-unbundled-databases.md
人驱数据轮询易空转 已复用 notes/_topics/message-brokers-event-logs.md
远程轮询代价更高 已复用 notes/_topics/message-brokers-event-logs.md
格式可读利于协作 已复用 notes/_topics/data-interchange-formats.md
中间层收拢异构适配 已复用 notes/_topics/cloud-infrastructure-control-plane.md
宽容解析外部数据 已复用 notes/_topics/data-interchange-formats.md
事件通知省去空轮询 已复用 notes/_topics/message-brokers-event-logs.md
API接入审视服务承诺 已复用 notes/_topics/rpc-rest-api.md
授权不应交出密码 已复用 notes/_topics/auth-and-cryptography.md
盲链接分享有泄露风险 已复用 notes/_topics/data-ethics-privacy.md
查询模板须产生内容差异 已创建 notes/_topics/deep-web-crawling-search.md
笛卡儿积易产生空URL 已创建 notes/_topics/deep-web-crawling-search.md
从有效小模板扩展搜索 已创建 notes/_topics/deep-web-crawling-search.md
搜索规模决定自动化取舍 已创建 notes/_topics/deep-web-crawling-search.md
页面签名剔除展示噪声 已创建 notes/_topics/deep-web-crawling-search.md
Deep Web藏在表单后 已创建 notes/_topics/deep-web-crawling-search.md
只抓无副作用的GET 已创建 notes/_topics/deep-web-crawling-search.md
文本查询词应迭代生长 已创建 notes/_topics/deep-web-crawling-search.md
类型化输入要用有效样本 已创建 notes/_topics/deep-web-crawling-search.md
有目的地保留瑕疵 已创建 notes/_topics/data-visualization-interaction.md
先设计要采集的数据 已复用 notes/_topics/user-research-methods.md
开放数据激发再创作 无需加入 该卡强调House of Cards开放数据供再创作的项目特征;现有数据治理主题讨论质量/生命周期/权限,不能准确承载其开放生态主张。
异构设备覆盖不同尺度 已创建 notes/_topics/data-visualization-interaction.md
换个视角重看平常事物 已创建 notes/_topics/data-visualization-interaction.md
点云由空间坐标和强度构成 已创建 notes/_topics/data-visualization-interaction.md
抽样服从表达目标 已创建 notes/_topics/data-visualization-interaction.md
不可复拍数据应多份保存 已复用 notes/_topics/backup-disaster-recovery.md
动态图点云需外部状态 已创建 notes/_topics/data-visualization-interaction.md
颜色粗筛缩小匹配范围 已复用 notes/_topics/data-visualization-interaction.md
少量地理锚点可标定整张固定地图 已复用 notes/_topics/data-visualization-interaction.md
有趣的可视化隐喻仍需原型验证 已复用 notes/_topics/data-visualization-interaction.md
地理分区应贴合用户的社区认知 已复用 notes/_topics/data-visualization-interaction.md
爬虫脆弱时应争取正式数据接口 已复用 notes/_topics/deep-web-crawling-search.md
客户端拼接地图瓦片 已复用 notes/_topics/data-visualization-interaction.md
数据优先界面便于探索 已复用 notes/_topics/data-visualization-interaction.md
筛选器兼具反馈功能 已复用 notes/_topics/data-visualization-interaction.md
规范URL便于分享记录 已复用 notes/_topics/data-visualization-interaction.md
有趣有用公开且免费的数据 无需加入 该卡概括本章数据项目评估标准,但现有数据治理主题侧重数据质量和风险,未准确覆盖数据公共价值的评价框架。
摘要相同不代表形态相同 已复用 notes/_topics/data-visualization-interaction.md
URL让视图分享可复用 已复用 notes/_topics/data-visualization-interaction.md
按结果状态识别等价视图 已复用 notes/_topics/data-visualization-interaction.md
协作功能按需显现 已复用 notes/_topics/ucd-principles.md
书签串联视图形成叙事 已复用 notes/_topics/data-visualization-interaction.md
数据价值与风险取决于使用方式 已复用 notes/_topics/data-ethics-privacy.md
数据比较前先核对采集口径 已复用 notes/_topics/data-quality-governance.md
真实数据原型加快方案筛选 已复用 notes/_topics/ucd-principles.md
堆叠图总览清晰却遮蔽个体趋势 已复用 notes/_topics/data-visualization-interaction.md
图形标注支持异步指向 已复用 notes/_topics/data-visualization-interaction.md
社会导航重新点燃数据探索 已复用 notes/_topics/data-visualization-interaction.md
讨论补足可视化中的外部语境 已复用 notes/_topics/ucd-principles.md
图形编码须匹配数据类型与任务 已复用 notes/_topics/data-visualization-interaction.md
动画应帮助跟踪变化而非拖慢分析 已复用 notes/_topics/data-visualization-interaction.md
噪声数据诱发叙事 已创建 notes/_topics/decision-theory-cognitive-bias.md
收益与损失改变风险偏好 已创建 notes/_topics/decision-theory-cognitive-bias.md
基准率决定阳性含义 已创建 notes/_topics/decision-theory-cognitive-bias.md
模型依赖规律稳定假设 已创建 notes/_topics/decision-theory-cognitive-bias.md
决策要看完整结果分布 已创建 notes/_topics/decision-theory-cognitive-bias.md
确认偏见筛选新证据 已创建 notes/_topics/decision-theory-cognitive-bias.md
相关不等于因果 已复用 notes/_topics/causal-inference-observational.md
数据多不等于决策更好 已创建 notes/_topics/decision-theory-cognitive-bias.md
选项过多会抬高决策成本 已创建 notes/_topics/decision-theory-cognitive-bias.md
数据事件往往并不独立 无需加入 聚焦本章模型输入事件间的统计依赖,现有概率与因果主题不能准确容纳这一具体依赖边界。
语料承载隐性语言知识 已创建 notes/_topics/statistical-nlp-language-models.md
大语料简化平滑 已创建 notes/_topics/statistical-nlp-language-models.md
搜索策略取决于空间 已创建 notes/_topics/statistical-nlp-language-models.md
语料可得性决定数据方法 已创建 notes/_topics/statistical-nlp-language-models.md
测试集独立与算法无关 已创建 notes/_topics/statistical-nlp-language-models.md
语料库序列频次编码语言 已创建 notes/_topics/statistical-nlp-language-models.md
记忆化动态规划削减重复搜索 已创建 notes/_topics/statistical-nlp-language-models.md
未知词概率应非零且随长度衰减 已创建 notes/_topics/statistical-nlp-language-models.md
相邻词上下文能修正独立分词 已创建 notes/_topics/statistical-nlp-language-models.md
随机重启缓解爬山局部最优 已创建 notes/_topics/statistical-nlp-language-models.md
拼写纠正组合词频和错误概率 已创建 notes/_topics/statistical-nlp-language-models.md
训练语料错误会污染纠错模型 已创建 notes/_topics/statistical-nlp-language-models.md
决策应最大化期望效用 已创建 notes/_topics/decision-theory-cognitive-bias.md
密码子冗余缓冲突变 无需加入 这是分子遗传编码与突变容错机制,现有主题没有生命科学/基因组学范围。
互补链提供修复模板 无需加入 这是DNA互补链与修复过程的分子生物学原理,现有主题没有准确匹配的生物学索引。
遗传信息不会被平均 无需加入 该卡讨论离散遗传传递与变异,超出当前数据工程和决策主题范围。
中性进化提供差异基线 无需加入 该卡讨论群体遗传与中性进化基线,现有主题不覆盖进化生物学。
损伤累积扰乱基因控制 无需加入 该卡讨论DNA损伤和基因调控阈值,现有主题无对应生物学主题。
表观遗传调节基因表达 无需加入 该卡是分子生物学中的表观遗传机制,当前跨书主题不适配。
DNA表达依赖蛋白质机器 无需加入 该卡讨论转录和翻译所依赖的细胞机制,现有主题没有生命科学覆盖。
重复测序降低变异误判 已复用 notes/_topics/data-quality-governance.md
样本元数据助力故障定位 已复用 notes/_topics/data-quality-governance.md
元数据模式运行时演进 已复用 notes/_topics/data-quality-governance.md
质控将失败样本回流重处理 已复用 notes/_topics/data-quality-governance.md
低成本保留测序原图 无需加入 该卡针对测序设备原始图像的保存策略,现有备份主题聚焦故障恢复,不足以表达其采集数据保真边界。
测序吞吐驱动平台扩容 无需加入 该卡是特定高通量测序平台扩展案例,现有容量调度主题不涵盖其仪器吞吐设计。
DNA是生命的化学数据库 无需加入 该卡以DNA作为遗传信息载体的比喻解释生命科学概念,不是数据系统或数据库设计知识。
实验上下文解释异常值 已复用 notes/_topics/data-quality-governance.md
可疑数据保留并标注 已复用 notes/_topics/data-quality-governance.md
熟悉工具降低众包门槛 已复用 notes/_topics/user-research-methods.md
开放标识符支持集成 已复用 notes/_topics/data-quality-governance.md
RDF连接不同资源 已复用 notes/_topics/dataflow-unbundled-databases.md
公布底层数据让读者自验 已复用 notes/_topics/data-quality-governance.md
每条数据都应连回原始记录 已复用 notes/_topics/data-quality-governance.md
数据格式兼顾人机阅读 已复用 notes/_topics/data-interchange-formats.md
开放服务促进跨领域协作 已复用 notes/_topics/dataflow-unbundled-databases.md
聚合服务连接分散数据源 已复用 notes/_topics/dataflow-unbundled-databases.md
可视化空白引导下一轮实验 已复用 notes/_topics/data-visualization-interaction.md
公开分析中的取舍 已复用 notes/_topics/data-visualization-interaction.md
点重叠时改看密度 已复用 notes/_topics/data-visualization-interaction.md
稀疏区间放宽分箱 已复用 notes/_topics/data-visualization-interaction.md
置信区间呈现估计不确定性 已复用 notes/_topics/decision-theory-cognitive-bias.md
相关矩阵筛查多变量关系 已复用 notes/_topics/data-visualization-interaction.md
频数分布先暴露数据脏点 已复用 notes/_topics/data-quality-governance.md
保留原始标签再做归一化 已复用 notes/_topics/data-quality-governance.md
长尾词频不要套正态直觉 已复用 notes/_topics/statistical-nlp-language-models.md
低频标签先设统计门槛 已复用 notes/_topics/data-quality-governance.md
K均值按质心反复归组 已复用 notes/_topics/ml-fundamentals.md
聚类结果需检查稳定性 已复用 notes/_topics/ml-fundamentals.md
高维聚类投影会掩盖差异 已复用 notes/_topics/data-visualization-interaction.md
探索性关联不能冒充因果 已复用 notes/_topics/causal-inference-observational.md
先找网页背后数据 已复用 notes/_topics/deep-web-crawling-search.md
免费编码方案有代价 无需加入 本卡讨论具体地理编码服务的免费额度与精度成本,现有主题没有地理编码服务选型的合适范围。
可疑坐标按用途处理 已复用 notes/_topics/data-quality-governance.md
绝对变化与相对变化 已复用 notes/_topics/decision-theory-cognitive-bias.md
标准表格格式减少重复 已复用 notes/_topics/data-interchange-formats.md
缺失标记应服从分析用途 已复用 notes/_topics/data-quality-governance.md
价格调整要检查指标口径 已复用 notes/_topics/data-quality-governance.md
分位数揭示分布差异 已复用 notes/_topics/decision-theory-cognitive-bias.md
平滑能显趋势也会压峰 已复用 notes/_topics/data-visualization-interaction.md
入样门槛限定比较范围 已复用 notes/_topics/data-quality-governance.md
基期指数便于比较走势 已复用 notes/_topics/decision-theory-cognitive-bias.md
观察性关联不能单独证明因果 已复用 notes/_topics/causal-inference-observational.md
地理口径错配会丢失匹配 已复用 notes/_topics/data-quality-governance.md
空间格网承载不同统计量 已复用 notes/_topics/data-visualization-interaction.md
共享数据代码支持复核 已复用 notes/_topics/data-quality-governance.md
解析器必须处理边界情况 已复用 notes/_topics/data-interchange-formats.md
周期性变化要与趋势拆开 已复用 notes/_topics/data-visualization-interaction.md
先画数据再选模型 已复用 notes/_topics/data-visualization-interaction.md
检验处理效应需区分组间关系 已复用 notes/_topics/causal-inference-observational.md
弱先验缓解完全分割 已复用 notes/_topics/decision-theory-cognitive-bias.md
图形呈现模型估计与不确定性 已复用 notes/_topics/data-visualization-interaction.md
小倍数支持多维比较 已复用 notes/_topics/data-visualization-interaction.md
党派偏好衡量席位偏离选票 无需加入 该卡是选区重划分析中的政治代表性指标,现有主题没有政治制度与选举测量的匹配范围。
图注应交代图形如何产生 已复用 notes/_topics/data-visualization-interaction.md
年龄趋势要放回选举序列 已复用 notes/_topics/data-visualization-interaction.md
红蓝地区内部仍有异质性 已复用 notes/_topics/data-visualization-interaction.md
同名不等于同一实体 已复用 notes/_topics/data-quality-governance.md
误合并比重复更危险 已复用 notes/_topics/data-quality-governance.md
模式灵活性有两难 已复用 notes/_topics/database-design-er-modeling.md
链接能力受隐私约束 已复用 notes/_topics/data-ethics-privacy.md
关联可传播匹配证据 已复用 notes/_topics/data-quality-governance.md
先问可得数据再选技术 已复用 notes/_topics/data-quality-governance.md
数据孤岛也源于术语不一致 已复用 notes/_topics/data-quality-governance.md
共享URI仍不能消除实体匹配 已复用 notes/_topics/data-quality-governance.md

2026-10-24 v23恢复

执行模式:light

建档进度:done

本轮实际规则:book-workflow v4 / book-notes v23;首次版本缺失,保持缺失。经典原理评级保留,合集第74条P1。

  • 原六册EPUB与共享缓存逐字节一致,恢复时233项历史成果清单匹配,有效阅读和172单元证据复用;必要原文已回读。当前逻辑正文22项(译者序、前言、20章),其169个spine文件均在既有覆盖范围;另排除书名页part0283、出版社介绍part0284、纯作者简介part0454,不以旧“略读”标记替代正文判定。
  • 整书笔记schema1,229卡唯一primary、229原文出处。原章节大纲及卡片解释复用有效内容,补全书主线、跨章联系与实践边界;未从文件章号猜测出处。
  • 84处历史非法分类改为合法读书卡类型;15张卡修复三段来源与实际摘录。显式ID卡补原C结构关系图,保留路径、数据库身份和既有编号。未批量回填学习元数据。
  • 两项真实任务实践计划保留,目标与验证条件有效;实践尚未执行。未采用的相近候选已并入,未另造研究成果。
  • 未执行笔记复核、独立审查及审查结果优化;保留历史记录。

实践候选筛选:done

笔记版本:schema1;SHA-256 992da6e0a372116902067ad5624895777584670d0db5b72585cfc9431ccdd6f5。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

架构方案设计与评估

比较备选方案设计、评估选择、容量预估与详细设计等架构设计流程中的判断方法。

352 张卡片 · 40 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

远程调用与REST设计

比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。

303 张卡片 · 53 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

认证与密码学基础

比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。

253 张卡片 · 58 本书

主题索引

架构设计原则与复杂度来源

比较架构要解决的复杂度来源(性能、可用性、扩展、成本、安全、规模)以及合适、简单、演化等设计原则。

228 张卡片 · 40 本书

主题索引

备份与故障恢复

比较备份独立性、恢复可验证性与恢复阶段的设计要点。

198 张卡片 · 40 本书

主题索引

一致性模型与CAP权衡

比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。

193 张卡片 · 49 本书

主题索引

架构决策方法

比较在不确定性下做架构决策的方法:以风险而非结果评价决策、期望值与决策树、认知偏差、根因追问与避免不必要的决策。

168 张卡片 · 45 本书

主题索引

数据交换格式设计

比较数据交换格式的简洁性、互通性与安全解析要求。

146 张卡片 · 38 本书

主题索引

机器学习基础算法

比较传统机器学习、深度学习与强化学习的学习方式、特征假设、模型取舍与数据反馈闭环。

138 张卡片 · 15 本书

主题索引

数据质量与数据治理

比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。

125 张卡片 · 23 本书

主题索引

数据集成与分拆:一份真源与多份衍生

多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。

103 张卡片 · 23 本书

主题索引

云基础设施控制面

IaaS 云平台如何把异构资源封装成服务:API 与执行分离、调度与执行分离、数据库中介、驱动与插件适配后端、代理进入实例,以及以同样模式构建的数据、DNS、容器等上层服务。

100 张卡片 · 23 本书

主题索引

数据分析、实验与因果

从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。

84 张卡片 · 13 本书

主题索引

风险驱动的架构设计

比较以失败风险决定架构投入多少、做何分析的方法,包括风险的定义与分类、分析技术光谱、设计过程对风险的安排。

81 张卡片 · 14 本书

主题索引

数据质量与校验

质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。

70 张卡片 · 17 本书

主题索引

数据可视化与交互

比较数据图形的视觉编码、用户解读、交互探索与叙事表达,关注图表如何服务具体问题及其误读边界。

67 张卡片 · 6 本书

主题索引

资源所有权与生命周期管理

比较不同语言与框架如何表达独占/共享所有权、释放时机和作用域退出清理。

62 张卡片 · 20 本书

主题索引

交互式查询与 MPP:把计算压到数据附近

面向交互式分析的执行引擎:列存与分区裁剪、查询编译与向量化执行、重分布连接与并行度、MPP 与混合数仓、Presto 式连接器解耦,以及预计算能省下多少。

61 张卡片 · 8 本书

主题索引

经典算法与业务建模

分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。

60 张卡片 · 12 本书

主题索引

数据库设计与E-R建模

比较数据库设计各阶段、数据抽象方法、E-R 模型的要素与集成冲突、向关系模型的转换规则,以及存取方法与重组织、重构的取舍。

56 张卡片 · 16 本书

主题索引

深度表示与任务网络

CNN、RNN、LSTM、Seq2Seq、GAN 的结构分工,以及检测、分割、修复、语音识别、语言模型这些任务怎样把表示学习落到具体输出上,各任务对归纳偏置的依赖有何不同。

37 张卡片 · 5 本书

主题索引

学习范式与泛化边界

监督、无监督、强化、在线四类学习方式各自依赖什么假设;把学习写成「假设—损失—优化」之后,泛化、过拟合、维数灾难与评估口径怎么定义,以及一个业务问题该先定分类目标还是先选算法。

31 张卡片 · 12 本书

主题索引

数据伦理与隐私

比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。

29 张卡片 · 13 本书

主题索引

增量计算:只算变化的那一部分

从全量重算转向增量维护:变化怎样传播、结果缓存与复用条件、物化视图的维护成本、Percolator 式快照与提交、观察通知与传播阈值,以及省计算为什么不等于省延迟。

27 张卡片 · 5 本书

主题索引

以用户为中心的设计理念

比较以用户为中心的设计为何能减少返工、如何以证据替代个人偏好,以及对团队心态的要求。

25 张卡片 · 3 本书

主题索引

大数据平台:分层、湖仓与引擎选型

这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。

25 张卡片 · 13 本书

主题索引

决策与认知偏差

比较不确定条件下的风险偏好、基准率、结果分布、确认偏差与选择过载,关注证据如何影响判断。

24 张卡片 · 6 本书

主题索引

用户研究方法

比较访谈、情境观察、问卷与环境调研等用户研究方法及其偏差控制。

24 张卡片 · 5 本书

主题索引

深网采集与搜索策略

比较深网页面发现、查询模板构造、搜索空间扩展、页面噪声去除及自动化采集的安全边界。

23 张卡片 · 3 本书

主题索引

因果推断与反事实

比较潜在结果框架、双重差分、合成控制与贝叶斯结构时序等构造反事实、区分相关与因果的方法。

15 张卡片 · 5 本书

主题索引

智能运维与数据决策

比较智能运维的数据基础、模型训练、人机边界,以及从监测、分析到自动处置的决策闭环。

15 张卡片 · 5 本书

主题索引

图像与文本图像压缩

比较二值图像的上下文建模、有损与无损压缩、JPEG、文本图像的字典压缩与版面切分方法。

13 张卡片 · 4 本书

主题索引

统计语言模型与自然语言处理

比较语料驱动的语言概率、平滑、词序依赖、搜索与纠错算法,以及语料规模和质量对NLP方法的约束。

13 张卡片 · 1 本书