此笔记位置已失效,请从目录继续阅读。
全书导读
本书通过二十个不同领域的项目解释数据工作:数据怎样获得、如何存放、怎样被发现与理解,以及结论能支持什么行动。数据不是天然可信的事实清单;采集界面、存储表示、处理算法和展示方式都会影响最后能看到什么。书中的系统和产品属于各自历史背景,阅读重点是具体约束下的设计理由。
全书主线
先明确谁需要理解什么问题,再看可用数据怎样形成。个人记录和调查表单说明采集会受到参与动机、信任与输入负担影响;火星图像处理和云存储说明基础设施还要面对内存、带宽、一致性和故障等限制。数据科学家的工作把这些技术条件连接到组织目标。
接下来,地理照片、实体发现、实时通知与网页表单检索展示不同的发现路径。点云、都市地图和协作可视化把数据转成人能探索的对象,语言、基因组、社会调查、住房与政治案例则说明领域知识怎样参与解释。最后,跨源实体连接把不同名字和记录联系起来,同时带来误匹配与隐私问题。
这些案例相互补充,不构成从采集到发布的唯一流程。第13章集中提醒:样本、基准率、损失函数和模型假设会改变结论。必须把这个提醒带回其他章节,区分观察、解释和因果推断,不把漂亮的图或复杂模型当成正确性的保证。
译者序
译者说明数据工作跨越不同学科,阅读这些项目需要同时理解技术与实际使用背景。本册不是单一软件工具教程,而是通过多种实践讨论数据怎样获得意义。
前言
编者用多个独立项目展示数据的收集、存储、组织、可视化和分析。各章并非一套必然依次执行的步骤;读者应观察具体问题怎样决定方法,并比较案例之间可迁移的原则。
第1章 在数据中观察生活
以PEIR与YFD说明个人数据系统怎样把收集、处理和可视化转化为可理解的生活反馈,重点讨论采集方式、数据处理和可视化设计。
先说明个人数据工具的增长及用户关心的是数据含义;再比较自动采集与日常手工输入,讨论低门槛入口、异步补录、数据库与多成员数据整合;随后给出PEIR的四阶段估值处理,并展开地图、颜色、交互、图表、隐私分享、个体动机和情绪表达等可视化取舍,最后回到让个人理解自身生活数据的目标。
自然对话式记录
关键字和值让个人数据采集像日常交谈一样简单。YFD借用用户已熟悉的Twitter发布习惯,不要求学习SQL式新语言;邮件虽可收发SMS,却通常不适合高频报告生活琐事。新采集入口应尽量贴合现有使用习惯,降低额外学习成本。
原书依据 · 1 处
支持事后补录
现实采集会遇到断网、忘记或当时不便等情况。可靠系统应允许补录带时间戳的事件,并在离线时缓存后续同步;这两条路径分别应对用户未及时输入和设备暂时无法联网,不能把特定案例扩大成所有实时采集都不可靠。
原书依据 · 1 处
数据可视化讲故事
个人数据可视化既要呈现准确事实,也要给出人物、时间、地点和结果原因等场景,让用户看见数据与自己生活的关系。教科书式图表和叙事表达各有优劣,目标是让事实与场景结合,而不是把其中一种表达天然判为枯燥或低质。
原书依据 · 1 处
按具体误读迭代可视化
可视化迭代应先定位具体误读,再针对原因调整。PEIR案例中,轨迹染色与底图混淆;改用终点圆圈又让人误以为事件只发生在终点。团队据此调暗底图、突出全程轨迹,解决冲突。每轮改版都应对应一个可观察问题。
原书依据 · 1 处
社会比较呈现相对位置
绝对碳排放值对用户可能缺少直觉参照,和好友的平均值、相对排名可以帮助理解其相对位置。PEIR把社会比较作为促进理解与行为改变的设计目标;原文没有证明比较必然导致行为改变,使用时需区分设计意图与实测效果。
原书依据 · 1 处
GPS环境估值须披露推断边界
PEIR用手机GPS轨迹与天气等环境数据推估个人排放,不是直接测得的污染值。报告应区分观测与模型估计,并呈现误差边界;把代理变量说成实测值会让读者高估结论确定性。
原书依据 · 1 处
数据存储选型服从处理需求
YFD以人工录入和简单插入、查询为主,PEIR则要频繁执行地理空间计算,二者因此选择不同数据库。选型应从数据操作模式和扩展需求出发;团队熟悉的工具只是候选,不能替代负载匹配。
原书依据 · 1 处
预留可扩展数据字段
数据采集项目可能逐步增加跟踪字段;若模式没有扩展余地,新增数据会迫使团队频繁改造接口和存储。建模时应把已知变化方向纳入设计,同时避免为尚无证据的任意变化过度抽象。
原书依据 · 1 处
统一数据模式降低协作成本
多人分别开发模块却各自定义数据表,会让后来者难以找到数据、理解模式并判断联系人。跨模块整合不是纯粹的代码整理:在对用户体验开发前统一数据模型,可以降低协作和交接成本。
原书依据 · 1 处
数据处理四阶段流水线
PEIR把GPS转成个性化影响估值分为轨迹纠正与标注、活动分类、上下文估算、影响计算。分阶段让误差来源和中间结果可解释;前序估计含不确定性,后续结果不能被当成直接观测。
结构图:
flowchart TD
A[轨迹纠正与标注] --> B[活动和位置分类]
B --> C[天气路况等上下文估算]
C --> D[个性化影响计算]
原书依据 · 1 处
原书依据 · 1 处
连续数值用渐变色编码
连续的环境影响值适合用渐变表达大小变化;离散、差异明显的颜色会让用户误以为数据属于不同类别。还要检查颜色的日常含义:绿色常被理解为“更好”,可能与高排放值的语义冲突。
原书依据 · 1 处
高亮关注对象并保留上下文
地图同时显示大量轨迹时,突出当前选择、淡化其他轨迹但不完全隐藏,能让用户定位细节并保留整体空间关系。对象密集时这一办法仍会失效,需要标签或分类辅助,不能把高亮当成无限扩展的解法。
原书依据 · 1 处
图表选择服从用户心智模型
PEIR发现用户把直方图横轴理解为时间,团队于是改用时间序列条形图呈现随时间变化的影响。图表应按用户要回答的问题和既有理解选择;统计上常见不等于对当前用户直观。
原书依据 · 1 处
分享汇总而非位置原始数据
PEIR用环境影响与排放汇总值支持好友比较,不分享用户的GPS轨迹。需要社交比较时,应只开放完成目的所需的派生数据,并把位置轨迹等高敏感原始数据留在私有范围。
原书依据 · 1 处
个体动机决定反馈设计
同一跟踪指标可能对应减重、自我观察或康复等不同目标。把个人动机显著呈现,能让反馈回到使用者自己的问题;不能假设同一种指标目标对每个人都相同,也不能仅凭界面设计推断行为一定改变。
原书依据 · 1 处
原书依据 · 1 处
第02章 美丽的人们:设计数据收集方法时牢记用户
以奢侈品调查案例说明,以用户为中心的表单设计如何同时影响参与意愿、数据准确性、受访者信任和客户获取结果的方式。
先界定用户体验与数据质量的关系,再说明目标人群和调查场景;继而拆解可访问性、信任、问卷长度、准确回答和参与动机等难点;随后通过尊重用户、真实人物参照、清晰排版、渐进披露问题和后台处理等方案回应这些难点;最后区分受访者与客户的需求,并谨慎评估高回应率与设计之间的因果关系。
让表单先看起来很短,再根据用户的回答动态展开后续问题
把所有问题一次摊开会增加负担;按回答逐步显示追问,让用户先看到少量问题,并留在同一页面完成。每次额外跳转都可能成为放弃的机会。设计表单长度应关注用户当下感知的负担,而不只统计最终题目数。
原书依据 · 1 处
推断位置也要守住隐私承诺
案例通过IP地址映射州份,避免增加一个直接询问字段;但IP地址本身仍是数据,推断也可能超出用户对“个人信息”的理解。减少表单负担不能替代透明告知、合法依据和最小化处理。先判断信息是否必要、来源是否合乎承诺,再比较直接收集和间接推断的风险。
原书依据 · 1 处
说服技巧对调研而言是一场灾难——诱导用户给出讨喜的答案,等于亲手毁掉数据的价值
调研和推销是两件完全相反的事:推销要说服对方接受一个立场,调研要的却是不受污染的真实反应。做过大量调研的Roger Urban说得很直接:”如果你想要一份人为地非常肯定的数据,我每次都可以给你”——但如果是要靠这份数据做真正的商业或政治决策,这种被诱导出来的”好答案”毫无用处,因为人会不自觉地想让提问者满意,倾向于给出他们猜测提问者想听的回答。这提示一个判断”数据收集设计是否越界”的检验标准:任何会让受访者倾向于给出讨好性回答的措辞、暗示、语气,无论出发点是不是想让调研”看起来更成功”,都是在直接破坏这份数据本该具备的价值——调研设计追求的不是让人说”是”,而是让人说出他们真正的想法。
原书依据 · 1 处
认可经验更能激励受访者
没有金钱奖励时,表达观点、被视为有经验或获得先机也可能促使人参与。面向年长受众的案例中,“经验之声”标题比诉诸后代的标题带来更高点击和完成率;单一案例不能证明恭维普遍有效,邀请文案仍应按受众测试。
原书依据 · 1 处
能推迟到用户提交之后再处理的工作,就不要让用户等在那里
团队本可以在用户提交表单的瞬间就实时把IP地址转换成对应的州份,但他们特意选择了”先收集、事后批量处理”的方案——因为实时匹配即使技术上可行,也会给整个调研过程增加一点延迟,而这份延迟会被用户实实在在地感受到。团队总结的原则是:”不要为了你自己方便,让用户去做或者去等待你本可以自己完成的事情”。这提示一个划分”什么该在用户等待的时候做、什么该挪到后台异步做”的实用标准:不是问”这个处理复杂不复杂”,而是问”这件事必须现在做完,还是可以放到用户已经拿到他想要的东西之后再慢慢处理”——凡是能够延后处理、又不影响用户体验的工作,都应该被移出用户等待的那条路径。
原书依据 · 1 处
可访问性从目标用户出发
可访问性不是只为少数特殊用户补的功能:按目标受众的年龄、视力和数字工具熟悉度检查表单,也会让更多人更容易读懂并完成任务。案例面向55至75岁人群,因而放大字体、提高对比度、避免只靠颜色传达信息。设计检查应从真实用户条件出发,而不是默认人人都能轻松阅读。
原书依据 · 1 处
调研身份与数据用途需透明
线上调研应交代提问方、目的和数据用途,并让互动体现对受访者时间与回答的尊重:认真听取答案,避免重复近似问题。尊重有助于建立信任、鼓励真实回答并减少流失;若通过IP推断地区,也要说明处理和隐私边界。
原书依据 · 1 处
分别满足受访者与客户需求
同一个数据产品可能服务于两类目标不同的人:填写问卷的受访者需要少等待、少操作,客户则希望尽快查看结果。先分清每类用户的任务,再决定哪些结果应即时展示、哪些可在后台整理,能避免把客户的便利成本转嫁给数据提供者。产品的“用户”不一定只有付费方。
原书依据 · 1 处
让产品适应用户而非反过来
用户常会适应既有系统,但“能用”不等于设计合适。体验设计应按真实受众和任务调整产品,减少用户改变习惯的成本;没有一刀切方案,熟人只是临时参照,仍需让目标用户验证。
原书依据 · 1 处
用真实熟人替代虚构画像
预算或时间不足以建立完整用户画像、开展现场观察时,可以先想一位自己真实认识且愿意帮助的人,用其处境校验早期设计决定;随后尽早请真实用户参与测试。熟人只是启动同理心的临时代理,不能替代目标用户研究,也不能把对熟人的想象当成普遍证据。
原书依据 · 1 处
长文本分块降低阅读负担
网页上必须提供较长说明时,把内容按关键点拆成带标题的小块,比连续铺成一大段更便于略读和理解。案例把约250词的产品介绍分成多个小节;这并不意味着文字越少越好,而是让读者快速找到重点,再决定是否继续阅读。
原书依据 · 1 处
分支表单清除隐藏答案
条件表单根据先前答案显示不同追问时,切换分支还要清除旧分支中已选内容;否则用户改了初始答案,隐藏问题的旧值可能仍被提交,形成与当前回答不一致的数据。分支可见性和提交状态应一并设计与验证。
原书依据 · 1 处
第03章 火星上的嵌入式图像数据处理
以凤凰号着陆探测器为例,说明在高可靠、强约束的航天器上如何管理图像内存、组织并发任务、处理图像和选择压缩与传输策略。
先界定抗辐射处理器、预分配内存和科学成像要求;再解释12位像素与16位存储的取舍及三个任务的协作;随后介绍静态槽和显式所有权、消息队列异步交接、原地纠错与缩图;最后依据保真要求、图像熵、处理时延和带宽选压缩方法,并以可识别分段支持丢包后的局部恢复,结尾反思任务职责和心跳检查的历史设计选择。
位打包的空间速度权衡
凤凰号CCD像素为12位,但RAD6000按16位字高效访问。紧密打包虽省内存,却让循环处理增加解包、移位和重打包开销,也妨碍原地处理;每16位槽有4位未用,团队接受这25%的槽空间闲置以换取更简单、更快的处理。资源受限时应优化真正的瓶颈。
原书依据 · 1 处
静态槽换取运行确定性
飞行软件禁用malloc,避免碎片、泄漏和空指针在远程任务中无法补救。系统启动时预分配固定内存槽,按图像大小管理;槽的数量可按任务调整。静态分配降低运行期故障风险,但要预先规划容量。
原书依据 · 1 处
显式ID绑定关联数据
图像数据槽和头信息槽可按不同顺序分配、释放,两个数组的下标因此不保证一致。头信息保存图像ID,再按ID查找关联数据,避免依赖偶然的下标对齐;代价是增加标识和查找步骤。 结构图: 原书槽条目结构,头数据通过img_id关联图像,而非要求两数组同一索引;此关联表示编号配对,不是内存指针。
classDiagram
class ics_img_slot_entry_t {
uint16_t slot_status
int16_t slot_owner
int16_t slot_size
uint16_t* slot_address
}
class ics_hdr_slot_entry_t {
uint16_t slot_status
int16_t slot_owner
int16_t img_id
uint16_t[] hdr_data
}
ics_hdr_slot_entry_t --> ics_img_slot_entry_t : img_id匹配图像编号
原书依据 · 1 处
职责耦合推高后期改造成本
相机任务同时负责成像、热控制和镜头运动,职责混杂使任务复杂。后来增加加热需求时,已定型的架构难以拆分。早期缺少拆分理由不代表耦合没有代价,变化路径应纳入设计权衡。
原书依据 · 1 处
既有设施影响技术选型
团队选择轮询心跳,是因为测试设施已按此方式搭建,尽管首席工程师更认可异步计数器与回调。兼容现有基础设施可能成为真实约束,但不等于方案经过比较后最优;应把沿用成本与技术收益分开评估。
原书依据 · 1 处
共享任务减少重复代码
当多种设备各自采集数据,却需要相同的压缩和下行处理时,把共用功能交给独立任务可避免重复代码、节省有限的程序空间。代价是增加任务间通信和调度复杂度;复用边界应由资源约束与验证能力共同决定,而不是只看代码重复。
原书依据 · 1 处
原地处理节省图像缓冲区
图像槽十分有限时,可让算法直接读写同一块预分配空间,避免为中间结果再申请整幅图像大小的缓冲区。代价是处理失败后无法回滚,可能丢失或留下部分损坏图像;选择原地处理前,要确认输入能否重取、失败是否可接受以及错误检测是否足够。
原书依据 · 1 处
压缩策略服从保真需求
压缩方案应由图像必须保留的细节、链路带宽、CPU时间和可用空间共同决定:可接受损失时选有损JPEG,需要原样还原时选Rice无损压缩;有时先把12位映射到8位也足够。压缩率不是孤立指标,科学数据尤其要先定义可容忍的信息损失。
原书依据 · 1 处
用图像熵估算压缩率
若必须把压缩结果限制在目标大小,可先快速估计图像复杂度,再据此调整压缩强度:纹理与亮度变化多的高熵图像需要更强压缩,天空等细节少的低熵图像则较容易压缩。这是案例中的估算办法,实际系统仍应以编码结果和质量要求验证。
原书依据 · 1 处
分段身份支持局部恢复
大图像分段并分别标识后,单个传输包丢失不必使整幅图像失效:地面可识别缺失分段并暂以空像素填充,后续重收到数据再补回。分段协议需携带可定位身份和序号;能否恢复仍取决于接收端保留重建状态及重传数据是否可得。
原书依据 · 1 处
FMECA提前规划错误处理
关键软件不能把错误处理留到实现末尾补救。凤凰号团队在设计早期使用失效模式、影响及危害性分析(FMECA)指导实现和恢复能力;错误检查代码的规模甚至与正常处理相当。先系统枚举失效方式与后果,能让故障响应进入架构和测试计划。
原书依据 · 1 处
槽资源交接要校验所有权
共享图像槽在相机任务与压缩任务之间转交时,应明确记录当前所有者并核对槽ID、图像ID和任务ID。这样能阻止过期消息或错误任务处理已被复用的内存槽。共享资源的正确性依赖可检查的所有权转移,不能只依赖调用顺序。
原书依据 · 1 处
第04章 PNUTShell中的云存储设计
介绍PNUTS如何在水平扩展、全球复制、低延迟访问和一致性之间做设计取舍,并借助主副本、路由、分区和实例化视图满足Web应用工作负载。
先说明传统数据库扩容与全球复制的局限及廉价同步/昂贵异步原则;再以跨地域状态更新展示强一致、尽力而为及时间轴一致性,进而介绍记录级主副本、最新读/临界读和可交换更新;随后讨论路由、散列/范围分区和复杂查询,通过异步物化视图预先组织访问路径;最后比较BigTable、Dynamo、Azure SDS等方案,回看复杂查询能力对实际采用的影响。
复杂查询走后台预计算
跨地域写入不必等待所有副本同步确认;复杂连接或聚集查询则不能简单丢到后台让用户反复轮询。PNUTS用异步维护的实例化视图预先重组/聚合数据,让用户请求以较低延迟读取可接受稍旧的结果。设计时要区分可异步传播的后台更新与必须立即响应的查询路径,而不是把“昂贵”一概等同于“异步”。
原书依据 · 1 处
时间轴序列化更新副本
跨地域复制可用ACID事务同步提交副本,但延迟和锁会拖慢写入;尽力而为的异步传播更快,却可能因更新乱序让副本分歧。最终一致性虽会收敛,也未必收敛到最新值。PNUTS让每条记录的主副本为更新排序,再异步传播:副本可暂时落后,最终按同一顺序收敛。ACID描述事务属性,不等同于一致性模型。
原书依据 · 1 处
主副本随长期访问模式迁移
PNUTS为每条记录指定主副本;若长期访问模式改变,系统会调整归属,使多数写入仍在本地完成。原文称约85%的更新发生在主副本所在数据中心。迁移依据是长期模式,不是短期异地写入后必然迁往最近的数据中心。
原书依据 · 1 处
路由层屏蔽副本位置变化
PNUTS让读写请求经路由层定位副本;记录主副本迁移或分区移动、拆分后,路由器转发到新位置,使底层调整对应用透明。抽象物理位置可降低故障恢复和扩容对调用方的影响,但请求路径依赖路由层持续提供正确映射。
原书依据 · 1 处
可交换操作允许乱序执行
PNUTS对可交换操作(如计数器增加)传播操作本身,允许非主副本乱序执行,因为结果不依赖执行顺序。它不能与覆盖赋值混用:增加和重设无法在各副本间可靠排序。先判断操作是否可交换,再决定能否放宽顺序要求。
原书依据 · 1 处
稀疏数据需要灵活记录模式
Web应用的数据常稀疏且随功能变化;不同类别记录未必有相同属性。允许同表记录携带不同字段,可降低加字段和组合异类记录的成本,也支持实例化视图把用户记录与评论等数据放在同一访问结构中。代价是应用需管理字段差异,不能因此省略模式约定。
原书依据 · 1 处
分区键决定查询效率
散列分区利于按键定位单条记录;有序范围分区可把相同前缀的记录放在一起,让范围扫描或前缀查询少碰无关数据。分区方案因此要从真实查询形态出发:追求单点吞吐和范围检索会形成不同取舍,还要关注热点键造成的负载倾斜。
原书依据 · 1 处
读取操作按新鲜度选择路径
复制系统可提供不同成本的读取语义:本地读取通常低延迟但可能过期;要求最新值时查询主副本;要保证用户连续刷新不倒退,则携带上次读到的版本做临界读。把新鲜度要求显式分档,可只为真正需要强保证的请求支付跨区成本。
原书依据 · 1 处
复杂查询预建实例化视图
跨分区连接或全表聚集若放在用户请求中同步执行,会占用多台服务器并拖慢页面;若改成纯异步查询,又会迫使用户反复检查结果。对可预见的查询模板,可在后台异步维护实例化视图/索引,让请求同步读取预先组织的数据;前提是应用能容忍视图暂时过期,且维护成本不拖慢主读写。
原书依据 · 1 处
视图维护须控制同步成本
预计算结构能加速读,但如果维护视图抢占主请求资源、增加同步读写延迟,或因资源不足长期积压而变得过期,就可能失去价值。评估物化视图时要同时量维护成本、读取收益和可接受陈旧度,并限制预连接等高开销更新。
原书依据 · 1 处
数据架构先匹配真实查询
比较数据库方案时,应先列明目标负载的记录规模、读写方式、复制范围和查询形态,再评价架构取舍。PNUTS团队研究BigTable、Dynamo与Azure SDS后,仍按自身需求设计:优化单条记录读写、跨地域复制和灵活分区;代价是跨分区复杂查询较弱。选型应匹配实际负载,不能照搬相似系统。
原书依据 · 1 处
第05章 信息平台和数据科学家的兴起
以Facebook的信息平台建设为主案例,串联商业智能、数据仓库、分布式分析、数据空间和数据科学家角色,说明基础设施与人员如何共同支持组织学习。
先从图书馆与大脑提出信息平台的摄取、处理、生成,再回溯ETL、商业智能演进和数据仓库建模;随后以扩容、恢复和非结构化日志暴露传统方案边界,转向Hadoop、Hive和可回查原始数据;最后比较MAD与数据空间,并以数据科学家的跨职能工作收束到学习型组织目标。
平台加速组织学习
图书馆与大脑都摄取、处理并生成信息;图书馆把个人的信息能力扩展到群体。作者将Facebook信息平台定位为帮助组织从经验数据学习、改进产品并制定目标的基础设施。评价平台应看它如何支持学习和行动,不能只看存储规模。
原书依据 · 1 处
架构从具体问题长出
Facebook团队为回答用户增长问题,先用脚本抽取数据、守护进程处理日志、MySQL聚合,再用PHP展示摘要;事后才把这套做法识别为ETL、数据仓库和商业智能。该案例显示架构随具体分析需求逐步形成,不证明经典架构普遍都是事后涌现。
原书依据 · 1 处
数据空间支持多元访问
数据空间用统一存储管理结构化与非结构化数据,并提供多种访问API,让工程师、分析师和报告人员按任务取用。它既不同于限定关系模型的数据仓库,也不同于只为部分数据建索引的企业搜索;重点是容纳多种数据格式和访问方式。
原书依据 · 1 处
数据科学家描述复合职责
Facebook团队成员横跨数据管道、统计分析、算法实现和结果沟通,旧职位名无法概括这些职责,于是称为“数据科学家”。作者认为明确角色有助于设计培训课程、招聘层级和专业组织;命名应回应已经出现的工作组合。
原书依据 · 1 处
关注廉价资源的互补能力
Varian的判断是:当资源变得普遍且廉价,与它互补的稀缺服务更值得关注;他以数据与分析为例。这个框架可用于识别互补能力,但原文没有给出分析能力价值会随时间持续上涨的规律。
原书依据 · 1 处
ETL串起数据分析链路
ETL把分散来源的数据抽取出来,转换成便于分析的形式,再加载到分析存储中;商业智能工具随后在数据仓库上生成内部报告。它把“拿到原始数据”与“让业务能据此回答问题”连成可重复的处理链。
原书依据 · 1 处
数据仓库的两种建模路径
企业统筹路径先研究已有数据源和商业目标,再建立企业数据模型;数据集市路径让各业务单位先建自己的主题库,再用总线连接,并以维度模型服务常见分析负载。前者强调全局一致,后者强调局部交付和查询便利,选型取决于跨域整合与响应速度的权衡。
原书依据 · 1 处
数据库迁移受生态差异制约
数据库都宣称遵循关系模型,并不代表批量导入导出、SQL方言和客户端库兼容;迁移时这些差异会迫使团队重写脚本与查询。评估存储替换方案时,应把生态工具、驱动成熟度和迁移工作量纳入成本,而不能只比较数据库核心能力。
原书依据 · 1 处
原始数据回查支撑新分析
只保留预先聚合的摘要会限制未来分析;原始日志若可持久保存并重新查询,团队便能在新问题出现后回看历史数据,构建当初未预见的分析。处理吞吐量和后续可查询性是两项不同能力,归档若不可访问,就不能支撑这种重分析。
原书依据 · 1 处
简单模型遇上大数据
在某些机器学习任务中,扩大数据量并采用简单模型,可能比只用少量数据训练复杂模型更有效;但这不是跨任务的定律,仍需按问题检验。基础设施因而要能以合理成本积累和处理足够数据,使团队可以实际比较数据规模与模型复杂度的取舍。
原书依据 · 1 处
Hive让业务人员自助查数
在分布式存储上提供类似SQL的查询层、分区和可指定序列化模式,可以把数据使用从工程团队扩展给市场、产品、销售和客服等角色。将结构解释推迟到加载或查询层,能适应持续变化的数据;自助访问仍需可靠权限、质量和成本边界。
原书依据 · 1 处
多队列共享计算资源
同一分析集群承载报表、实验和产品任务时,不同任务优先级会争用计算资源;按队列分配共享资源,可以在复用集群的同时表达服务次序。队列策略应与任务时效、业务影响和公平性目标相配,避免高优先级任务长期挤压其他工作。
原书依据 · 1 处
MAD平台兼顾全量灵活深分析
MAD概括大数据分析平台的三个目标:保存企业全部数据而不只保留预先建模的结构化部分;优雅应对数据模式变化;支持更深入的统计分析。三者分别对应数据广度、模式适应性和分析能力,缺一会限制可提出的问题。
原书依据 · 1 处
商业智能把信息送到行动点
商业智能不仅是汇总报表,还包括按用户兴趣把相关信息选择性地送到需要采取行动的位置,并支持从全文资料中检索。系统的价值取决于洞察能否到达行动者;只有集中数据而没有面向使用者的分发与解释,信息仍难以改变决策。
原书依据 · 1 处
第06章 照片档案的地理之美
通过Geograph照片档案,说明志愿者生成的地理数据如何与制图、信息可视化结合,以空间树形图探索地点描述、分类术语与地理位置之间的关系。
先区分位置与地方,并介绍Geograph如何汇集自愿拍摄和标注;再提出可视化探索的审美与效率原则,定义树形图并分析任意布局损失空间语义的问题;随后逐步把分类、频率、地理位置和偏移映射到矩形面积、颜色、空间排序与位移向量上,观察术语共现;最后回到数据深度、可读性与样本偏差的解释边界。
颜色编码应匹配感知差异
地理坐标用颜色编码时,颜色的感知差异应尽量对应位置差异。Geograph以CIELab的a、b分量编码东向和北向,使相近颜色表示相近位置;若感知距离与数值距离失配,视觉比较会误导。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
自愿贡献扩展覆盖
Geograph让参与者自由选择有代表性的风景;项目已有8500多名贡献者,照片覆盖英国90%以上国土。分散参与能形成广域档案;原文未证明其成本更低或内容必然更真实。
原书依据 · 1 处
位置描述不等于地方意义
位置回答对象在哪里,通常可用经纬度表示;地方还包含人们赋予环境的活动、感受和社会含义,未必能被坐标完整表达。把坐标、名称与参与者的文字描述结合起来,能从“点位”进一步理解人们如何经验一个地方。
原书依据 · 1 处
树形图用矩形包含关系表示层级
树形图把层级数据表示为相互嵌套的矩形:父矩形包含子矩形,所有矩形无重叠地填满可用空间,面积、颜色或标注还可编码其他属性。它能在有限屏幕里同时呈现许多层级节点,但节点位置若按布局算法任意安排,就不能自动解释为地理关系。
原书依据 · 1 处
图形空间应对应数据含义
图表占用的空间不只是版面:位置本身可以编码数据关系。评估图形时可分别问墨水有多少直接服务于数据、平面位置是否保留了地理或其他次序关系;高密度本身不是目标,只有读者能从布局中发现有效模式时,空间利用才有价值。
原书依据 · 1 处
空间共现模式需要偏差解释
地理文本中的词语共现可能随地区变化,但观察到这种模式不能直接说明地貌导致了用词差异;它也可能来自区域语言、贡献者分布或个人选择。分析众包地理数据时,应把这些解释作为待区分的假设,并检查参与覆盖与样本偏差。
原书依据 · 1 处
第07章 数据发现数据
说明组织如何通过持久化目录把新观察与历史信息关联,在满足预设相关性条件时及时通知相关方,并处理误判、资源和隐私边界。
先用服务提醒和赌场调查说明数据到达即可触发发现,而警报只用于安排调查;再指出大规模、实时发现不适合依赖递归联合搜索,转而使用目录,并从上下文无关、语义一致发展到关系感知和持久上下文;随后讨论关联阈值需匹配响应能力,列出实时发现系统的观察、特征、历史上下文、实体判断与修正、持久化、相关性评估和通知职责;最后提出隐私治理和数据最小化要求。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
新数据到达时增量处理
历史数据达4 EB、每分钟新增5 TB时,周末全量扫描难以承担。把相关性检查放在新数据进入目录时,以持久上下文做增量判断,可避免反复重扫全部存量;案例强调处理时机与数据规模的关系。
原书依据 · 1 处
目录模型可降低数据共享风险
目录架构可以减少跨组织共享的原始数据:各方先交换必要的索引或关联信息,原始记录仍留在各自系统,按需授权查看;查询和发现结果可留日志以支持监督。它不会自动保证隐私,索引范围、访问权限、错误纠正和未授权搜索监控仍需治理。
原书依据 · 1 处
新观察应能修正旧断言
实体关联是会随证据变化的断言:新观察可能把先前分开的实体确认成同一对象,也可能拆开先前误合并的实体。系统若只能追加关联、不能修正旧判断,长期积累就会偏离现实;因此应保存可追溯的断言并允许后续证据触发复核。
原书依据 · 1 处
告警量应受响应能力约束
告警系统的目标不是尽可能多地报出关联,而是让有限的调查资源优先处理最重要的项目。风险规则的灵敏度应与风险、人员编制和响应能力相配;资源增加时才适合提高灵敏度。否则告警超过处理能力,重要线索也会淹没在队列里。
原书依据 · 1 处
实时发现系统的八个组成环节
实时发现系统依次处理新观察、特征、历史上下文和实体断言;断言可能是新实体、已知实体或相关实体。新证据若推翻旧判断,还要修正并持久化断言,继而评估是否命中兴趣规则并通知相关方。修正旧断言是闭环的一部分,不能只做一次匹配。
结构图:
flowchart LR
O[新观察] --> F[提取并分类特征]
F --> H[查找历史上下文]
H --> A[判断新实体、已知或相关]
A --> C[累计并持久化断言]
A -->|新证据推翻旧判断| U[修正旧断言]
U --> C
C --> R[评估兴趣规则]
R --> N[通知相关方]
原书依据 · 1 处
第08章 实时的可移动数据
解释社交数据的实时访问为何不适合依赖高频轮询,并比较事件通知、普适协议、中间代理与访问授权的取舍。
先从社交数据超出传统浏览器访问方式的背景引出实时性;再比较HTTP等普适传输与XML可读性带来的便利,以及接口缺少服务承诺和远程轮询的成本;随后以1-9-90假设的Flickr/FriendFeed案例展示空轮询,用酒吧服务员类比比较轮询与事件,并说明事件设施的实现代价;最后讨论HTTP POST/Web Hooks和中间代理如何连接异构来源、规范化数据,以及公共/私有数据授权、OAuth令牌与盲链接的安全边界。
人驱数据轮询易空转
当变化由人类行为触发时,频繁轮询可能大多只得到“没有更新”。本章将1-9-90比例套入Flickr/FriendFeed的历史示例,估算每天约290万次请求只命中约700次更新(约0.02%);这是特定假设下的估算,不是通用基准。若还要求低延迟,应比较事件通知成本与空轮询成本。
原书依据 · 1 处
远程轮询代价更高
远程API轮询每次检查都要承担网络延迟和协议交互成本,重复的无变化查询因而比本地循环更昂贵。评估轮询设计时应把远程往返、连接和服务负载单独计入,不能用本地I/O的成本推断网络访问也便宜;实际差距还取决于协议、距离、负载和图中采用的吞吐量假设。
原书依据 · 1 处
格式可读利于协作
XML并非紧凑高效的通信格式,但文本可读,开发者能直接检查数据并参与调试;若只能靠解码工具理解载荷,沟通和改进都会多一道门槛。面向广泛集成时,应把可读性、工具支持和带宽成本一起权衡;这不意味着大型二进制载荷也该改成文本。
原书依据 · 1 处
中间层收拢异构适配
当多个数据源的协议、格式和通知方式各异,而多个消费者又需要它们时,中间层可集中接入、清洗和规范化,让下游只面对统一入口。它把重复适配变成共享能力;发散:统一入口也会成为共同依赖,需评估其可用性、治理权和故障影响。
原书依据 · 1 处
宽容解析外部数据
不同服务对标准、编码和转义的实现会有差异,生成软件也可能有缺陷,因此严格转换器不能假设输入总符合规范。解析外部数据时要容忍可识别的变体,并把异常纳入校验和诊断;宽容不等于静默接受错误值,必要时应保留原始数据以便追查。
原书依据 · 1 处
事件通知省去空轮询
当数据由用户行为产生且需要及时触达时,事件模式让发布方在变化发生后通知消费者,可减少反复查询“是否更新”的空请求。它需要捕获、传递事件及相应框架,复杂度高于循环轮询;选择时应同时衡量变化稀疏度、时效要求和事件设施成本。
原书依据 · 1 处
API接入审视服务承诺
把多个外部API组合成实时应用,会把上游性能和可用性带入自己的产品;本章指出当时许多Web API仓促推出且少有服务等级协议。接入前应核对服务承诺与故障边界,并为上游延迟或不可用设计降级路径。发散:没有SLA时,应把依赖的不确定性纳入产品时效承诺。
原书依据 · 1 处
授权不应交出密码
第三方集成若直接索要用户密码,会让用户为功能便利交出过多凭据。原文介绍的OAuth流程让用户在服务方确认授权范围,集成方获得令牌而非密码,用户还能撤销许可。应用权限应按需授予并保持可撤回,避免把账号口令扩散到多个服务。
原书依据 · 1 处
盲链接分享有泄露风险
盲链接可让没有账号的人直接访问被分享内容,操作简单,但链接一旦被猜到或转发,内容就可能泄露。它适合有意以持有链接作为访问条件的有限分享,不能等同于可验证身份和撤销权限的授权机制;敏感数据应采用更明确的访问控制。
原书依据 · 1 处
第09章 探寻Deep Web
说明如何让隐藏在HTML表单后的匿名信息页面进入通用搜索索引,同时控制查询数量、站点负载和结果质量。
先界定表单后的Deep Web及传统链接爬虫的覆盖盲区,排除登录、反馈、购物等私密或有副作用的表单;再比较需要人工映射的垂直搜索与通用自动探寻,解释GET/POST对URL索引的影响;随后把表单抽象成绑定与自由输入项构成的查询模板,以返回页面的富信息量测试筛选有价值的字段组合,并自底向上扩展模板;最后分别处理通用文本框的迭代关键词探测和邮编、日期、价格等类型化输入的有效样本选择,并指出相关输入域的联合取值仍可提升覆盖;结合实验结果总结自动化覆盖能力与边界。
查询模板须产生内容差异
查询模板把一部分输入项设为绑定项,其余留作自由项;用不同绑定值生成样本提交,再比较返回记录是否实质不同。若只改变排序、版式或广告,输入项没有增加可索引内容。签名还要过滤“无结果”提示中回显的查询值,避免把相同空页误判成不同内容。发散:用可观测输出筛变量时,先定义什么才算有效差异。
原书依据 · 1 处
笛卡儿积易产生空URL
多个表单输入项的候选值做笛卡儿积,会迅速产生大量提交,其中不少返回空结果。书中Cars.com案例以5个输入项组合出2.4亿多个URL,而当时仅有65辆待售汽车。枚举前先估算组合规模与有效结果量,再设计覆盖与请求成本的折中,避免把穷举当成完整性的代名词。
原书依据 · 1 处
从有效小模板扩展搜索
查询模板空间有指数级组合时,可先测单个输入项,再从已验证有信息量的较小模板逐步扩展;若某模板所有低一维扩展都无信息量,就可按书中的单调性假设剪枝。扩展时仍要考虑与已有字段交互的组合,不能只组合单独有效的字段,否则可能漏掉需多个条件共同作用的结果。
原书依据 · 1 处
搜索规模决定自动化取舍
垂直搜索靠人工为有限领域建立表单语义映射,能精细整合同类来源,却难覆盖边界不清、语言众多的整个Web。面向数百万表单时,作者转向无需人工监督的通用探测,以单点精度换广泛覆盖。发散:先判断目标是少数来源的深度整合,还是长尾来源的规模覆盖,再选择人工映射与自动化的投入比例。
原书依据 · 1 处
页面签名剔除展示噪声
比较查询结果时,签名应忽略HTML排版、结果排序和广告等展示差异,并移除空结果提示里回显的查询值;否则同一空页会因搜索词不同而被误判为不同内容。过滤也不能抹掉真实记录差异。发散:相似度规则要用有记录与空结果样本共同校准,避免误并和漏并。
原书依据 · 1 处
Deep Web藏在表单后
Deep Web指必须向HTML表单提交合适值才会返回、因而普通链接爬虫难以发现和索引的页面。本章范围主要是允许匿名检索的信息表单,并排除登录、反馈和购买等涉及私密信息或会改变状态的提交。搜索盲区来自入口方式,而非内容本身不可公开。
原书依据 · 1 处
只抓无副作用的GET
GET把查询参数放进URL,使不同表单提交可由不同地址表示并进入搜索索引;POST把参数放在请求体中,结果地址无法据此区分,而且按HTML规范应承载会改变状态或产生副作用的操作。抓取表单前还要排除登录和个人信息入口,不能为扩大覆盖而触发用户状态变更。
原书依据 · 1 处
文本查询词应迭代生长
通用文本框没有可用的领域词典时,可先从表单页面抽取相关词作为种子,提交查询后再从返回页面发现新候选词,反复探测并按结果覆盖筛选。要剔除几乎处处出现的模板词和只出现一次的偶然词。发散:候选词不是固定清单,而是被目标站点的数据逐步反馈修正。
原书依据 · 1 处
类型化输入要用有效样本
邮编、日期和价格等文本框虽看似任意文本,实际只接受特定类型或范围;无效值会得到错误页。探测时应识别输入类型,并为有限集合抽取样本、为连续范围按不同数量级均匀采样,再用结果差异评估信息量。未来还可识别相关输入域(如最低价与最高价),联合测试精心选择的有效值以发现更多页面。
原书依据 · 1 处
第10章 构建Radiohead的“House of Cards”
展示如何以Lidar和GeoVideo采集点云,把数据本身作为音乐视频素材,并通过处理、渲染和开放工具形成可交互的再创作作品。
先交代项目从数据驱动视频的创意缘起,再比较适用于远景和人脸近景的两种传感设备,并解释点云坐标与强度表示;随后说明车载扫描、现场有意保留的采集瑕疵及不可复拍数据备份,再经设备参数转换与静态/动态点云的不同粒子处理形成视频;最后以交互查看器、公开数据和工具邀请观众从新视角继续创作。
有目的地保留瑕疵
GeoVideo能捕捉面部纹理,团队比较后仍决定只保留点云:纹理版像电子游戏角色,抽象版更接近导演想要的数字幻影。车载扫描产生的道路起伏也未被校正,因为它更简单且增加趣味。表现精度应服从表达目标;这不意味着可忽略测量质量。
先设计要采集的数据
数据创作先问目标数据形态,再安排传感器、物体和采集路径;传统镜头里看不出效果的镜面有机玻璃,仍可改变扫描结果。面包车扫描也让镜头视角留到后期重建。发散:拍摄方案应从可用数据反推现场布置。
开放数据激发再创作
公开原始点云和生成工具后,观看者可以自行选择视角与呈现方式,做出原团队没预想的版本。该项目报告超过10万人下载数据;这是单个项目的历史结果,不保证开放必然带来同等参与。发散:开放素材时同时提供可运行的查看或创作入口。
异构设备覆盖不同尺度
Lidar适合户外大范围扫描,但约2厘米点距难呈现面部细节;GeoVideo适合近距离人脸,点距可达0.2毫米。把设备按场景能力分工,能覆盖远景与特写,也降低作品被看成单一设备演示的风险。发散:先列采集尺度与精度需求,再选互补设备。
换个视角重看平常事物
普通人脸与郊区建筑也能成为有辨识度的数据作品,关键在新的采集和呈现视角。Radiohead视频把熟悉对象转为点云,并用故事和交互查看改变观看经验。发散:素材平常时,先探索表示方式,再决定是否需要更稀有对象。
点云由空间坐标和强度构成
本章把每个扫描点表示为x、y、z坐标及强度;坐标相对设备原点,强度再映射成灰度。点云因此是带空间位置的采样,不是天然带纹理的照片。发散:解释点云图时应交代坐标基准、强度映射和采样密度,避免把显示效果误当真实表面。
抽样服从表达目标
GeoVideo能捕捉精细数据,但作品不必照单全收;团队发现大范围抽样得到的点更符合期望表达。采样目标由作品要传达的形态决定,而不是追求最大数据量。发散:把采样策略和任务目标一起评估,并保留足以复核的原始数据。
不可复拍数据应多份保存
不可复现的现场数据若丢失,后续渲染与创作也失去基础。Thom相关数据拍摄约10小时,团队因此把数据保存在多块硬盘。发散:采集时就规划并验证副本;备份介质数量本身不能替代恢复校验。
动态图点云需外部状态
静态点集在帧间保持稳定,可把选中点交给粒子系统并持续改变;动态点云每帧重建,旧点很快被新点替换,逐点衰减状态会丢失。案例以叠加二维遮罩近似表达动态衰减,代价是无法与静态方案逐点对应。
结构图:
flowchart TD
A[点云类型] --> B{帧间点身份稳定吗}
B -->|静态点集| C[选择目标点]
C --> D[逐点接入粒子系统]
B -->|动态点云每帧重建| E[逐点衰减状态失效]
E --> F[二维遮罩叠加粒子]
F --> G[近似表达整体衰减]
第11章 都市数据可视化
通过奥克兰CrimeSpotting项目展示如何从封闭地图中提取犯罪数据、把数据组织成可探索且可分享的公共服务,并依据用户反馈调整数据分区和来源。
先提出数据有趣、有用、公开且免费的四项标准及其受众/环境理解理由,并回顾Web地图和客户端拼接技术;再说明模拟会话、图像识别、颜色预筛、参照点定位和报告去重组成的数据提取链路;随后以总览地图、时间/类型筛选和规范URL提高可发现性与可分享性;最后记录奇特可视化隐喻的试验边界、巡警区对齐社区认知,以及以官方数据替换脆弱爬取后带来的速度与精度改善。
颜色粗筛缩小匹配范围
逐像素用已知图标匹配整张地图很慢。先按犯罪图标的特征色筛出少量候选位置,再对候选区域做高成本精确匹配,可用廉价粗筛减少后续计算。发散:粗筛应优先排除大量明显无关项,同时保留可接受的漏检边界。
原书依据 · 1 处
少量地理锚点可标定整张固定地图
当同一输入总生成布局、尺寸固定的地图时,可在每种布局上标注少数已知交叉口的像素坐标和真实经纬度,再以线性关系推算其他像素位置。发散:这种校准依赖地图视图可重复;缩放、裁切或布局变化后应重新标定。
原书依据 · 1 处
有趣的可视化隐喻仍需原型验证
时空光锥能把犯罪对社区的影响表达成由模糊风险聚焦到具体事件的过程,但作者团队发现它放进主网站会显得怪异,因此保留为尚待试验的概念。发散:设计隐喻应通过原型检查可读性和使用场景,概念吸引力本身不能证明它适合上线。
原书依据 · 1 处
地理分区应贴合用户的社区认知
团队起初把警务服务区、委员会区和邮递区视为定位噪音;居民反馈却说明,巡警区才对应其日常沟通对象及社区边界。依用户熟悉的空间组织犯罪数据,才让页面支持当地居民与警员沟通。发散:数据分区应从使用者实际协作关系验证,而非只沿用机构内部边界。
原书依据 · 1 处
爬虫脆弱时应争取正式数据接口
模拟用户会话并抓取地图的流程耗时、易错,还会增加目标网站负载。继续优化抓取没有解决根因;市政府改为提供官方表格后,采集从数小时降为几分钟,定位也更准确。发散:当方案依赖绕过上游系统时,应评估协商正式数据出口的成本与收益。
原书依据 · 1 处
客户端拼接地图瓦片
把地图切成可复用图片块,由浏览器按视口组合,能避免每次平移都让服务器重绘整幅地图,并为更丰富的制图效果留出资源。发散:交互界面若能在客户端组合稳定资源,可把服务器压力换成网络传输与客户端工作。
原书依据 · 1 处
数据优先界面便于探索
向导式查询要求用户先知道要找哪个地方;总览地图则允许从整体浏览,再按时间、类型或地理范围逐步缩小。把数据概要和探索入口放在前面,可支持尚无明确问题的发现过程。发散:搜索产品可同时提供精确查询和开放式浏览路径。
原书依据 · 1 处
筛选器兼具反馈功能
时间和类型选择器既缩小地图中的报告范围,也显示当前数据覆盖日期及所选类型数量;高亮反馈还能让被遮挡的类别重新可见。筛选因此不只是输入条件,也能帮助用户理解数据分布和控件效果。
原书依据 · 1 处
规范URL便于分享记录
把报告类型、日期和区域编码进可读的分层URL,并把多种等价地址重定向到同一规范形式,使两个人分享的链接指向同一查询结果。发散:可分享的地址应稳定、可读且具有一致的规范化规则。
原书依据 · 1 处
有趣有用公开且免费的数据
本章以“有趣、有用、公开、免费”评价数据:数据应吸引收集者、观众或机构,帮助人们理解环境,并允许公众免费查看和讨论。可信原始数据与多种访问方式支持居民使用。
原书依据 · 1 处
第12章 Sense.us的设计
以sense.us为案例,说明如何把人口普查数据处理成可探索的可视化,并通过协作机制让个人观察、外部语境和群体讨论共同支持数据理解。
先说明数据的价值与伤害取决于用途、治理和用户理解,再介绍人口普查数据的领域知识、口径协调及隐私限制;随后通过真实数据原型筛选视觉方案,比较堆叠图等编码与任务的适配及交互代价;继而说明URL分享、视图状态索引、图形标注、书签线索和社会导航如何连接异步讨论;最后以用户研究展示探索、讨论和外部上下文的循环及其解释边界。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
数据价值与风险取决于使用方式
数据只有在被正确收集、妥善保护并由合适的人理解和使用时,才可能转化为更好的判断。同一份细致人口数据用于公共服务时有益,若被迫害者利用也会放大伤害。设计数据系统时应同时检查用途、访问者和未来可能出现的滥用情境,而非只看数据是否准确。
原书依据 · 1 处
数据比较前先核对采集口径
跨年份比较前应先确认变量定义、调查问题和覆盖范围是否稳定;同名年度数据不一定天然可比。统一编码和文档能减少口径差异,但和谐化过程包含人工判断,标准化不能消除由建模选择带来的偏差。
原书依据 · 1 处
真实数据原型加快方案筛选
先用真实数据快速搭出多种可视化原型,再请同事反馈,可以在投入完整系统开发前发现哪些呈现方式有分析价值。原型评估能把开发资源留给经过初步验证的方案;反馈对象与目标用户不同,结论仍需后续用户验证。
原书依据 · 1 处
堆叠图总览清晰却遮蔽个体趋势
堆叠图把多条时间序列叠加,适合观察整体组成和总量变化,也能支持筛选;但曲线位置会让单条序列的趋势难以准确判断。需要看某个类别时,应允许用户隔离该序列,并结合更直接的比较视图,而不是把总览图当作所有问题的答案。
原书依据 · 1 处
图形标注支持异步指向
远程、异步讨论缺少现场交谈时的手势指向,可让评论附带覆盖在视图上的图形标注,使参与者能共同定位正在讨论的特征。复用一套自由格式标注工具还能简化实现并保持体验一致;标注应能按需显示,避免遮挡个人探索。
原书依据 · 1 处
社会导航重新点燃数据探索
用户独自探索数据时可能耗尽兴趣;可搜索的评论列表和他人保存的视图能提供新的入口,让用户发现别人的问题或观察并开始自己的分析。Sense.us的观察显示,两种活动会形成正反馈,但这只是该原型中的使用模式,不能当作所有产品必然有效的规律。
原书依据 · 1 处
讨论补足可视化中的外部语境
图表展示趋势,却未必包含解释趋势所需的税制、历史事件或数据口径。让用户围绕特定视图提问、补充上下文并比较假设,能把观察推进到可检验的解释;评论是线索而非因果证明,仍需独立核实。
原书依据 · 1 处
图形编码须匹配数据类型与任务
可视化编码应同时匹配数据类型和用户任务:位置适用于精确比较,颜色区分分类标签较有效,却不适合精确表达数值。选图前先问用户要辨别、比较还是发现异常,再选择视觉变量;漂亮或熟悉的图形不自动代表表达准确。
原书依据 · 1 处
动画应帮助跟踪变化而非拖慢分析
动画能让用户跟踪视图状态的变化,但过慢会打断分析,过度使用也会变成干扰。Sense.us团队反复调整形式和时长,约一秒的转换让观察者跟上变化而不必停下来等待;这个时长是案例参数,实际产品应按任务测试。
原书依据 · 1 处
第13章 数据所做不到的
说明数据可以提供观察与证据,却无法替代人对模式、概率、因果和结果分布的审慎解释;认知偏差、成本、非平稳环境及事件依赖都会限制数据驱动决策。
先以人类模式识别引出从噪声中编故事的叙事谬误和确认偏见,再用收益/损失选择说明风险偏好的不对称;随后分别讨论样本量、错误代价、处理与选择成本,相关和因果的区别,以及描述性统计对分布形状的压缩;再指出过拟合、世界变化、基准概率误判和概率直觉限制预测,最后以出借行为相互影响说明事件独立性及数据观察者偏见的边界。
原书依据 · 1 处
收益与损失改变风险偏好
确定收益7400美元低于75%获10000美元的期望7500美元;确定损失7400美元与75%损失10000美元的期望损失7500美元。偏好确定收益、厌恶确定损失可使A+D=-100、B+C=+100,差200美元(原文误称2000)。框架会改变风险选择。
原书依据 · 1 处
基准率决定阳性含义
患病率0.1%、敏感度99%、健康者误报率1%时,百万人约有990个真阳性和9990个假阳性;阳性预测值为990/(990+9990)≈9.0%。原书漏将真阳性计入分母,误写为9.9%;检测结果须结合基准率。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
确认偏见筛选新证据
确认偏见是把既有结论带入新分析,并更容易注意或接受支持原假设的证据,甚至可能在反面证据压倒性时仍坚持旧判断。它不同于从噪声中编出连贯故事:前者偏向筛选证据,后者偏向组织解释。检验分析时,可先写下什么观察会推翻自己的假设,再主动寻找这类证据。
原书依据 · 1 处
相关不等于因果
两个变量一起变化,只能说明它们在样本中相关;共同原因、选择偏差或偶然波动都可能造成这种关系,单凭相关性无法确定因果方向。把婚前同居与离婚率的相关直接写成同居导致离婚,就是把建议包装成数据结论。解释关联前要寻找能区分因果机制与替代解释的证据。
原书依据 · 1 处
数据多不等于决策更好
增加样本通常能缩小随机误差,但前提是分布与抽样假设合适,而且新增数据确实改善要处理的错误。若漏掉致命疾病的代价远高于一次误报,收集能降低漏报的数据可能比单纯扩大样本更有价值。数据工作应先明确误差类型、代价和分布假设,再决定增加什么数据。
原书依据 · 1 处
选项过多会抬高决策成本
选择集合扩大不只增加比较工作,还可能让人拖延、放弃选择,并降低事后满意度;更多可选项因而不必然改善决定。设计数据界面或决策流程时,可先呈现与当前目标最相关的少量选项,再允许用户按需展开,避免把筛选成本全部转嫁给决策者。
原书依据 · 1 处
数据事件往往并不独立
若一项事件会改变他人观察、判断或参与的机会,多个数据点就可能彼此依赖,不能当作独立重复证据。P2P借贷中,出借人会模仿已有竞标,竞标越多又可能带来更快的后续竞标;忽略这种羊群效应会高估样本提供的独立信息。建模前应检查数据生成过程中的社会互动与共同冲击。
原书依据 · 1 处
第14章 自然语言语料库数据
展示如何用大规模自然语言语料估计概率模型,并把它用于分词、密码解码、拼写纠正、分类、翻译等不确定任务;同时说明搜索空间、数据质量和决策代价对模型效果的限制。
先定义语料库、token/type和N元计数,并说明词频分布高度偏斜;随后以无空格分词说明概率模型、候选枚举、打分选择及记忆化动态规划,再比较上下文模型和未知词估计;接着从穷举凯撒移位转到需随机重启的爬山搜索,再用贝叶斯公式组合候选词概率与拼写噪声,讨论语料纠错、分类/翻译中的数据来源;最后总结数据规模能简化模型,但任务选择还须考虑期望效用并保持独立测试纪律。
语料承载隐性语言知识
把choosespain.com正确切分成choose Spain,模型只查语料中的词序频率;自然产生的文本能承载搭配规律,使数据驱动方法无需显式编码全部领域知识。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
测试集独立与算法无关
训练集用于建模,校验集用于选方案;测试集评估未见数据,理想情况下用过即弃。但数据昂贵时可权衡复用,前提是避免用测试集反复调优造成过拟合;独立评估要求与算法类型无关。
原书依据 · 1 处
语料库序列频次编码语言
语料库是文本集合;token是文本序列中的单词或标点,每种不同token是一个type,type集合构成词汇。统计相邻n个token的N元频次,就能从真实用语估计序列概率。词频高度偏斜,因此语料规模和低频处理会影响模型边界。
原书依据 · 1 处
记忆化动态规划削减重复搜索
分词若递归枚举所有切分会重复求解相同后缀;缓存每个子串的最佳结果后,只需逐个子串计算并比较有限长度的首词候选,复杂度可从指数级降到多项式级。概率乘积改用对数加法还能避免数值下溢。
原书依据 · 1 处
未知词概率应非零且随长度衰减
语料库未收录某词不代表它不可能出现,把未知词概率设为零会令含它的整条候选序列归零。可给未知词非零的平滑估计,并按词长降低概率,避免任意长随机字符串获得过高分。
原书依据 · 1 处
相邻词上下文能修正独立分词
把词概率视为彼此独立时,常见的“sitdown”可能压过“sit down”的两个单词概率乘积。加入前一词条件概率后,常见搭配可得到更高分;上下文改善判别,但更长的N元模型也增加数据规模和计算代价。
原书依据 · 1 处
随机重启缓解爬山局部最优
爬山搜索只接受分数不下降的邻居,无法保证越过局部峰值或平原。多次从随机密钥重新开始并比较结果,能增加找到较好解的机会,却仍不能保证全局最优;搜索次数和邻居设计仍需权衡。
原书依据 · 1 处
拼写纠正组合词频和错误概率
拼写纠正要同时考虑候选词本身常不常见,以及输入错误把它变成当前字符串的可能性:按 P(候选|输入) ∝ P(输入|候选)P(候选) 排序。只选最高词频会把罕见但正确的词误改成常见词。
原书依据 · 1 处
训练语料错误会污染纠错模型
网络语料若含大量真实拼写错误,模型会把错误词频当成正常语言证据,进而拒绝纠正同类错误。可用校对语料、词典约束或结合相似词的上下文共现识别噪声;数据清洗能改善模型,但计算成本可能很高。
原书依据 · 1 处
决策应最大化期望效用
选择最可能结果只适用于各类错误代价相近的目标。若错误提示会造成尴尬等负效用,决策应结合结果概率与正负价值,最大化期望效用;因此模型输出相同,应用场景和代价不同也可能应采取不同动作。
原书依据 · 1 处
第15章 数据中的生命:DNA漫谈
以DNA的编码和复制机制为起点,展示基因组作为数字化数据库如何容错、表达、演化并被现代测序平台读取;再说明测序吞吐增长如何推动实验室数据管理与基础设施演进。
先说明DNA的四元编码、双链互补、蛋白质读取和基因调控,并用表观遗传、癌症损伤阈值、密码子冗余、数字遗传和中性进化解释生命数据的工作方式;随后从基因组计划转向高通量短读测序,说明重复读取、海量图像和数据增长;最后展示样本流程元数据、可演进模式、分布式存储、质量控制闭环与开放数据如何支撑测序服务。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
DNA表达依赖蛋白质机器
DNA保存制造蛋白质的指令,但复制、转录、翻译和基因调控都依赖细胞中已有的蛋白质机器。遗传信息像程序蓝图,不能脱离执行系统独立运作;理解基因作用时要同时看编码与细胞环境。
原书依据 · 1 处
重复测序降低变异误判
单次DNA测序可能把技术误差当成真实变异;对同一碱基做多次相互独立的读取,可利用重复一致性提高统计把握,再比较样本间差异。重复测量的价值在于分离信号与测量噪声,但前提是误差不能完全相关。
原书依据 · 1 处
样本元数据助力故障定位
在跨人员、设备和实验室流转的样本上记录完整处理过程,能把最终测序结果与吞吐量、设备校准和协议偏差关联起来。数据质量问题因而可以沿样本路径回溯,而不只是看到一份异常结果。
原书依据 · 1 处
元数据模式运行时演进
当实验协议和设备快速变化时,把可变字段定义为带版本的元数据族,并在运行时调整描述,可让新旧项目继续访问且减少开发者反复改固定数据库结构的负担。稳定身份等字段仍可保留为核心列以便查询。
原书依据 · 1 处
质控将失败样本回流重处理
测序结果通过质量控制后,低产出、未知碱基过多或低复杂度等信号会暴露失败;把这些结果反馈到项目系统并自动重排样本,可形成从检测、告警到再处理的闭环,避免问题数据静默流入分析。
原书依据 · 1 处
低成本保留测序原图
原始测序图像体量巨大、完整恢复昂贵,但低质量压缩图仍可在异常时供人工回看染色、油污或指纹等问题。归档策略可按用途分层:昂贵原始数据限期保留,低成本证据留作故障调查,不能把“不可用于分析”等同于“毫无价值”。
原书依据 · 1 处
测序吞吐驱动平台扩容
测序数据增长会超过既有平台规模,要求同步扩充存储、网络与处理设施。平台容量应按数据生成速率和分析需求规划;书中的容量预测反映当时技术背景,不能直接作为今天的配置基准。
原书依据 · 1 处
DNA是生命的化学数据库
DNA不只是组成生物体的物质,也承载了描述生命化学组成的信息。这个信息系统经长期演化形成简单、无固定模式且具容错性的组织方式;“数据库”是帮助理解其信息功能的类比,DNA仍由生物分子及细胞机制承载。
原书依据 · 1 处
第16章 美化真实世界中的数据
以开放溶解度研究项目说明,如何通过透明记录、上下文验证、开放标识与机器可读服务,把带有噪声和瑕疵的真实测量变成可复查、可整合并能推动新实验的数据资源。
先提出真实测量的误差、选择性展示和出版容量问题,强调公开底层数据及处理过程;继而以开放记录本和逐条来源链接建立证据链,再用实验上下文解释异常值、保留并标注可疑数据;随后展示熟悉工具、开放标识、人机兼容格式、API与中心聚合服务如何发布和连接数据;最后通过RDF与跨源链接说明数据网络,并以可视化暴露研究空白、选择下一轮实验。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
公布底层数据让读者自验
若文章只展示典型结果,呈现的可能是研究者挑出的最好数据集,选择性展示会遮蔽测量波动。公开支撑论点的完整数据和处理筛选过程,能让读者独立复算并检视结论;透明不能消除争议,却能让讨论建立在共享证据上。
原书依据 · 1 处
每条数据都应连回原始记录
汇总表中的每个测量值都应保留指向实验记录的链接,使使用者既能知道是谁提交了该断言,也能查看测量如何完成。可追溯来源让数据质量判断从信任作者转为检查证据,并方便机器按需取回原记录。
原书依据 · 1 处
数据格式兼顾人机阅读
开放数据表应让人能读懂常用名称,也让程序能稳定处理机器标识符;例如同一化学实体可同时保留通用名和结构编码。双重表达降低人工理解和自动整合之间的转换损耗,但需要明确各字段语义与标识标准。
原书依据 · 1 处
开放服务促进跨领域协作
开放数据和可访问服务让测量者、接口开发者与建模人员可以各自使用擅长的工具,再把结果组合起来,无须先建立正式合作关系。降低组织协调依赖后,外部使用者也可能以数据提供者未预料的方式扩展原始数据的价值。
原书依据 · 1 处
聚合服务连接分散数据源
数据分散在许多来源时,单靠搜索工具仍会增加研究者定位和整合信息的成本。中心聚合服务通过共同标识符汇集记录并提供索引,让用户从一个入口发现分布来源;它应保留来源链接与校对信息,不能把聚合误当成统一权威。
原书依据 · 1 处
可视化空白引导下一轮实验
把已有测量投到有意义的特征空间后,数据点覆盖区和空白区可以同时显现;空白提示哪些对象尚未测量,研究者便能结合资源限制选择下一轮实验。可视化因此不仅总结结果,也能把分析反馈到数据采集计划。
原书依据 · 1 处
第17章 数据浅析:探索形形色色的社会定型
以FaceStat众包评分为例,展示如何从真实世界的混杂数据中清理和探索模式,同时公开处理选择、解释抽样与统计限制,避免把探索性关联写成确定的社会结论。
先提出大规模用户评价数据的探索目标,并声明不验证预设假设、公开处理选择;再由原始响应的频数与异常值检查进入清洗、数值汇总和初步分布探索;随后用平滑、置信区间、自适应分箱及相关矩阵分析年龄、魅力、性别等变量;再分析自由文本标签的保留、长尾词频和性别条件概率,并以词频门槛控制稀疏噪声;继而解释K均值在高维特征空间的聚类、参数选择和二维投影局限;最后将结果限定为后续研究线索,并指出受控研究与隐私考量。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
频数分布先暴露数据脏点
众包表单会混入换行符、文本、格式错误值乃至重复灌入。先查看频数分布,罕见值常能暴露格式问题或绕过规则的行为,再按明确规则清洗;同时保留可追溯的原值,避免把真实的稀有观测误当噪声删掉。
原书依据 · 1 处
保留原始标签再做归一化
自由文本中的大小写、标点和符号差异是否应合并,取决于具体分析用途;过早归一化会抹掉可能有意义的语义差别,而且原值丢失后难以恢复。先保留原始标签,在明确的分析或展示环节再做可逆变换,能兼顾后续不同问题。
原书依据 · 1 处
长尾词频不要套正态直觉
Zipf型词频中,少数标签出现很多次,同时有大量标签只出现一两次;这种重尾分布不同于正态分布,尾部并非自动意味着错误。用对数秩与频率检查长尾形态时,还要看点的密集区,不能只凭一条拟合线概括所有词项。
原书依据 · 1 处
低频标签先设统计门槛
按标签估计性别条件概率时,某标签若只出现一次,偶然落在某一组就会得到极端的比例值。先设置最低频数门槛再比较,可降低小样本造成的虚假特征;门槛会排除稀有信息,因此应随用途和数据规模说明取舍。
原书依据 · 1 处
K均值按质心反复归组
K均值把每个样本表示为特征空间中的点,先选K个中心,再反复将样本分给中心并调整中心,使组内点尽量靠近各自质心。它适合探索数值特征中的分组结构;缺失值填补和尺度标准化会影响距离,因此预处理也是模型含义的一部分。
原书依据 · 1 处
聚类结果需检查稳定性
K均值要求事先指定K,而数据本身通常不给出唯一正确的聚类数;不同K、算法或参数会形成不同分组。比较多种设定并查看重复出现的模式,能把聚类当作探索线索;若要声称存在真实类别,还需独立证据验证其稳定性与用途。
原书依据 · 1 处
高维聚类投影会掩盖差异
聚类可在二十维特征空间按所有属性划分,但展示图往往只投影其中两三个维度;图上相互重叠的组仍可能在未显示的属性上不同。解释聚类图时要区分算法比较的完整空间与可视投影,并查看质心或各维特征,不能凭二维外观断言分组无差异。
原书依据 · 1 处
探索性关联不能冒充因果
探索性分析从大量混杂数据中发现模式与关联,适合提出后续问题;它没有受控实验的设计,不能单凭相关性断言因果,也不应把探索出的群体模式写成定型结论。公开处理选择、样本限制与不确定性,再用更严格的研究设计检验,是从发现走向解释的必要步骤。
原书依据 · 1 处
第18章 旧金山海湾区之殇:次贷危机的影响
以旧金山湾区2003—2008年住宅销售数据为例,展示从采集和地理编码到时间序列、分布、地区与人口统计比较的分析路径,并说明数据口径、抽样和观察性关联对危机解释的限制。
先找到机器可读销售数据并清洗格式,再地理编码、检查错误并按用途处理不确定位置;随后观察总体价格与销售周期,讨论通胀调整口径;继而用分位数和基期指数区分不同价位的绝对与相对冲击,再以筛选、平滑和指数化比较城市走势;最后连接人口普查数据、细看旧金山空间分布,以可复现数据和代码总结发现及后续研究边界。
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
原书依据 · 1 处
缺失标记应服从分析用途
经纬度被用于细粒度空间分析时,可疑地理编码应标为缺失,让该记录退出依赖坐标的分析;按城市或县汇总时,只要位置足够粗略仍可能可用。缺失不是统一的数据质量判决,而是字段精度与分析任务之间的边界。
原书依据 · 1 处
价格调整要检查指标口径
把跨年房价换算为基期价格,可以分离一般物价变化与名义价格变化;但CPI含有住房相关子指数,而住房价格正是研究对象,调整指标可能与目标变量存在口径重叠。选择调整方法时须说明指标组成,并比较调整前后的结论。
原书依据 · 1 处
分位数揭示分布差异
均值把整组房价压缩成一个数,可能遮住不同价格段的走势。逐月计算10%到90%的价格分位数,再分别按初始值指数化,能同时比较分布位置和相对变化;本案例中低价住房较早见顶、相对跌幅更大。
原书依据 · 1 处
平滑能显趋势也会压峰
广义可加模型通过权衡拟合程度与曲线平滑度,压低短期噪声以显露长期走势;代价是尖锐局部波动也会被削弱。本章的城市房价图因此更易比较趋势,但非常昂贵住房的销售高峰不再突出。平滑参数和原始图应一并审视。
原书依据 · 1 处
入样门槛限定比较范围
比较城市周均房价时,只保留平均每周至少10笔销售的城市,得到58个城市和总销售量的82%,但只覆盖城市总数的24%。门槛降低小样本均值的波动,却改变了代表范围;结论应明确适用于筛选后的城市集合。
原书依据 · 1 处
基期指数便于比较走势
不同城市起始房价差距很大时,将每条价格序列除以各自初始值,可以把曲线置于共同基准,比较其相对变化,而不是混淆绝对价格水平与涨跌路径。展示指数时仍应保留原始价格视图,以免比例变化掩盖实际金额差异。
原书依据 · 1 处
观察性关联不能单独证明因果
城市房价回落与收入、教育、通勤时间及住房建设呈现关联,可以帮助提出后续解释;但人口普查和销售数据的散点关系没有隔离混杂因素,也不能证明贫困导致跌价。把观察性结果作为待检验线索,再用更合适的数据设计验证机制。
原书依据 · 1 处
地理口径错配会丢失匹配
销售数据把部分社区也当作“城市”,人口普查则按另一套城市边界统计,直接连接两表时58个销售城市中仅46个能匹配。跨来源整合前要检查实体定义、空间粒度和时间口径;名称相同不代表统计对象相同。
原书依据 · 1 处
空间格网承载不同统计量
把经纬度划成格网后,可分别统计每格销售数量、平均房价与变异系数;前者描述交易密度,后两者描述价格水平和相对离散程度。地图中每层颜色都应对应清楚的统计量,否则视觉相邻容易让读者把不同问题误认为同一结论。
原书依据 · 1 处
共享数据代码支持复核
公开数据和运行代码让读者能够复查处理流程、发现错误并观察修正对结论的影响;开源工具还降低了复现门槛。可复现不等于结论必然正确,它提供的是检查和重做的条件,仍需记录数据版本、依赖与处理选择。
原书依据 · 1 处
解析器必须处理边界情况
批量采集到的数据不能只按理想样例写解析器:价格符号、日期格式、不同周次缺少的字段等边界情况都要显式处理。把缺字段写成缺失值并统一时间格式,比让少量异常记录悄悄破坏整批数据更可靠;应以实际样本持续校验解析规则。
原书依据 · 1 处
周期性变化要与趋势拆开
每周销售量受季节影响,且报纸记录日期可能比实际截止日晚4到6周;因此短期波动既有季节因素,也有观测时点误差。解释危机趋势时应先建立季节基线并注明时间口径,对突然反弹保留多种解释,等待后续数据验证。
原书依据 · 1 处
第19章 美丽的政治数据
以选区重划、总统选举、年龄差异、参议院表决和宾夕法尼亚党派地理为案例,说明统计图形如何帮助发现模型问题、比较估计并深化政治理解。
先提出图形作为研究和演示工具的写作检查,再展示选区重划中处理组与对照组的不同关系,说明先画数据有助于修正模型;继而以完全分割解释贝叶斯弱信息先验和小倍数图形,再通过多届选举与年龄组比较纠正单年印象;最后把州级公众意见与参议员投票模型合图,并将州县胜负图与局部选民倾向叠加,呈现模型不确定性和行政区内部差异。
先画数据再选模型
先把原始数据及拟合线画出来,可发现未建模的处理效应或交互。选区案例中,处理组与对照组关系不同,初始统一线性模型因此漏掉关键模式;图形能帮助诊断模型结构,不能替代建模。
原书依据 · 1 处
检验处理效应需区分组间关系
重新划区约每十年发生,非处理年份占多数;合并拟合可能掩盖处理组关系差异。评估干预时,应检查处理与对照的前后关系是否不同,再决定是否建模交互或处理效应;不能机械地把分组建模当成普遍规则。
原书依据 · 1 处
弱先验缓解完全分割
完全分割会使经典逻辑回归系数趋向无穷;弱信息先验可将极端估计收回有限范围,同时保留更大的不确定性。使用先验时还应检查它是否只缓和问题年份,而未不必要地影响其他估计。
原书依据 · 1 处
图形呈现模型估计与不确定性
图形可并列呈现回归系数与不确定区间,帮助比较各年估计和检查模式,但不能单凭图形证明模型有效。提名人案例显示,州内公众支持越高,参议员赞成概率通常越高;不同提名人间仍有差异与不确定性。
原书依据 · 1 处
原书依据 · 1 处
党派偏好衡量席位偏离选票
党派偏好描述:若全州两党票数各占一半,一党在立法席位中的预期份额偏离50%多少。它把选票分布与席位分配的差异压成可比较指标;衡量制度影响时仍要区分票份变化与重新划区造成的变化。
原书依据 · 1 处
图注应交代图形如何产生
解释性图注应让读者知道图中点/线代表什么、不同图比较什么、绘图前做了哪些处理及其效果、下一步可如何延伸。这样图不只是展示结果,还能让分析者和读者追踪图形选择与结论之间的关系;这套提问也可用于检查图是否自明。
原书依据 · 1 处
年龄趋势要放回选举序列
某一届选举的年龄组差异不能直接代表长期代际模式。比较多个年龄组和多届选举,并延长时间序列后,才能看出2008年的年轻选民支持度既有明显变化,也有此前1996年的相似例子;图形提示模式,不替代严肃的纵向研究。
原书依据 · 1 处
红蓝地区内部仍有异质性
把州或县只涂成红、蓝两类,会隐藏边界内不同社区和个人的政治倾向。将县级选举结果与1公里邻域中的登记选民倾向叠加,可以同时看见宏观胜负和本地混合分布;地图粒度应与问题尺度一致,不能把行政区颜色当作每位居民的立场。
原书依据 · 1 处
第20章 连接数据
总结跨领域数据连接的价值、实体匹配难点及现有方法,说明实体解析必须同时处理数据模式、名称歧义、隐私限制与网络关联证据。
先指出现实中常缺乏覆盖任务所需信息的干净数据集,提出优先寻找并连接可得数据;随后列举公共数据的跨域组合机会,再分析组织内信息孤岛和术语不一致;继而比较固定关系模式、通用图模型及URI/本体标准的边界,并揭示同名异物、异名同物与隐私标识缺失;最后讨论多字段规则的局限,介绍集体调解如何通过网络邻接和消息传递汇聚匹配证据。
同名不等于同一实体
跨数据源识别实体时,名称可能因语言或发布市场而变化,也可能多个实体同名;相似字符串不是等同证据。可组合发行年份、导演、演员等属性核验,属性组合越有区分力,误配风险越低。名称适合作候选线索,不能单独决定合并。
原书依据 · 1 处
误合并比重复更危险
实体匹配的两类错误代价不对称:漏合并会留下重复记录,通常较易发现和清理;误合并会污染彼此属性,之后难以自动拆分。证据不足时应暂缓自动合并,避免把可见重复变成隐蔽错误。
原书依据 · 1 处
模式灵活性有两难
本章比较两类存储取舍:关系模式适合可预测数据的高效查询,但频繁加字段或关系会增加迁移成本并使模式难维护;实体—关系通用图模型容易扩展关系,查询却可能需要大量自连接而变慢。应按实际变更与查询需求验证,不能把案例当作所有设计的必然两极。
原书依据 · 1 处
链接能力受隐私约束
公共数据常不含社会保险号等敏感唯一标识,个人记录因此更难可靠匹配;但姓名不是唯一线索,仍可结合地址、其他属性和关系语境。隐私限制减少可用的强标识,匹配结果应保留不确定性,不能仅凭姓名自动合并。
原书依据 · 1 处
关联可传播匹配证据
集体调解把实体和关系视为图,在若干候选匹配种子上迭代传递邻居证据;多个消息的交集可提高两条记录相同的可能性,即使它们缺少直接名称线索。结果仍依赖种子和关系数据,只表示“很可能”,不保证确定识别。
原书依据 · 1 处
先问可得数据再选技术
面对分析任务,先查找现实中能获取的最佳数据集,再决定使用哪种统计或机器学习技术;漂亮算法无法弥补数据缺失、口径错位或不可访问。数据连接还可能把分散来源变成更有解释力的新资料,因此采集与整合常比追逐新模型更先决定分析上限。
原书依据 · 1 处
数据孤岛也源于术语不一致
即使团队共享数据库和查询方式,不同研究组也可能用不同词描述同一实验、基因或疾病,导致相似数据无法被发现并重复实验。受控词汇和固定模式能帮助搜索,却很难覆盖所有真实表达;因此整合需要术语映射和语境证据,而非只开放数据库连接。
原书依据 · 1 处
共享URI仍不能消除实体匹配
给事物分配共享URI并采用通用本体,能减少跨库名称和字段歧义;但参与者采用比例有限,甚至同一实体也未必使用同一URI。实体消歧仍需结合名称、属性与关系网络等证据;标准标识符是降低匹配成本的条件,不是自动整合的保证。
原书依据 · 1 处
跨章综合
数据质量与解释质量相互制约。第二章的表单设计帮助人提供更可靠的信息,第六章提醒志愿照片并不均匀代表现实,第二十章则要求实体匹配保留错误风险。它们分别作用于采集、代表性与连接,任何一处失误都可能传到后续分析;增加样本量不能自动消除这些偏差。
工程约束决定哪些数据能及时到达。第三章以静态内存槽和任务交接控制航天器资源,第四章以记录级复制与不同读操作协调一致性,第八章在轮询与事件通知间取舍。三者处理不同对象,不能拼成一个通用架构,但都要求明确状态、责任与失败方式。
可视化既传达结果,也帮助提出新问题。地图、点云和协作讨论界面让人观察空间关系或共同探索;图的色彩、布局与可共享状态影响解释。第十三章的统计边界因此不是分析完成后的补充,而应贯穿问题定义、探索、建模和传播。书中两处算例的原始数字有误,知识卡已明确保留修正:两策略损益差为200;诊断例后验概率约9.0%。这些只是给定假设下的演算,不提供现实领域决策。
flowchart TD
Q[明确问题与使用者] --> C[形成和取得数据]
C --> S[表示 存储与处理]
S --> F[发现 连接与分析]
F --> V[呈现 讨论与使用]
V -.新问题.-> Q
E[来源 代表性 假设与误差] --- C
E --- F
E --- V
图连接各章共同关心的职责,实际项目可反复往返,某些案例只展开其中一部分。
读者延伸与实践
保留两项以本批真实文件为输入的计划:绘制章节覆盖与卡片分布,用异常回查检验统计口径;核验六册书目实体匹配,用作者、出版信息与源位置减少误合并。前者不把卡片数量当作阅读质量,后者不因标题相似就合并实体。计划及验证要求位于概览所链接的实践卡,尚未执行图表制作或完整匹配实验。