来源书籍

数据之美

Skill 版本:v11 数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度: 229 张卡片

- 本书是数据领域多位知名从业者(Jeff Hammerbacher、Toby Segaran 等)合著的文集,每章围绕一个真实的数据项目 (火星探测器图像处理、PNUTS云存储、Facebook数据平台、Radiohead音乐视频数据采集、DNA数据、政治数据分析等) 展开,核心讲的是数据收集、存储、发现、可视化、伦理边界背后的原理和权衡,而非某个具体工具的操作步骤。 - 虽然部分案例涉及的具体系统或时代背景会过时(如某些2009年前后的云存储和社交数据平台),但书中提炼的原理—— 如何为用户设计数据收集方式、如何让数据变得可被发现、可视化如何服务于协作和探索、数据不能替代什么—— 这些原理本身具有跨越技术栈更迭的稳定性,和《架构之美》的评级逻辑一致。 - 全书采用"具体案例 + 原理提炼"的文集结构,与《团队之美》《架构之美》的评级逻辑一致。 - 该评级已按用户指示直接采用推荐结论执行(用户已在此前授权后续同类决策自动按推荐执行,无需逐一确认)。

Toby Segaran、Jeff Hammerbacher 编 · 祝洪凯、李妹芳、段炼 译 · 机械工业出版社 · 2010 · ISBN 978-7-111-31512-4

类别清单覆盖

尚未完成类别清单核对。

章节与卡片

01 在数据中观察生活

17 张卡片
  1. 自然对话式记录 理解等级:未标注 普通读书笔记卡
  2. 支持事后补录 理解等级:未标注 普通读书笔记卡
  3. 数据可视化讲故事 理解等级:未标注 普通读书笔记卡
  4. 按具体误读迭代可视化 理解等级:未标注 普通读书笔记卡
  5. 社会比较呈现相对位置 理解等级:未标注 普通读书笔记卡
  6. GPS环境估值须披露推断边界 理解等级:高级 普通读书笔记卡
  7. 数据存储选型服从处理需求 理解等级:高级 普通读书笔记卡
  8. 预留可扩展数据字段 理解等级:中级 普通读书笔记卡
  9. 统一数据模式降低协作成本 理解等级:中级 普通读书笔记卡
  10. 数据处理四阶段流水线 理解等级:高级 结构图卡
  11. 估值透明与说明量平衡 理解等级:高级 普通读书笔记卡
  12. 连续数值用渐变色编码 理解等级:中级 普通读书笔记卡
  13. 高亮关注对象并保留上下文 理解等级:中级 普通读书笔记卡
  14. 图表选择服从用户心智模型 理解等级:中级 普通读书笔记卡
  15. 分享汇总而非位置原始数据 理解等级:高级 普通读书笔记卡
  16. 个体动机决定反馈设计 理解等级:中级 普通读书笔记卡
  17. 情绪标签云编码出现频度 理解等级:中级 普通读书笔记卡

02 美丽的人们:设计数据收集方法时牢记用户

12 张卡片
  1. 让表单先看起来很短,再根据用户的回答动态展开后续问题 理解等级:未标注 普通读书笔记卡
  2. 推断位置也要守住隐私承诺 理解等级:未标注 普通读书笔记卡
  3. 说服技巧对调研而言是一场灾难——诱导用户给出讨喜的答案,等于亲手毁掉数据的价值 理解等级:未标注 普通读书笔记卡
  4. 认可经验更能激励受访者 理解等级:未标注 普通读书笔记卡
  5. 能推迟到用户提交之后再处理的工作,就不要让用户等在那里 理解等级:未标注 普通读书笔记卡
  6. 可访问性从目标用户出发 理解等级:中级 普通读书笔记卡
  7. 调研身份与数据用途需透明 理解等级:高级 普通读书笔记卡
  8. 分别满足受访者与客户需求 理解等级:中级 普通读书笔记卡
  9. 让产品适应用户而非反过来 理解等级:中级 普通读书笔记卡
  10. 用真实熟人替代虚构画像 理解等级:中级 普通读书笔记卡
  11. 长文本分块降低阅读负担 理解等级:中级 普通读书笔记卡
  12. 分支表单清除隐藏答案 理解等级:中级 普通读书笔记卡

03 火星上的嵌入式图像数据处理

12 张卡片
  1. 位打包的空间速度权衡 理解等级:未标注 普通读书笔记卡
  2. 静态槽换取运行确定性 理解等级:未标注 普通读书笔记卡
  3. 显式ID绑定关联数据 理解等级:未标注 结构图卡
  4. 职责耦合推高后期改造成本 理解等级:未标注 普通读书笔记卡
  5. 既有设施影响技术选型 理解等级:未标注 普通读书笔记卡
  6. 共享任务减少重复代码 理解等级:中级 普通读书笔记卡
  7. 原地处理节省图像缓冲区 理解等级:中级 普通读书笔记卡
  8. 压缩策略服从保真需求 理解等级:高级 普通读书笔记卡
  9. 用图像熵估算压缩率 理解等级:高级 普通读书笔记卡
  10. 分段身份支持局部恢复 理解等级:高级 普通读书笔记卡
  11. FMECA提前规划错误处理 理解等级:高级 普通读书笔记卡
  12. 槽资源交接要校验所有权 理解等级:中级 普通读书笔记卡

04 PNUTShell中的云存储设计

11 张卡片
  1. 复杂查询走后台预计算 理解等级:未标注 普通读书笔记卡
  2. 时间轴序列化更新副本 理解等级:未标注 普通读书笔记卡
  3. 主副本随长期访问模式迁移 理解等级:未标注 普通读书笔记卡
  4. 路由层屏蔽副本位置变化 理解等级:未标注 普通读书笔记卡
  5. 可交换操作允许乱序执行 理解等级:未标注 普通读书笔记卡
  6. 稀疏数据需要灵活记录模式 理解等级:中级 普通读书笔记卡
  7. 分区键决定查询效率 理解等级:高级 普通读书笔记卡
  8. 读取操作按新鲜度选择路径 理解等级:高级 普通读书笔记卡
  9. 复杂查询预建实例化视图 理解等级:高级 普通读书笔记卡
  10. 视图维护须控制同步成本 理解等级:高级 普通读书笔记卡
  11. 数据架构先匹配真实查询 理解等级:高级 普通读书笔记卡

05 信息平台和数据科学家的兴起

14 张卡片
  1. 平台加速组织学习 理解等级:未标注 普通读书笔记卡
  2. 架构从具体问题长出 理解等级:未标注 普通读书笔记卡
  3. 数据空间支持多元访问 理解等级:未标注 普通读书笔记卡
  4. 数据科学家描述复合职责 理解等级:未标注 普通读书笔记卡
  5. 关注廉价资源的互补能力 理解等级:未标注 普通读书笔记卡
  6. ETL串起数据分析链路 理解等级:中级 普通读书笔记卡
  7. 数据仓库的两种建模路径 理解等级:高级 普通读书笔记卡
  8. 数据库迁移受生态差异制约 理解等级:高级 普通读书笔记卡
  9. 原始数据回查支撑新分析 理解等级:中级 普通读书笔记卡
  10. 简单模型遇上大数据 理解等级:高级 普通读书笔记卡
  11. Hive让业务人员自助查数 理解等级:中级 普通读书笔记卡
  12. 多队列共享计算资源 理解等级:中级 普通读书笔记卡
  13. MAD平台兼顾全量灵活深分析 理解等级:中级 普通读书笔记卡
  14. 商业智能把信息送到行动点 理解等级:中级 普通读书笔记卡

06 照片档案的地理之美

9 张卡片
  1. 颜色编码应匹配感知差异 理解等级:未标注 普通读书笔记卡
  2. 用位移线索补回位置 理解等级:未标注 普通读书笔记卡
  3. 显露模式以激发追问 理解等级:未标注 普通读书笔记卡
  4. 众包校验专业分类 理解等级:未标注 普通读书笔记卡
  5. 自愿贡献扩展覆盖 理解等级:未标注 普通读书笔记卡
  6. 位置描述不等于地方意义 理解等级:中级 普通读书笔记卡
  7. 树形图用矩形包含关系表示层级 理解等级:中级 普通读书笔记卡
  8. 图形空间应对应数据含义 理解等级:高级 普通读书笔记卡
  9. 空间共现模式需要偏差解释 理解等级:高级 普通读书笔记卡

07 数据发现数据

8 张卡片
  1. 新观察触发关联检查 理解等级:未标注 普通读书笔记卡
  2. 目录承载可扩展发现 理解等级:未标注 普通读书笔记卡
  3. 目录须语义一致且感知关系 理解等级:未标注 普通读书笔记卡
  4. 新数据到达时增量处理 理解等级:未标注 普通读书笔记卡
  5. 目录模型可降低数据共享风险 理解等级:未标注 普通读书笔记卡
  6. 新观察应能修正旧断言 理解等级:高级 普通读书笔记卡
  7. 告警量应受响应能力约束 理解等级:高级 普通读书笔记卡
  8. 实时发现系统的八个组成环节 理解等级:高级 结构图卡

08 实时的可移动数据

9 张卡片
  1. 人驱数据轮询易空转 理解等级:高级 普通读书笔记卡
  2. 远程轮询代价更高 理解等级:中级 普通读书笔记卡
  3. 格式可读利于协作 理解等级:高级 普通读书笔记卡
  4. 中间层收拢异构适配 理解等级:高级 普通读书笔记卡
  5. 宽容解析外部数据 理解等级:高级 普通读书笔记卡
  6. 事件通知省去空轮询 理解等级:高级 普通读书笔记卡
  7. API接入审视服务承诺 理解等级:高级 普通读书笔记卡
  8. 授权不应交出密码 理解等级:中级 普通读书笔记卡
  9. 盲链接分享有泄露风险 理解等级:高级 普通读书笔记卡

09 探寻Deep Web

9 张卡片
  1. 查询模板须产生内容差异 理解等级:高级 普通读书笔记卡
  2. 笛卡儿积易产生空URL 理解等级:中级 普通读书笔记卡
  3. 从有效小模板扩展搜索 理解等级:高级 普通读书笔记卡
  4. 搜索规模决定自动化取舍 理解等级:高级 普通读书笔记卡
  5. 页面签名剔除展示噪声 理解等级:高级 普通读书笔记卡
  6. Deep Web藏在表单后 理解等级:初级 普通读书笔记卡
  7. 只抓无副作用的GET 理解等级:高级 普通读书笔记卡
  8. 文本查询词应迭代生长 理解等级:高级 普通读书笔记卡
  9. 类型化输入要用有效样本 理解等级:高级 普通读书笔记卡

10 构建Radiohead的"House of Cards"

9 张卡片
  1. 有目的地保留瑕疵 理解等级:高级 普通读书笔记卡
  2. 先设计要采集的数据 理解等级:高级 普通读书笔记卡
  3. 开放数据激发再创作 理解等级:中级 普通读书笔记卡
  4. 异构设备覆盖不同尺度 理解等级:高级 普通读书笔记卡
  5. 换个视角重看平常事物 理解等级:中级 普通读书笔记卡
  6. 点云由空间坐标和强度构成 理解等级:中级 普通读书笔记卡
  7. 抽样服从表达目标 理解等级:高级 普通读书笔记卡
  8. 不可复拍数据应多份保存 理解等级:高级 普通读书笔记卡
  9. 动态图点云需外部状态 理解等级:高级 结构图卡

11 都市数据可视化

10 张卡片
  1. 颜色粗筛缩小匹配范围 理解等级:未标注 普通读书笔记卡
  2. 少量地理锚点可标定整张固定地图 理解等级:未标注 普通读书笔记卡
  3. 有趣的可视化隐喻仍需原型验证 理解等级:未标注 普通读书笔记卡
  4. 地理分区应贴合用户的社区认知 理解等级:未标注 普通读书笔记卡
  5. 爬虫脆弱时应争取正式数据接口 理解等级:未标注 普通读书笔记卡
  6. 客户端拼接地图瓦片 理解等级:中级 普通读书笔记卡
  7. 数据优先界面便于探索 理解等级:中级 普通读书笔记卡
  8. 筛选器兼具反馈功能 理解等级:中级 普通读书笔记卡
  9. 规范URL便于分享记录 理解等级:中级 普通读书笔记卡
  10. 有趣有用公开且免费的数据 理解等级:高级 普通读书笔记卡

12 Sense.us的设计

14 张卡片
  1. 摘要相同不代表形态相同 理解等级:未标注 普通读书笔记卡
  2. URL让视图分享可复用 理解等级:未标注 普通读书笔记卡
  3. 按结果状态识别等价视图 理解等级:未标注 普通读书笔记卡
  4. 协作功能按需显现 理解等级:未标注 普通读书笔记卡
  5. 书签串联视图形成叙事 理解等级:未标注 普通读书笔记卡
  6. 数据价值与风险取决于使用方式 理解等级:高级 普通读书笔记卡
  7. 数据比较前先核对采集口径 理解等级:高级 普通读书笔记卡
  8. 真实数据原型加快方案筛选 理解等级:中级 普通读书笔记卡
  9. 堆叠图总览清晰却遮蔽个体趋势 理解等级:高级 普通读书笔记卡
  10. 图形标注支持异步指向 理解等级:中级 普通读书笔记卡
  11. 社会导航重新点燃数据探索 理解等级:中级 普通读书笔记卡
  12. 讨论补足可视化中的外部语境 理解等级:高级 普通读书笔记卡
  13. 图形编码须匹配数据类型与任务 理解等级:中级 普通读书笔记卡
  14. 动画应帮助跟踪变化而非拖慢分析 理解等级:中级 普通读书笔记卡

13 数据所做不到的

10 张卡片
  1. 噪声数据诱发叙事 理解等级:未标注 普通读书笔记卡
  2. 收益与损失改变风险偏好 理解等级:未标注 普通读书笔记卡
  3. 基准率决定阳性含义 理解等级:未标注 普通读书笔记卡
  4. 模型依赖规律稳定假设 理解等级:未标注 普通读书笔记卡
  5. 决策要看完整结果分布 理解等级:未标注 普通读书笔记卡
  6. 确认偏见筛选新证据 理解等级:中级 普通读书笔记卡
  7. 相关不等于因果 理解等级:高级 普通读书笔记卡
  8. 数据多不等于决策更好 理解等级:高级 普通读书笔记卡
  9. 选项过多会抬高决策成本 理解等级:中级 普通读书笔记卡
  10. 数据事件往往并不独立 理解等级:高级 普通读书笔记卡

14 自然语言语料库数据

13 张卡片
  1. 语料承载隐性语言知识 理解等级:未标注 普通读书笔记卡
  2. 大语料简化平滑 理解等级:未标注 普通读书笔记卡
  3. 搜索策略取决于空间 理解等级:未标注 普通读书笔记卡
  4. 语料可得性决定数据方法 理解等级:未标注 普通读书笔记卡
  5. 测试集独立与算法无关 理解等级:未标注 普通读书笔记卡
  6. 语料库序列频次编码语言 理解等级:初级 普通读书笔记卡
  7. 记忆化动态规划削减重复搜索 理解等级:中级 普通读书笔记卡
  8. 未知词概率应非零且随长度衰减 理解等级:中级 普通读书笔记卡
  9. 相邻词上下文能修正独立分词 理解等级:中级 普通读书笔记卡
  10. 随机重启缓解爬山局部最优 理解等级:高级 普通读书笔记卡
  11. 拼写纠正组合词频和错误概率 理解等级:中级 普通读书笔记卡
  12. 训练语料错误会污染纠错模型 理解等级:高级 普通读书笔记卡
  13. 决策应最大化期望效用 理解等级:高级 普通读书笔记卡

15 数据中的生命:DNA漫谈

14 张卡片
  1. 密码子冗余缓冲突变 理解等级:未标注 普通读书笔记卡
  2. 互补链提供修复模板 理解等级:未标注 普通读书笔记卡
  3. 遗传信息不会被平均 理解等级:未标注 普通读书笔记卡
  4. 中性进化提供差异基线 理解等级:未标注 普通读书笔记卡
  5. 损伤累积扰乱基因控制 理解等级:未标注 普通读书笔记卡
  6. 表观遗传调节基因表达 理解等级:中级 普通读书笔记卡
  7. DNA表达依赖蛋白质机器 理解等级:中级 普通读书笔记卡
  8. 重复测序降低变异误判 理解等级:中级 普通读书笔记卡
  9. 样本元数据助力故障定位 理解等级:高级 普通读书笔记卡
  10. 元数据模式运行时演进 理解等级:高级 普通读书笔记卡
  11. 质控将失败样本回流重处理 理解等级:中级 普通读书笔记卡
  12. 低成本保留测序原图 理解等级:高级 普通读书笔记卡
  13. 测序吞吐驱动平台扩容 理解等级:高级 普通读书笔记卡
  14. DNA是生命的化学数据库 理解等级:中级 普通读书笔记卡

16 美化真实世界中的数据

11 张卡片
  1. 实验上下文解释异常值 理解等级:未标注 普通读书笔记卡
  2. 可疑数据保留并标注 理解等级:未标注 普通读书笔记卡
  3. 熟悉工具降低众包门槛 理解等级:未标注 普通读书笔记卡
  4. 开放标识符支持集成 理解等级:未标注 普通读书笔记卡
  5. RDF连接不同资源 理解等级:未标注 普通读书笔记卡
  6. 公布底层数据让读者自验 理解等级:中级 普通读书笔记卡
  7. 每条数据都应连回原始记录 理解等级:中级 普通读书笔记卡
  8. 数据格式兼顾人机阅读 理解等级:中级 普通读书笔记卡
  9. 开放服务促进跨领域协作 理解等级:中级 普通读书笔记卡
  10. 聚合服务连接分散数据源 理解等级:中级 普通读书笔记卡
  11. 可视化空白引导下一轮实验 理解等级:高级 普通读书笔记卡

17 数据浅析:探索形形色色的社会定型

13 张卡片
  1. 公开分析中的取舍 理解等级:未标注 普通读书笔记卡
  2. 点重叠时改看密度 理解等级:未标注 普通读书笔记卡
  3. 稀疏区间放宽分箱 理解等级:未标注 普通读书笔记卡
  4. 置信区间呈现估计不确定性 理解等级:未标注 普通读书笔记卡
  5. 相关矩阵筛查多变量关系 理解等级:未标注 普通读书笔记卡
  6. 频数分布先暴露数据脏点 理解等级:中级 普通读书笔记卡
  7. 保留原始标签再做归一化 理解等级:中级 普通读书笔记卡
  8. 长尾词频不要套正态直觉 理解等级:中级 普通读书笔记卡
  9. 低频标签先设统计门槛 理解等级:高级 普通读书笔记卡
  10. K均值按质心反复归组 理解等级:中级 普通读书笔记卡
  11. 聚类结果需检查稳定性 理解等级:高级 普通读书笔记卡
  12. 高维聚类投影会掩盖差异 理解等级:高级 普通读书笔记卡
  13. 探索性关联不能冒充因果 理解等级:高级 普通读书笔记卡

18 旧金山海湾区之殇:次贷危机的影响

17 张卡片
  1. 先找网页背后数据 理解等级:未标注 普通读书笔记卡
  2. 免费编码方案有代价 理解等级:未标注 普通读书笔记卡
  3. 可疑坐标按用途处理 理解等级:未标注 普通读书笔记卡
  4. 绝对变化与相对变化 理解等级:未标注 普通读书笔记卡
  5. 标准表格格式减少重复 理解等级:未标注 普通读书笔记卡
  6. 缺失标记应服从分析用途 理解等级:中级 普通读书笔记卡
  7. 价格调整要检查指标口径 理解等级:高级 普通读书笔记卡
  8. 分位数揭示分布差异 理解等级:中级 普通读书笔记卡
  9. 平滑能显趋势也会压峰 理解等级:高级 普通读书笔记卡
  10. 入样门槛限定比较范围 理解等级:高级 普通读书笔记卡
  11. 基期指数便于比较走势 理解等级:中级 普通读书笔记卡
  12. 观察性关联不能单独证明因果 理解等级:高级 普通读书笔记卡
  13. 地理口径错配会丢失匹配 理解等级:中级 普通读书笔记卡
  14. 空间格网承载不同统计量 理解等级:中级 普通读书笔记卡
  15. 共享数据代码支持复核 理解等级:中级 普通读书笔记卡
  16. 解析器必须处理边界情况 理解等级:中级 普通读书笔记卡
  17. 周期性变化要与趋势拆开 理解等级:高级 普通读书笔记卡

19 美丽的政治数据

9 张卡片
  1. 先画数据再选模型 理解等级:未标注 普通读书笔记卡
  2. 检验处理效应需区分组间关系 理解等级:未标注 普通读书笔记卡
  3. 弱先验缓解完全分割 理解等级:未标注 普通读书笔记卡
  4. 图形呈现模型估计与不确定性 理解等级:未标注 普通读书笔记卡
  5. 小倍数支持多维比较 理解等级:未标注 普通读书笔记卡
  6. 党派偏好衡量席位偏离选票 理解等级:初级 普通读书笔记卡
  7. 图注应交代图形如何产生 理解等级:中级 普通读书笔记卡
  8. 年龄趋势要放回选举序列 理解等级:高级 普通读书笔记卡
  9. 红蓝地区内部仍有异质性 理解等级:高级 普通读书笔记卡

20 连接数据

8 张卡片
  1. 同名不等于同一实体 理解等级:未标注 普通读书笔记卡
  2. 误合并比重复更危险 理解等级:未标注 普通读书笔记卡
  3. 模式灵活性有两难 理解等级:未标注 普通读书笔记卡
  4. 链接能力受隐私约束 理解等级:未标注 普通读书笔记卡
  5. 关联可传播匹配证据 理解等级:未标注 普通读书笔记卡
  6. 先问可得数据再选技术 理解等级:高级 普通读书笔记卡
  7. 数据孤岛也源于术语不一致 理解等级:中级 普通读书笔记卡
  8. 共享URI仍不能消除实体匹配 理解等级:高级 普通读书笔记卡

全书概览

数据之美

原书为《Beautiful Data》(O’Reilly,Toby Segaran & Jeff Hammerbacher 编),是《程序之美系列套装(6册)》中的第4册,多位数据领域从业者合著的文集。 EPUB 已解压至共享目录 notes/程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/, 本书对应 spine 范围 Text/part0283.xhtml ~ Text/part0454.xhtml(对应 toc.ncx 中 playOrder 431~602)。

评级结论:经典原理(高浓度 + 高稳定性)

理由: - 本书是数据领域多位知名从业者(Jeff Hammerbacher、Toby Segaran 等)合著的文集,每章围绕一个真实的数据项目 (火星探测器图像处理、PNUTS云存储、Facebook数据平台、Radiohead音乐视频数据采集、DNA数据、政治数据分析等) 展开,核心讲的是数据收集、存储、发现、可视化、伦理边界背后的原理和权衡,而非某个具体工具的操作步骤。 - 虽然部分案例涉及的具体系统或时代背景会过时(如某些2009年前后的云存储和社交数据平台),但书中提炼的原理—— 如何为用户设计数据收集方式、如何让数据变得可被发现、可视化如何服务于协作和探索、数据不能替代什么—— 这些原理本身具有跨越技术栈更迭的稳定性,和《架构之美》的评级逻辑一致。 - 全书采用”具体案例 + 原理提炼”的文集结构,与《团队之美》《架构之美》的评级逻辑一致。 - 该评级已按用户指示直接采用推荐结论执行(用户已在此前授权后续同类决策自动按推荐执行,无需逐一确认)。

章节进度追踪表

章节号 章节标题 状态 卡片数
译者序 译者序 done 0
前言 前言 done 0
第1章 在数据中观察生活 done 17
第02章 美丽的人们:设计数据收集方法时牢记用户 done 12
第03章 火星上的嵌入式图像数据处理 done 12
第04章 PNUTShell中的云存储设计 done 11
第05章 信息平台和数据科学家的兴起 done 14
第06章 照片档案的地理之美 done 9
第07章 数据发现数据 done 8
第08章 实时的可移动数据 done 9
第09章 探寻Deep Web done 9
第10章 构建Radiohead的“House of Cards” done 9
第11章 都市数据可视化 done 10
第12章 Sense.us的设计 done 14
第13章 数据所做不到的 done 10
第14章 自然语言语料库数据 done 13
第15章 数据中的生命:DNA漫谈 done 14
第16章 美化真实世界中的数据 done 11
第17章 数据浅析:探索形形色色的社会定型 done 13
第18章 旧金山海湾区之殇:次贷危机的影响 done 17
第19章 美丽的政治数据 done 9
第20章 连接数据 done 8

Spine 文件映射(part 号 → 章节,章节内含多个小节 part 文件,仅列首尾)

  • part0283: 数据之美(书名页)
  • part0284: O’Reilly Media介绍
  • part0285: 译者序
  • part0286: 前言
  • part0287~0295: 第1章 在数据中观察生活
  • part0296~0301: 第2章 美丽的人们
  • part0302~0313: 第3章 火星上的嵌入式图像数据处理
  • part0314~0321: 第4章 PNUTShell中的云存储设计
  • part0322~0334: 第5章 信息平台和数据科学家的兴起
  • part0335~0342: 第6章 照片档案的地理之美
  • part0343~0352: 第7章 数据发现数据
  • part0353~0357: 第8章 实时的可移动数据
  • part0358~0362: 第9章 探寻Deep Web
  • part0363~0372: 第10章 构建Radiohead的”House of Cards”
  • part0373~0379: 第11章 都市数据可视化
  • part0380~0387: 第12章 Sense.us的设计
  • part0388~0391: 第13章 数据所做不到的
  • part0392~0398: 第14章 自然语言语料库数据
  • part0399~0404: 第15章 数据中的生命:DNA漫谈
  • part0405~0413: 第16章 美化真实世界中的数据
  • part0414~0424: 第17章 数据浅析:探索形形色色的社会定型
  • part0425~0437: 第18章 旧金山海湾区之殇:次贷危机的影响
  • part0438~0445: 第19章 美丽的政治数据
  • part0446~0453: 第20章 连接数据
  • part0454: 附录 作者简介

整书笔记

全书主线、22项正文与跨章综合。历史概览原文保留于本轮证据目录。

待关联术语(阶段三增补)
术语名 出现章节 一句话语境
NORA(无明显关系意识) 第7章 赌场案例所述的关系发现技术名称,书中提及SRD与后续IBM归属,未展开实现算法。
实体解析与匹配/归并(entity resolution vs. match-merge/merge-purge) 第7章 目录需识别同一实体的不同描述,但其身份判断算法及与去重归并的区别超出本章范围。
Web Hooks 第8章 通过HTTP POST把事件通知推送到其他服务的机制名称。
OAuth 第8章 用户授予服务访问权限并以令牌完成集成的授权框架;具体协议版本未在本章展开。
Blind URL(盲链接) 第8章 持有链接即可访问被分享内容的方式,书中指出存在被猜测导致泄露的风险。
XMPP、BitTorrent、WebSocket、Comet、PubSub 第8章 作为传输或实时通信模型的历史/技术例子被介绍;本章未提供足够内容作为独立操作指南。
查询模板(query template)、绑定输入项/自由输入项 第9章 用于把表单输入控件组织为可重复探测的一组候选查询。
富信息量模板(informative template)、富信息量测试 第9章 通过返回页面内容签名的差异估算输入组合是否带来新记录。
类型化文本输入(typed input) 第9章 邮编、日期、价格等需按特定格式/范围输入的字段。
GET/POST、幂等URL 第9章 用于说明可索引查询地址与有副作用表单的边界;协议操作细节未独立成卡。
笛卡儿积、页面签名、back-off探测 第9章 分别用于解释组合爆炸、页面去噪与逐步增加文本候选值上限。
Lidar、GeoVideo、Processing、点云(point cloud)、.obj、粒子系统、二维遮罩 第10章 分别用于激光测距、近距离面部几何捕捉、数据可视化工具、空间采样表示、处理后数据格式及静态/动态点云效果。
红桃皇后效应、信息瀑布 第13章 前者说明收集能力与分析工具共同演进;后者指群体决策互相影响后形成的依赖链。
token、type、语料库、词汇、N元/一元/二元/五元模型 第14章 说明文本集合、序列单位及按相邻词项统计概率的语言模型。
记忆化、动态规划、Viterbi算法、对数概率、未知词平滑 第14章 用于分词候选搜索、避免重复计算、控制数值下溢和处理语料未收录词项。
噪声渠道模型、编辑距离、爬山算法、随机重启、期望效用 第14章 分别用于拼写纠错、候选邻域搜索及把错误代价纳入决策。
密码子、基因表达、启动子、增强子、GPCR、表观遗传、肿瘤抑制基因 第15章 分别用于遗传编码、转录调控、信号机制、环境注释和癌症损伤案例。
SNP、CNV、FASTQ、SRF、Lustre、FUSE、Sequencescape 第15章 分别指碱基变异/重复变化、测序数据格式、分布式存储/文件接口和样本工作流工具。
中性进化、参考基因组图 第15章 前者作为基因差异的随机基线;后者表达群体内不同序列的可能表示。
溶解度、众包、开放记录本科学、实验上下文、异常值 第16章 分别指化合物在溶剂中的溶解能力、开放招募测量、公开实验记录、解释测量差异的条件及偏离群体的数据点。
CAS号、InChI、InChIKey、SMILES、RDF、SPARQL、三元组 第16章 化学实体的私有/开放标识、紧凑结构编码、机器可读资源关系及查询语言。
ChemSpider、RON、DBPedia、ChEBI、CDK、化学空间 第16章 化学信息聚合与链接服务、分子识别服务、外部知识图谱、工具包及可视化所表示的候选化合物空间。
FaceStat、数据清洗、探索性数据分析(EDA) 第17章 用户上传照片及评分构成的观察数据集;本章以探索而非验证预设假设为分析目标。
直方图、核密度估计、LOESS、置信区间、自适应分箱、相关矩阵 第17章 用于检查分布、呈现密度与均值不确定性、处理稀疏区间和筛选变量关联的分析工具。
Zipf定律、幂律、长尾分布、条件概率 第17章 描述自由文本标签的词频形态,并估计标签与性别等属性的关系。
K均值、K值、质心、高维特征空间 第17章 通过质心迭代分组数值样本;分组数及低维展示都会影响解释。

| GMap图片拼接、Ajax、OpenLayers、Modest Maps | 第11章 | 分别指基于瓦片的客户端地图组合、异步浏览器交互及地图交互/渲染工具或库;本章主要以其历史角色说明Web地图演进。 | | 可寻性(findability)、Scented Widgets、Measure Map | 第11章 | 分别涉及信息空间定位、带内容/使用线索的嵌入式筛选器和时间轴设计的历史启发。 | | CrimeWatch、Crimespotting、BeautifulSoup、Charles、LiveHTTPHeaders、NumPy、Twisted Python | 第11章 | 原项目及其会话重构、HTML解析、图像数组处理和事件驱动采集工具;未扩展为当前操作指南。 |

| CPI(消费者价格指数)、指数化(indexing) | 第18章 | 以基期价格换算房价,并讨论CPI住房子指数与研究对象口径重叠。 | | 分位数(十分位数)、广义可加模型(GAM)、价格回落(price fall) | 第18章 | 分别用于描述房价分布、平滑城市时间走势及汇总峰值至低谷的相对跌幅。 | | 地理编码精度类别、变异系数(coefficient of variation) | 第18章 | 前者标明位置结果的准确层级;后者以标准差除以均值表达相对波动。 |

| 党派偏好(partisan bias)、选区重划(redistricting) | 第19章 | 前者以两党各得50%选票为基准衡量席位偏离;后者重新划分选区边界。 | | 完全分割(complete separation)、弱信息先验(weakly informative prior)、小倍数(small multiples) | 第19章 | 分别描述极端逻辑回归系数、有限收缩估计的先验及并列可比图布局。 | | 本地党派(local partisanship) | 第19章 | 以个人住址周边1公里内的登记选民倾向,刻画细于县级结果的地理差异。 |

| 集体调解(collective reconciliation)、实体解析(entity resolution) | 第20章 | 结合图中相连实体的候选匹配证据,迭代判断不同记录是否指向同一对象。 | | 本体(ontology)、统一资源标识符(URI)、信息仓库问题 | 第20章 | 分别指共享字段语义、对象标识机制,以及组织内数据分隔导致不可见的问题。 | | 中心索引关键字(CIK)、消息传递(message-passing) | 第20章 | CIK标识证券公司;消息传递在关联节点间传播候选匹配证据。 |

引用文献(阶段三增补)
标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Chicago Crime、Housing Maps、FundRace、Mapping Hacks 项目/书籍 第11章 Web地图混搭与在线地理数据发布的先行案例。
“The Long Zoom” 文章/概念 第11章 用来描述从游戏、电影等媒介形成的长距离缩放地图体验预期。
Scented Widgets(Willett、Heer、Agrawala) 论文 第11章 犯罪类型选择器和地图高亮线索的设计参考。
Measure Map、Flickr、Modest Maps 项目/软件库 第11章 分别为时间轴交互启发、地图交互启发及开放复用的地图组件库。
“Designing Data For Reuse”及REST/URI资料 演讲/论文 第11章 支持可读、可构造且可共享的数据URL和Web资源表达讨论。
GCode“House of Cards”项目页 项目网站 第10章 视频、点云样例、交互式查看器和再创作工具的发布入口。
Processing.org 软件/项目网站 第10章 作者用于说明Processing参与数据可视化创作并提供示例代码。
Threat & Fraud Intelligence—Las Vegas Style 论文 第7章 赌场欺诈情报案例的延伸资料,供追溯原始案例。
Anonymized Semantic Directories: A Privacy-Enhancing Architecture for Enterprise Discovery 论文/书章 第7章 目录匿名化与企业可发现性的进一步阅读来源。
Markle Foundation关于不可变审计日志的论文 论文 第7章 支持隐私治理中记录查询操作、结果和责任监督的延伸阅读。
Anscombe的“四重奏” 论文/数据集案例 第12、13章 说明相同的均值、方差等摘要可能掩盖数据形态差异。
Bertin《Sémiologie Graphique》及Cleveland与McGill图形感知研究 书/论文 第12章 作为视觉变量编码与定量图形感知的理论背景。
Ware《Information Visualization: Perception for Design》 书 第12章 视觉感知与信息可视化设计的参考来源。
Wattenberg与Kriss《Designing for Social Data Analysis》 论文 第12章 堆叠图及社交数据分析设计的相关参考。
Croes关于荷兰犹太人生存率的研究、Robison等对挑战者号图表论争的研究 论文 第12章 分别支撑数据用途风险案例与视觉证据论争的延伸追溯。
Kahneman与Tversky《Prospect Theory: An Analysis of Decision under Risk》 论文 第13章 收益与损失情境下风险选择不对称的理论背景。
Lord等《Biased Assimilation and Attitude Polarization》 论文 第13章 既有假设如何影响人们对新证据的吸收与态度判断。
Iyengar与Lepper《When Choice Is Demotivating》 论文 第13章 选项增多如何提高决策负担并降低行动意愿和满意度。
Sellenbarger,《华尔街日报》Work and Family专栏(2008-03-22) 新闻报道 第13章 婚前同居与离婚相关性被误写成因果建议的案例。
Goldstein等《Choosing Outcomes Versus Choosing Products》 论文 第13章 用概率结果分布帮助投资者理解退休结果范围的工具。
Gould《The Median Is Not the Message》 文章 第13章 中位生存期不能代表个体结果,也不能抹去分布差异。
Jeng《A Selected History of Expectation Bias in Physics》 论文 第13章 说明既有预期可能影响科学观察与证据解释。
Lo与Repin《The Psychophysiology of Real-Time Financial Risk Processing》 论文 第13章 投资收益经验与风险决策中的生理反应研究。
Bikhchandani等《Learning from the Behavior of Others》 论文 第13章 群体模仿和信息瀑布如何使事件判断相互依赖。
Dwyer《Examples of Overfitting Encountered When Building Private Firm Default Prediction Models》 工作论文 第13章 私营企业违约预测中的过拟合案例与模型风险。
Epstein《Why Model?》 论文 第13章 建模作为探索场景和明确假设的用途。
Ge等《All Sky Extrasolar Planet Searches with Multi-Object Dispersed Fixeddelay Interferometer》 论文 第13章 少量观测拟合行星信号的例子及过拟合风险。
Krumme《Telling Tales: The Effects of Narrative Creation on Decision-Making with Data》 工作论文 第13章 人们从数据构造故事如何影响决策的实验背景。
Norvig《How to Write a Spelling Corrector》及其语言模型代码 源码项目/文章 第14章 拼写纠错代码示例的原始实现与进一步阅读入口。
Singh《The Code Book》 书 第14章 替换密码破解策略的参考来源。
Raynard《Secret Code Breaker》 书 第14章 替换密码案例的取材来源。
Mitton拼写错误词对语料 数据集 第14章 为编辑操作概率提供成对正确词与误拼词数据。
Watson与Crick《Molecular Structure of Nucleic Acids》 论文 第15章 DNA互补配对和复制机制的原始结构论文。
Crick与Brenner基因编码研究 论文/研究 第15章 基因密码子读取框架的早期逆向工程。
Mendel豌豆杂交研究 研究 第15章 离散遗传因子解释性状不被连续混合稀释。
人类基因组计划、千人基因组计划、国际癌症基因组协会 研究项目 第15章 大规模参考基因组测序、群体差异和癌症基因组研究的项目背景。
Wellcome Sanger Institute、Illumina GA2 研究机构/测序平台 第15章 高通量短读测序、样本工作流和数据处理案例。
Ensembl、UCSC Genome Browser、HapMap、SNPedia 数据库/项目 第15章 基因组浏览、群体单倍型和遗传变异信息资源。
23andMe、Navigenics、Pacific Biosciences、Oxford Nanopore 公司/测序技术 第15章 个人基因服务及下一代读取技术的案例或前景背景。
Bradley《Open Notebook Science Using Blogs and Wikis》 论文 第16章 开放记录本科学的研究与实践背景。
Bradley等《Optimization of the Ugi reaction using parallel synthesis and automated liquid handling》 论文/项目 第16章 溶解度数据与并行化学实验项目背景。
Steinbeck等化学开发工具包研究 论文/软件 第16章 由SMILES计算化学描述符的工具基础。
InChI、SMILES、RDF、SPARQL 标准/格式/查询语言 第16章 化学实体识别、分子结构编码及自描述数据发布与查询。
ChemSpider、RON、DBPedia、ChEBI、ONS-Solubility 数据库/项目/服务 第16章 化学实体聚合、开放数据链接和溶解度记录来源。
GDoc API、Second Life API/可视化平台 第16章 书中开放电子表格接口和三维协作可视化的历史案例。
O’Connor与Biewald的FaceStat数据分析项目 数据项目 第17章 用户评价数据、代码及本章探索分析的实际对象。
R、R-project.org、Quick-R、RSeek 统计软件/文档资源 第17章 本章用于数据探索、统计绘图及R学习的工具和入口。
Zipf《The Psychobiology of Language》 书/研究 第17章 标签词频幂律讨论的历史来源。
Peter Dalgaard《Introductory Statistics with R》 书 第17章 R统计分析入门参考。
Hastie、Tibshirani与Friedman《The Elements of Statistical Learning》 书 第17章 聚类、局部加权回归及机器学习方法的延伸参考。
Manning与Schütze《Foundations of Statistical Natural Language Processing》;Jurafsky与Martin《Speech and Language Processing》 书 第17章 自由文本标签及语言统计分析的延伸参考。
Gelman与Hill《Data Analysis Using Regression and Multilevel/Hierarchical Models》 书 第17章 置信区间及部分汇聚估计的进一步阅读。
Tukey《Exploratory Data Analysis》 书 第17章 探索性数据分析方法的参考。
Gentleman与Temple Lang《Statistical Analyses and Reproducible Research》 论文 第18章 可复现研究与研究成果公开复核的理论来源。
Goldberg《A Geocoding Best Practices Guide》 技术报告 第18章 地理编码服务及精度评估的延伸参考。
USC WebGIS Services 服务/项目 第18章 本章地理编码数据的来源。
McKinley《From Housing to Haven to Foreclosure Leader》 新闻报道 第18章 Stockton止赎背景案例的来源。
Wood《Generalized Additive Models: An Introduction with R》 书 第18章 广义可加模型的进一步方法参考。
Gelman《A Bayesian Formulation of Exploratory Data Analysis and Goodness-of-Fit Testing》 论文 第19章 图形探索与统计模型拟合检查的背景。
Gelman与King《Enhancing Democracy Through Legislative Redistricting》 论文 第19章 选区重划与党派偏好分析的先行研究。
Gelman、Jakulin、Pittau与Su《A Weakly Informative Default Prior Distribution for Logistic and Other Regression Models》 论文 第19章 弱信息先验处理逻辑回归极端估计的参考。
Gelman、Pasarica与Dodhia《Let’s Practice What We Preach: Turning Tables into Graphs》 论文 第19章 将统计表格改为图形表达的研究来源。
Kastellec、Lax与Phillips《Public Opinion and Senate Confirmation of Supreme Court Nominees》 技术报告 第19章 公众意见与参议院提名表决分析的延伸来源。
Bertin《Semiology of Graphics》;Tufte《Envisioning Information》 书 第19章 图形符号、信息组织及小倍数布局的参考书。
Catalist 数据/服务 第19章 本章地方党派图层使用的选民数据来源。
Freebase 数据库/项目 第20章 示例数据集及数据整合工作的背景。
Geonames 数据库/项目 第20章 世界地名及经纬度等公共地理数据来源示例。
美国人口普查局、SEC、EPA、USDA、NCBI 政府数据源 第20章 人口、公司财务、污染、营养与生命科学数据的公共来源示例。
Open Linked Data与通用URI/本体 标准/项目 第20章 跨数据库共享实体标识和字段语义的倡议。
Bhattacharya《Collective Entity Resolution》博士论文 博士论文 第20章 集体调解方法的进一步阅读来源。
Freebase、Wikipedia与Netflix电影数据 数据集/服务 第20章 展示跨数据源电影匹配的案例数据。

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
001 绘制章节覆盖与卡片分布 真实任务 done 第17章 章节级CSV、分布图与异常回查记录
002 核验合集书目实体匹配 真实任务 done 第20章 六册书目映射表、误合并风险与待核验清单

未采用更多实践候选:相近的图表选择、数据清洗、开放数据连接和统计检验候选已由上述两项覆盖其核心学习目标;其余需要外部私有数据或会造成未经授权的现实干预,缺少合适对象或边界。

类别清单核对

命中类别:数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:

必答维度 覆盖判断与证据
问题定义与工作流 已涉及:第1、2、20章从实际用户问题、采集目标和可用数据出发;概览及相应章节卡保留了问题与数据条件。
数据获取、清洗与质量 已涉及:第2、3、6、14、15、17、20章;覆盖用户输入、遥测、地理照片、文本、基因组、异常值及跨源匹配。
探索、统计推断与不确定性 已涉及:第12、13、17、18、19章;有分布、置信区间、偏差、因果边界、样本口径和地理解释限制。
特征、模型与评价 已涉及:第3、13、17、19章;覆盖图像/文本处理、预测与过拟合、聚类、回归及模型判断边界。
实验、因果与数据泄漏 已涉及:第1、12、13、17、18章;区分实验问题、相关与因果、选择偏差和观察数据边界;未把案例相关性写成普遍因果。
工具、可复现与工程化 已涉及:第3–11、14–17、20章;工具与项目案例已按历史语境记录,复现及部署建议未泛化成当前版本事实。
业务价值、伦理与沟通 已涉及:第1、2、7、12、13、18–20章;涵盖用户体验、隐私、协作表达、社会偏差、决策和数据治理。

近似类别排除:数据可视化工具类不命中,本书讨论多种可视化方法及历史工具案例,并非某一图表库或工具API指南;社交网络数据分析类不命中,社交数据是个别案例,不是全书目标。没有为未命中类别补造清单项。

主题索引维护

卡片标题 结论(已复用/已创建/无需加入/待复核) 主题文件或原因
自然对话式记录 已复用 notes/_topics/ucd-principles.md
支持事后补录 已复用 notes/_topics/data-quality-governance.md
数据可视化讲故事 已创建 notes/_topics/data-visualization-interaction.md
按具体误读迭代可视化 已创建 notes/_topics/data-visualization-interaction.md
社会比较呈现相对位置 已创建 notes/_topics/data-visualization-interaction.md
GPS环境估值须披露推断边界 无需加入 聚焦该项目对GPS代理估值与误差边界的具体说明,现有跨书主题不能准确表达该方法边界,先不加入。
数据存储选型服从处理需求 已复用 notes/_topics/storage-model-choices.md
预留可扩展数据字段 已复用 notes/_topics/database-design-er-modeling.md
统一数据模式降低协作成本 已复用 notes/_topics/database-design-er-modeling.md
数据处理四阶段流水线 已复用 notes/_topics/data-quality-governance.md
估值透明与说明量平衡 已创建 notes/_topics/data-visualization-interaction.md
连续数值用渐变色编码 已创建 notes/_topics/data-visualization-interaction.md
高亮关注对象并保留上下文 已创建 notes/_topics/data-visualization-interaction.md
图表选择服从用户心智模型 已创建 notes/_topics/data-visualization-interaction.md
分享汇总而非位置原始数据 已复用 notes/_topics/data-ethics-privacy.md
个体动机决定反馈设计 无需加入 聚焦该案例中个体目标与反馈内容的对应关系;现有行为建模主题讨论统计模型,不涵盖此设计判断。
情绪标签云编码出现频度 已创建 notes/_topics/data-visualization-interaction.md
让表单先看起来很短,再根据用户的回答动态展开后续问题 已复用 notes/_topics/ucd-principles.md
推断位置也要守住隐私承诺 已复用 notes/_topics/data-ethics-privacy.md
说服技巧对调研而言是一场灾难——诱导用户给出讨喜的答案,等于亲手毁掉数据的价值 已复用 notes/_topics/user-research-methods.md
认可经验更能激励受访者 已复用 notes/_topics/user-research-methods.md
能推迟到用户提交之后再处理的工作,就不要让用户等在那里 无需加入 这是该问卷产品关于即时处理与后台处理的特定体验权衡,当前主题索引没有准确匹配的跨书主题。
可访问性从目标用户出发 已复用 notes/_topics/ucd-principles.md
调研身份与数据用途需透明 已复用 notes/_topics/user-research-methods.md
分别满足受访者与客户需求 已复用 notes/_topics/ucd-principles.md
让产品适应用户而非反过来 已复用 notes/_topics/ucd-principles.md
用真实熟人替代虚构画像 已复用 notes/_topics/user-research-methods.md
长文本分块降低阅读负担 已复用 notes/_topics/ucd-principles.md
分支表单清除隐藏答案 已复用 notes/_topics/data-quality-governance.md
位打包的空间速度权衡 无需加入 聚焦凤凰号12位像素与处理器字长间的嵌入式实现取舍;现有主题没有足够贴合的跨书范围。
静态槽换取运行确定性 无需加入 聚焦飞行软件静态内存槽的具体故障边界;现有生命周期主题不覆盖固定槽分配的可靠性权衡。
显式ID绑定关联数据 已复用 notes/_topics/data-quality-governance.md
职责耦合推高后期改造成本 已复用 notes/_topics/architecture-principles-complexity.md
既有设施影响技术选型 已复用 notes/_topics/architecture-decision-making.md
共享任务减少重复代码 无需加入 这是凤凰号压缩任务划分与程序空间限制的案例结论;当前主题无法准确表达其任务边界。
原地处理节省图像缓冲区 无需加入 聚焦图像缓冲区与失败回滚的特定取舍;当前主题无精确跨书匹配。
压缩策略服从保真需求 已复用 notes/_topics/image-compression.md
用图像熵估算压缩率 已复用 notes/_topics/image-compression.md
分段身份支持局部恢复 已复用 notes/_topics/data-interchange-formats.md
FMECA提前规划错误处理 已复用 notes/_topics/risk-driven-architecture.md
槽资源交接要校验所有权 已复用 notes/_topics/resource-ownership-lifetime.md
复杂查询走后台预计算 已复用 notes/_topics/dataflow-unbundled-databases.md
时间轴序列化更新副本 已复用 notes/_topics/consistency-models.md
主副本随长期访问模式迁移 已复用 notes/_topics/distributed-storage-replication.md
路由层屏蔽副本位置变化 已复用 notes/_topics/distributed-storage-replication.md
可交换操作允许乱序执行 已复用 notes/_topics/consistency-models.md
稀疏数据需要灵活记录模式 已复用 notes/_topics/database-design-er-modeling.md
分区键决定查询效率 已复用 notes/_topics/distributed-data-sharding.md
读取操作按新鲜度选择路径 已复用 notes/_topics/consistency-models.md
复杂查询预建实例化视图 已复用 notes/_topics/dataflow-unbundled-databases.md
视图维护须控制同步成本 已复用 notes/_topics/dataflow-unbundled-databases.md
数据架构先匹配真实查询 已复用 notes/_topics/database-design-er-modeling.md
平台加速组织学习 无需加入 讨论组织数据平台的学习作用;现有大数据业务主题集中在营销、广告和征信,范围不匹配。
架构从具体问题长出 已复用 notes/_topics/architecture-design-process.md
数据空间支持多元访问 已复用 notes/_topics/big-data-compute-paradigms.md
数据科学家描述复合职责 无需加入 讨论某组织中新兴岗位命名及职责组合;现有主题不覆盖数据科学职业角色。
关注廉价资源的互补能力 无需加入 属于资源稀缺与互补服务价值的经济学判断,和现有数据技术主题不匹配。
ETL串起数据分析链路 已复用 notes/_topics/data-quality-governance.md
数据仓库的两种建模路径 已复用 notes/_topics/database-design-er-modeling.md
数据库迁移受生态差异制约 已复用 notes/_topics/database-design-er-modeling.md
原始数据回查支撑新分析 已复用 notes/_topics/dataflow-unbundled-databases.md
简单模型遇上大数据 已复用 notes/_topics/ml-fundamentals.md
Hive让业务人员自助查数 已复用 notes/_topics/big-data-compute-paradigms.md
多队列共享计算资源 已复用 notes/_topics/capacity-scheduling.md
MAD平台兼顾全量灵活深分析 已复用 notes/_topics/big-data-compute-paradigms.md
商业智能把信息送到行动点 无需加入 强调把洞察送达决策行动者;现有智能运维主题限定在运维场景,未找到准确的通用主题。
颜色编码应匹配感知差异 已创建 notes/_topics/data-visualization-interaction.md
用位移线索补回位置 已创建 notes/_topics/data-visualization-interaction.md
显露模式以激发追问 已创建 notes/_topics/data-visualization-interaction.md
众包校验专业分类 已复用 notes/_topics/data-quality-governance.md
自愿贡献扩展覆盖 已复用 notes/_topics/user-research-methods.md
位置描述不等于地方意义 已创建 notes/_topics/data-visualization-interaction.md
树形图用矩形包含关系表示层级 已创建 notes/_topics/data-visualization-interaction.md
图形空间应对应数据含义 已创建 notes/_topics/data-visualization-interaction.md
空间共现模式需要偏差解释 已创建 notes/_topics/data-visualization-interaction.md
新观察触发关联检查 已复用 notes/_topics/data-quality-governance.md
目录承载可扩展发现 已复用 notes/_topics/database-design-er-modeling.md
目录须语义一致且感知关系 已复用 notes/_topics/data-quality-governance.md
新数据到达时增量处理 已复用 notes/_topics/big-data-compute-paradigms.md
目录模型可降低数据共享风险 已复用 notes/_topics/data-ethics-privacy.md
新观察应能修正旧断言 已复用 notes/_topics/data-quality-governance.md
告警量应受响应能力约束 已复用 notes/_topics/aiops-data-decision.md
实时发现系统的八个组成环节 已复用 notes/_topics/dataflow-unbundled-databases.md
人驱数据轮询易空转 已复用 notes/_topics/message-brokers-event-logs.md
远程轮询代价更高 已复用 notes/_topics/message-brokers-event-logs.md
格式可读利于协作 已复用 notes/_topics/data-interchange-formats.md
中间层收拢异构适配 已复用 notes/_topics/cloud-infrastructure-control-plane.md
宽容解析外部数据 已复用 notes/_topics/data-interchange-formats.md
事件通知省去空轮询 已复用 notes/_topics/message-brokers-event-logs.md
API接入审视服务承诺 已复用 notes/_topics/rpc-rest-api.md
授权不应交出密码 已复用 notes/_topics/auth-and-cryptography.md
盲链接分享有泄露风险 已复用 notes/_topics/data-ethics-privacy.md
查询模板须产生内容差异 已创建 notes/_topics/deep-web-crawling-search.md
笛卡儿积易产生空URL 已创建 notes/_topics/deep-web-crawling-search.md
从有效小模板扩展搜索 已创建 notes/_topics/deep-web-crawling-search.md
搜索规模决定自动化取舍 已创建 notes/_topics/deep-web-crawling-search.md
页面签名剔除展示噪声 已创建 notes/_topics/deep-web-crawling-search.md
Deep Web藏在表单后 已创建 notes/_topics/deep-web-crawling-search.md
只抓无副作用的GET 已创建 notes/_topics/deep-web-crawling-search.md
文本查询词应迭代生长 已创建 notes/_topics/deep-web-crawling-search.md
类型化输入要用有效样本 已创建 notes/_topics/deep-web-crawling-search.md
有目的地保留瑕疵 已创建 notes/_topics/data-visualization-interaction.md
先设计要采集的数据 已复用 notes/_topics/user-research-methods.md
开放数据激发再创作 无需加入 该卡强调House of Cards开放数据供再创作的项目特征;现有数据治理主题讨论质量/生命周期/权限,不能准确承载其开放生态主张。
异构设备覆盖不同尺度 已创建 notes/_topics/data-visualization-interaction.md
换个视角重看平常事物 已创建 notes/_topics/data-visualization-interaction.md
点云由空间坐标和强度构成 已创建 notes/_topics/data-visualization-interaction.md
抽样服从表达目标 已创建 notes/_topics/data-visualization-interaction.md
不可复拍数据应多份保存 已复用 notes/_topics/backup-disaster-recovery.md
动态图点云需外部状态 已创建 notes/_topics/data-visualization-interaction.md
颜色粗筛缩小匹配范围 已复用 notes/_topics/data-visualization-interaction.md
少量地理锚点可标定整张固定地图 已复用 notes/_topics/data-visualization-interaction.md
有趣的可视化隐喻仍需原型验证 已复用 notes/_topics/data-visualization-interaction.md
地理分区应贴合用户的社区认知 已复用 notes/_topics/data-visualization-interaction.md
爬虫脆弱时应争取正式数据接口 已复用 notes/_topics/deep-web-crawling-search.md
客户端拼接地图瓦片 已复用 notes/_topics/data-visualization-interaction.md
数据优先界面便于探索 已复用 notes/_topics/data-visualization-interaction.md
筛选器兼具反馈功能 已复用 notes/_topics/data-visualization-interaction.md
规范URL便于分享记录 已复用 notes/_topics/data-visualization-interaction.md
有趣有用公开且免费的数据 无需加入 该卡概括本章数据项目评估标准,但现有数据治理主题侧重数据质量和风险,未准确覆盖数据公共价值的评价框架。
摘要相同不代表形态相同 已复用 notes/_topics/data-visualization-interaction.md
URL让视图分享可复用 已复用 notes/_topics/data-visualization-interaction.md
按结果状态识别等价视图 已复用 notes/_topics/data-visualization-interaction.md
协作功能按需显现 已复用 notes/_topics/ucd-principles.md
书签串联视图形成叙事 已复用 notes/_topics/data-visualization-interaction.md
数据价值与风险取决于使用方式 已复用 notes/_topics/data-ethics-privacy.md
数据比较前先核对采集口径 已复用 notes/_topics/data-quality-governance.md
真实数据原型加快方案筛选 已复用 notes/_topics/ucd-principles.md
堆叠图总览清晰却遮蔽个体趋势 已复用 notes/_topics/data-visualization-interaction.md
图形标注支持异步指向 已复用 notes/_topics/data-visualization-interaction.md
社会导航重新点燃数据探索 已复用 notes/_topics/data-visualization-interaction.md
讨论补足可视化中的外部语境 已复用 notes/_topics/ucd-principles.md
图形编码须匹配数据类型与任务 已复用 notes/_topics/data-visualization-interaction.md
动画应帮助跟踪变化而非拖慢分析 已复用 notes/_topics/data-visualization-interaction.md
噪声数据诱发叙事 已创建 notes/_topics/decision-theory-cognitive-bias.md
收益与损失改变风险偏好 已创建 notes/_topics/decision-theory-cognitive-bias.md
基准率决定阳性含义 已创建 notes/_topics/decision-theory-cognitive-bias.md
模型依赖规律稳定假设 已创建 notes/_topics/decision-theory-cognitive-bias.md
决策要看完整结果分布 已创建 notes/_topics/decision-theory-cognitive-bias.md
确认偏见筛选新证据 已创建 notes/_topics/decision-theory-cognitive-bias.md
相关不等于因果 已复用 notes/_topics/causal-inference-observational.md
数据多不等于决策更好 已创建 notes/_topics/decision-theory-cognitive-bias.md
选项过多会抬高决策成本 已创建 notes/_topics/decision-theory-cognitive-bias.md
数据事件往往并不独立 无需加入 聚焦本章模型输入事件间的统计依赖,现有概率与因果主题不能准确容纳这一具体依赖边界。
语料承载隐性语言知识 已创建 notes/_topics/statistical-nlp-language-models.md
大语料简化平滑 已创建 notes/_topics/statistical-nlp-language-models.md
搜索策略取决于空间 已创建 notes/_topics/statistical-nlp-language-models.md
语料可得性决定数据方法 已创建 notes/_topics/statistical-nlp-language-models.md
测试集独立与算法无关 已创建 notes/_topics/statistical-nlp-language-models.md
语料库序列频次编码语言 已创建 notes/_topics/statistical-nlp-language-models.md
记忆化动态规划削减重复搜索 已创建 notes/_topics/statistical-nlp-language-models.md
未知词概率应非零且随长度衰减 已创建 notes/_topics/statistical-nlp-language-models.md
相邻词上下文能修正独立分词 已创建 notes/_topics/statistical-nlp-language-models.md
随机重启缓解爬山局部最优 已创建 notes/_topics/statistical-nlp-language-models.md
拼写纠正组合词频和错误概率 已创建 notes/_topics/statistical-nlp-language-models.md
训练语料错误会污染纠错模型 已创建 notes/_topics/statistical-nlp-language-models.md
决策应最大化期望效用 已创建 notes/_topics/decision-theory-cognitive-bias.md
密码子冗余缓冲突变 无需加入 这是分子遗传编码与突变容错机制,现有主题没有生命科学/基因组学范围。
互补链提供修复模板 无需加入 这是DNA互补链与修复过程的分子生物学原理,现有主题没有准确匹配的生物学索引。
遗传信息不会被平均 无需加入 该卡讨论离散遗传传递与变异,超出当前数据工程和决策主题范围。
中性进化提供差异基线 无需加入 该卡讨论群体遗传与中性进化基线,现有主题不覆盖进化生物学。
损伤累积扰乱基因控制 无需加入 该卡讨论DNA损伤和基因调控阈值,现有主题无对应生物学主题。
表观遗传调节基因表达 无需加入 该卡是分子生物学中的表观遗传机制,当前跨书主题不适配。
DNA表达依赖蛋白质机器 无需加入 该卡讨论转录和翻译所依赖的细胞机制,现有主题没有生命科学覆盖。
重复测序降低变异误判 已复用 notes/_topics/data-quality-governance.md
样本元数据助力故障定位 已复用 notes/_topics/data-quality-governance.md
元数据模式运行时演进 已复用 notes/_topics/data-quality-governance.md
质控将失败样本回流重处理 已复用 notes/_topics/data-quality-governance.md
低成本保留测序原图 无需加入 该卡针对测序设备原始图像的保存策略,现有备份主题聚焦故障恢复,不足以表达其采集数据保真边界。
测序吞吐驱动平台扩容 无需加入 该卡是特定高通量测序平台扩展案例,现有容量调度主题不涵盖其仪器吞吐设计。
DNA是生命的化学数据库 无需加入 该卡以DNA作为遗传信息载体的比喻解释生命科学概念,不是数据系统或数据库设计知识。
实验上下文解释异常值 已复用 notes/_topics/data-quality-governance.md
可疑数据保留并标注 已复用 notes/_topics/data-quality-governance.md
熟悉工具降低众包门槛 已复用 notes/_topics/user-research-methods.md
开放标识符支持集成 已复用 notes/_topics/data-quality-governance.md
RDF连接不同资源 已复用 notes/_topics/dataflow-unbundled-databases.md
公布底层数据让读者自验 已复用 notes/_topics/data-quality-governance.md
每条数据都应连回原始记录 已复用 notes/_topics/data-quality-governance.md
数据格式兼顾人机阅读 已复用 notes/_topics/data-interchange-formats.md
开放服务促进跨领域协作 已复用 notes/_topics/dataflow-unbundled-databases.md
聚合服务连接分散数据源 已复用 notes/_topics/dataflow-unbundled-databases.md
可视化空白引导下一轮实验 已复用 notes/_topics/data-visualization-interaction.md
公开分析中的取舍 已复用 notes/_topics/data-visualization-interaction.md
点重叠时改看密度 已复用 notes/_topics/data-visualization-interaction.md
稀疏区间放宽分箱 已复用 notes/_topics/data-visualization-interaction.md
置信区间呈现估计不确定性 已复用 notes/_topics/decision-theory-cognitive-bias.md
相关矩阵筛查多变量关系 已复用 notes/_topics/data-visualization-interaction.md
频数分布先暴露数据脏点 已复用 notes/_topics/data-quality-governance.md
保留原始标签再做归一化 已复用 notes/_topics/data-quality-governance.md
长尾词频不要套正态直觉 已复用 notes/_topics/statistical-nlp-language-models.md
低频标签先设统计门槛 已复用 notes/_topics/data-quality-governance.md
K均值按质心反复归组 已复用 notes/_topics/ml-fundamentals.md
聚类结果需检查稳定性 已复用 notes/_topics/ml-fundamentals.md
高维聚类投影会掩盖差异 已复用 notes/_topics/data-visualization-interaction.md
探索性关联不能冒充因果 已复用 notes/_topics/causal-inference-observational.md
先找网页背后数据 已复用 notes/_topics/deep-web-crawling-search.md
免费编码方案有代价 无需加入 本卡讨论具体地理编码服务的免费额度与精度成本,现有主题没有地理编码服务选型的合适范围。
可疑坐标按用途处理 已复用 notes/_topics/data-quality-governance.md
绝对变化与相对变化 已复用 notes/_topics/decision-theory-cognitive-bias.md
标准表格格式减少重复 已复用 notes/_topics/data-interchange-formats.md
缺失标记应服从分析用途 已复用 notes/_topics/data-quality-governance.md
价格调整要检查指标口径 已复用 notes/_topics/data-quality-governance.md
分位数揭示分布差异 已复用 notes/_topics/decision-theory-cognitive-bias.md
平滑能显趋势也会压峰 已复用 notes/_topics/data-visualization-interaction.md
入样门槛限定比较范围 已复用 notes/_topics/data-quality-governance.md
基期指数便于比较走势 已复用 notes/_topics/decision-theory-cognitive-bias.md
观察性关联不能单独证明因果 已复用 notes/_topics/causal-inference-observational.md
地理口径错配会丢失匹配 已复用 notes/_topics/data-quality-governance.md
空间格网承载不同统计量 已复用 notes/_topics/data-visualization-interaction.md
共享数据代码支持复核 已复用 notes/_topics/data-quality-governance.md
解析器必须处理边界情况 已复用 notes/_topics/data-interchange-formats.md
周期性变化要与趋势拆开 已复用 notes/_topics/data-visualization-interaction.md
先画数据再选模型 已复用 notes/_topics/data-visualization-interaction.md
检验处理效应需区分组间关系 已复用 notes/_topics/causal-inference-observational.md
弱先验缓解完全分割 已复用 notes/_topics/decision-theory-cognitive-bias.md
图形呈现模型估计与不确定性 已复用 notes/_topics/data-visualization-interaction.md
小倍数支持多维比较 已复用 notes/_topics/data-visualization-interaction.md
党派偏好衡量席位偏离选票 无需加入 该卡是选区重划分析中的政治代表性指标,现有主题没有政治制度与选举测量的匹配范围。
图注应交代图形如何产生 已复用 notes/_topics/data-visualization-interaction.md
年龄趋势要放回选举序列 已复用 notes/_topics/data-visualization-interaction.md
红蓝地区内部仍有异质性 已复用 notes/_topics/data-visualization-interaction.md
同名不等于同一实体 已复用 notes/_topics/data-quality-governance.md
误合并比重复更危险 已复用 notes/_topics/data-quality-governance.md
模式灵活性有两难 已复用 notes/_topics/database-design-er-modeling.md
链接能力受隐私约束 已复用 notes/_topics/data-ethics-privacy.md
关联可传播匹配证据 已复用 notes/_topics/data-quality-governance.md
先问可得数据再选技术 已复用 notes/_topics/data-quality-governance.md
数据孤岛也源于术语不一致 已复用 notes/_topics/data-quality-governance.md
共享URI仍不能消除实体匹配 已复用 notes/_topics/data-quality-governance.md

2026-10-24 v23恢复

执行模式:light

建档进度:done

本轮实际规则:book-workflow v4 / book-notes v23;首次版本缺失,保持缺失。经典原理评级保留,合集第74条P1。

  • 原六册EPUB与共享缓存逐字节一致,恢复时233项历史成果清单匹配,有效阅读和172单元证据复用;必要原文已回读。当前逻辑正文22项(译者序、前言、20章),其169个spine文件均在既有覆盖范围;另排除书名页part0283、出版社介绍part0284、纯作者简介part0454,不以旧“略读”标记替代正文判定。
  • 整书笔记schema1,229卡唯一primary、229原文出处。原章节大纲及卡片解释复用有效内容,补全书主线、跨章联系与实践边界;未从文件章号猜测出处。
  • 84处历史非法分类改为合法读书卡类型;15张卡修复三段来源与实际摘录。显式ID卡补原C结构关系图,保留路径、数据库身份和既有编号。未批量回填学习元数据。
  • 两项真实任务实践计划保留,目标与验证条件有效;实践尚未执行。未采用的相近候选已并入,未另造研究成果。
  • 未执行笔记复核、独立审查及审查结果优化;保留历史记录。

实践候选筛选:done

笔记版本:schema1;SHA-256 992da6e0a372116902067ad5624895777584670d0db5b72585cfc9431ccdd6f5。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

架构方案设计与评估

比较备选方案设计、评估选择、容量预估与详细设计等架构设计流程中的判断方法。

352 张卡片 · 40 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

远程调用与REST设计

比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。

303 张卡片 · 53 本书

主题索引

认证与密码学基础

比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。

253 张卡片 · 58 本书

主题索引

架构设计原则与复杂度来源

比较架构要解决的复杂度来源(性能、可用性、扩展、成本、安全、规模)以及合适、简单、演化等设计原则。

228 张卡片 · 40 本书

主题索引

备份与故障恢复

比较备份独立性、恢复可验证性与恢复阶段的设计要点。

198 张卡片 · 40 本书

主题索引

一致性模型与CAP权衡

比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。

193 张卡片 · 49 本书

主题索引

架构决策方法

比较在不确定性下做架构决策的方法:以风险而非结果评价决策、期望值与决策树、认知偏差、根因追问与避免不必要的决策。

168 张卡片 · 45 本书

主题索引

数据交换格式设计

比较数据交换格式的简洁性、互通性与安全解析要求。

146 张卡片 · 38 本书

主题索引

数据集成与分拆:一份真源与多份衍生

多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。

103 张卡片 · 23 本书

主题索引

云基础设施控制面

IaaS 云平台如何把异构资源封装成服务:API 与执行分离、调度与执行分离、数据库中介、驱动与插件适配后端、代理进入实例,以及以同样模式构建的数据、DNS、容器等上层服务。

100 张卡片 · 23 本书

主题索引

数据分析、实验与因果

从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。

84 张卡片 · 13 本书

主题索引

风险驱动的架构设计

比较以失败风险决定架构投入多少、做何分析的方法,包括风险的定义与分类、分析技术光谱、设计过程对风险的安排。

81 张卡片 · 14 本书

主题索引

数据质量与校验

质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。

70 张卡片 · 17 本书

主题索引

数据可视化与交互

比较数据图形的视觉编码、用户解读、交互探索与叙事表达,关注图表如何服务具体问题及其误读边界。

67 张卡片 · 6 本书

主题索引

资源所有权与生命周期管理

比较不同语言与框架如何表达独占/共享所有权、释放时机和作用域退出清理。

62 张卡片 · 20 本书

主题索引

交互式查询与 MPP:把计算压到数据附近

面向交互式分析的执行引擎:列存与分区裁剪、查询编译与向量化执行、重分布连接与并行度、MPP 与混合数仓、Presto 式连接器解耦,以及预计算能省下多少。

61 张卡片 · 8 本书

主题索引

经典算法与业务建模

分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。

60 张卡片 · 12 本书

主题索引

数据库设计与E-R建模

比较数据库设计各阶段、数据抽象方法、E-R 模型的要素与集成冲突、向关系模型的转换规则,以及存取方法与重组织、重构的取舍。

56 张卡片 · 16 本书

主题索引

深度表示与任务网络

CNN、RNN、LSTM、Seq2Seq、GAN 的结构分工,以及检测、分割、修复、语音识别、语言模型这些任务怎样把表示学习落到具体输出上,各任务对归纳偏置的依赖有何不同。

37 张卡片 · 5 本书

主题索引

学习范式与泛化边界

监督、无监督、强化、在线四类学习方式各自依赖什么假设;把学习写成「假设—损失—优化」之后,泛化、过拟合、维数灾难与评估口径怎么定义,以及一个业务问题该先定分类目标还是先选算法。

31 张卡片 · 12 本书

主题索引

数据伦理与隐私

比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。

29 张卡片 · 13 本书

主题索引

增量计算:只算变化的那一部分

从全量重算转向增量维护:变化怎样传播、结果缓存与复用条件、物化视图的维护成本、Percolator 式快照与提交、观察通知与传播阈值,以及省计算为什么不等于省延迟。

27 张卡片 · 5 本书

主题索引

以用户为中心的设计理念

比较以用户为中心的设计为何能减少返工、如何以证据替代个人偏好,以及对团队心态的要求。

25 张卡片 · 3 本书

主题索引

大数据平台:分层、湖仓与引擎选型

这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。

25 张卡片 · 13 本书

主题索引

决策与认知偏差

比较不确定条件下的风险偏好、基准率、结果分布、确认偏差与选择过载,关注证据如何影响判断。

24 张卡片 · 6 本书

主题索引

用户研究方法

比较访谈、情境观察、问卷与环境调研等用户研究方法及其偏差控制。

24 张卡片 · 5 本书

主题索引

深网采集与搜索策略

比较深网页面发现、查询模板构造、搜索空间扩展、页面噪声去除及自动化采集的安全边界。

23 张卡片 · 3 本书

主题索引

智能运维与数据决策

比较智能运维的数据基础、模型训练、人机边界,以及从监测、分析到自动处置的决策闭环。

15 张卡片 · 5 本书

主题索引

图像与文本图像压缩

比较二值图像的上下文建模、有损与无损压缩、JPEG、文本图像的字典压缩与版面切分方法。

13 张卡片 · 4 本书