来源书籍

数据科学与大数据分析 数据的发现 分析 可视化与表示

Skill 版本:v24 171 张卡片

EMC Education Services · 曹逾 等 译 · 人民邮电出版社 · 2016-01 · 第1版 · ISBN 978-7-115-41637-7

章节与卡片

00

2 张卡片
  1. 数据科学的三根支柱 理解等级:中级 普通读书笔记卡
  2. 读者分层与收益路径 理解等级:初级 普通读书笔记卡

01 第1章 大数据分析介绍

10 张卡片
  1. 大数据的三个V特征 理解等级:中级 普通读书笔记卡
  2. 数据结构的四个层次 理解等级:中级 普通读书笔记卡
  3. 企业数据仓库的两难 理解等级:高级 普通读书笔记卡
  4. 分析沙盘:受控的探索空间 理解等级:中级 普通读书笔记卡
  5. 商业智能与数据科学的分野 理解等级:高级 普通读书笔记卡
  6. 大数据生态的四类参与者 理解等级:中级 结构图卡
  7. 三类分析人才的分工 理解等级:中级 普通读书笔记卡
  8. 数据科学家做什么 理解等级:中级 普通读书笔记卡
  9. 用购物记录推断怀孕 理解等级:中级 普通读书笔记卡
  10. Hadoop 为何适合大数据 理解等级:中级 延伸参考卡

02 第2章 数据分析生命周期

15 张卡片
  1. 六阶段不是直线而是循环 理解等级:初级 结构图卡
  2. 七种角色,人数可变 理解等级:初级 普通读书笔记卡
  3. 别急着抓数据 理解等级:中级 问题卡
  4. 成功标准之外还要失败线 理解等级:中级 普通读书笔记卡
  5. 发起人的方案不是需求 理解等级:高级 普通读书笔记卡
  6. 初始假设是分析的原型 理解等级:中级 普通读书笔记卡
  7. 沙箱要和生产库隔离 理解等级:中级 普通读书笔记卡
  8. 先加载后转换的ELT 理解等级:高级 普通读书笔记卡
  9. 数据治理是保留与丢弃的取舍 理解等级:中级 普通读书笔记卡
  10. 可视化探索:先总览再放大 理解等级:中级 普通读书笔记卡
  11. 只留最本质的预测因子 理解等级:高级 普通读书笔记卡
  12. 训练集与测试集的分工 理解等级:中级 普通读书笔记卡
  13. 失败也是分析结论 理解等级:高级 普通读书笔记卡
  14. 按受众分层交付成果 理解等级:中级 普通读书笔记卡
  15. GINA用社交图谱找创新者 理解等级:中级 普通读书笔记卡

03 第3章 使用R进行基本数据分析

24 张卡片
  1. R分析脚本的标准流程 理解等级:初级 结构图卡
  2. 导入函数的默认值差异 理解等级:初级 操作参考卡
  3. 四种属性类型与可用运算 理解等级:中级 普通读书笔记卡
  4. 向量是R的基本数据单位 理解等级:初级 普通读书笔记卡
  5. 数据帧是等长变量的列表 理解等级:中级 普通读书笔记卡
  6. 因子承载分类与次序 理解等级:中级 普通读书笔记卡
  7. 列联表与卡方独立性检验 理解等级:中级 普通读书笔记卡
  8. 描述性统计与apply族 理解等级:初级 操作参考卡
  9. 安斯库姆四重奏的警示 理解等级:高级 普通读书笔记卡
  10. 脏数据的三种典型信号 理解等级:高级 普通读书笔记卡
  11. 缺失值的检测与处理 理解等级:中级 操作参考卡
  12. 单变量图形的选型与读法 理解等级:中级 操作参考卡
  13. 直方图、密度图与对数刻度 理解等级:中级 普通读书笔记卡
  14. 散点图的五个视觉通道 理解等级:中级 普通读书笔记卡
  15. 箱线图的读法 理解等级:中级 普通读书笔记卡
  16. 蜂巢图应对数据重叠 理解等级:中级 普通读书笔记卡
  17. 探索用图与演示用图 理解等级:高级 普通读书笔记卡
  18. 假设检验的原假设框架 理解等级:中级 普通读书笔记卡
  19. 学生t检验与置信区间 理解等级:中级 普通读书笔记卡
  20. Welch t检验的适用场景 理解等级:高级 普通读书笔记卡
  21. Wilcoxon秩和检验 理解等级:高级 普通读书笔记卡
  22. 两类错误、功效与样本量 理解等级:高级 普通读书笔记卡
  23. ANOVA与Tukey事后比较 理解等级:高级 普通读书笔记卡
  24. 检验方法的选择路径 理解等级:高级 结构图卡

04 第4章 高级分析理论与方法:聚类

8 张卡片
  1. 聚类是无监督的分组 理解等级:初级 普通读书笔记卡
  2. k均值的四步迭代 理解等级:中级 结构图卡
  3. 用WSS拐点选k 理解等级:高级 普通读书笔记卡
  4. 聚类结果的三问诊断 理解等级:中级 普通读书笔记卡
  5. 量纲不同,簇也不同 理解等级:高级 普通读书笔记卡
  6. 属性选择先看相关性 理解等级:中级 普通读书笔记卡
  7. 曼哈顿与余弦距离 理解等级:中级 普通读书笔记卡
  8. k均值之外的四类方法 理解等级:中级 普通读书笔记卡

05 第5章 高级分析理论与方法:关联规则

13 张卡片
  1. 关联规则:描述而非预测 理解等级:初级 普通读书笔记卡
  2. 项集与k项集 理解等级:初级 普通读书笔记卡
  3. 支持度是交易的覆盖率 理解等级:中级 普通读书笔记卡
  4. 最小支持度切出频繁项集 理解等级:中级 普通读书笔记卡
  5. Apriori属性:子集必频繁 理解等级:高级 普通读书笔记卡
  6. Apriori逐层生成频繁项集 理解等级:中级 结构图卡
  7. 置信度是条件占比 理解等级:中级 普通读书笔记卡
  8. 置信度为何偏爱巧合 理解等级:高级 普通读书笔记卡
  9. 提升度:对照独立基线 理解等级:中级 普通读书笔记卡
  10. 杠杆率:用差值量增量 理解等级:中级 普通读书笔记卡
  11. 四种度量各管一段 理解等级:高级 普通读书笔记卡
  12. 统计有趣不等于业务有用 理解等级:高级 问题卡
  13. Apriori的扫描代价与提速 理解等级:高级 普通读书笔记卡

06 第6章 高级分析理论与方法:回归

13 张卡片
  1. 相关不等于因果 理解等级:中级 普通读书笔记卡
  2. OLS:让残差平方和最小 理解等级:中级 普通读书笔记卡
  3. 正态误差假设换来什么 理解等级:高级 普通读书笔记卡
  4. 分类变量要拆成哑变量 理解等级:中级 普通读书笔记卡
  5. 用 t 检验决定变量去留 理解等级:中级 普通读书笔记卡
  6. R² 高不等于模型好 理解等级:中级 普通读书笔记卡
  7. 置信区间与预测区间之别 理解等级:高级 普通读书笔记卡
  8. 残差图是诊断第一现场 理解等级:高级 结构图卡
  9. 多重共线性:重叠的代价 理解等级:高级 普通读书笔记卡
  10. 逻辑回归如何把概率拉直 理解等级:高级 普通读书笔记卡
  11. 偏差与似然率检验 理解等级:高级 普通读书笔记卡
  12. ROC 曲线与阈值取舍 理解等级:高级 普通读书笔记卡
  13. 岭回归与套索的惩罚 理解等级:中级 普通读书笔记卡

07 第7章 高级分析理论与方法:分类

18 张卡片
  1. 分类靠已标注样本学习 理解等级:初级 普通读书笔记卡
  2. 决策树的节点与分支 理解等级:初级 普通读书笔记卡
  3. 熵衡量节点的杂质 理解等级:中级 普通读书笔记卡
  4. 信息增益挑选分裂属性 理解等级:中级 普通读书笔记卡
  5. 基尼指数与CART 理解等级:中级 普通读书笔记卡
  6. 连续属性按中点切分 理解等级:中级 普通读书笔记卡
  7. 贪心分裂的局部最优 理解等级:高级 普通读书笔记卡
  8. 剪枝抑制过度拟合 理解等级:高级 普通读书笔记卡
  9. 无关变量拖累决策树 理解等级:高级 普通读书笔记卡
  10. 决策树的构建流程 理解等级:中级 结构图卡
  11. 朴素贝叶斯的独立假设 理解等级:高级 普通读书笔记卡
  12. 基础率压低阳性后验 理解等级:高级 普通读书笔记卡
  13. 零概率与拉普拉斯平滑 理解等级:高级 普通读书笔记卡
  14. 关联变量被重复计权 理解等级:高级 普通读书笔记卡
  15. 混淆矩阵到各指标 理解等级:初级 结构图卡
  16. 高精确度也会误导 理解等级:高级 普通读书笔记卡
  17. 错误代价由业务决定 理解等级:高级 普通读书笔记卡
  18. ROC曲线与AUC 理解等级:高级 普通读书笔记卡

08 第8章 高级分析理论与方法:时间序列分析

8 张卡片
  1. ARIMA建模的闭环流程 理解等级:中级 结构图卡
  2. 平稳序列的三个条件 理解等级:高级 普通读书笔记卡
  3. ACF图怎么读 理解等级:中级 普通读书笔记卡
  4. PACF与AR定阶 理解等级:高级 普通读书笔记卡
  5. MA模型为何会截断 理解等级:中级 普通读书笔记卡
  6. 差分的次数与过度差分 理解等级:中级 普通读书笔记卡
  7. ARIMA三参数各管什么 理解等级:中级 普通读书笔记卡
  8. 用信息准则比较模型 理解等级:高级 普通读书笔记卡

09 第9章 高级分析理论与方法:文本分析

17 张卡片
  1. 六步文本分析流水线 理解等级:中级 结构图卡
  2. 从原文到词袋向量 理解等级:中级 结构图卡
  3. 文本难在高维与无结构 理解等级:中级 普通读书笔记卡
  4. 语料库是静态知识库 理解等级:高级 普通读书笔记卡
  5. 句法分析与词性标注 理解等级:中级 普通读书笔记卡
  6. 词形还原与词干提取 理解等级:中级 普通读书笔记卡
  7. 分词与大小写的取舍 理解等级:高级 普通读书笔记卡
  8. 词袋法为何丢掉顺序 理解等级:中级 普通读书笔记卡
  9. 词频的三种口径 理解等级:中级 普通读书笔记卡
  10. 只靠词频会高估通用词 理解等级:高级 问题卡
  11. IDF的构造与盲点 理解等级:高级 普通读书笔记卡
  12. TFIDF的合成与边界 理解等级:高级 普通读书笔记卡
  13. 主题是词汇上的分布 理解等级:中级 普通读书笔记卡
  14. LDA的三条硬假设 理解等级:高级 普通读书笔记卡
  15. 情感分析的两条路线 理解等级:高级 普通读书笔记卡
  16. 情感分类器的评估与迁移 理解等级:高级 普通读书笔记卡
  17. 单词云与领域停止词 理解等级:中级 普通读书笔记卡

10 第10章 高级分析技术与工具:MapReduce和Hadoop

18 张卡片
  1. 四种数据格式的谱系 理解等级:初级 普通读书笔记卡
  2. 横向扩展而非换大机器 理解等级:中级 普通读书笔记卡
  3. MapReduce 的两步契约 理解等级:中级 普通读书笔记卡
  4. MapReduce 计数执行链 理解等级:中级 结构图卡
  5. 分块独立才可并行 理解等级:高级 普通读书笔记卡
  6. HDFS 的块与三副本 理解等级:初级 普通读书笔记卡
  7. HDFS 的角色分工 理解等级:中级 结构图卡
  8. 副节点不是备份 理解等级:高级 普通读书笔记卡
  9. 运行时的三个角色 理解等级:中级 操作参考卡
  10. shuffle 的产物 理解等级:中级 普通读书笔记卡
  11. combiner 的预聚合 理解等级:高级 普通读书笔记卡
  12. 分区器与数据倾斜 理解等级:高级 普通读书笔记卡
  13. YARN 拆开资源与调度 理解等级:高级 普通读书笔记卡
  14. Pig 与 Hive 的外壳 理解等级:中级 操作参考卡
  15. Hadoop 生态的职责边界 理解等级:中级 普通读书笔记卡
  16. HBase 的三维数据模型 理解等级:中级 普通读书笔记卡
  17. HBase 的写入路径与墓碑 理解等级:高级 普通读书笔记卡
  18. NoSQL 四类存储的取舍 理解等级:中级 普通读书笔记卡

11 第11章 高级分析技术与工具:数据库内分析

15 张卡片
  1. 数据库内分析是什么 理解等级:初级 普通读书笔记卡
  2. 把计算搬进数据库的权衡 理解等级:高级 普通读书笔记卡
  3. 规范化拆表的三个好处 理解等级:初级 普通读书笔记卡
  4. 事务库为何不胜任分析 理解等级:高级 普通读书笔记卡
  5. 连接类型与NULL陷阱 理解等级:中级 普通读书笔记卡
  6. 集合运算符与子查询 理解等级:中级 操作参考卡
  7. 分组扩展与小计总计 理解等级:中级 操作参考卡
  8. 正则表达式操作参考 理解等级:中级 操作参考卡
  9. 正则的脆弱性 理解等级:高级 普通读书笔记卡
  10. 窗口函数与滑动窗口 理解等级:中级 普通读书笔记卡
  11. 用户定义函数与聚合 理解等级:中级 操作参考卡
  12. 排序聚合求中位数 理解等级:中级 操作参考卡
  13. MADlib与MAD理念 理解等级:中级 延伸参考卡
  14. 库内k均值聚类的陷阱 理解等级:高级 普通读书笔记卡
  15. 数据库内分析的能力阶梯 理解等级:中级 结构图卡

12 第12章 结尾

10 张卡片
  1. 讲不清就没人看见价值 理解等级:中级 普通读书笔记卡
  2. 试点先小范围跑起来 理解等级:中级 普通读书笔记卡
  3. 受众决定详略 理解等级:中级 普通读书笔记卡
  4. 一套核心材料分级复用 理解等级:高级 结构图卡
  5. 执行总结边做边写 理解等级:中级 普通读书笔记卡
  6. 三步说明为什么是现在 理解等级:中级 普通读书笔记卡
  7. 效益要落到可核算的数字 理解等级:高级 普通读书笔记卡
  8. 图表按数据关系选 理解等级:中级 普通读书笔记卡
  9. 删掉图表垃圾 理解等级:高级 普通读书笔记卡
  10. 技术文档按接口写 理解等级:中级 操作参考卡

全书概览

数据科学与大数据分析 数据的发现 分析 可视化与表示

评级:经典原理(信息浓度高 × 稳定性中高)

评级理由:全书的重心在方法的成立条件而不在工具用法。k 均值为什么对量纲敏感、置信度为什么会把”后件本身高频”误判成强关联、OLS 的四条误差假设各自支撑哪一条推断、ARIMA 为什么必须先处理平稳性、朴素贝叶斯的条件独立假设在属性相关时如何系统性放大证据、MapReduce 的适用性为何取决于”分块能否独立处理”——这些判断不随软件版本变化。稳定性并非全书一致:第3章的 R 函数默认值、第10章的 Hadoop 生态格局(2014 年前后)、第11章的 PostgreSQL/Greenplum 语法与 MADlib 版本,都会随时效失效。因此阅读策略是”方法看第2、4–9、12章,工具按需查第3、10、11章”。

执行模式:light

建档进度:done

全文阅读:序、前言与 12 章正文全部通读(spine 119 项中,实质正文 13 项章节单元、约 332,624 个非空白字符;逐章按 Go nodeText + Fields 归一化口径读取),非正文 11 类逐项排除(目录、版权页、内容提要、致谢、译者与审校简介、出版方社区页等)。

整书笔记:_book_note.md(17 个 section:全书导读、全书主线、序与前言、12 章正文、跨章综合、发散与实践;171 张卡的 primary 位置与 171 处原书出处已登记)

覆盖记录:_coverage.md

工作流交接:_workflow.md

章节进度追踪表

章节号 章节标题 状态 卡片数
00 序与前言 done 2
01 第1章 大数据分析介绍 done 10
02 第2章 数据分析生命周期 done 15
03 第3章 使用R进行基本数据分析 done 24
04 第4章 高级分析理论与方法:聚类 done 8
05 第5章 高级分析理论与方法:关联规则 done 13
06 第6章 高级分析理论与方法:回归 done 13
07 第7章 高级分析理论与方法:分类 done 18
08 第8章 高级分析理论与方法:时间序列分析 done 8
09 第9章 高级分析理论与方法:文本分析 done 17
10 第10章 高级分析技术与工具:MapReduce和Hadoop done 18
11 第11章 高级分析技术与工具:数据库内分析 done 15
12 第12章 结尾 done 10

非正文排除

spine项 类型 排除理由
titlepage.xhtml 封面 仅含封面图,无文字正文
text/part0000.html 目录 全书章节与页码索引,无实质内容
text/part0001.html 版权信息 书名、ISBN、出版方声明
text/part0002.html 版权声明 原书版权与授权说明
text/part0003.html 内容提要 图书宣传文案
text/part0005.html 主要贡献人 作者与贡献者简介
text/part0006.html 致谢 致谢名单
text/part0007.html 译者简介 译者履历
text/part0008.html 主审人员简介 审校者履历
text/part0009.html 审校人员名单 机构署名
text/part0023_split_*.html 出版方社区页 异步社区介绍与购书引导

待关联术语

术语名 出现章节 一句话语境
lattice 03 与 ggplot2 并列的 R 绘图包,仅提及其 densityplot() 可替代密度图
VARIMA 08 8.3 节列出的多元时间序列扩展,只说明用向量形式推广 ARIMA
隐马尔科夫模型 10 Mahout 分类算法清单中的一项,未展开原理
冠层聚类 10 Mahout 聚类算法清单中的一项,仅列名
模糊k均值 10 Mahout 聚类算法清单中的一项,仅列名
期望最大化(EM) 10 Mahout 聚类算法清单中的一项,仅列名

引用文献

标题 类型 出现章节 一句话语境
Big Data: The Next Frontier for Innovation, Competition, and Productivity(McKinsey,2011) 报告 01、02 被引作大数据的权威定义来源,”必须采用新的技术架构”即出自此
The Digital Universe in 2020(IDC,2013) 报告 01 用于说明数据总量的增长速度
The Power of Habit(Duhigg,2012) 书 01 Target 用购物记录推断怀孕一例的叙述来源
Data Scientist: The Sexiest Job of the 21st Century(Davenport & Patil,2012) 文章 02 数据科学家角色的流行定义出处
CRISP-DM 方法 02 数据分析生命周期借鉴的既有流程框架之一
DELTA 框架(Davenport) 方法 02 从组织技能、数据与领导者参与三方面设定分析问题
Some Methods for Classification and Analysis of Multivariate Observations(MacQueen,1967) 论文 04 k 均值算法的原始出处
Mining Association Rules Between Sets of Items in Large Databases(Agrawal 等,1993) 论文 05 关联规则挖掘的奠基论文
Get Out the Vote(Thomas、Pang、Lee,2006) 论文 07 分类器在文本标注任务上的应用示例
A Comparison of Document Clustering Techniques(Steinbach 等,2000) 论文 09 文档聚类方法比较,用于说明文本表示后的聚类路线
Apache Hadoop 官方文档 文档 10 HDFS 与 MapReduce 实现细节的引用来源
MAD Skills: New Analysis Practices for Big Data(Cohen 等,2009) 论文 11 MADlib 与”库内分析”理念的出处
Visualize This(Yau,2011)/Say It with Charts(Zelazny,2001)/Now You See It(Few,2009) 书 12 图表选型与可视化表达的三本参考
The Minto Pyramid Principle(Minto,2010) 书 12 演示文档的结论先行结构依据

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
— — — — 本书不涉及支付/账务并发场景,无此类案例

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 生命周期六阶段的耗时审计 真实任务 done 第2章 ideas/idea-001-生命周期耗时审计.md
2 聚类前的量纲与属性自查 最小实验 done 第4章 ideas/idea-002-聚类前的量纲与属性自查.md
3 文本流水线的可复现骨架 最小实验 done 第9章 ideas/idea-003-文本流水线的可复现骨架.md
4 交付物分级复用 真实任务 done 第12章 ideas/idea-004-交付物分级复用.md

实践候选筛选:done

未采用候选与原因:第7章的阈值—代价曲线实测(需要真实业务的假阳性/假阴性成本,本轮无法取得可核验代价数据)、第10章的 MapReduce 词频统计(需要多节点集群,单机伪分布式无法验证横向扩展结论)、第11章的库内分析与 R 端流程对比(需要装 PostgreSQL + MADlib 环境,超出最小实验成本)。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。