来源书籍
数据科学与大数据分析 数据的发现 分析 可视化与表示
章节与卡片
01 第1章 大数据分析介绍
10 张卡片
- 大数据的三个V特征 理解等级:中级 普通读书笔记卡
- 数据结构的四个层次 理解等级:中级 普通读书笔记卡
- 企业数据仓库的两难 理解等级:高级 普通读书笔记卡
- 分析沙盘:受控的探索空间 理解等级:中级 普通读书笔记卡
- 商业智能与数据科学的分野 理解等级:高级 普通读书笔记卡
- 大数据生态的四类参与者 理解等级:中级 结构图卡
- 三类分析人才的分工 理解等级:中级 普通读书笔记卡
- 数据科学家做什么 理解等级:中级 普通读书笔记卡
- 用购物记录推断怀孕 理解等级:中级 普通读书笔记卡
- Hadoop 为何适合大数据 理解等级:中级 延伸参考卡
02 第2章 数据分析生命周期
15 张卡片
- 六阶段不是直线而是循环 理解等级:初级 结构图卡
- 七种角色,人数可变 理解等级:初级 普通读书笔记卡
- 别急着抓数据 理解等级:中级 问题卡
- 成功标准之外还要失败线 理解等级:中级 普通读书笔记卡
- 发起人的方案不是需求 理解等级:高级 普通读书笔记卡
- 初始假设是分析的原型 理解等级:中级 普通读书笔记卡
- 沙箱要和生产库隔离 理解等级:中级 普通读书笔记卡
- 先加载后转换的ELT 理解等级:高级 普通读书笔记卡
- 数据治理是保留与丢弃的取舍 理解等级:中级 普通读书笔记卡
- 可视化探索:先总览再放大 理解等级:中级 普通读书笔记卡
- 只留最本质的预测因子 理解等级:高级 普通读书笔记卡
- 训练集与测试集的分工 理解等级:中级 普通读书笔记卡
- 失败也是分析结论 理解等级:高级 普通读书笔记卡
- 按受众分层交付成果 理解等级:中级 普通读书笔记卡
- GINA用社交图谱找创新者 理解等级:中级 普通读书笔记卡
03 第3章 使用R进行基本数据分析
24 张卡片
- R分析脚本的标准流程 理解等级:初级 结构图卡
- 导入函数的默认值差异 理解等级:初级 操作参考卡
- 四种属性类型与可用运算 理解等级:中级 普通读书笔记卡
- 向量是R的基本数据单位 理解等级:初级 普通读书笔记卡
- 数据帧是等长变量的列表 理解等级:中级 普通读书笔记卡
- 因子承载分类与次序 理解等级:中级 普通读书笔记卡
- 列联表与卡方独立性检验 理解等级:中级 普通读书笔记卡
- 描述性统计与apply族 理解等级:初级 操作参考卡
- 安斯库姆四重奏的警示 理解等级:高级 普通读书笔记卡
- 脏数据的三种典型信号 理解等级:高级 普通读书笔记卡
- 缺失值的检测与处理 理解等级:中级 操作参考卡
- 单变量图形的选型与读法 理解等级:中级 操作参考卡
- 直方图、密度图与对数刻度 理解等级:中级 普通读书笔记卡
- 散点图的五个视觉通道 理解等级:中级 普通读书笔记卡
- 箱线图的读法 理解等级:中级 普通读书笔记卡
- 蜂巢图应对数据重叠 理解等级:中级 普通读书笔记卡
- 探索用图与演示用图 理解等级:高级 普通读书笔记卡
- 假设检验的原假设框架 理解等级:中级 普通读书笔记卡
- 学生t检验与置信区间 理解等级:中级 普通读书笔记卡
- Welch t检验的适用场景 理解等级:高级 普通读书笔记卡
- Wilcoxon秩和检验 理解等级:高级 普通读书笔记卡
- 两类错误、功效与样本量 理解等级:高级 普通读书笔记卡
- ANOVA与Tukey事后比较 理解等级:高级 普通读书笔记卡
- 检验方法的选择路径 理解等级:高级 结构图卡
04 第4章 高级分析理论与方法:聚类
8 张卡片
05 第5章 高级分析理论与方法:关联规则
13 张卡片
- 关联规则:描述而非预测 理解等级:初级 普通读书笔记卡
- 项集与k项集 理解等级:初级 普通读书笔记卡
- 支持度是交易的覆盖率 理解等级:中级 普通读书笔记卡
- 最小支持度切出频繁项集 理解等级:中级 普通读书笔记卡
- Apriori属性:子集必频繁 理解等级:高级 普通读书笔记卡
- Apriori逐层生成频繁项集 理解等级:中级 结构图卡
- 置信度是条件占比 理解等级:中级 普通读书笔记卡
- 置信度为何偏爱巧合 理解等级:高级 普通读书笔记卡
- 提升度:对照独立基线 理解等级:中级 普通读书笔记卡
- 杠杆率:用差值量增量 理解等级:中级 普通读书笔记卡
- 四种度量各管一段 理解等级:高级 普通读书笔记卡
- 统计有趣不等于业务有用 理解等级:高级 问题卡
- Apriori的扫描代价与提速 理解等级:高级 普通读书笔记卡
06 第6章 高级分析理论与方法:回归
13 张卡片
- 相关不等于因果 理解等级:中级 普通读书笔记卡
- OLS:让残差平方和最小 理解等级:中级 普通读书笔记卡
- 正态误差假设换来什么 理解等级:高级 普通读书笔记卡
- 分类变量要拆成哑变量 理解等级:中级 普通读书笔记卡
- 用 t 检验决定变量去留 理解等级:中级 普通读书笔记卡
- R² 高不等于模型好 理解等级:中级 普通读书笔记卡
- 置信区间与预测区间之别 理解等级:高级 普通读书笔记卡
- 残差图是诊断第一现场 理解等级:高级 结构图卡
- 多重共线性:重叠的代价 理解等级:高级 普通读书笔记卡
- 逻辑回归如何把概率拉直 理解等级:高级 普通读书笔记卡
- 偏差与似然率检验 理解等级:高级 普通读书笔记卡
- ROC 曲线与阈值取舍 理解等级:高级 普通读书笔记卡
- 岭回归与套索的惩罚 理解等级:中级 普通读书笔记卡
07 第7章 高级分析理论与方法:分类
18 张卡片
- 分类靠已标注样本学习 理解等级:初级 普通读书笔记卡
- 决策树的节点与分支 理解等级:初级 普通读书笔记卡
- 熵衡量节点的杂质 理解等级:中级 普通读书笔记卡
- 信息增益挑选分裂属性 理解等级:中级 普通读书笔记卡
- 基尼指数与CART 理解等级:中级 普通读书笔记卡
- 连续属性按中点切分 理解等级:中级 普通读书笔记卡
- 贪心分裂的局部最优 理解等级:高级 普通读书笔记卡
- 剪枝抑制过度拟合 理解等级:高级 普通读书笔记卡
- 无关变量拖累决策树 理解等级:高级 普通读书笔记卡
- 决策树的构建流程 理解等级:中级 结构图卡
- 朴素贝叶斯的独立假设 理解等级:高级 普通读书笔记卡
- 基础率压低阳性后验 理解等级:高级 普通读书笔记卡
- 零概率与拉普拉斯平滑 理解等级:高级 普通读书笔记卡
- 关联变量被重复计权 理解等级:高级 普通读书笔记卡
- 混淆矩阵到各指标 理解等级:初级 结构图卡
- 高精确度也会误导 理解等级:高级 普通读书笔记卡
- 错误代价由业务决定 理解等级:高级 普通读书笔记卡
- ROC曲线与AUC 理解等级:高级 普通读书笔记卡
08 第8章 高级分析理论与方法:时间序列分析
8 张卡片
- ARIMA建模的闭环流程 理解等级:中级 结构图卡
- 平稳序列的三个条件 理解等级:高级 普通读书笔记卡
- ACF图怎么读 理解等级:中级 普通读书笔记卡
- PACF与AR定阶 理解等级:高级 普通读书笔记卡
- MA模型为何会截断 理解等级:中级 普通读书笔记卡
- 差分的次数与过度差分 理解等级:中级 普通读书笔记卡
- ARIMA三参数各管什么 理解等级:中级 普通读书笔记卡
- 用信息准则比较模型 理解等级:高级 普通读书笔记卡
09 第9章 高级分析理论与方法:文本分析
17 张卡片
- 六步文本分析流水线 理解等级:中级 结构图卡
- 从原文到词袋向量 理解等级:中级 结构图卡
- 文本难在高维与无结构 理解等级:中级 普通读书笔记卡
- 语料库是静态知识库 理解等级:高级 普通读书笔记卡
- 句法分析与词性标注 理解等级:中级 普通读书笔记卡
- 词形还原与词干提取 理解等级:中级 普通读书笔记卡
- 分词与大小写的取舍 理解等级:高级 普通读书笔记卡
- 词袋法为何丢掉顺序 理解等级:中级 普通读书笔记卡
- 词频的三种口径 理解等级:中级 普通读书笔记卡
- 只靠词频会高估通用词 理解等级:高级 问题卡
- IDF的构造与盲点 理解等级:高级 普通读书笔记卡
- TFIDF的合成与边界 理解等级:高级 普通读书笔记卡
- 主题是词汇上的分布 理解等级:中级 普通读书笔记卡
- LDA的三条硬假设 理解等级:高级 普通读书笔记卡
- 情感分析的两条路线 理解等级:高级 普通读书笔记卡
- 情感分类器的评估与迁移 理解等级:高级 普通读书笔记卡
- 单词云与领域停止词 理解等级:中级 普通读书笔记卡
10 第10章 高级分析技术与工具:MapReduce和Hadoop
18 张卡片
- 四种数据格式的谱系 理解等级:初级 普通读书笔记卡
- 横向扩展而非换大机器 理解等级:中级 普通读书笔记卡
- MapReduce 的两步契约 理解等级:中级 普通读书笔记卡
- MapReduce 计数执行链 理解等级:中级 结构图卡
- 分块独立才可并行 理解等级:高级 普通读书笔记卡
- HDFS 的块与三副本 理解等级:初级 普通读书笔记卡
- HDFS 的角色分工 理解等级:中级 结构图卡
- 副节点不是备份 理解等级:高级 普通读书笔记卡
- 运行时的三个角色 理解等级:中级 操作参考卡
- shuffle 的产物 理解等级:中级 普通读书笔记卡
- combiner 的预聚合 理解等级:高级 普通读书笔记卡
- 分区器与数据倾斜 理解等级:高级 普通读书笔记卡
- YARN 拆开资源与调度 理解等级:高级 普通读书笔记卡
- Pig 与 Hive 的外壳 理解等级:中级 操作参考卡
- Hadoop 生态的职责边界 理解等级:中级 普通读书笔记卡
- HBase 的三维数据模型 理解等级:中级 普通读书笔记卡
- HBase 的写入路径与墓碑 理解等级:高级 普通读书笔记卡
- NoSQL 四类存储的取舍 理解等级:中级 普通读书笔记卡
11 第11章 高级分析技术与工具:数据库内分析
15 张卡片
- 数据库内分析是什么 理解等级:初级 普通读书笔记卡
- 把计算搬进数据库的权衡 理解等级:高级 普通读书笔记卡
- 规范化拆表的三个好处 理解等级:初级 普通读书笔记卡
- 事务库为何不胜任分析 理解等级:高级 普通读书笔记卡
- 连接类型与NULL陷阱 理解等级:中级 普通读书笔记卡
- 集合运算符与子查询 理解等级:中级 操作参考卡
- 分组扩展与小计总计 理解等级:中级 操作参考卡
- 正则表达式操作参考 理解等级:中级 操作参考卡
- 正则的脆弱性 理解等级:高级 普通读书笔记卡
- 窗口函数与滑动窗口 理解等级:中级 普通读书笔记卡
- 用户定义函数与聚合 理解等级:中级 操作参考卡
- 排序聚合求中位数 理解等级:中级 操作参考卡
- MADlib与MAD理念 理解等级:中级 延伸参考卡
- 库内k均值聚类的陷阱 理解等级:高级 普通读书笔记卡
- 数据库内分析的能力阶梯 理解等级:中级 结构图卡
12 第12章 结尾
10 张卡片
- 讲不清就没人看见价值 理解等级:中级 普通读书笔记卡
- 试点先小范围跑起来 理解等级:中级 普通读书笔记卡
- 受众决定详略 理解等级:中级 普通读书笔记卡
- 一套核心材料分级复用 理解等级:高级 结构图卡
- 执行总结边做边写 理解等级:中级 普通读书笔记卡
- 三步说明为什么是现在 理解等级:中级 普通读书笔记卡
- 效益要落到可核算的数字 理解等级:高级 普通读书笔记卡
- 图表按数据关系选 理解等级:中级 普通读书笔记卡
- 删掉图表垃圾 理解等级:高级 普通读书笔记卡
- 技术文档按接口写 理解等级:中级 操作参考卡
全书概览
数据科学与大数据分析 数据的发现 分析 可视化与表示
评级:经典原理(信息浓度高 × 稳定性中高)
评级理由:全书的重心在方法的成立条件而不在工具用法。k 均值为什么对量纲敏感、置信度为什么会把”后件本身高频”误判成强关联、OLS 的四条误差假设各自支撑哪一条推断、ARIMA 为什么必须先处理平稳性、朴素贝叶斯的条件独立假设在属性相关时如何系统性放大证据、MapReduce 的适用性为何取决于”分块能否独立处理”——这些判断不随软件版本变化。稳定性并非全书一致:第3章的 R 函数默认值、第10章的 Hadoop 生态格局(2014 年前后)、第11章的 PostgreSQL/Greenplum 语法与 MADlib 版本,都会随时效失效。因此阅读策略是”方法看第2、4–9、12章,工具按需查第3、10、11章”。
执行模式:light
建档进度:done
全文阅读:序、前言与 12 章正文全部通读(spine 119 项中,实质正文 13 项章节单元、约 332,624 个非空白字符;逐章按 Go nodeText + Fields 归一化口径读取),非正文 11 类逐项排除(目录、版权页、内容提要、致谢、译者与审校简介、出版方社区页等)。
整书笔记:_book_note.md(17 个 section:全书导读、全书主线、序与前言、12 章正文、跨章综合、发散与实践;171 张卡的 primary 位置与 171 处原书出处已登记)
覆盖记录:_coverage.md
工作流交接:_workflow.md
章节进度追踪表
| 章节号 | 章节标题 | 状态 | 卡片数 |
|---|---|---|---|
| 00 | 序与前言 | done | 2 |
| 01 | 第1章 大数据分析介绍 | done | 10 |
| 02 | 第2章 数据分析生命周期 | done | 15 |
| 03 | 第3章 使用R进行基本数据分析 | done | 24 |
| 04 | 第4章 高级分析理论与方法:聚类 | done | 8 |
| 05 | 第5章 高级分析理论与方法:关联规则 | done | 13 |
| 06 | 第6章 高级分析理论与方法:回归 | done | 13 |
| 07 | 第7章 高级分析理论与方法:分类 | done | 18 |
| 08 | 第8章 高级分析理论与方法:时间序列分析 | done | 8 |
| 09 | 第9章 高级分析理论与方法:文本分析 | done | 17 |
| 10 | 第10章 高级分析技术与工具:MapReduce和Hadoop | done | 18 |
| 11 | 第11章 高级分析技术与工具:数据库内分析 | done | 15 |
| 12 | 第12章 结尾 | done | 10 |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
titlepage.xhtml |
封面 | 仅含封面图,无文字正文 |
text/part0000.html |
目录 | 全书章节与页码索引,无实质内容 |
text/part0001.html |
版权信息 | 书名、ISBN、出版方声明 |
text/part0002.html |
版权声明 | 原书版权与授权说明 |
text/part0003.html |
内容提要 | 图书宣传文案 |
text/part0005.html |
主要贡献人 | 作者与贡献者简介 |
text/part0006.html |
致谢 | 致谢名单 |
text/part0007.html |
译者简介 | 译者履历 |
text/part0008.html |
主审人员简介 | 审校者履历 |
text/part0009.html |
审校人员名单 | 机构署名 |
text/part0023_split_*.html |
出版方社区页 | 异步社区介绍与购书引导 |
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| lattice | 03 | 与 ggplot2 并列的 R 绘图包,仅提及其 densityplot() 可替代密度图 |
| VARIMA | 08 | 8.3 节列出的多元时间序列扩展,只说明用向量形式推广 ARIMA |
| 隐马尔科夫模型 | 10 | Mahout 分类算法清单中的一项,未展开原理 |
| 冠层聚类 | 10 | Mahout 聚类算法清单中的一项,仅列名 |
| 模糊k均值 | 10 | Mahout 聚类算法清单中的一项,仅列名 |
| 期望最大化(EM) | 10 | Mahout 聚类算法清单中的一项,仅列名 |
引用文献
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|---|---|---|
| Big Data: The Next Frontier for Innovation, Competition, and Productivity(McKinsey,2011) | 报告 | 01、02 | 被引作大数据的权威定义来源,”必须采用新的技术架构”即出自此 |
| The Digital Universe in 2020(IDC,2013) | 报告 | 01 | 用于说明数据总量的增长速度 |
| The Power of Habit(Duhigg,2012) | 书 | 01 | Target 用购物记录推断怀孕一例的叙述来源 |
| Data Scientist: The Sexiest Job of the 21st Century(Davenport & Patil,2012) | 文章 | 02 | 数据科学家角色的流行定义出处 |
| CRISP-DM | 方法 | 02 | 数据分析生命周期借鉴的既有流程框架之一 |
| DELTA 框架(Davenport) | 方法 | 02 | 从组织技能、数据与领导者参与三方面设定分析问题 |
| Some Methods for Classification and Analysis of Multivariate Observations(MacQueen,1967) | 论文 | 04 | k 均值算法的原始出处 |
| Mining Association Rules Between Sets of Items in Large Databases(Agrawal 等,1993) | 论文 | 05 | 关联规则挖掘的奠基论文 |
| Get Out the Vote(Thomas、Pang、Lee,2006) | 论文 | 07 | 分类器在文本标注任务上的应用示例 |
| A Comparison of Document Clustering Techniques(Steinbach 等,2000) | 论文 | 09 | 文档聚类方法比较,用于说明文本表示后的聚类路线 |
| Apache Hadoop 官方文档 | 文档 | 10 | HDFS 与 MapReduce 实现细节的引用来源 |
| MAD Skills: New Analysis Practices for Big Data(Cohen 等,2009) | 论文 | 11 | MADlib 与”库内分析”理念的出处 |
| Visualize This(Yau,2011)/Say It with Charts(Zelazny,2001)/Now You See It(Few,2009) | 书 | 12 | 图表选型与可视化表达的三本参考 |
| The Minto Pyramid Principle(Minto,2010) | 书 | 12 | 演示文档的结论先行结构依据 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|---|---|---|---|
| — | — | — | — | 本书不涉及支付/账务并发场景,无此类案例 |
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 生命周期六阶段的耗时审计 | 真实任务 | done | 第2章 | ideas/idea-001-生命周期耗时审计.md |
| 2 | 聚类前的量纲与属性自查 | 最小实验 | done | 第4章 | ideas/idea-002-聚类前的量纲与属性自查.md |
| 3 | 文本流水线的可复现骨架 | 最小实验 | done | 第9章 | ideas/idea-003-文本流水线的可复现骨架.md |
| 4 | 交付物分级复用 | 真实任务 | done | 第12章 | ideas/idea-004-交付物分级复用.md |
实践候选筛选:done
未采用候选与原因:第7章的阈值—代价曲线实测(需要真实业务的假阳性/假阴性成本,本轮无法取得可核验代价数据)、第10章的 MapReduce 词频统计(需要多节点集群,单机伪分布式无法验证横向扩展结论)、第11章的库内分析与 R 端流程对比(需要装 PostgreSQL + MADlib 环境,超出最小实验成本)。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。