主题对照

数据质量与校验

质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。

70 张卡片 · 17 本书

本层 70 张卡片 · 含下级覆盖 70 张卡片

本主题的卡片

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流

数据质量六维度

数据进入处理环节的第一步是质量校验,需要从六个维度衡量。完整性:数据值本身不缺失(记录不丢、字段不空),以及数据库约束层面的完整(实体、参照、域、用户自定义完整性),后者只对关系型数据库成立,NoSQL因面向集合、模式自由而不适用。一致性:同一实体在不同库表间的值必须相同,常见的破坏原因是更新延时、并发控制不当、客观故障、不同系统抽取逻辑不同。及时性:数据满足业务响应时间的程度,本质是”业务期望时间”与”数据处理耗时”之间的矛盾,实时数据要求秒级响应,历史数据则受限于海量提取耗时。有效性:数据是否符合应用需求,例如做留存分析却缺失启动时间戳字段,字段存在但75%为空,都属于有效性低。准确性:受采集准确性、处理准确性(抽样规则、异常处理、模型调参)、应用准确性(指标算法的正确理解,例如用销售额除订单量算不出客单价)三方面共同影响。真实性:来源真实、结果真实、解读真实三者缺一不可,是数据工作的底线,故意夸大某部门促销贡献就属于违反解读真实性。六个维度环环相扣:完整性和一致性是数据能不能用的基础,及时性和有效性是数据好不好用的门槛,准确性和真实性则是数据结果能否被信任的底线。

结构图:

flowchart TB
  A["数据质量校验六维度"]
  A --> B["完整性:值/记录不缺失+数据库约束"]
  A --> C["一致性:多库表同一实体值相同"]
  A --> D["及时性:业务期望时间vs处理耗时的矛盾"]
  A --> E["有效性:是否符合应用需求"]
  A --> F["准确性:采集/处理/应用三环节共同决定"]
  A --> G["真实性:来源/结果/解读三者皆真,是工作底线"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流

数据清洗六项内容

数据质量校验发现问题后,进入清洗转换环节,主要包含六项工作。纠正错误:处理数据值、类型、编码、格式、异常、依赖冲突、多值等错误,根源通常是业务系统入库阶段校验规则不完善。删除重复项:核心思路是”排序+计算相似度”,但对重复数据不能轻易删除,尤其不能把有业务意义的数据当垃圾过滤掉,需业务确认后再处理。统一规格:把同一数据对象在名称、类型、单位、格式、长度、小数位数、计数方法、缩写规则、值域、约束等方面的差异消除,这一步必须有业务部门参与确认。修正逻辑:解决不同数据源对同一对象统计口径不同导致的矛盾(如订单数量因统计逻辑不同而冲突),先摸清各系统逻辑差异再统一修正规则,而不是各自为政。转换构造:包括数据类型转换、语义转换(如把维度表编码1/2/3还原成业务含义)、粒度转换(业务系统明细数据聚合成数据仓库所需粒度)、表拆分、行列转置、离散化、标准化、提炼新字段、构造属性(如给训练/测试/验证集打标)等。数据压缩:通过聚合、维度约减、数据块消减、有损/无损压缩等手段减小数据规模,既提升计算效率也降低存储成本。六项工作层层递进:先纠错去重,再统一口径和规格,最后转换压缩成适合下游计算的形态。

结构图:

flowchart TB
  A["数据清洗六项内容"]
  A --> B["纠正错误:值/类型/编码/格式/异常/依赖冲突"]
  A --> C["删除重复项:排序+相似度计算,慎删有业务意义数据"]
  A --> D["统一规格:名称/类型/单位/格式/长度等口径统一"]
  A --> E["修正逻辑:厘清多源统计口径差异再统一"]
  A --> F["转换构造:类型/语义/粒度转换+拆分+离散化+构造新字段"]
  A --> G["数据压缩:聚合/维度约减/有损无损压缩"]
查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流

数据脱敏五步

数据脱敏分五步:了解需求、确定使用环境、定义并分级敏感数据、确定敏感关联(关联字段须用同一规则,保证关联不断)、建立脱敏规则。规则分可恢复类(加解密)和不可恢复类(替换、重排、截断、掩码等)。好的脱敏要兼顾安全与数据可用性。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据价值评估

关联维度五标准

每家企业只掌握用户的部分数据,要靠身份证号、订单 ID、Cookie 等把分散数据关联起来。能作关联标志的字段须满足五条:唯一,姓名会重复就不行;通用,能被各场景识别;可识别,能对应到具体主体;不变,手机号可能更换就不算;健全,在所有记录中都存在。

查看卡片与原书出处

分布式机器学习实战 · 完整工业级系统实战

算法离不开好数据

算法是推荐系统的核心,但离不开数据:没有数据是巧妇难为无米之炊,还要有好米,并把米里的沙子洗掉。所以除了算法,还要搭建数据仓库、把控数据质量、做清洗转换;用数据分层区分原始数据和清洗后的数据;高频使用的数据只算一次、放在中间层供各模块复用,省时间也省资源。数据质量不好,再好的算法也做不出好效果。

查看卡片与原书出处

大数据时代的IT架构设计 · 社交网络大数据挖掘与社会化推荐引擎的构建

多图谱融合先解决身份匹配

把通讯录关系用于社交好友推荐时,先要识别通讯录联系人与站内用户是否同一人,再融合两张关系图谱。手机号可作为匹配信号,姓名等弱信号需谨慎处理歧义;匹配错误会直接污染推荐结果。通讯录来源还涉及用户授权与使用范围,不能只因关系数据有价值就默认可用。

查看卡片与原书出处

安全之美 · 美丽的交易:重新思考电子商务的安全

支付资料扩散增加暴露面

非现场支付可能让卡号等资料经过商家、网关、服务商和银行,多方处理与长期留存扩大泄露面。安全措施仍重要,但每增加一个持有敏感数据的主体,就增加一处需要保护的环境。设计时应核对每方是否真需要原始数据,并尽量缩小传递和保存范围;不能从参与方数量直接推算泄露概率。

查看卡片与原书出处

安全之美 · 美丽的交易:重新思考电子商务的安全

支付数据须保密并防篡改

电子交易即使已完成身份认证和授权,认证资料、交易与订单数据及维护它们所需的数据,仍要在传输和存储时保护机密性与完整性。前两者回答谁能做什么,后两者约束数据会否泄露或被改动;一项通过不能代替另一项。原书提出保护范围和目标,未指定可直接套用的现代协议或实现。

查看卡片与原书出处

安全之美 · 无需真实数据就能出色完成工作

确定性散列保留关联也会泄露模式

相同输入经同一散列得到相同标识,便于把一人的多条购买记录关联。对姓名等低熵值,攻击者可枚举候选并比对哈希;“不可逆”不等于匿名。设计时须评估可猜测输入、跨表关联和访问控制。

查看卡片与原书出处

安全之美 · 无需真实数据就能出色完成工作

半透明表只隐藏选定字段

表15-1与15-2对比:顾客列被散列代号替代,商品、规格和颜色仍为明文。这样的表能做销售统计和同一代号的行为分析,但商品组合本身也可能泄露隐私;每一列都要按实际威胁评估是否需要保护。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture

数据验证兼顾技术与业务

原始数据进入平台后,至少从类型与格式、业务值的准确和完整性、约定模式三个角度验证。技术检查可跨领域复用,业务检查依赖具体语义;只让数据通过 schema,并不能保证报表结论可信。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture

数据可观测性检查健康

数据可观测性主动检查数据生态中的质量、准确性、新鲜度与完整性,目的是在数据不可用前发现问题。它观察的是数据本身的健康;仅监控作业是否运行,无法说明消费者拿到的数据是否可靠。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 2. Traditional Architectures and Modern Data Platforms

数据质量随层级提升

湖仓的数据质量不是单存储层自动带来的。数据从原始区进入更高层前,应按用途执行验证、清洗和模式约束;只有经过这些处理的层级才适合承担可信报表或共享数据产品。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture

质量指标要落到校验

数据质量可按准确性、一致性、及时性、唯一性和完整性观测。指标只有绑定来源、阈值、拒绝记录、责任人和修复流程才可执行;从原始区到策展区的每次转换都应核对输入输出。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture

模型质量需持续监测

模型上线后的输入分布和业务环境会变化,预测质量可能随之下降。平台应保留输入、预测与可获得的结果反馈,定期检测漂移和偏差;数据通过校验不代表模型效果仍可靠。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 7. The Big Picture: Designing and Implementing a Lakehouse Platform

数据异常监测使用历史基线

数据可观测性可用历史统计建立基线,识别每日数据量突变、重复记录增加或空值比例异常。告警应关联受影响的数据资产,让消费者知道质量状态;阈值还需随季节性和业务变化调整。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 8. Lakehouse in the Real World

跨模型对账分层验证

新旧平台模型不一致时,逐字段全量对比可能不可行。可先比较总量与关键聚合,再抽查高风险记录和最终报表,同时记录样本覆盖与容差;汇总相等不能证明每条记录一致,应保留未验证范围。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 8. Lakehouse in the Real World

质量规则需要业务共建

业务校验规则和敏感字段清单不能仅由数据工程师凭技术知识推断。应让数据负责人和业务人员确认字段含义、容差及处理方式;采购带内置规则的工具也仍需验证规则是否适用于本企业。

查看卡片与原书出处

Practical Lakehouse Architecture · Chapter 8. Lakehouse in the Real World

审计字段定位错误批次

在高层数据表记录批次、来源、作业和更新时间等审计字段,可追溯异常记录由哪个作业、哪个批次在何时写入,并识别待回退的数据;要定位操作者,还需另存身份标识或关联作业日志。时间旅行可读旧版本,但多作业写同一表时仍需行级来源信息。

查看卡片与原书出处

Principles of Software Architecture Modernization · Data Migrations

迁移后同时核对结构数据与行为

新库就绪不能只看仪表板绿灯;须检查表、列、索引、配置、行数及代表性记录校验和,再核对成功率、错误和延迟。大规模数据抽样只能提供证据,不能替代必要的全量对账。

查看卡片与原书出处

数据之美 · 在数据中观察生活

支持事后补录

现实采集会遇到断网、忘记或当时不便等情况。可靠系统应允许补录带时间戳的事件,并在离线时缓存后续同步;这两条路径分别应对用户未及时输入和设备暂时无法联网,不能把特定案例扩大成所有实时采集都不可靠。

查看卡片与原书出处

数据之美 · 在数据中观察生活

数据处理四阶段流水线

PEIR把GPS转成个性化影响估值分为轨迹纠正与标注、活动分类、上下文估算、影响计算。分阶段让误差来源和中间结果可解释;前序估计含不确定性,后续结果不能被当成直接观测。

结构图:

flowchart TD
  A[轨迹纠正与标注] --> B[活动和位置分类]
  B --> C[天气路况等上下文估算]
  C --> D[个性化影响计算]
查看卡片与原书出处

数据之美 · 美丽的人们:设计数据收集方法时牢记用户

分支表单清除隐藏答案

条件表单根据先前答案显示不同追问时,切换分支还要清除旧分支中已选内容;否则用户改了初始答案,隐藏问题的旧值可能仍被提交,形成与当前回答不一致的数据。分支可见性和提交状态应一并设计与验证。

查看卡片与原书出处

数据之美 · 火星上的嵌入式图像数据处理

显式ID绑定关联数据

图像数据槽和头信息槽可按不同顺序分配、释放,两个数组的下标因此不保证一致。头信息保存图像ID,再按ID查找关联数据,避免依赖偶然的下标对齐;代价是增加标识和查找步骤。 结构图: 原书槽条目结构,头数据通过img_id关联图像,而非要求两数组同一索引;此关联表示编号配对,不是内存指针。

classDiagram
class ics_img_slot_entry_t {
uint16_t slot_status
int16_t slot_owner
int16_t slot_size
uint16_t* slot_address
}
class ics_hdr_slot_entry_t {
uint16_t slot_status
int16_t slot_owner
int16_t img_id
uint16_t[] hdr_data
}
ics_hdr_slot_entry_t --> ics_img_slot_entry_t : img_id匹配图像编号
查看卡片与原书出处

数据之美 · 信息平台和数据科学家的兴起

ETL串起数据分析链路

ETL把分散来源的数据抽取出来,转换成便于分析的形式,再加载到分析存储中;商业智能工具随后在数据仓库上生成内部报告。它把“拿到原始数据”与“让业务能据此回答问题”连成可重复的处理链。

查看卡片与原书出处

数据之美 · 照片档案的地理之美

众包校验专业分类

Geograph参与者对场景术语的使用,与既有研究报告的术语及其使用程度高度相关。大规模自发标注可为专业分类提供经验检验;相关性仍需结合采样偏差解释。

查看卡片与原书出处

数据之美 · 数据发现数据

新观察触发关联检查

每条新记录到达时,系统将其与历史信息按预设条件关联;达到条件就发出警报,供有限调查资源优先处理。共享电话号码只能触发调查,不足以证明犯罪。

查看卡片与原书出处

数据之美 · 数据发现数据

新观察应能修正旧断言

实体关联是会随证据变化的断言:新观察可能把先前分开的实体确认成同一对象,也可能拆开先前误合并的实体。系统若只能追加关联、不能修正旧判断,长期积累就会偏离现实;因此应保存可追溯的断言并允许后续证据触发复核。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 1749 流水线是治理层 路径上下文 可观测性工程 · 使用流水线进行遥测管理 理解等级:未标注
    • 展开或收起下级: 1749.a 数据质量前置 路径上下文 可观测性工程 · 使用流水线进行遥测管理 理解等级:未标注
      • 1749.a.1 获取监控与数据质量 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第7章 获取 理解等级:中级
  • 展开或收起下级: 1751 联盟扩展价值 路径上下文 可观测性工程 · 可观测性利益相关方和联盟 理解等级:未标注
    • 展开或收起下级: 1751.b 观测与BI边界 路径上下文 可观测性工程 · 第20章 可观测性利益相关方和联盟 理解等级:未标注
  • 展开或收起下级: 1784 事实不可变 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:未标注
    • 展开或收起下级: 1784.b 图适合表达关系 路径上下文 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:未标注
      • 1784.b.2 模式校验尽早暴露错误 主题成员 大数据系统构建:可扩展实时数据系统构建原理与最佳实践 · 大数据的数据模型 理解等级:中级
  • 展开或收起下级: 2075 遗留系统接口的复杂度容易被低估 路径上下文 软件系统架构:使用视点和视角与利益相关者合作(原书第2版) · 情境视点 理解等级:未标注
    • 2075.d 地址复制延迟导致订单被拒 主题成员 软件系统架构:使用视点和视角与利益相关者合作(原书第2版) · 情境视点 理解等级:中级
  • 展开或收起下级: 2078 中心库与分布式库 路径上下文 软件系统架构:使用视点和视角与利益相关者合作(原书第2版) · 信息视点 理解等级:未标注
  • 展开或收起下级: 2275 系统三要素 路径上下文 从零开始学架构 · 架构到底是指什么? 理解等级:未标注
    • 展开或收起下级: 2275.as 运维平台四化 路径上下文 从零开始学架构 · 互联网架构模板:"平台"技术 理解等级:未标注
      • 展开或收起下级: 2275.as.6 数据平台承载数据价值 路径上下文 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:初级
        • 展开或收起下级: 2275.as.6.a 数据架构先定组件关系 路径上下文 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
          • 展开或收起下级: 2275.as.6.a.3 平台设计从需求走到验证 路径上下文 Practical Lakehouse Architecture · Chapter 7. The Big Picture: Designing and Implementing a Lakehouse Platform 理解等级:中级
            • 展开或收起下级: 2275.as.6.a.3.a 棕地与绿地建设区别 路径上下文 Practical Lakehouse Architecture · Chapter 8. Lakehouse in the Real World 理解等级:初级
              • 展开或收起下级: 2275.as.6.a.3.a.1 迁移期并行运行新旧平台 路径上下文 Practical Lakehouse Architecture · Chapter 8. Lakehouse in the Real World 理解等级:中级
                • 展开或收起下级: 2275.as.6.a.3.a.1.a 历史迁移按周期对账重跑 路径上下文 Practical Lakehouse Architecture · Chapter 8. Lakehouse in the Real World 理解等级:中级
                  • 展开或收起下级: 2275.as.6.a.3.a.1.a.1 跨模型对账分层验证 主题成员 Practical Lakehouse Architecture · Chapter 8. Lakehouse in the Real World 理解等级:高级
                    • 2275.as.6.a.3.a.1.a.1.a 审计字段定位错误批次 主题成员 Practical Lakehouse Architecture · Chapter 8. Lakehouse in the Real World 理解等级:中级
        • 展开或收起下级: 2275.as.6.b 数据治理贯穿数据流程 路径上下文 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
          • 展开或收起下级: 2275.as.6.b.2 数据验证兼顾技术与业务 主题成员 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
            • 展开或收起下级: 2275.as.6.b.2.a 质量指标要落到校验 主题成员 Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture 理解等级:中级
              • 2275.as.6.b.2.a.1 模型质量需持续监测 主题成员 Practical Lakehouse Architecture · Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture 理解等级:中级
              • 2275.as.6.b.2.a.2 质量规则需要业务共建 主题成员 Practical Lakehouse Architecture · Chapter 8. Lakehouse in the Real World 理解等级:中级
          • 展开或收起下级: 2275.as.6.b.3 数据可观测性检查健康 主题成员 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:中级
            • 2275.as.6.b.3.a 数据异常监测使用历史基线 主题成员 Practical Lakehouse Architecture · Chapter 7. The Big Picture: Designing and Implementing a Lakehouse Platform 理解等级:中级
          • 2275.as.6.b.6 数据质量随层级提升 主题成员 Practical Lakehouse Architecture · Chapter 2. Traditional Architectures and Modern Data Platforms 理解等级:中级
        • 展开或收起下级: 2275.as.6.j 数据应用需要贯通治理链 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第三部分导读 理解等级:中级
          • 展开或收起下级: 2275.as.6.j.3 共享治理减少重复分析劳动 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第10章 大数据时代变革 理解等级:中级
            • 2275.as.6.j.3.a 清洗修正错误并标识缺失 主题成员 架构真意企业级应用架构设计方法论与实践 · 第10章 大数据时代变革 理解等级:中级
            • 2275.as.6.j.3.e 质量检查与血缘追踪互补 主题成员 架构真意企业级应用架构设计方法论与实践 · 第10章 大数据时代变革 理解等级:中级
  • 展开或收起下级: 2280 故障不同于失效 路径上下文 数据密集型应用系统设计 · 可靠性、可伸缩性、可维护性 理解等级:未标注
    • 展开或收起下级: 2280.h 可维护性三支柱 路径上下文 数据密集型应用系统设计 · 可靠性、可伸缩性、可维护性 理解等级:未标注
      • 展开或收起下级: 2280.h.1 组合工具即成为系统设计者 路径上下文 数据密集型应用系统设计 · 第一章:可靠性、可伸缩性、可维护性 理解等级:初级
        • 展开或收起下级: 2280.h.1.a 数据工程的定义 路径上下文 数据工程之道-设计和构建健壮的数据系统 · 第1章 数据工程概述 理解等级:初级
          • 展开或收起下级: 2280.h.1.a.14 信任是数据服务之本 路径上下文 数据工程之道-设计和构建健壮的数据系统 · 第9章 为分析、机器学习和反向ETL提供数据服务 理解等级:初级
            • 2280.h.1.a.14.j 度量层回答数字对吗 主题成员 数据工程之道-设计和构建健壮的数据系统 · 第9章 为分析、机器学习和反向ETL提供数据服务 理解等级:中级
  • 展开或收起下级: 2721 详情页架构三代 路径上下文 亿级流量网站架构核心技术 · 构建需求响应式亿级商品详情页 理解等级:未标注
    • 2721.d 数据闭环 主题成员 高可用架构(第1卷) · 电商架构热点专题 理解等级:高级
  • 展开或收起下级: 2777 数据质量六维度 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流 理解等级:未标注
    • 2777.a 数据清洗六项内容 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流 理解等级:未标注
    • 2777.b 数据脱敏五步 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流 理解等级:未标注
  • 展开或收起下级: 2779 数据资产价值五维度 路径上下文 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据价值评估 理解等级:未标注
    • 2779.b 关联维度五标准 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据价值评估 理解等级:未标注
  • 展开或收起下级: 2828 工业级系统的标准 路径上下文 分布式机器学习实战 · 完整工业级系统实战 理解等级:未标注
    • 2828.b 算法离不开好数据 主题成员 分布式机器学习实战 · 完整工业级系统实战 理解等级:未标注
  • 展开或收起下级: 3111 小文件与入库时延要权衡 路径上下文 实时流计算系统设计与实现 · 第9章 数据存储 理解等级:高级
    • 展开或收起下级: 3111.b Hive以表映射离线文件 路径上下文 实时流计算系统设计与实现 · 第9章 数据存储 理解等级:初级
  • 展开或收起下级: 3315 支付资料扩散增加暴露面 主题成员 安全之美 · 美丽的交易:重新思考电子商务的安全 理解等级:未标注
  • 展开或收起下级: 3325 客户端处理可减少服务器明文 路径上下文 安全之美 · 无需真实数据就能出色完成工作 理解等级:中级
  • 3422 惰性数据迁移不能遗漏冷数据 主题成员 Principles of Software Architecture Modernization · Data Migrations 理解等级:高级
  • 3430 迁移后同时核对结构数据与行为 主题成员 Principles of Software Architecture Modernization · Data Migrations 理解等级:高级
  • 3799 支持事后补录 主题成员 数据之美 · 在数据中观察生活 理解等级:未标注
  • 展开或收起下级: 3800 数据可视化讲故事 路径上下文 数据之美 · 在数据中观察生活 理解等级:未标注
    • 展开或收起下级: 3800.i 显露模式以激发追问 路径上下文 数据之美 · 照片档案的地理之美 理解等级:未标注
  • 展开或收起下级: 3802 GPS环境估值须披露推断边界 路径上下文 数据之美 · 在数据中观察生活 理解等级:高级
  • 展开或收起下级: 3806 让表单先看起来很短,再根据用户的回答动态展开后续问题 路径上下文 数据之美 · 美丽的人们:设计数据收集方法时牢记用户 理解等级:未标注
  • 展开或收起下级: 3813 静态槽换取运行确定性 路径上下文 数据之美 · 火星上的嵌入式图像数据处理 理解等级:未标注
  • 展开或收起下级: 3820 平台加速组织学习 路径上下文 数据之美 · 信息平台和数据科学家的兴起 理解等级:未标注
    • 展开或收起下级: 3820.a 架构从具体问题长出 路径上下文 数据之美 · 信息平台和数据科学家的兴起 理解等级:未标注
  • 3823 新观察触发关联检查 主题成员 数据之美 · 数据发现数据 理解等级:未标注
  • 展开或收起下级: 3824 目录承载可扩展发现 路径上下文 数据之美 · 数据发现数据 理解等级:未标注
  • 展开或收起下级: 3837 有趣有用公开且免费的数据 路径上下文 数据之美 · 都市数据可视化 理解等级:高级
  • 展开或收起下级: 3838 摘要相同不代表形态相同 路径上下文 数据之美 · Sense.us的设计 理解等级:未标注
  • 3859 重复测序降低变异误判 主题成员 数据之美 · 数据中的生命:DNA漫谈 理解等级:中级
  • 展开或收起下级: 3860 样本元数据助力故障定位 主题成员 数据之美 · 数据中的生命:DNA漫谈 理解等级:高级
  • 3864 实验上下文解释异常值 主题成员 数据之美 · 美化真实世界中的数据 理解等级:未标注
  • 3865 可疑数据保留并标注 主题成员 数据之美 · 美化真实世界中的数据 理解等级:未标注
  • 3867 开放标识符支持集成 主题成员 数据之美 · 美化真实世界中的数据 理解等级:未标注
  • 3868 每条数据都应连回原始记录 主题成员 数据之美 · 美化真实世界中的数据 理解等级:中级
  • 3876 频数分布先暴露数据脏点 主题成员 数据之美 · 数据浅析:探索形形色色的社会定型 理解等级:中级
  • 3877 保留原始标签再做归一化 主题成员 数据之美 · 数据浅析:探索形形色色的社会定型 理解等级:中级
  • 展开或收起下级: 3878 长尾词频不要套正态直觉 路径上下文 数据之美 · 数据浅析:探索形形色色的社会定型 理解等级:中级
  • 展开或收起下级: 3883 可疑坐标按用途处理 主题成员 数据之美 · 旧金山海湾区之殇:次贷危机的影响 理解等级:未标注
  • 3886 价格调整要检查指标口径 主题成员 数据之美 · 旧金山海湾区之殇:次贷危机的影响 理解等级:高级
  • 3888 入样门槛限定比较范围 主题成员 数据之美 · 旧金山海湾区之殇:次贷危机的影响 理解等级:高级
  • 3889 地理口径错配会丢失匹配 主题成员 数据之美 · 旧金山海湾区之殇:次贷危机的影响 理解等级:中级
  • 展开或收起下级: 3900 同名不等于同一实体 主题成员 数据之美 · 连接数据 理解等级:未标注
  • 3902 先问可得数据再选技术 主题成员 数据之美 · 连接数据 理解等级:高级
  • 3903 数据孤岛也源于术语不一致 主题成员 数据之美 · 连接数据 理解等级:中级

未编号或编号待整理

  • 多图谱融合先解决身份匹配 理解等级:中级

    大数据时代的IT架构设计 · 社交网络大数据挖掘与社会化推荐引擎的构建

  • 工业大数据的范围与来源 理解等级:初级

    工业互联网安全 架构与防御 · 第2章 工业互联网安全基础

  • 口径先于开发 理解等级:未标注

    数据中台实战:手把手教你搭建数据中台 · 数据中台入门攻略

  • 指标拆解法 理解等级:未标注

    数据中台实战:手把手教你搭建数据中台 · 数据存储与计算

  • 页面先管理 理解等级:未标注

    数据中台实战:手把手教你搭建数据中台 · 流量分析

  • 数据层是地基 理解等级:未标注

    智能风控平台:架构、设计与实现 2021 · 智能风控平台架构

来源书籍

来源书籍

分布式机器学习实战

大数据与机器学习平台工程类

Skill 版本:v8

书籍类型:工程实践

清单覆盖 7/7

34 张卡片

来源书籍

可观测性工程

可观测性/监控类

Skill 版本:v23

书籍类型:经典原理

清单覆盖 8/8

189 张卡片

来源书籍

安全之美

安全/密码学类

Skill 版本:v11

书籍类型:未标注

清单覆盖 7/7

201 张卡片

来源书籍

数据之美

数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:

Skill 版本:v11

书籍类型:未标注

类别清单尚未核对

229 张卡片

主题索引

数据质量与数据治理

比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。

125 张卡片 · 23 本书

主题索引

数据伦理与隐私

比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。

29 张卡片 · 13 本书