主题对照

数据伦理与隐私

比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。

29 张卡片 · 13 本书

本层 29 张卡片 · 含下级覆盖 29 张卡片

本主题的卡片

数据密集型应用系统设计 · 数据系统的未来

算法监狱与反馈循环

预测天气与预测某人是否再犯、违约不同,后者直接影响个人生活。机构拒错的代价小于放错,自然倾向于存疑就拒绝;算法决策普及后,被标为有风险的人可能被系统性地排除在工作、保险、租房、金融之外,几乎无从申诉,这被称为算法监狱,与无罪推定相悖。算法是黑盒,输入有偏见就会学习并放大偏见,邮政编码、IP 地址等特征可能与种族高度相关。更危险的是反馈循环:账单逾期拉低信用分,求职更难,更加贫困,信用分继续恶化。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

监视与隐私转移

只存用户明确输入的数据时,服务为用户服务;把用户活动作为副产品追踪时,服务也在为自身利益服务。靠广告盈利的服务,真正的客户是广告主。隐私的本质不是保密一切,而是决定权:每个人决定自己在保密与透明之间的位置。经监控基础设施收集数据,隐私并未消失,而是从个人转到了公司手中。所谓同意隐私政策站不住脚:政策模棱两可,而当服务成为社会参与的必需品时,拒绝使用本身就有代价。

查看卡片与原书出处

数据密集型应用系统设计 · 数据系统的未来

数据是信息时代污染

定向广告养活服务时,关于人的行为数据才是真正的产品;数据中介转售私人数据,泄露屡见不鲜,因此有人称数据为有毒资产。类比工业革命:它带来增长,也带来污染和童工,后来才以环保法规、劳动保护约束,成本提高但社会受益。Schneier 说,数据是信息时代的污染问题,保护隐私是环境挑战。行业需要文化转变:把用户当作有尊严的人,而非待优化的指标。

查看卡片与原书出处

架构启示录 · 建造智能的世界

小世界放大风险

microworld模型适合研究受控场景,但一旦扩展到车辆、建筑或城市,假设会遭遇真实人的安全、责任和伦理问题。发散:从实验室到城市,需要重新验证边界,而不是线性放大。

查看卡片与原书出处

架构启示录 · 建造智能的世界

算法不中立

机器学习会从语料和历史数据中继承偏见,并在推荐、招聘、搜索和城市系统中放大这些偏差。发散:公平性不是上线后的修补项,而应进入数据、模型、界面和治理设计。

查看卡片与原书出处

架构启示录 · 建造智能的世界

透明信任权力

机器学习体验设计需要同时处理自动化、代理、控制、偏见、信任和权力。发散:透明不是把模型细节全摊开,而是让用户知道系统何时介入、凭什么介入、如何申诉。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流

数据脱敏五步

数据脱敏分五步:了解需求、确定使用环境、定义并分级敏感数据、确定敏感关联(关联字段须用同一规则,保证关联不断)、建立脱敏规则。规则分可恢复类(加解密)和不可恢复类(替换、重排、截断、掩码等)。好的脱敏要兼顾安全与数据可用性。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据业务应用

用户画像四类风险

用户画像有四类风险:数据准确与完整性,自填信息不真实、浏览器屏蔽第三方 Cookie、多设备标识不统一;用户隐私与被反复推荐骚扰的厌倦;目标群体不足,越精准覆盖越窄;数据安全,实时竞价中恶意 DSP 可借竞价监听用户行为,广告主的访客数据可能被中间环节倒卖。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据的社会价值

数据主权第四要素

国家竞争的焦点正从资本、土地、人口、资源转向大数据资源,数据的类型、规模、质量及相关技术成为重塑国际格局的因素。数据主权将成为继领地、领海、领空之后的第四个国家主权要素:信息流引领技术流、资金流和人才流,掌握信息资源的多寡决定国家软实力。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据的社会价值

全样本替代抽样监督

大数据规范权力监督有三个层面:建立电子政务平台,让各级政府信息互联互通、推进公开;对权力执行行为做电子化记录,形成可追溯链条;用全样本监督检查替代抽样监督,从根本上避免抽样带来的监管缺失和遗漏。

查看卡片与原书出处

企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战

数据结果并不中立

从策划采集到结果输出,异常值处理、转换逻辑、样本选择、模型参数、可视化和解读都要人参与,也就会带上主观倾向。书中举例:去掉极小值让数字上升,挑数据量大的维度展示业绩,调整坐标轴放大下降趋势,对比特定时间段得出相反结论。数据工作者应尽量保持中立。

查看卡片与原书出处

分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 分布式系统简介

联邦学习流程

联邦学习面向手机等小型设备:设备先下载云端的共享模型,用本地历史数据训练更新;再把更新抽取成小文件,只将模型的差异部分加密上传;云端把各用户的差异模型平均后,改进共享模型。这样既聚合了大量边缘设备的数据和算力,原始数据又不必集中上传。

查看卡片与原书出处

可伸缩架构(第2版):云环境下的高可用与风险管理 · 地理位置对云计算的影响

数据主权是架构约束

数据主权指把客户数据保存在创建和使用这些数据的国家。动因有两个:一是性能,活跃数据的访问延迟很关键,亚太地区到其他国家的延迟通常更高,数据靠近用户能明显改善体验;二是控制,新颁布和即将出台的法律要求企业关注数据的存储方式和地点,越来越多人认为把数据存到本地区以外存在安全和隐私问题。发散:它会影响存储、备份、容灾和云区域的选择。

查看卡片与原书出处

安全之美 · 无需真实数据就能出色完成工作

客户端处理可减少服务器明文

作者提出在发送前由客户端处理敏感字段,使服务器只保存化名或密文,从而减少中心节点可直接读取的信息。保护范围取决于字段选择、客户端安全和密钥管理;表15-2仍保留商品等明文字段,不能说服务器一无所知或泄露毫无价值。

查看卡片与原书出处

安全之美 · 无需真实数据就能出色完成工作

隐私设计要权衡恢复和服务

客户端独占密钥可减少服务端读取能力,也可能失去主动服务和错误恢复。原书指出输入微小变化会使散列标识完全不同,病历等高后果数据尤其不能照搬购物记录示例。选择方案前须明确丢失、泄露与可用性后果。

查看卡片与原书出处

安全之美 · 无需真实数据就能出色完成工作

多层次数据共享仍需再识别评估

作者设想临床系统保留完整病历,研究方收到处理后的版本,以满足不同使用目的。散列身份并不保证无法再识别,其他字段或外部数据仍可能关联个人;共享前要核对准标识符、最小化、访问边界及适用规则。

查看卡片与原书出处

安全之美 · 无需真实数据就能出色完成工作

隐私风险可能转移到客户端

当服务器不持有明文与密钥,攻击者可能更重视窃取客户端秘密。原书也提到键盘记录和社会工程风险。架构评估不能只看数据库泄露,应连同客户端完整性、凭据保护和恢复路径衡量整体风险。

查看卡片与原书出处

数据之美 · 在数据中观察生活

分享汇总而非位置原始数据

PEIR用环境影响与排放汇总值支持好友比较,不分享用户的GPS轨迹。需要社交比较时,应只开放完成目的所需的派生数据,并把位置轨迹等高敏感原始数据留在私有范围。

查看卡片与原书出处

数据之美 · 美丽的人们:设计数据收集方法时牢记用户

推断位置也要守住隐私承诺

案例通过IP地址映射州份,避免增加一个直接询问字段;但IP地址本身仍是数据,推断也可能超出用户对“个人信息”的理解。减少表单负担不能替代透明告知、合法依据和最小化处理。先判断信息是否必要、来源是否合乎承诺,再比较直接收集和间接推断的风险。

查看卡片与原书出处

数据之美 · 数据发现数据

目录模型可降低数据共享风险

目录架构可以减少跨组织共享的原始数据:各方先交换必要的索引或关联信息,原始记录仍留在各自系统,按需授权查看;查询和发现结果可留日志以支持监督。它不会自动保证隐私,索引范围、访问权限、错误纠正和未授权搜索监控仍需治理。

查看卡片与原书出处

数据之美 · 实时的可移动数据

盲链接分享有泄露风险

盲链接可让没有账号的人直接访问被分享内容,操作简单,但链接一旦被猜到或转发,内容就可能泄露。它适合有意以持有链接作为访问条件的有限分享,不能等同于可验证身份和撤销权限的授权机制;敏感数据应采用更明确的访问控制。

查看卡片与原书出处

数据之美 · Sense.us的设计

数据价值与风险取决于使用方式

数据只有在被正确收集、妥善保护并由合适的人理解和使用时,才可能转化为更好的判断。同一份细致人口数据用于公共服务时有益,若被迫害者利用也会放大伤害。设计数据系统时应同时检查用途、访问者和未来可能出现的滥用情境,而非只看数据是否准确。

查看卡片与原书出处

数据之美 · 连接数据

链接能力受隐私约束

公共数据常不含社会保险号等敏感唯一标识,个人记录因此更难可靠匹配;但姓名不是唯一线索,仍可结合地址、其他属性和关系语境。隐私限制减少可用的强标识,匹配结果应保留不确定性,不能仅凭姓名自动合并。

查看卡片与原书出处

Software Architecture in Practice, 4th Edition · 信息安全

隐私还要控制内部使用

隐私设计先识别可直接或间接关联个人的信息,再限定哪些组织内外角色确有必要访问。测试需要逼真数据,不代表开发测试人员需要真实个人信息,通常可遮蔽。隐私政策与架构权限必须呼应,安全加密本身不能回答信息应向谁开放;书内法规背景不替代实际合规判断。

查看卡片与原书出处

Learning Domain-Driven Design · 建模时间维度

遗忘载荷隔离敏感数据

遗忘载荷模式把事件中的敏感字段加密,将每个聚合的密钥放在外部键值存储。需要使敏感数据不可访问时删除该密钥,事件序列仍保留,但密文无法再被解读。这是书中给出的技术模式;它依赖密钥隔离和销毁,不等于删除事件字节,也不自动证明满足特定法律要求。

查看卡片与原书出处

System Design Interview – An insiders guide, Second Edition · 通知

发送前检查通知意愿

用户可按通道选择是否接收通知,发送前检查设置,并对接收频率设上限。模板帮助统一格式,用户设置决定能否发送,两者不能混淆;高到达率也不应以持续打扰用户为代价。

查看卡片与原书出处

可观测性工程 · 第18章 使用流水线进行遥测管理

敏感遥测需可定位删除

遥测可能包含个人信息、令牌或敏感URL。流水线可在入口识别、清理并告警,也要知道数据会被路由到哪些后端、保留多久,以及如何执行删除。只在一个导出端脱敏,不能证明其他副本也已处理;治理必须覆盖实际分发路径。

查看卡片与原书出处

智能风控平台:架构、设计与实现 2021 · 智能风控平台核心系统

报告要脱敏

风控报告需要展示决策结果、各环节命中情况和关键数据,但也要按角色选择性呈现敏感信息。发散:报告不是越全越好,能解释、能追溯、不过度暴露才是产品目标。

查看卡片与原书出处

混合云架构 · 混合云介绍

合规要求把数据识别变成架构前置步骤

混合云天然具备较强的数据完整性保护能力(异地备份、多副本),但防失窃、防偷窥、防复制这类 “数据保密性”层面的安全,法律合规标准往往没有针对混合云场景给出细化规定,需要用户自己在 架构里补上。以GDPR为例,它赋予用户处理自己个人数据的权利,这反过来要求企业必须先能”识别” 出系统里哪些数据算个人数据,再在这些数据完整的生命周期——采集、存储、访问、销毁——各环节 分别落实加密存储、授权访问、及时销毁等具体技术手段。这提示一个容易被忽略的架构前置步骤: 合规不是上线前找安全团队”过一遍”的收尾工作,而是必须先完成数据分类识别,才能反过来确定 哪些数据要加密、谁能访问、多久要销毁——分类做不到位,后面的技术手段无从谈起。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 966 IT与OT可信度要素的差异与并集 路径上下文 工业互联网安全 架构与防御 · 第2章 工业互联网安全基础 理解等级:未标注
    • 展开或收起下级: 966.n 信息安全同时保护CIA 路径上下文 Software Architecture in Practice, 4th Edition · 信息安全 理解等级:高级
  • 展开或收起下级: 1167 混合云与多云的区别是互联还是管理 路径上下文 混合云架构 · 混合云介绍 理解等级:未标注
  • 展开或收起下级: 1457 编译器报错比代码审查反馈更省成本 路径上下文 Google系统架构解密:构建安全可靠的系统 · 编写代码 理解等级:未标注
  • 展开或收起下级: 1749 流水线是治理层 路径上下文 可观测性工程 · 使用流水线进行遥测管理 理解等级:未标注
  • 展开或收起下级: 1823 消失的互联网 路径上下文 架构启示录 · 建造智能的世界 理解等级:未标注
    • 1823.c 小世界放大风险 主题成员 架构启示录 · 建造智能的世界 理解等级:未标注
    • 1823.e 算法不中立 主题成员 架构启示录 · 建造智能的世界 理解等级:未标注
    • 1823.f 透明信任权力 主题成员 架构启示录 · 建造智能的世界 理解等级:未标注
  • 展开或收起下级: 2280 故障不同于失效 路径上下文 数据密集型应用系统设计 · 可靠性、可伸缩性、可维护性 理解等级:未标注
    • 展开或收起下级: 2280.s 没有万能数据工具 路径上下文 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.22 算法监狱与反馈循环 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.23 监视与隐私转移 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
      • 2280.s.24 数据是信息时代污染 主题成员 数据密集型应用系统设计 · 数据系统的未来 理解等级:未标注
  • 展开或收起下级: 2777 数据质量六维度 路径上下文 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流 理解等级:未标注
    • 2777.b 数据脱敏五步 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据工作流 理解等级:未标注
  • 展开或收起下级: 2778 场景分析五要素 路径上下文 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据业务应用 理解等级:未标注
    • 2778.d 用户画像四类风险 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 企业大数据业务应用 理解等级:未标注
  • 展开或收起下级: 2780 数据主权第四要素 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据的社会价值 理解等级:未标注
    • 2780.a 全样本替代抽样监督 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据的社会价值 理解等级:未标注
  • 展开或收起下级: 2781 数据挑战五问题 路径上下文 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战 理解等级:未标注
    • 2781.e 数据结果并不中立 主题成员 企业大数据系统构建实战_技术、架构、实施与应用 (大数据技术丛书) · 大数据当前问题及挑战 理解等级:未标注
  • 展开或收起下级: 2791 三层分布式 路径上下文 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 分布式系统简介 理解等级:未标注
    • 2791.d 联邦学习流程 主题成员 分布式人工智能基于TensorFlow、RTOS与群体智能体系 (王静逸) · 分布式系统简介 理解等级:未标注
  • 展开或收起下级: 2937 云采用受地域影响 路径上下文 可伸缩架构(第2版):云环境下的高可用与风险管理 · 地理位置对云计算的影响 理解等级:未标注
    • 2937.a 数据主权是架构约束 主题成员 可伸缩架构(第2版):云环境下的高可用与风险管理 · 地理位置对云计算的影响 理解等级:未标注
  • 展开或收起下级: 3325 客户端处理可减少服务器明文 主题成员 安全之美 · 无需真实数据就能出色完成工作 理解等级:中级
  • 展开或收起下级: 3802 GPS环境估值须披露推断边界 路径上下文 数据之美 · 在数据中观察生活 理解等级:高级
  • 3807 推断位置也要守住隐私承诺 主题成员 数据之美 · 美丽的人们:设计数据收集方法时牢记用户 理解等级:未标注
  • 展开或收起下级: 3824 目录承载可扩展发现 路径上下文 数据之美 · 数据发现数据 理解等级:未标注
  • 展开或收起下级: 3828 授权不应交出密码 路径上下文 数据之美 · 实时的可移动数据 理解等级:中级
  • 3840 数据价值与风险取决于使用方式 主题成员 数据之美 · Sense.us的设计 理解等级:高级
  • 展开或收起下级: 3900 同名不等于同一实体 路径上下文 数据之美 · 连接数据 理解等级:未标注
  • 4464 发送前检查通知意愿 主题成员 System Design Interview – An insiders guide, Second Edition · 通知 理解等级:高级

未编号或编号待整理

  • 报告要脱敏 理解等级:未标注

    智能风控平台:架构、设计与实现 2021 · 智能风控平台核心系统

来源书籍

来源书籍

可观测性工程

可观测性/监控类

Skill 版本:v23

书籍类型:经典原理

清单覆盖 8/8

189 张卡片

来源书籍

安全之美

安全/密码学类

Skill 版本:v11

书籍类型:未标注

清单覆盖 7/7

201 张卡片

来源书籍

数据之美

数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:

Skill 版本:v11

书籍类型:未标注

类别清单尚未核对

229 张卡片

来源书籍

架构启示录

软件架构方法论类

Skill 版本:v23

书籍类型:经典原理

类别清单尚未核对

123 张卡片

来源书籍

混合云架构

混合云/云计算平台架构类

Skill 版本:v1

书籍类型:速查手册

清单覆盖 9/9

38 张卡片

主题索引

数据质量与数据治理

比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。

125 张卡片 · 23 本书

主题索引

大数据营销、广告与征信应用

比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。

108 张卡片 · 12 本书

主题索引

分布式机器学习训练

比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。

80 张卡片 · 6 本书

主题索引

数据质量与校验

质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。

70 张卡片 · 17 本书

主题索引

训练并行策略

数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。

58 张卡片 · 3 本书