算法监狱与反馈循环
预测天气与预测某人是否再犯、违约不同,后者直接影响个人生活。机构拒错的代价小于放错,自然倾向于存疑就拒绝;算法决策普及后,被标为有风险的人可能被系统性地排除在工作、保险、租房、金融之外,几乎无从申诉,这被称为算法监狱,与无罪推定相悖。算法是黑盒,输入有偏见就会学习并放大偏见,邮政编码、IP 地址等特征可能与种族高度相关。更危险的是反馈循环:账单逾期拉低信用分,求职更难,更加贫困,信用分继续恶化。
主题对照
比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。
预测天气与预测某人是否再犯、违约不同,后者直接影响个人生活。机构拒错的代价小于放错,自然倾向于存疑就拒绝;算法决策普及后,被标为有风险的人可能被系统性地排除在工作、保险、租房、金融之外,几乎无从申诉,这被称为算法监狱,与无罪推定相悖。算法是黑盒,输入有偏见就会学习并放大偏见,邮政编码、IP 地址等特征可能与种族高度相关。更危险的是反馈循环:账单逾期拉低信用分,求职更难,更加贫困,信用分继续恶化。
只存用户明确输入的数据时,服务为用户服务;把用户活动作为副产品追踪时,服务也在为自身利益服务。靠广告盈利的服务,真正的客户是广告主。隐私的本质不是保密一切,而是决定权:每个人决定自己在保密与透明之间的位置。经监控基础设施收集数据,隐私并未消失,而是从个人转到了公司手中。所谓同意隐私政策站不住脚:政策模棱两可,而当服务成为社会参与的必需品时,拒绝使用本身就有代价。
定向广告养活服务时,关于人的行为数据才是真正的产品;数据中介转售私人数据,泄露屡见不鲜,因此有人称数据为有毒资产。类比工业革命:它带来增长,也带来污染和童工,后来才以环保法规、劳动保护约束,成本提高但社会受益。Schneier 说,数据是信息时代的污染问题,保护隐私是环境挑战。行业需要文化转变:把用户当作有尊严的人,而非待优化的指标。
microworld模型适合研究受控场景,但一旦扩展到车辆、建筑或城市,假设会遭遇真实人的安全、责任和伦理问题。发散:从实验室到城市,需要重新验证边界,而不是线性放大。
机器学习会从语料和历史数据中继承偏见,并在推荐、招聘、搜索和城市系统中放大这些偏差。发散:公平性不是上线后的修补项,而应进入数据、模型、界面和治理设计。
机器学习体验设计需要同时处理自动化、代理、控制、偏见、信任和权力。发散:透明不是把模型细节全摊开,而是让用户知道系统何时介入、凭什么介入、如何申诉。
数据脱敏分五步:了解需求、确定使用环境、定义并分级敏感数据、确定敏感关联(关联字段须用同一规则,保证关联不断)、建立脱敏规则。规则分可恢复类(加解密)和不可恢复类(替换、重排、截断、掩码等)。好的脱敏要兼顾安全与数据可用性。
用户画像有四类风险:数据准确与完整性,自填信息不真实、浏览器屏蔽第三方 Cookie、多设备标识不统一;用户隐私与被反复推荐骚扰的厌倦;目标群体不足,越精准覆盖越窄;数据安全,实时竞价中恶意 DSP 可借竞价监听用户行为,广告主的访客数据可能被中间环节倒卖。
国家竞争的焦点正从资本、土地、人口、资源转向大数据资源,数据的类型、规模、质量及相关技术成为重塑国际格局的因素。数据主权将成为继领地、领海、领空之后的第四个国家主权要素:信息流引领技术流、资金流和人才流,掌握信息资源的多寡决定国家软实力。
大数据规范权力监督有三个层面:建立电子政务平台,让各级政府信息互联互通、推进公开;对权力执行行为做电子化记录,形成可追溯链条;用全样本监督检查替代抽样监督,从根本上避免抽样带来的监管缺失和遗漏。
从策划采集到结果输出,异常值处理、转换逻辑、样本选择、模型参数、可视化和解读都要人参与,也就会带上主观倾向。书中举例:去掉极小值让数字上升,挑数据量大的维度展示业绩,调整坐标轴放大下降趋势,对比特定时间段得出相反结论。数据工作者应尽量保持中立。
联邦学习面向手机等小型设备:设备先下载云端的共享模型,用本地历史数据训练更新;再把更新抽取成小文件,只将模型的差异部分加密上传;云端把各用户的差异模型平均后,改进共享模型。这样既聚合了大量边缘设备的数据和算力,原始数据又不必集中上传。
数据主权指把客户数据保存在创建和使用这些数据的国家。动因有两个:一是性能,活跃数据的访问延迟很关键,亚太地区到其他国家的延迟通常更高,数据靠近用户能明显改善体验;二是控制,新颁布和即将出台的法律要求企业关注数据的存储方式和地点,越来越多人认为把数据存到本地区以外存在安全和隐私问题。发散:它会影响存储、备份、容灾和云区域的选择。
作者提出在发送前由客户端处理敏感字段,使服务器只保存化名或密文,从而减少中心节点可直接读取的信息。保护范围取决于字段选择、客户端安全和密钥管理;表15-2仍保留商品等明文字段,不能说服务器一无所知或泄露毫无价值。
客户端独占密钥可减少服务端读取能力,也可能失去主动服务和错误恢复。原书指出输入微小变化会使散列标识完全不同,病历等高后果数据尤其不能照搬购物记录示例。选择方案前须明确丢失、泄露与可用性后果。
作者设想临床系统保留完整病历,研究方收到处理后的版本,以满足不同使用目的。散列身份并不保证无法再识别,其他字段或外部数据仍可能关联个人;共享前要核对准标识符、最小化、访问边界及适用规则。
当服务器不持有明文与密钥,攻击者可能更重视窃取客户端秘密。原书也提到键盘记录和社会工程风险。架构评估不能只看数据库泄露,应连同客户端完整性、凭据保护和恢复路径衡量整体风险。
PEIR用环境影响与排放汇总值支持好友比较,不分享用户的GPS轨迹。需要社交比较时,应只开放完成目的所需的派生数据,并把位置轨迹等高敏感原始数据留在私有范围。
案例通过IP地址映射州份,避免增加一个直接询问字段;但IP地址本身仍是数据,推断也可能超出用户对“个人信息”的理解。减少表单负担不能替代透明告知、合法依据和最小化处理。先判断信息是否必要、来源是否合乎承诺,再比较直接收集和间接推断的风险。
目录架构可以减少跨组织共享的原始数据:各方先交换必要的索引或关联信息,原始记录仍留在各自系统,按需授权查看;查询和发现结果可留日志以支持监督。它不会自动保证隐私,索引范围、访问权限、错误纠正和未授权搜索监控仍需治理。
盲链接可让没有账号的人直接访问被分享内容,操作简单,但链接一旦被猜到或转发,内容就可能泄露。它适合有意以持有链接作为访问条件的有限分享,不能等同于可验证身份和撤销权限的授权机制;敏感数据应采用更明确的访问控制。
数据只有在被正确收集、妥善保护并由合适的人理解和使用时,才可能转化为更好的判断。同一份细致人口数据用于公共服务时有益,若被迫害者利用也会放大伤害。设计数据系统时应同时检查用途、访问者和未来可能出现的滥用情境,而非只看数据是否准确。
公共数据常不含社会保险号等敏感唯一标识,个人记录因此更难可靠匹配;但姓名不是唯一线索,仍可结合地址、其他属性和关系语境。隐私限制减少可用的强标识,匹配结果应保留不确定性,不能仅凭姓名自动合并。
隐私设计先识别可直接或间接关联个人的信息,再限定哪些组织内外角色确有必要访问。测试需要逼真数据,不代表开发测试人员需要真实个人信息,通常可遮蔽。隐私政策与架构权限必须呼应,安全加密本身不能回答信息应向谁开放;书内法规背景不替代实际合规判断。
遗忘载荷模式把事件中的敏感字段加密,将每个聚合的密钥放在外部键值存储。需要使敏感数据不可访问时删除该密钥,事件序列仍保留,但密文无法再被解读。这是书中给出的技术模式;它依赖密钥隔离和销毁,不等于删除事件字节,也不自动证明满足特定法律要求。
用户可按通道选择是否接收通知,发送前检查设置,并对接收频率设上限。模板帮助统一格式,用户设置决定能否发送,两者不能混淆;高到达率也不应以持续打扰用户为代价。
遥测可能包含个人信息、令牌或敏感URL。流水线可在入口识别、清理并告警,也要知道数据会被路由到哪些后端、保留多久,以及如何执行删除。只在一个导出端脱敏,不能证明其他副本也已处理;治理必须覆盖实际分发路径。
风控报告需要展示决策结果、各环节命中情况和关键数据,但也要按角色选择性呈现敏感信息。发散:报告不是越全越好,能解释、能追溯、不过度暴露才是产品目标。
混合云天然具备较强的数据完整性保护能力(异地备份、多副本),但防失窃、防偷窥、防复制这类 “数据保密性”层面的安全,法律合规标准往往没有针对混合云场景给出细化规定,需要用户自己在 架构里补上。以GDPR为例,它赋予用户处理自己个人数据的权利,这反过来要求企业必须先能”识别” 出系统里哪些数据算个人数据,再在这些数据完整的生命周期——采集、存储、访问、销毁——各环节 分别落实加密存储、授权访问、及时销毁等具体技术手段。这提示一个容易被忽略的架构前置步骤: 合规不是上线前找安全团队”过一遍”的收尾工作,而是必须先完成数据分类识别,才能反过来确定 哪些数据要加密、谁能访问、多久要销毁——分类做不到位,后面的技术手段无从谈起。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:经典原理
149 张卡片
来源书籍
书籍类型:经典原理
312 张卡片
来源书籍
书籍类型:经典原理
125 张卡片
来源书籍
企业大数据建设类
书籍类型:工程实践
清单覆盖 7/7
102 张卡片
来源书籍
分布式人工智能与多智能体类
书籍类型:工程实践
清单覆盖 7/7
35 张卡片
来源书籍
高可用与云架构风险管理类
书籍类型:工程实践
清单覆盖 7/7
60 张卡片
来源书籍
可观测性/监控类
书籍类型:经典原理
清单覆盖 8/8
189 张卡片
来源书籍
安全/密码学类
书籍类型:未标注
清单覆盖 7/7
201 张卡片
来源书籍
数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:
书籍类型:未标注
类别清单尚未核对
229 张卡片
来源书籍
分布式系统类
书籍类型:经典原理
类别清单尚未核对
194 张卡片
来源书籍
书籍类型:工程实践
52 张卡片
来源书籍
软件架构方法论类
书籍类型:经典原理
类别清单尚未核对
123 张卡片
来源书籍
混合云/云计算平台架构类
书籍类型:速查手册
清单覆盖 9/9
38 张卡片
主题索引
比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。
主题索引
比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。
主题索引
比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。
主题索引
质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。
主题索引
数据并行、模型并行、流水线并行的切分对象与通信代价,DP/DDP/Horovod 的等价性与主卡瓶颈,同步与异步训练的收敛取舍,以及联邦学习在数据不出域时怎么组织联合训练。
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍