知识卡片
获取阶段的底层设计
安全:移动数据带来风险。VPC 内移动的数据使用安全端点、不离开 VPC;云与本地之间用 VPN 或专线;经过公网必须加密。在网络上加密数据始终是好实践。
模式变化仍是数据管理中未解决的问题: - 传统做法是严格审查——某大企业客户增加一个字段需要六个月准备,对敏捷不可接受; - 另一个极端是源模式一变就以新模式重建目标表,解决了获取问题却可能破坏下游; - 作者设想借鉴 Git 的分支思想:云上存储便宜,可以维护同一张表具有不同模式、不同上游转换的多个版本,用 Airflow 等编排工具支持表的“开发”版本,模式变化、上游转换和代码变化先在开发表中出现,再正式改变主表。
数据道德、隐私和合规: - 先问:你真的需要这些敏感数据吗? 下游不需要就在存储前删除敏感字段——不收集就不会泄露; - 确需跟踪时用令牌化做匿名,尽量在获取时就哈希; - 尽可能实现无接触生产环境:用模拟或脱敏数据在开发和预生产环境开发测试,自动化部署到生产;必须访问生产敏感数据排查时,需至少两人批准、限定问题范围并设截止日期; - 警惕用技术方案解决人为问题:大多数存储默认已加密,真正的问题常是数据访问而非加密,避免形式主义加密;令牌化也要用常识——若有人拿着客户邮箱,能否自己哈希后在你的数据中找到该客户?
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第7章 获取
原书出处 · 1 处
- 第7章 获取 · 查看原书依据
如果不收集敏感数据,那么它们就不会泄漏。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.7 底层设计(7.7.1 安全;7.7.2 数据管理)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources)
- 结论依据:7.7.1节说明获取阶段的网络安全要求;7.7.2节讨论模式变化管理的困境与借鉴Git维护多版本表的设想,以及数据最小化、获取时哈希、无接触生产、双人审批和警惕形式主义加密等隐私实践。
- 原始内容:如果不收集敏感数据,那么它们就不会泄漏。