知识卡片
服务阶段的职责与底层设计
你和谁一起工作:数据分析师、数据科学家、MLOps/ML 工程师、业务侧(非技术利益相关者、经理、高管)。数据工程师支持这些人的工作,但不一定对数据的最终使用方式负责——为分析师的报告提供数据,但不对其解读负责;负责的是产出高质量的数据产品。初创公司中数据工程师可能兼任 ML 工程师或数据科学家,但非长久之计,公司壮大后要建立明确的职责分工。数据网格会重新分配职责,每个领域团队都要切实履行数据服务职责。
底层设计——数据服务是确保交付给终端用户的数据质量的最后一道屏障,很多前期漏洞到这里才暴露: - 安全:服务阶段最能体现安全必要性,不分青红皂白地共享数据会导致泄露、罚款、负面新闻甚至失业。对人和系统都推行最小权限,通常只给特定库和数据集的只读权限,用 IAM 角色按用户组授权,必要时细化到字段、行、列、单元格,不需要时收回。多租户下用带过滤条件的视图确保用户只看到自己的数据。检查数据产品的使用频率:高管紧急要的报告很快没人用了,问清不需要就停掉,少一个安全漏洞。安全不是障碍而是推动数据服务的关键; - 数据管理:受信任的数据会被使用,不受信任的会被闲置。收集用户反馈、让用户能报告问题并积极回应;即使有限字段也可能追溯到真实个人,用数据脱敏(合成、打乱、匿名)降低风险(并非十全十美);语义层和严谨数据模型提供可信的单一数据源; - DataOps:监控数据健康和不可用时间、服务系统延迟、数据质量、安全与访问、所提供数据和模型的版本、SLO 达标情况;对分析代码、数据逻辑、ML 脚本、编排作业做版本控制,报告和模型走开发—测试—生产多阶段部署; - 数据架构:用户反馈循环要快速紧密,鼓励数据科学家从本地迁到云上公用系统; - 编排:集中式易协调,但一个写得不好的 DAG 可能让整个 Airflow 停顿、全组织数据流瘫痪,需要高标准的自动化 DAG 测试和把关;非集中式让小团队自管数据流,但增加跨团队协调负担; - 软件工程:了解 LookML、dbt Jinja、ORM、度量层编译出的 SQL 性能,必要时提出优化;搭建 CI/CD 和 Data/MLOps 基础设施,培训数据团队自给自足;嵌入式分析中与应用开发者合作,确保查询快速且经济。
总结:数据服务与生命周期其他阶段形成反馈循环(构建—学习—改进)。利益相关者指出问题时不要生气,这是改进的机会。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
如果数据产品没有在使用,就去问问用户是否还需要它们。