知识卡片
转换阶段的协作与底层设计
你和谁一起工作:这是最“全面接触”的阶段,数据工程师负责设计、建立、维护数据系统的完整性并实现数据模型。 - 上游分两类:控制业务定义的人、控制系统生成数据的人。转换很容易写——一个查询加一张表;让它既高效又对业务有价值是另一回事,要始终把业务要求放在首位。上游希望你的查询对其系统影响最小,源系统数据模型的变化(列、索引)要双向沟通; - 下游(分析师、数据科学家、ML 工程师、业务人员):查询要以最具成本效益的方式尽快执行,数据要可信、可集成进其工作流。
底层设计: - 安全:转换把数据集组合成新数据集,谁能访问它?继续做列、行、单元格级控制;严格监控数据库读写权限;不要把凭证粘贴到代码或未加密文件——GitHub 仓库里常能看到数据库用户名密码; - 数据管理:与所有利益相关者就命名规则和业务定义达成一致;转换是否遵守预期业务逻辑?语义层/度量层越来越流行;依靠主数据管理保证一致维度;用数据血缘理解转换来源;合规上能否响应删除请求,并通过血缘找到从被删数据衍生出的数据、重跑转换删除下游数据? - DataOps:数据侧——输入输出是否正确、模式是否正确、最小/最大值和空值等统计如何,对输入和转换后的数据跑质量测试,出问题就记录、回滚、调查;系统侧——监控查询队列、并发、内存、存储、网络延迟、磁盘 I/O,找出瓶颈和慢查询,数据驱动地判断是查询问题还是系统问题。按用量计费的云数仓让重点从性能转向成本管理(FinOps); - 数据架构:获取和存储的选型直接影响查询和转换。反例:团队把实时管道接到 RDBMS 或 Elasticsearch 当数仓用,这些系统并未为大批量聚合 OLAP 查询优化; - 编排:cron 起初可行,复杂后成噩梦,应使用基于依赖关系的编排工具; - 软件工程:了解工具的最佳实践——作者见过把迟缓的 UDF 换成内置 SQL 函数后性能立即大幅改善。dbt 等分析工程工具让分析师用 SQL 做库内转换,数据工程师转而搭建代码库和 CI/CD。低代码工具在幕后生成 SQL,盲目假设工具会生成高性能代码往往是错的。
总结:雇用工程师不是为了玩最新技术,而是为了服务客户;转换是为业务增加价值和投资回报的地方。把实时数据当作为技术而技术的团队会重蹈大数据时代的覆辙,先确定业务用例再选技术。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
转换是很容易做到的,只要写一个查询,然后把结果放到一个表或视图中。