知识卡片
管道的类型与ML管道排障
为什么重要:数据处理管道把来自移动统计、传感器网络、Web 日志等的无界、无序、全球规模的数据集,变成结构化、带索引的存储,支撑业务决策和产品功能,往往对业务至关重要——数据延迟或错误可能直接出现在用户界面上,修复昂贵费时。SRE 应尽早参与:Google SRE 会定期与开发管道的团队磋商,确保管道能轻松发布、修改和运行而不影响客户。
管道由多个阶段组成,每个阶段是依赖其他阶段的独立过程;如 Cloud Dataflow 让用户用高层 API 写业务逻辑,由框架转换成一系列步骤。
三类应用: - ETL / 事件处理与数据转换:抽取、转换(增删字段、跨源聚合、建索引)、加载;用于机器学习或商业智能的预处理、按时间窗口计数、准备账单报告、支撑网页搜索的索引管道; - 数据分析(商业智能):例如手游“Shave the Yak”把移动端和网页的分析数据存进 BigQuery,Google Analytics 每天更新三次,每次有新数据就跑作业写入日汇总表,用于月度功能使用报告; - 机器学习:提取特征和标签 → 训练模型 → 在测试集上评估 → 提供服务 → 其他系统据此决策。例:Dressy 想在新商品上传 12 小时内进入推荐;商品数据格式不一,用 Dataflow 流式预处理(调用图片分类服务提取特征),结合 BigQuery 中的购买历史训练 TensorFlow 模型,存到 GCS,通过准确性检查后由在线预测服务提供推荐。
ML 管道出问题时自问(新模型有时 24 小时内没发布、推荐间歇报错):预处理前数据是否一直在流入管道?是否因软件错误、垃圾数据过多、特征选择不当导致模型变差?最近是否生成了新版本模型,还是生产中跑的是过时的版本?——要有监控能在客户发现前检测,并能快速修复或回滚。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 数据处理管道 · 查看原书依据
数据处理管道可以将这些通常无限制,无序的全球规模的数据集转变为结构化的索引存储,可以帮助您确定重要的业务决策或解锁新产品功能。