← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.14.g

数据工程师的ML素养

理解等级:中级

职责边界因组织而异:有的组织由 ML 工程师处理 ML 应用的数据,甚至形成平行的数据组织;有的由数据工程师负责全部数据处理流程,再交付训练数据,甚至承担特征提取。续运动短裤案例:数据科学家发现面料质量受原聚酯特性、温度、湿度和织布机参数影响,开发了优化织布机参数的模型;ML 工程师实现自动化训练和织布机自动调参流程;数据工程师与 ML 工程师共同设计特征提取管道,由数据工程师实现并维护。

数据工程师不必精通 ML,但了解基础能大幅帮助与数据科学家共建数据产品。值得掌握的知识: - 监督、非监督、半监督学习的差别;分类与回归的差别;时间序列分析与预测; - 在逻辑回归、树模型、SVM 等“典型”方法与深度学习之间选择——数据科学家常立刻选深度学习,可能杀鸡用牛刀,基础知识能帮你判断技术是否合适、界定所需数据的边界; - 何时用 AutoML、何时自建模型; - 结构化与非结构化数据的整理技术;所有用于 ML 的数据最终都会转成数字,要确保特征工程中能正确转换;分类数据和各类嵌入的编码; - 批量学习与在线学习(批处理数据适合离线训练,流数据适合在线学习); - 数据工程生命周期与 ML 生命周期在公司内如何交集,是否要支持特征库、ML 可观测性; - 本地、集群、边缘训练的适用场景,何时用 GPU 而非 CPU; - 数据级联及其对模型的影响; - 结果是实时返回还是批量返回(批量字幕生成 vs 实时商品推荐)。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第09章《第9章 为分析、机器学习和反向ETL提供数据服务》9.3 机器学习;9.4 数据工程师需要理解的机器学习知识(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0015.xhtml,来源项目 book-sources) - 结论依据:9.3节说明ML中数据工程师、ML工程师、数据科学家的职责分工因组织而异,并以织布机参数优化说明协作;9.4节列出数据工程师应了解的机器学习知识清单。 - 原始内容:作为数据工程师,基础的机器学习知识可以帮助发现机器学习技术是否合适,以及界定所需数据的边界。