← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2274.g.2.a.1.c.1.c

算法开发套件的构成

理解等级:中级

DT 时代的数据高维稀疏、业务快速迭代,而企业面临烟囱式开发、模型服务散落、研发环节繁多、基础设施冗余、多角色团队协作等问题,需要一站式的企业级机器学习工具。算法开发套件集成以批计算为核心的离线训练、以流计算为核心的在线学习,以及基于在线查询和即席分析的数据探索,并为离线、实时开发提供算法模型;加工好的数据和标签资产又反过来用于训练。作者强调:数据和特征决定了机器学习的上限。

主要组成:

  • 可视化建模:拖曳编排数据集、模型和算法组件成 DAG,零代码完成处理、训练、评估、预测;支持分钟到月级的实验周期调度、多渠道告警、多角色协作与权限隔离。
  • Notebook 建模:集成 JupyterLab,支持 Scala、Python、R、Shell,可通过 API 调用标准组件,借助共享存储与 Kubernetes 保证高可用和隔离。
  • 数据集管理:多种方式接入结构化与非结构化数据;数据标注采用“人工少量标注—模型预标注—人工判断并反馈”的循环,配合抽检与多重审核(普通标注数据可把多数算法准确率提到 95%,从 95% 到 99% 甚至 99.9% 需要大量高质量标注);数据探查用于评估数据集质量和适用模型。
  • 核心算法组件:数据获取与存储、预处理(采样、拆分、归一化、缺失值填充等)、特征工程、统计分析、机器学习(分类、回归、聚类)、深度学习、文本分析、网络分析和工具类组件。
  • 多算法框架与多版本:支持 TensorFlow、PyTorch、LightGBM 等;多版本运行可用 Conda 环境隔离(不侵入机器环境)或 Docker 镜像隔离(隔离更好但有虚拟化性能损失)。
  • 与离线、实时开发联合:模型有开发态(训练、周期生成模型)和运行态(部署后计算输出);训练可纳入数据开发流程统一调度并自动创建版本,应用时在计算任务或即席分析中动态加载最新版本模型。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据中台:让数据用起来(第2版)》第05章《第5章 数据开发:数据价值提炼工厂》5.4 算法开发(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0029.xhtml,来源项目 book-sources) - 结论依据:5.4节说明算法开发面临的挑战与套件定位,依次介绍可视化建模、Notebook建模、数据集管理(接入、标注、探查)、核心算法组件、多算法框架与Conda/Docker多版本隔离,以及模型开发态与运行态和离线、实时开发的联合应用。 - 原始内容:大部分算法在拥有足够多普通标注数据的情况下,能够将准确率提升到95%,但要从95%提升到99%甚至99.9%,就需要大量高质量的标注数据。