知识卡片
MLLib的Pipeline三概念:Transformer/Estimator与无状态设计
MLLib借鉴Scikit-learn的思路,把机器学习工作流标准化成三个可组合的概念。Transformer是一种”DataFrame变换算法”,它接收一个DataFrame、通常通过在原有列基础上追加新列的方式产出一个新DataFrame——既包括特征工程类操作(比如把一列文本切词后追加”words”新列),也包括已经训练好的模型本身(把一列特征映射成一列预测结果同样是”追加新列”)。Estimator则是一种”学习算法”,它的特点是实现了fit()方法,接收一个DataFrame作为训练集,产出一个Model——而这个Model本质上就是一个Transformer(因为它接下来要做的事情是”接收特征DataFrame、输出预测结果DataFrame”)。Pipeline把多个Transformer和Estimator按顺序串联起来,形成一条完整的工作流:比如一段文本处理管道可以是”切词(Transformer)→转成特征向量(Transformer)→用特征向量和标签训练出预测模型(Estimator,其fit()产出的Model又是一个Transformer)”。这套设计里有一个容易被忽视但很关键的约束——Transformer和Estimator都被设计成无状态的,书中特别指出这正是让Pipeline组合起来”极具灵活性”的原因:因为每个环节都不依赖内部可变状态,多个环节可按顺序组合,但上游输出列与下游所需输入schema必须匹配,训练后的Model也有依赖;不能任意重排。可迁移启发:设计任何”多环节可组合的处理流水线”时,减少接口中的可变运行状态有助于复用,但不能仅凭无状态推断任意输入都得到确定输出,也不能忽略阶段顺序和schema依赖——这与函数式编程里”纯函数更易组合”的道理是同一件事在机器学习工作流设计里的体现。
结构图:
flowchart LR
A["原始DataFrame"] -->|"Transformer:切词"| B["+words列"]
B -->|"Transformer:特征向量化(HashingTF)"| C["+features列"]
C -->|"Estimator.fit()训练"| D["Model(本质是Transformer)"]
D -->|"Model.transform()预测"| E["+prediction列"]
N["阶段按顺序执行<br/>输入输出schema与Model依赖须匹配"] -.-> A
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。