强化学习闭环
强化学习让智能体在环境中行动,根据环境反馈不断修正自己的行为:DeepMind 的模型靠反复玩游戏优化表现,AlphaGo Zero 不用人类棋谱,从零自我对弈就超越了前代。它和人的学习很像,都是在目标驱使下施加影响、根据反馈调整。对产品的启发是:AI 能力要靠可观察的目标、可回收的反馈和持续试错的闭环来养成,而不是一次配置出来。
主题对照
监督、无监督、强化、在线四类学习方式各自依赖什么假设;把学习写成「假设—损失—优化」之后,泛化、过拟合、维数灾难与评估口径怎么定义,以及一个业务问题该先定分类目标还是先选算法。
强化学习让智能体在环境中行动,根据环境反馈不断修正自己的行为:DeepMind 的模型靠反复玩游戏优化表现,AlphaGo Zero 不用人类棋谱,从零自我对弈就超越了前代。它和人的学习很像,都是在目标驱使下施加影响、根据反馈调整。对产品的启发是:AI 能力要靠可观察的目标、可回收的反馈和持续试错的闭环来养成,而不是一次配置出来。
机器学习改变了“人写规则、机器执行”的方式:人不再直接编写处理问题的模型,而是提供足量的训练样本和学习方法,由机器从输入与输出的对应关系中抽象出模型。因此塑造系统行为的主要是数据:样本是否足够、标注是否可靠、评估指标是否对准业务目标,这些才是产品设计要关注的输入。
kNN、决策树、逻辑回归等传统模型形式不同,却都要求先用若干特征表示样本,把对象映射到可计算的空间里;从原始数据中抽象出最能代表其性质的特征,即特征工程,是影响效果的关键因素之一,而且依赖人的领域知识。评估 AI 方案时,除了问用什么算法,更要问业务对象有哪些可采集、可解释、稳定的特征。
把强化学习用于对话,系统会在不同状态下选择动作,以最大化奖励为目标。所以关键在奖励怎么定义:找到真正反映用户满意度的评价标准作为优化目标,是产品经理要协助技术团队解决的问题。奖励定义偏了,系统就会去优化容易量化、却偏离用户真实目标的指标。
分类预测结果类别,可解释性强,用于计划、预算等决策前判断;聚类无结果值参照,产出非人为定义的分群;关联计算事件之间的依赖关系;时间序列依据历史预测未来,擅长周期和季节波动;回归确定变量间的定量依赖,判断事件发生可能性,但输出并非严格意义上的概率。
聚类不要求数据带标签,是非监督学习,用于探索性分析,结果是非人为定义的分群,不同人可能有不同解读。分类需要带标签的训练数据,是监督学习,用于预测新样本的类别,结果是确定值,典型应用有信用评级、风险等级、欺诈预测。
CRISP-DM是目前数据挖掘领域应用最广泛、接受度最高的流程标准,把建模标准拆成六步。商业理解:从商业角度理解项目的目标和要求,转化成数据问题并制定初步计划,需明确目标、要求、内涵、范围、时间、结果类型。数据理解:从原始数据集出发做数据可行性研究,确定数据源、范围、状态,摸清数据类型、极值、均值、标准差、分布规律等基本特征。数据准备:按数据理解阶段的要求做实际清洗,规范极值/异常值/缺失值的修复策略、抽样方法、类型格式转换规则,为建模准备好数据。建模:选择建模技术并对参数调优以达到最优拟合,需要规范应用场景与算法类型的匹配关系、算法细化方式、参数调优方法——参数调优被认为是最具知识含量、最需要规范和沉淀的环节。评估:在发布前把关,从用户满意度、数据模型质量(拟合程度、显著程度)、技术可用性(效率、并发量、响应时间)三个标准衡量,确保拟合结果真正符合业务目标而不只是数学上拟合得好。发布:模型进入实际应用或部署阶段,同时也是下一轮迭代优化的起点——模型优化本身就是一个循环往复、没有终点的过程。
结构图:
flowchart LR
A["①商业理解<br/>目标转化为数据问题"] --> B["②数据理解<br/>摸清数据基本特征"]
B --> C["③数据准备<br/>清洗+抽样+转换规则"]
C --> D["④建模<br/>算法选型+参数调优"]
D --> E["⑤评估<br/>用户满意度+模型质量+技术可用性"]
E --> F["⑥发布<br/>部署上线,同时是下一轮迭代起点"]
F -.循环.-> A
特征维度增加时,样本空间呈指数扩大:边长 5 单位的一维空间,二维变成 25,三维变成 125。样本数固定时密度迅速下降,角落里的数据更难分类,计算复杂度也指数上升,这就是维数灾难。应对思路是增加样本或增强假设的复杂度;深度学习用多层次结构的通用假设,以少量样本获得指数级增益。
当设计矩阵可逆(多项式基通常需样本横坐标互异)时,用与数据点一样多的系数可精确插值,却也可能吸收测量噪声,使未见样本的预测变差。
若矩阵秩不足,n=m也不保证能穿过所有样本;可先选较少基函数再最小二乘拟合。
机器学习从训练数据归纳假设,再用假设预测新数据的属性或类别。训练阶段对已知样本寻找规律,预测阶段把规律用于未见样本;只拟合训练集不能说明预测表现。
有监督学习的训练样本同时给出输入属性和对应标签,学习算法据此建立从属性到标签的假设,再用于新样本。
垃圾邮件分类中的“垃圾/非垃圾”就是标签。
无监督学习的训练数据没有预设标签,算法从样本自身寻找结构;本章的聚类通过寻找群组中心来描述数据分组。
发现的群组不等于事先给定的真实类别。
强化学习中学习者在有状态的环境里采取行动,环境状态受到影响并返回反馈,学习者再更新对环境的模型。
它与静态带标签训练的差别在于行动会改变后续经验。
先用参数θ定义假设hθ,再以损失f(E,θ)衡量它对训练数据E的拟合不足,最后寻找使损失尽量小的θ。
k均值中参数就是各中心的位置;优化目标可只找到局部最小。
三个风险的区别:
只压低经验风险可能过拟合:模型连训练集里的偶然特征也记住了,训练集上很好、新样本上很差。结构风险用复杂度惩罚压制这种倾向。正则化也不是泛化保证,惩罚项、数据分布与验证方案都要匹配问题;测试集应用来评估,不能被定义成训练所能直接最小化的总体期望。
用神经网络做预测控制,先要收集被控对象的输入、输出及足够的动态状态数据,再训练能预测未来输出的模型。BP 与 RBF 等前馈网络不自带时序记忆,若要表示动态过程,必须显式加入过去输入、输出或状态;带局部反馈的 Elman 网络能在隐藏状态中保留部分历史。模型的预测误差和适用范围须用独立数据检验。
BP 前馈网络、RBF 网络和 Elman 局部反馈网络提供不同的非线性表示与时序建模方式。选择时应比较预测误差、所需历史阶次、计算成本及滚动求解的可行性。通用逼近性质只说明存在适合的参数配置,不保证训练找到全局最优;RBF 也不能普遍避免局部最优或保证收敛快。
增大网络深度或参数规模可以扩大可表示函数的范围,却也提高训练和数据需求。有限数据下,容量增加可能只让模型更好地记住训练样本;目标非凸又使初始化、优化路径影响最终解。选模型时应同时比较训练误差、独立验证误差与计算成本,不能仅用层数推断任务能力。
案例从有标签 SAR 数据抽取3%训练,却用所有有标签数据测试,因此测试集合包含训练点,不能视为独立泛化评估。总体与逐类正确率、训练时间仍可描述该实验,但比较方法时应说明重叠,并另保留未参与训练及调参的数据;空间邻近像素还可能使随机划分偏乐观。
图像分类先预处理图像,再提取可供模型使用的特征,最后训练分类器并评估结果。粒子群可插入特征选择、参数估计或分类器组合等搜索环节;要判断改进是否有效,还须固定数据划分和评价指标,与相同分类流程的基线比较。
结构图:
flowchart LR
A[图像预处理] --> B[特征提取与选择]
B --> C[分类模型]
C --> D[结果评估]
E[粒子群搜索] --> B
E --> C
在某些机器学习任务中,扩大数据量并采用简单模型,可能比只用少量数据训练复杂模型更有效;但这不是跨任务的定律,仍需按问题检验。基础设施因而要能以合理成本积累和处理足够数据,使团队可以实际比较数据规模与模型复杂度的取舍。
经验模型从业务专家提出的特征与判断规则开始,再放到较大数据范围中检查其效果,适合先用可解释的方法启动应用。个案启发不能直接当作验证通过。指标上线前还需明确误报、漏报和适用范围,书中的风险示例不等于自动认定违规。
预测用历史输入与已知结果学习某种关系,再对新的输入估计结果,前提是旧数据的规律仍对目标场景有用。环境或采样方式变化会削弱这种前提。原文公式Y=F(x)中Y是结果、x是输入特征,不能沿用将x称作因变量的笔误。
腾讯防刷架构的风险学习引擎采用黑/白双分类器机制,而不是单一分类器——黑分类器判断本次请求”异常”的概率,白分类器判断”正常”的概率。用两个分类器而不是一个的原因是为了减少对正常用户的误伤:一个IP被判定为恶意,不代表这个IP上的所有用户都是黑产,比如大网关IP或ADSL拨号上网场景下,恶意用户和正常用户可能共用同一个IP——单靠”黑分类器判定异常就拦截”的逻辑,会连带误伤共享同一环境特征的正常用户,而白分类器提供了一个独立的”这个请求看起来像正常用户”的信号,用来对冲黑分类器的误判风险。风险学习引擎的线下训练用Python等工具做通用算法调优,线上判定用C++实现DBScan等快速聚类算法,不用太担心线上性能问题,因为学习工作已经提前放在线下完成。除了黑白双分类器,团队还设计了矩阵式逻辑框架来解决另一个问题:最初的黑分类器是”一把抓”,随意建立一个个针对黑产的检测规则模型,结果不是这个逻辑漏检、就是那个逻辑误伤量大,想针对某一类账号加强打击力度时改动起来也很麻烦。矩阵横向采用Adaboost方法(一种迭代算法,核心思想是针对同一训练集训练出多个弱分类器、再把它们集合成一个最终分类器),每个弱分类器只负责解决一种账号类型的安全风险判断,集合起来才能覆盖所有账户类型。这套矩阵式设计带来三个工程收益:便于轻重分离(比如某平台虚假账号集中在邮箱账号,就可以只加强邮箱账号策略,影响范围局限在邮箱账号、不波及其他账号类型);降低模型训练难度(拆分成子问题后,不需要考虑不同账号类型之间的数据配比均衡问题,正负样本比率的处理难度大大降低);提高逻辑健壮性(某个分类器出问题时,受影响范围不会扩展到全局)。
团队在权重和相关性计算上尝试过布尔模型、BM25、SVM、余弦相似度(Cosine similarity)等多种算法,但发现把这些理论上”高大上”的算法直接套用到真实业务场景中,效果往往并不理想。团队总结的经验是:真正能让算法发挥作用的关键,不在算法本身的选择或调参,而在于索引之前对数据做的预处理工作——先踏踏实实地做数据清洗、分析业务背后的真实结构,理解数据本身的特征与某个算法所依赖的假设之间是否真的契合,找到数据与算法之间的结合点,算法才能真正发挥效力、检索出符合用户心理预期的结果。这个经验对任何”引入了理论上更先进的算法却发现效果不及预期”的场景都有参考价值:与其把精力持续投入在替换或调优算法本身,不如先回头检查喂给算法的数据是否经过了足够贴合业务特征的预处理,很多算法效果不佳的根源其实出在预处理环节,而不是算法本身不够好。
职责边界因组织而异:有的组织由 ML 工程师处理 ML 应用的数据,甚至形成平行的数据组织;有的由数据工程师负责全部数据处理流程,再交付训练数据,甚至承担特征提取。续运动短裤案例:数据科学家发现面料质量受原聚酯特性、温度、湿度和织布机参数影响,开发了优化织布机参数的模型;ML 工程师实现自动化训练和织布机自动调参流程;数据工程师与 ML 工程师共同设计特征提取管道,由数据工程师实现并维护。
数据工程师不必精通 ML,但了解基础能大幅帮助与数据科学家共建数据产品。值得掌握的知识: - 监督、非监督、半监督学习的差别;分类与回归的差别;时间序列分析与预测; - 在逻辑回归、树模型、SVM 等“典型”方法与深度学习之间选择——数据科学家常立刻选深度学习,可能杀鸡用牛刀,基础知识能帮你判断技术是否合适、界定所需数据的边界; - 何时用 AutoML、何时自建模型; - 结构化与非结构化数据的整理技术;所有用于 ML 的数据最终都会转成数字,要确保特征工程中能正确转换;分类数据和各类嵌入的编码; - 批量学习与在线学习(批处理数据适合离线训练,流数据适合在线学习); - 数据工程生命周期与 ML 生命周期在公司内如何交集,是否要支持特征库、ML 可观测性; - 本地、集群、边缘训练的适用场景,何时用 GPU 而非 CPU; - 数据级联及其对模型的影响; - 结果是实时返回还是批量返回(批量字幕生成 vs 实时商品推荐)。
数据与应用的融合:如今应用与 MDS 分离,更糟的是数据产生时没有考虑后续分析,需要各种缝合让系统互通,这种拼凑零碎的设计既笨拙又丑陋。很快,应用栈将成为数据栈,反之亦然——应用集成由流式管道和 ML 驱动的实时自动化和决策。生命周期本身不一定改变,但各阶段之间的时间将大幅缩短。留意解决 OLTP 与 OLAP 融合问题的新数据库技术,特征存储在 ML 中可能起类似作用。
应用与 ML 的紧密反馈循环:目前软件工程师、数据科学家、ML 工程师相互独立工作。ML 适合数据生成速度和数量大到无法手动处理的场景,随着数据规模和速度增长,大多数应用都能集成 ML;数据反馈回路缩短后,实时数据栈中的应用应当是智能的、能实时适应数据变化,形成应用智能化与业务价值提升的良性循环。
电子表格:数据世界的“暗物质”:最广泛使用的数据平台是电子表格,用户约 7 亿~20 亿人,大量分析从不进入本书描述的复杂系统——许多组织用它做财务报表、供应链分析甚至 CRM。电子表格本质上是支持复杂分析的交互式数据应用:从只会打开文件看报表的人,到能写复杂程序化处理的高级用户都能用;而 BI 工具通常只允许在一定范围内切片切块,没有带来可比的交互性。作者预测将出现把电子表格的交互分析能力与云 OLAP 后端能力结合的新工具。
总结:工具简化和企业级数据工程已在进行中,实时数据栈则更具猜测性(也许趋势会停滞,多数公司继续专注批处理)。建议:作为社区一分子延续话题,找领域专家、广泛阅读、参加聚会、分享专业知识,密切关注供应商公告但对所有主张保持独立思考。不要忘了数据工程的关键目标——关注生命周期、内外部客户、业务和更大的目标。技术趋势不仅由造轮子的人决定,也由用好轮子的人决定。
预测曲线跟随历史趋势,并不等于能提前预测突变。书中的十日收盘价线性回归曲线大致跟随真实曲线,却在急变处滞后,因而不能据此推断可交易获利。评估时间序列模型时,应单独检查转折点的预测误差和预测发生的时间;只看两条曲线整体相似,容易高估模型的前瞻性。
监督学习从已标注的输入输出样本学习决策函数或条件概率,再对未知样本预测。分类输出离散类别,回归输出实数。训练损失衡量拟合训练样本的程度,不能直接替代测试表现;模型应在未用于拟合的数据上评价泛化能力。
识别客服对话是否涉及“不知情订购”,应先把标签定义为事件是否发生,再标注对话样本训练文本分类器。情感分析判断的是文本表达的态度或倾向;用户愤怒可能由多种原因引起,不能替代订购争议的事实标签。先明确判定口径和人工复核方式,再选模型。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
算法与数据结构类
书籍类型:经典原理
清单覆盖 7/7
1142 张卡片
来源书籍
人机对话系统设计类
书籍类型:工程实践
清单覆盖 6/6
39 张卡片
来源书籍
企业大数据建设类
书籍类型:工程实践
清单覆盖 7/7
102 张卡片
来源书籍
分布式人工智能与多智能体类
书籍类型:工程实践
清单覆盖 7/7
35 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
121 张卡片
来源书籍
书籍类型:未标注
424 张卡片
来源书籍
实时流计算系统类
书籍类型:未标注
清单覆盖 8/8
172 张卡片
来源书籍
数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:
书籍类型:未标注
类别清单尚未核对
229 张卡片
来源书籍
数据工程与数据架构方法类
书籍类型:工程实践
类别清单尚未核对
145 张卡片
来源书籍
算法与数据结构类。按全文与现有卡核对七项;“已覆盖”表示保留了本书实际展开的部分,不表示穷尽该领域。
书籍类型:经典原理
清单覆盖 6/7
367 张卡片
来源书籍
书籍类型:未标注
357 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
424 张卡片
主题索引
比较传统机器学习、深度学习与强化学习的学习方式、特征假设、模型取舍与数据反馈闭环。
主题索引
比较特征值分解、SVD、NMF 等矩阵分解与 K 均值、层次聚类、深度聚类在规律挖掘与降维中的取舍。
主题索引
比较任务型、问答型、闲聊型对话的语义表示、意图与参数、多轮语境与澄清、检索与知识、训练回流与对话平台化设计。
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类