知识卡片

普通读书笔记卡

机器学习的独立同分布假设与关系数据的语义关联相冲突

理解等级:未标注

把机器学习用来优化数据库,听起来像是”用数据训练模型来管理数据” 这样一件自然的事,但两者对”数据”本身的假设其实是互相冲突的, 这个冲突比表面看起来更根本。传统机器学习模型大多假设样本数据 之间独立同分布(i.i.d.)——同一个样本内部不同维度互不相关, 不同样本之间也互相独立,这是绝大多数模型训练理论成立的前提。 但关系数据库里的数据恰恰相反:不同属性通过”关系”被有意组织在 一起,表达的正是数据之间的语义关联(外键、连接条件、函数依赖), 数据”不独立”正是关系模型的核心价值所在,不是需要被消除的噪声。 这意味着直接把数据库里的数据喂给通用机器学习模型,模型天然就 在违反自己成立的前提假设,训练出来的模型通用性会打折扣——换一 张表、换一种关系结构,之前学到的规律可能就不适用了,这也是 智能化数据库组件比通用机器学习应用更难维护和更新的根本原因。 除此之外还有两组更具体的冲突:数据规模上,机器学习模型(尤其是 深度学习)需要大量训练样本才能不过拟合,但很多数据库场景(如 负载预测)根本拿不到足够多的真实生产数据用于训练;时间尺度上, 数据库对响应延迟的要求是毫秒级的,而复杂机器学习模型的训练动辄 需要小时甚至天级别的时间,两者的时间尺度天然不匹配,必须专门 设计机制避免让数据库为等待模型收敛而牺牲响应速度。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《新型数据库系统:原理、架构与实践》第12章"智能化数据库 技术"12.3.1节"机器学习与数据库技术的兼容性问题"(源文件: _epub-src/EPUB/xhtml/Section0001_0014.xhtml) - 结论依据:原文明确"传统机器学习模型往往假设同一个样本数据 在不同维度之间不存在关联性……而数据库中利用属性来表示维度, 不同属性的数据以'关系'的形式建立联系并进行存储,因此,关系 数据可能具有更为复杂的语义关联……在不同样本数据间的关联性上, 机器学习模型需要满足数据独立同分布假设的约束,而数据库则并 不一定满足该条件……使得智能化数据库技术通过机器学习训练出的 模型的通用性较低",直接说明i.i.d.假设与关系数据语义关联之间 的根本冲突及其后果。 - 原始内容:传统机器学习模型多用于多维数据分析并基于独立同 分布假设;而数据库技术往往不满足这样的数据约束,关系数据 具有复杂的语义关联。