← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9660 · 生成模型:DeepSeek-V4.1-Flash

训练随机性的五类来源

理解等级:中级

同样的代码跑两遍结果不同,原因可以归到五层,从模型内部一直排到硬件。

一是权重初始化:默认随机初始化,损失函数非凸,起点不同就收敛到不同局部极小。二是数据划分:训练/验证/测试怎么分、K 折怎么切都靠随机采样,换一次划分就是换一个训练集。三是算法本身带随机:Dropout 每次前向随机屏蔽单元,p 常取 0.2 到 0.8。四是运行时算法选择:cuDNN 会在直接卷积、FFT 卷积、Winograd 卷积之间自动挑一个,数值细节不同。五是硬件与驱动:浮点精度、指令实现、不同 GPU 架构之间的差异,官方明确不保证比特位级一致。

控制手段对应分层:固定随机种子(初始化前、训练前各一次)、推理时关闭 Dropout、打开确定性算法开关、锁定硬件与软件版本。代价是确定性算法通常更慢,跨硬件仍无法保证完全一致。

还有一类随机是设计出来的:生成模型推理时的采样策略(top-k、核采样、温度)刻意保留多样性。判断标准很简单——影响复现的是缺陷,服务于输出多样性的是特性。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第10讲 随机性的由来(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0014.xhtml) - 结论依据:原文第10章依次列出权重初始化、数据采样与重排、非确定性算法、不同运行时算法、硬件与驱动五类来源,并在 10.6 节区分生成式 AI 的设计性随机。 - 原始内容:在训练或使用深度神经网络等机器学习模型时,即便我们采用了相同的配置,也会有多种随机因素导致每次训练或运行这些模型时得到不同的结果。