知识卡片
模拟退火:从金属退火到全局寻优
模拟退火源于一个类比:组合优化求极小值与金属热处理的退火过程相似。Kirkpatrick 等人依据 Metropolis 准则,用目标函数代替物理系统的能量、用最优解代替状态,创造了模拟退火算法。物理退火分三阶段:加温使粒子自由移动、偏离平衡;等温让系统自发朝自由能减少方向变化直至平衡;冷却使粒子渐趋有序、落到内能最小的晶体态。迁移到算法上,把材料看作数据集、降温看作迭代、释放应力看作激活函数的计算:随迭代(温度下降)找到全局最优的概率从 0 趋向 1,因而能跳出局部极小。要点:接受较差解的机制是它逃离局部最优的关键,这也是它区别于贪心算法之处。
结构图:
flowchart LR
A[高温 充分探索] --> B[等温 趋于平衡]
B --> C[缓慢降温]
C --> D[逃离局部极小 趋全局最优]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 神经网络初步 · 查看原书依据
20世纪80年代初,Kirkpatrick等人在研究组合优化问题时发现,组合优化求解极小值与金属热处理工艺中的退火过程具有相似性。于是根据Metropolis准则,他们分别用目标函数和最优解代替物理系统中的能量和状态表示,创造了模拟退火算法。
参考来源
- 位置:《机器学习算法原理与编程实践》第6章 神经网络初步(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00022.html)
- 结论依据:原文记载 Kirkpatrick 等据 Metropolis 准则用目标函数、最优解代替能量与状态创造模拟退火,并给出加温、等温、冷却三阶段及概率收敛解释。
- 原始内容:20世纪80年代初,Kirkpatrick等人在研究组合优化问题时发现,组合优化求解极小值与金属热处理工艺中的退火过程具有相似性。于是根据Metropolis准则,他们分别用目标函数和最优解代替物理系统中的能量和状态表示,创造了模拟退火算法。