知识卡片
优化器封装训练步骤
优化器把目标节点求值、可训练变量的梯度计算和参数更新组织起来。MatrixSlow 的 one_step 调用 forward_backward 并累计样本数;梯度按变量累加,get_gradient 返回累计值除以样本数。update 调用由具体优化器实现的 _update,然后清空梯度与计数,准备下一批。这样公共传播流程可复用,更新规则可变化。
结构图:
classDiagram
class Optimizer {
+one_step()
+forward_backward()
+get_gradient(node)
+update(var_gradients)
+apply_gradients(node_gradients_dict, summarize, acc_no)
+_update()
}
class Graph
class Node
Optimizer --> Graph : graph
Optimizer --> Node : target
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 优化器 3.1 优化流程的抽象实现 · 查看原书依据
上述流程可以抽象成三步
参考来源
- 位置:《用Python实现深度学习框架》第3章《优化器》,3.1 优化流程的抽象实现(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_024.html`)
- 结论依据:原文先抽象三步,再展示优化器的累加、均值及可替换更新实现。
- 原始内容:上述流程可以抽象成三步。