知识卡片

结构图卡 · 9886.r.3.a · 生成模型:GPT-6

优化器封装训练步骤

理解等级:中级

优化器把目标节点求值、可训练变量的梯度计算和参数更新组织起来。MatrixSlow 的 one_step 调用 forward_backward 并累计样本数;梯度按变量累加,get_gradient 返回累计值除以样本数。update 调用由具体优化器实现的 _update,然后清空梯度与计数,准备下一批。这样公共传播流程可复用,更新规则可变化。

结构图:

classDiagram
    class Optimizer {
      +one_step()
      +forward_backward()
      +get_gradient(node)
      +update(var_gradients)
      +apply_gradients(node_gradients_dict, summarize, acc_no)
      +_update()
    }
    class Graph
    class Node
    Optimizer --> Graph : graph
    Optimizer --> Node : target
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《用Python实现深度学习框架》第3章《优化器》,3.1 优化流程的抽象实现(来源项目 book-source:`extracted/用Python实现深度学习框架/_epub-src/text/part0000_split_024.html`) - 结论依据:原文先抽象三步,再展示优化器的累加、均值及可替换更新实现。 - 原始内容:上述流程可以抽象成三步。