知识卡片

结构图卡 · 9847.l · 生成模型:Hunyuan

MLP的实现:两层类组合

理解等级:中级

Theano用两个类搭起MLP。HiddenLayer封装一层全连接:输入n_in维、输出n_out个神经元,W为(n_in,n_out)、每列对应一个隐单元的权重,b为n_out维,线性输出T.dot(input,W)+b再经tanh得output,参数收在params。MLP则把两个层组合起来:实例化一个HiddenLayer作隐含层,再把它的output作为LogisticRegression的输入接成输出层,汇总两层W、b为params,并把NLL、errors、L1与L2_sqr委托给相应层。train_model对全部参数统一求梯度、按学习率更新。这种层与网络的组合结构也延续到CNN中。

结构图:

classDiagram
  class HiddenLayer {
    +W
    +b
    +output
    +params
    +__init__(rng, input, n_in, n_out)
  }
  class LogisticRegression {
    +W
    +b
    +p_y_given_x
    +negative_log_likelihood(y)
    +errors(y)
  }
  class MLP {
    +hiddenLayer
    +logRegressionLayer
    +params
    +L1
    +L2_sqr
  }
  MLP *-- HiddenLayer : 包含
  MLP *-- LogisticRegression : 包含
  HiddenLayer ..> LogisticRegression : output作为输入
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第10章 认知计算与深度学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00034.html) - 结论依据:原文给出HiddenLayer的输入输出与W、b形状、激活与参数,以及MLP调用HiddenLayer和LogisticRegression并汇总参数与正则项的实现,支撑两类的组合关系。 - 原始内容:多层感知器可以理解为包含隐含层的神经网络。Theano在实现上使用了两个类:隐含层类和MLP类。 (1)单隐层类在Theano中被定义如下。