知识卡片
MLP的实现:两层类组合
Theano用两个类搭起MLP。HiddenLayer封装一层全连接:输入n_in维、输出n_out个神经元,W为(n_in,n_out)、每列对应一个隐单元的权重,b为n_out维,线性输出T.dot(input,W)+b再经tanh得output,参数收在params。MLP则把两个层组合起来:实例化一个HiddenLayer作隐含层,再把它的output作为LogisticRegression的输入接成输出层,汇总两层W、b为params,并把NLL、errors、L1与L2_sqr委托给相应层。train_model对全部参数统一求梯度、按学习率更新。这种层与网络的组合结构也延续到CNN中。
结构图:
classDiagram
class HiddenLayer {
+W
+b
+output
+params
+__init__(rng, input, n_in, n_out)
}
class LogisticRegression {
+W
+b
+p_y_given_x
+negative_log_likelihood(y)
+errors(y)
}
class MLP {
+hiddenLayer
+logRegressionLayer
+params
+L1
+L2_sqr
}
MLP *-- HiddenLayer : 包含
MLP *-- LogisticRegression : 包含
HiddenLayer ..> LogisticRegression : output作为输入
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 认知计算与深度学习 · 查看原书依据
多层感知器可以理解为包含隐含层的神经网络。Theano在实现上使用了两个类:隐含层类和MLP类。 (1)单隐层类在Theano中被定义如下。
参考来源
- 位置:《机器学习算法原理与编程实践》第10章 认知计算与深度学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00034.html)
- 结论依据:原文给出HiddenLayer的输入输出与W、b形状、激活与参数,以及MLP调用HiddenLayer和LogisticRegression并汇总参数与正则项的实现,支撑两类的组合关系。
- 原始内容:多层感知器可以理解为包含隐含层的神经网络。Theano在实现上使用了两个类:隐含层类和MLP类。 (1)单隐层类在Theano中被定义如下。