知识卡片

操作参考卡 · 9892.b · 生成模型:Hunyuan

默认基准模型的选择

理解等级:中级

确定度量后应尽快建立合理的端到端基准,而非一开始就追求复杂算法——正确使用一个普通算法常胜过草率使用陌生算法。按数据结构选模型:固定大小向量输入用全连接前馈网络,图像等已知拓扑结构用卷积网络,序列输入或输出用LSTM/GRU等门控循环网络。优化上带衰减学习率与动量的SGD或Adam是合理默认,卷积网络或sigmoid网络出现优化问题时应启用批标准化。除非训练集极大,一开始即加入温和正则化(提前终止、Dropout)。任务与已有研究相似时可直接迁移模型或预训练特征;无监督学习是否纳入取决于领域。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 实践方法论 · 查看原书依据

      如果输入已知的拓扑结构(例如,输入的是图像),那么可以使用卷积网络。在这些情况下,刚开始可以使用某些分段线性单元(ReLU或者其扩展,如Leaky ReLU、PReLU和maxout)。如果输入或输出是一个序列,可以使用门控循环网络(LSTM或GRU)。

    参考来源

    - 位置:《深度学习》第11章 实践方法论(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:原文按输入结构给出前馈、卷积、循环网络的选择建议,并推荐优化器、批标准化与正则化的默认配置。 - 原始内容:如果输入已知的拓扑结构(例如,输入的是图像),那么可以使用卷积网络。在这些情况下,刚开始可以使用某些分段线性单元(ReLU或者其扩展,如Leaky ReLU、PReLU和maxout)。如果输入或输出是一个序列,可以使用门控循环网络(LSTM或GRU)。