← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9843.b · 生成模型:Hunyuan

神经网络学习的四个特征

理解等级:中级

第二代神经网络把学习问题的主要特征总结为四条,它们界定了这类算法要面对的困难。非线性:样本常常线性不可分,需要能拟合任意曲线、曲面的模型,RBF 网络已能模拟各种非线性趋势。非凸性:目标函数有多个局部最优,系统存在多个稳态,凸优化“局部即全局”的结论失效,模拟退火是对此的回应。动态性:系统要自适应、自组织、自学习,设计原理是经验风险最优,靠大量训练数据调整权重、以迭代为基本框架。非局部性:整体行为不取决于单个神经元,而由神经元间的连接决定,信息前馈、误差反馈走不同回路。这四条合起来说明:神经网络是一种以迭代调整权重来逼近数据规律的非凸、非线性系统。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 神经网络初步 · 查看原书依据

      所谓非凸性,是指函数有多个局部最优值,故系统在运行时具有多个稳态。这类不确定性的问题为全局寻优提出了新的挑战,模拟退火是这方面比较成功的尝试。 动态(Dynamic)性。智能系统与算法需要具有自适应、自组织、自学习的能力。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第6章 神经网络初步(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00022.html) - 结论依据:原文在中期发展一节依次列出非线性、非凸性、动态性、非局部性四个特征,本卡引文覆盖非凸性与动态性两段,支撑对四特征的归纳。 - 原始内容:所谓非凸性,是指函数有多个局部最优值,故系统在运行时具有多个稳态。这类不确定性的问题为全局寻优提出了新的挑战,模拟退火是这方面比较成功的尝试。 动态(Dynamic)性。智能系统与算法需要具有自适应、自组织、自学习的能力。