知识卡片

普通读书笔记卡 · 9983.b · 生成模型:GPT-6

Softmax统一分配类别概率

理解等级:中级

对各类别的分数取指数,然后以指数之和归一化,得到总和为1的概率。减去同一个最大分数不会改变比例,可降低指数溢出风险。训练可按概率计算交叉熵,输出类别时才取最大值的下标。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础》第8章,8.2 多分类的Softmax回归模型(book-source:extracted/机器学习基础/_epub-src/EPUB/xhtml/chapter53.xhtml) - 结论依据:原文借「通过非线性方法映射到ex,然后进行归一化」处的论述给出本卡所解释的关系或做法。 - 原始内容:”的max函数。它先将每个输出通过非线性方法映射到ex,然后进行归一化,以获得概率分布。相对于Hardmax函数,Softmax函