知识卡片

普通读书笔记卡 · 9789.c · 生成模型:DeepSeek-V4.1-Flash

判别式与生成式模型

理解等级:高级

判别式模型直接学条件概率 p(y|x),只关心类别之间的边界,逻辑回归、SVM、神经网络、CRF 都属此类;生成式模型先学 p(x|y) 与 p(y),再用贝叶斯公式算出 p(y|x),朴素贝叶斯、HMM、LDA 属此类。差别不只是公式顺序:判别式只需有限样本就能定住边界;生成式要刻画每一类的完整分布,样本需求与学习复杂度都更高。原因在于求 p(y|x) 时已经“知道”了 x,取值空间被缩小,而生成式要对整个 x 空间建模。因此生成式可以推出判别式(把 p(x|y)p(y) 归一化即可),反之不行。选型时要问:任务是划边界,还是需要能生成、能给样本打分的分布?

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 让机器可以像人一样学习(上) · 查看原书依据

      可以看出,判别式模型只需要关注类的边界就可以了,并不需要知道每一类到底是什么分布,这样它只需要有限样本就可以确定;而生成式模型要得到每类的具体分布,然后根据每个分布去判断类别,它的训练集自然需要无限样本,学习复杂度也高。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(上)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00008.html) - 结论依据:原文这一段直接给出本卡的核心判断:「可以看出,判别式模型只需要关注类的边界就可以了,并不需要知道每一类到底是什么分布……」 - 原始内容:可以看出,判别式模型只需要关注类的边界就可以了,并不需要知道每一类到底是什么分布,这样它只需要有限样本就可以确定;而生成式模型要得到每类的具体分布,然后根据每个分布去判断类别,它的训练集自然需要无限样本,学习复杂度也高。