知识卡片
判别式与生成式模型
判别式模型直接学条件概率 p(y|x),只关心类别之间的边界,逻辑回归、SVM、神经网络、CRF 都属此类;生成式模型先学 p(x|y) 与 p(y),再用贝叶斯公式算出 p(y|x),朴素贝叶斯、HMM、LDA 属此类。差别不只是公式顺序:判别式只需有限样本就能定住边界;生成式要刻画每一类的完整分布,样本需求与学习复杂度都更高。原因在于求 p(y|x) 时已经“知道”了 x,取值空间被缩小,而生成式要对整个 x 空间建模。因此生成式可以推出判别式(把 p(x|y)p(y) 归一化即可),反之不行。选型时要问:任务是划边界,还是需要能生成、能给样本打分的分布?
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 让机器可以像人一样学习(上) · 查看原书依据
可以看出,判别式模型只需要关注类的边界就可以了,并不需要知道每一类到底是什么分布,这样它只需要有限样本就可以确定;而生成式模型要得到每类的具体分布,然后根据每个分布去判断类别,它的训练集自然需要无限样本,学习复杂度也高。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(上)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00008.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「可以看出,判别式模型只需要关注类的边界就可以了,并不需要知道每一类到底是什么分布……」
- 原始内容:可以看出,判别式模型只需要关注类的边界就可以了,并不需要知道每一类到底是什么分布,这样它只需要有限样本就可以确定;而生成式模型要得到每类的具体分布,然后根据每个分布去判断类别,它的训练集自然需要无限样本,学习复杂度也高。