一、定义
朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯是在贝叶斯算法的基础上进行了相应的简化,即假定给定目标值时属性之间相互条件独立,这不意味着所有特征对分类具有相同影响;不同特征的条件概率仍会影响后验概率。这个假设简化了概率估计,实际分类效果取决于数据与模型的匹配程度。
贝叶斯定理解决了现实生活中已知条件概率,如何得到两个事件交换后的概率。例如:已知P(A|B)的情况下,如何求出P(B|A)的概率问题。贝叶斯定理的出现就是用来打通P(A|B)到P(B|A)之路,通用公式如下:

先验概率:在考虑本次观测证据之前对事件概率的描述,可由领域知识或训练数据估计。
条件概率:P(A|B)表示事件B已经发生的前提下,事件A发生的概率,叫做事件B发生下事件A的条件概率。其基本求解公式为:
后验概率:发生结果之后,推断原因的概率。它属于条件概率的一种 。
二、基本方法
朴素贝叶斯法,对于给定的训练集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。之所以朴素的思想基础是:对于给定的待分类项,求解在此项出现的特征条件下在各类别出现的概率,哪个最大,就认为此待分类项属于哪个类别。在分类算法里面应用,贝叶斯定理可以转换成下面的表达式

- 第一阶段:准备工作,确定训练样本集和特征属性。
- 第二阶段:分类器训练,计算先验概率和各类下各特征的条件概率。输入为样本集和特征属性,输出为分类器。
- 第三阶段:分类器应用,输入为分类器和待分类项,输出为待分类项的类。
三、总结
- 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y),然后求得后验概率分布P(Y|X)。具体来说,利用训练数据学习P(X|Y)和P(Y)的估计,得到联合概率分布:P(X,Y)=P(Y)P(X|Y)。概率估计法可以是极大似然估计或者贝叶斯估计。
- 朴素贝叶斯法的基本假设是特征属性的条件独立性,在一个确定的类别上,特征属性条件独立,这是一个较强的假设,由于这一假设,模型包含的条件概率的数量大为减少,朴素贝叶斯的学习与预测大为简化,因而朴素贝叶斯法高效,且易于实现。缺点是分类的性能不一定很高。
- 朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测。将输入的x分到后验概率最大的类y。后验概率最大等价于0-1损失函数时的期望风险最小化。
参考:朴素贝叶斯-从案例到原理