朴素贝叶斯

朴素贝叶斯

前言基本方法

前言

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。首先基于特征条件独立的假设学习输入/输出的联合概率分布$P(X,Y)$;然后根据此模型对于给定的输入$x$,利用贝叶斯定理求出后验概率最大的输出$y$，即$P(Y|X)$，朴素贝叶斯是一个生成模型。所谓的特征条件独立是在类别确定的情况下实例的特征之间是独立的。

基本方法

训练数据集$$T=\{(x_1,y_1),(x_2,y_2),\cdot \cdot \cdot ,(x_N,y_N)\}$$其中$x_i\in X\subseteq R^n$，$y_i\in Y=\{c_1,c_2,\cdot \cdot \cdot c_K\}$ 首先要学习的是联合概率分布$P(X,Y)$,根据条件概率公式可以计算联合概率分布$$P(X,Y)=P(X|Y)\cdot P(Y)$$其中先验概率分布为$$P(Y=c_k),k=1,2,\cdot \cdot \cdot ,K$$条件概率分布$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},\cdot \cdot \cdot ,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,\cdot \cdot \cdot ,K$$结合对特征条件独立的假设$$P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},\cdot \cdot \cdot ,X^{(n)}=x^{(n)}|Y=c_k)=\prod _{i=1}^{n}P(X^i=x^i|Y=c_k)$$因此$$P(X=x,Y=c_k)=\prod _{i=1}^{n}P(X^i=x^i|Y=c_k)\cdot P(Y=c_k)$$根据贝叶斯定理$$P(Y=c_k|X=x)=\frac{{\prod }_{i=1}^{n}P(X^i=x^i|Y=c_k)\cdot P(Y=c_k)}{P(X=x)}$$根据全概率公式得到$$P(Y=c_k|X=x)=\frac{{\prod }_{i=1}^{n}P(X^i=x^i|Y=c_k)\cdot P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$$根据条件独立假设$$P(Y=c_k|X=x)=\frac{{\prod }_{i=1}^{n}P(X^i=x^i|Y=c_k)\cdot P(Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{i=1}^{n}P(X^i=x^i|Y=c_k)},k=1,2,\cdot \cdot \cdot ,K$$上式即为朴素贝叶斯的基本公式。最后我们要求的是在输入实例$x$的情况下得到最大的$P(Y=c_k|X=x)$所对应的$c_k$就是输入实例$x$所对应的类别，用数学形式表示为:$$y=f(x)=\underset{c_k}{\mathrm{argmax}}P(Y=c_k|X=x)=\frac{{\prod }_{i=1}^{n}P(X^i=x^i|Y=c_k)\cdot P(Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{i=1}^{n}P(X^i=x^i|Y=c_k)},k=1,2,\cdot \cdot \cdot ,K$$分母的值为一个定值，因此化简为:$$y=\underset{c_k}{\mathrm{argmax}}\prod _{i=1}^{n}P(X^i=x^i|Y=c_k)\cdot P(Y=c_k),k=1,2,\cdot \cdot \cdot ,K$$上式就是贝叶斯过程要计算的公式。对于离散的数据上式的参数都可以通过其对应的频率求得即极大似然。用极大似然的方式求得参数可能会出现为0的情况，因此参数估计引入了贝叶斯估计法具体的条件概率贝叶斯是$$P_{\lambda }(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$$其中$\lambda$为一个超参数，当$\lambda =0$时为极大似然估计，当$\lambda =1$时称为拉普拉斯平滑。$S_j$为特征$x^j$可以取的值的数量。