逻辑斯蒂回归
逻辑斯蒂分布(增长分布)：F(X) = P(X<=x) = 1/(1+e^(-(X-u)/γ)) 该分布曲线以（u，1/2）作为中心对称点
sigmod函数（亦称作Logistic函数） 作用：将一个实数映射到（0，1）区间 函数表达：s(X) = 1/(1+e^(-x)); 性质：当X趋近正无穷时，取值为1；当X趋近于负无穷时，取值为0； sigmod函数被用作激活函数： 什么是激活函数？ 使用激活函数将非线性的特性引入到网络模型中；
二项逻辑斯蒂回归思想： 用线性回归的输出作为sigmod函数的输入，将其映射到（0，1）之间，可以视作概率，比较概率大小得出结果；
损失函数 logistic回归无法使用线性回归的均方误差来定义损失函数，因为它为二分类问题，我们可以得出它的概率分布函数，然后通过似然函数求解最优参数；
为了方便计算，我们采用对数似然函数进行求导求解最优参数； 计算二元逻辑回归损失函数的优化方式： 梯度下降法； 牛顿法；
朴素贝叶斯 朴素贝叶斯的思想：利用训练数据得出变量的联合概率分布，然后求出最大后验概率分布得出分类结果； 1）联合概率分布 P(X,Y) = P(Y)*P(X|Y) 2) 利用朴素贝叶斯需要前提假定，即条件独立性；例如P(X=x1,X=x2|Y) = P(X=x1|Y)*P(X=x2|Y) 3) 计算后验概率分布 P(Y|X) = P(X,Y)/P(X) 分子为联合概率分布，分母为X的边际分布（也可运用全概率公式） 当输入X特征时，可以得到属于Y类别的概率
我们可以采用最大化后验概率得到分类结果；因为针对所有分类P(X)相同，我们只需最大化分子来代替； argmax(P(X,Y)) = argmax(P(Y)*P(X|Y)) 该结果返回分类结果作为f(X)
特殊：再选用0-1函数作为损失函数条件下,损失函数定义为： 1 if 预测类别=真实类别 else 0； 一个特征向量的输入可能会输出多种分类结果，这里采用期望风险最小化；(再该条件下，期望风险最小化等价于后验概率最大化) 即输入特定X特征向量然后输出结果与真实结果的损失的期望
