目录

一、支持向量机（SVM）1、优化目标2、代价函数3、核函数4、如何选择地标？5、参数C和 σ的影响6、使用SVM

一、支持向量机（SVM）

与逻辑回归和神经网络相比，支持向量机，或者简称SVM，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。

1、优化目标

对比逻辑回归的代价函数：（针对单个样本） 下面两个图为 当 y = 1 时，cost 只剩下了第一项的图像。 当 y = 0 时，cost = 的图像。 粉色为 SVM 的目标优化。

2、代价函数

逻辑回归的代价函数：（A + λB） SVM的代价函数：（CA + B） 回顾 C=1/λ，因此： C 较大时，相当于 λ 较小，可能会导致过拟合，高方差。 C 较小时，相当于 λ 较大，可能会导致低拟合，高偏差。

3、核函数

通常的假设函数为 h_x(θ) = θ0 + θ1x1 + θ2x2 + θ3x1x2 + θ4x1² + θ5x2² + …

现在用新的特征f来替换模型中的每一项。令f1=x1, f2=x2, f3=x1x2, …

给定一个训练实例 x，我们利用x的各个特征与我们预先选定的地标(landmarks) l⁽¹⁾, l⁽²⁾, l⁽³⁾的近似程度来选取新的特征f1, f2, f3。 例如：

这些地标的作用是什么？如果一个训练实例 x 与地标 l 之间的距离近似于0，则新特征 f 近似于 e⁰=1，如果训练实例x与地标 l 之间距离较远，则近似于 e^-无穷大=0。

4、如何选择地标？

通常是根据训练集的数量选择地标的数量，即如果训练集中有 m 个实例，则我们选取 m 个地标，并且令: l⁽¹⁾=x⁽¹⁾, l⁽²⁾=x⁽²⁾,…,l^(m)=x^(m)。这样做的好处在于：现在我们得到的新特征是建立在原有特征与训练集中所有其他特征之间距离的基础之上的，即：

步骤： 得到新的特征值 f 的向量，m维。 当 θ^Tf = θ0f0 + θ1f1 + … + θmfm ≥ 0 ，预测y =1

5、参数C和 σ的影响

6、使用SVM

大多数支持向量机软件包都有内置的多类分类功能，我们只要直接使用即可。

选择哪种SVM函数？ n为特征数，m为训练样本数。

(1)如果相较于 m 而言，n 要大许多，即训练集数据量不够支持我们训练一个复杂的非线性模型，我们选用逻辑回归模型或者不带核函数的支持向量机(线性核函数)。 (2)如果n较小，而且m大小中等，例如n在 1-1000 之间，而m在10-10000之间，使用高斯核函数的支持向量机。 (3)如果n较小，而m较大，例如n在1-1000之间，而m大于50000，则使用支持向量机会非常慢，解决方案是创造、增加更多的特征，然后使用逻辑回归或不带核函数的支持向量机(线性核函数)。