统计学习方法笔记（七）：支持向量机

定义

处理二分类问题

学习目标

学习目标是在特征空间中找到一个分离超平面，能将实例分到两个不同的类（正类和负类）。分离超平面对应于方程Wx+b=0，它由法向量W和截距b决定。法向量指向的一侧为正类，另一侧为负类

线性可分支持向量机

函数间隔和几何间隔

函数间隔

几何间隔

支持向量机（SVM）的基本想法就是选取能正确划分的超平面中，让几何间隔最大的唯一一个超平面，间隔最大化又称为硬间隔最大化

最大间隔分离超平面

支持向量和间隔边界

线性支持向量机和软间隔最大化

软间隔引入可解决实际线性不可分的数据中的二分类问题

非线性支持向量机与核函数

对于不能用直线划分的分类问题，就不能够用线性支持向量机来解决这一类问题，就要引入核函数。

问题举例

核函数应用的方法：

核函数定义

总结