第七章 支持向量机

7.1线性可分支持向量机与硬间隔最大化

7.1.1线性可分支持向量机

一般的，当训练数据集线性可分时，存在无穷个分离超平面可将两类数据正确分开。感知机利用误分类最小的策略，求得分离超平面，不过这时的解有无穷多个，
线性可分支持向量机利用间隔最大化求最优分离超平面，这时，解时唯一的。

定义7.1（线性可分支持向量机）

超平面

$w^{*} \cdot x+b^{*}=0$

决策函数

$f(x)=sign(w^{*} \cdot x +b^{*})$

7.1.2 函数间隔和几何间隔

定义函数间隔

$\hat{\gamma_i}=y_i(w \cdot x_i+b)$

超平面(w,b)关于训练数据集T的函数间隔为超平面(w,b)关于T中所有样本点的函数间隔的最小值。为了统一标准，引入几何间隔概念。


$\gamma_i=y_i(\frac{w}{||w||} \cdot x_i+\frac{b}{||w||})$

7.1.3 间隔最大化

支持向量机学习的基本思想是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。这里的间隔最大化又称为硬间隔最大化。

这个问题可以表述为下面的约束最优化问题

$$\max_{w,b} \gamma \\ s.t. y_i(\frac{w}{||w||} \cdot x_i+\frac{b}{||w||}) \geq \gamma,i=1,2,...,N$$