有人認為SVM是最好的現成的分類器，“現成”指的是分類器不加修改即可直接使用，意味著直接應用SVM可以取得較低的錯誤率，對訓練集之外的數據點做出很好的分類決策。 SVM有許多實現，這里介紹其中一種最流行的實現，即序列最小優化（SMO）算法，然后添加kernel函數將SVM拓展到更多數據集。 SVM是基于最大間隔分隔數據，若所給數據是二維的，則分隔線為一條直線，若數據為三維的，則分割線為一個平面，依次類推，隨著數據維數的增加，分隔面就變成了超平面。而最大間隔，是讓離分隔面最近的點，確保他們離分隔面盡可能遠。SVM本身是一個二類分類器，若要解決多類問題，需要修改SVM。

一、尋找最大間隔 SVM中為了找到劃分數據集的最佳分隔，確保最近的點到分隔的垂線最短，因此轉化為了一個優化問題。這里分隔面可以定義為：wT+b$w^{T}+b$，將輸入數據給分類器，會輸出分隔標簽，這里采用sigmoid函數，即f（wT+b）$f（w^{T}+b）$，可輸出1/-1（與1或0無異）。間隔則通過label?f（wT+b）$label*f（w^{T}+b）$來計算。找到最小間隔的數據點，最大化其與間隔的距離。argmaxw,b{minn(label?(wT+b))?1||w||} $$arg /max_{w,b}/left /{ /min_{n} /left (label/cdot /left ( w^{T+b} /right ) /right )· /frac{1}{||w||}/right /}$$ 這里 {minn(label?(wT+b))?1||w||} $$/left /{ /min_{n} /left (label/cdot /left ( w^{T+b} /right ) /right )· /frac{1}{||w||}/right /}$$ 是點到間隔的幾何間隔，與上面所說的label?f（wT+b）$label*f（w^{T}+b）$的函數間隔意義相同。這里固定label?f（wT+b）>=1.0 $$label*f（w^{T}+b）>=1.0$$ 去優化1||w||$/frac{1}{||w||}$，采用拉格朗日乘子法。關于SVM的詳細推到公式，可參考其他相關材料：如PRML原書pdf版本

二、SMO高效優化算法 John Platt所提出的SMO算法用于訓練SVM，將最大優化問題分解為多個小優化問題，求解的結果是完全一致的，且SMO算法求解的時間短很多。 為了得到分隔的超平面，就需要得到最優的alpha值，上面所提到的最優化式子可化為下式：∑αi?labeli=0 $$/sum /alpha _{i}/cdot label^{i}=0$$ SMO算法的目標就是求出一系列alpha和b，一旦求出alpha就很容易計算出權重向量從而得到分個超平面。SMO算法的工作原理是，每次循環對兩個alpha進行優化處理，得到一對合適的alpha后，就增大其中一個同時減小另一個。這里的“合適”指的是這兩個alpha必須在間隔邊界之外，并且兩個alpha還沒有經過區間化處理或者不在邊界上。下面是導入數據的代碼。