劉銘　吳朝霞

【摘 要】支持向量機（support vector machine，SVM）是基于統(tǒng)計學理論的一種典型的機器學習方法，具有堅實的理論基礎，較強的推廣能力，在解決小樣本、非線性、高維度的問題上SVM表現(xiàn)出較好的學習性能。隨著研究的深入，SVM被廣泛應用于各個領域，本文介紹了統(tǒng)計學和支持向量機的基本理論，支持向量機的相關(guān)應用研究及未來研究方向和發(fā)展前景。

【關(guān)鍵詞】支持向量機；統(tǒng)計學習理論；應用

中圖分類號： TP18 文獻標識碼： A 文章編號： 2095-2457（2018）23-0068-002

DOI：10.19694/j.cnki.issn2095-2457.2018.23.027

【Abstract】Support vector machine（SVM）is a typical machine learning method based on statistical theory，It has a solid theoretical foundation and strong promotion ability.SVM Shows excellent performance on small sample，nonlinear and high dimensional problems.With the deepening of the research，SVM is widely used in various fields.This paper introduces the basic theory of statistics and SVM，the related application research of SVM and future research directions and development prospects.

【Key words】Support vector machine（SVM）；Statistical learning theory（SLT）；Application

0 概述

支持向量機（support vector machine，SVM）[1] 由Vapnik等提出，以統(tǒng)計學理論和結(jié)構(gòu)風險最小化原理為基礎的通用有效的機器學習方法，具有簡潔的數(shù)學形式、標準快捷的訓練方法，被廣泛應用于模式識別、函數(shù)估計、時間序列預測等領域。

SVM在解決小樣本、非線性、高維度的問題上較其它算法表示出優(yōu)異性，國內(nèi)外學者對SVM進行了大量深入的研究，并對一些算法進行了改進和優(yōu)化，使支持向量機的性能不斷得到改進，如針對訓練時間長，占用內(nèi)存大的缺點相繼提出了快算法、分解算法、序列最小優(yōu)化算法（SMO）、最小二乘SVM等快速算法。支持向量機最早被應用于模式識別中，隨著SVM相關(guān)理論的不斷完善，之后被廣泛應用于工作生活中的各個領域。

1 SVM理論

1.1 統(tǒng)計學習理論

統(tǒng)計學習理論[2]是一種專門研究小樣本的學習理論，通過一定的學習方法，找到數(shù)據(jù)的內(nèi)在依賴關(guān)系，從而對數(shù)據(jù)進行相關(guān)的預測。在統(tǒng)計學習理論中VC維表示機器學習的復雜性。對VC維一個直觀的定義：假設一個有h個樣本的樣本集，它能夠被一個函數(shù)集中的函數(shù)按照所有可能的2h種組合分開，則此函數(shù)集能將該樣本集打散。函數(shù)集能夠打散的最大樣本數(shù)目h就表示函數(shù)集的VC維。VC維越大表示機器學習能力越強。

統(tǒng)計學習理論系統(tǒng)地研究了對于各種類型的函數(shù)集、經(jīng)驗風險和期望風險之間的關(guān)系，即推廣性的界[3]。對于兩類的分類問題，函數(shù)集中所有函數(shù)、經(jīng)驗風險Remp（w）和期望風險R（w）之間的關(guān)系可簡化表示為：

2 支持向量機應用

SVM具有良好的泛化能力，較強的理論作支撐，國內(nèi)外學者對支持向量機算法做了大量深入的研究，并在此基礎上對算法進行了優(yōu)化，使支持向量機的性能不斷得到改進。支持向量機被廣泛地應用于各個領域，如模式識別方面的人臉識別、圖像分類、筆記鑒別、語音識別等和病毒檢測、垃圾郵件過濾、網(wǎng)絡入侵檢測等諸多數(shù)據(jù)分析領域。

2.1 人臉識別

人臉識別的核心思想是用知識的或統(tǒng)計的方法對人臉建模，在復雜的背景中比較可能的待檢區(qū)域和人臉模型的匹配度，判斷是否存在人面像并分離。

目前人臉識別檢測技術(shù)已經(jīng)較成熟并應用到各個領域，Osuna最早提出將SVM方法用于人臉識別技術(shù)中，通過訓練非線性SVM分類器對人臉和非人臉進行檢測分類。文獻[5]中提出基PCA+LDA+SVM的人臉識別改進框架，文獻[6]利用粒子群優(yōu)化算法對SVM兩個重要餐宿懲罰參數(shù)和核函數(shù)進行全局優(yōu)化得到最優(yōu)解，用于訓練最終的分類器進行人臉識別，得到更高的識別準確率。

2.2 圖像分類

圖像在人們的生活和工作中已經(jīng)成為傳遞和獲取信息的一種重要手段，快速定位圖像，合理分類圖像對提高基于內(nèi)容的圖像檢索準確性非常重要。文獻[7]提出基于SVM的簡單圖像和復雜圖像分類方法，文獻[8]將半監(jiān)督學習的思想和支持向量機有效的結(jié)合，提出基于均值漂移的標簽均值半監(jiān)督SVM的圖小分類方法，算法參數(shù)的取值方法通過均值漂移結(jié)果進行改進，使圖像分類結(jié)果得到較高的分類正確率和時間效率。

2.3 網(wǎng)絡入侵檢測

入侵檢測技術(shù)通過在計算機網(wǎng)絡系統(tǒng)的關(guān)鍵節(jié)點上收集信息并進行分析，對系統(tǒng)中違反安全策略的行為及時作出響應。網(wǎng)絡入侵檢測中的數(shù)據(jù)非常龐大復雜，具有高維、小樣本、線性不可分的特性。SVM作為一種在小樣本機器學習的基礎上發(fā)展起來的方法，通過風險最小化原理來解決小樣本、非線性、高維度等問題，并且能夠在先驗知識不足的情況下仍然保持較高的分類準確率，非常適合應用于網(wǎng)絡入侵檢測系統(tǒng)。

3 總結(jié)與展望

支持向量機以統(tǒng)計學習理論為基礎，有完備的理論依據(jù)，SVM被應用于很多領域并取得良好效果。但傳統(tǒng)支持向量機學習算法的研究側(cè)重對方法的探索而對數(shù)據(jù)集本身特點關(guān)注不夠，算法學習效率與數(shù)據(jù)規(guī)模有關(guān)，處理這類問題有可能導致算法運行較慢無法求解，在實際應用中沒有價值。因此，如何從實際問題出發(fā)探索支持向量機算法的建模和改進是一個值得深入研究的問題。

【參考文獻】

[1]CRISTIANINI N，TAYLOR J S.支持向量機導論[M].李國正，王猛，曾華軍，譯.北京：電子工業(yè)出版社，2004.

[2]Vapnik V.The nature of statistical learning theory[M]. Springer Science & Business Media，2013.

[3]mola A J，Williamson R C，Sch？觟lkopf B.Generalization bounds for convex combinations of kernel functions[J].1998.

[4]馬蕾，汪西莉.基于支持向量機協(xié)同訓練的半監(jiān)督回歸[J].計算機工程與應用，2011，47（3）：177-180.

[5]袁程波，基于PCA和SVM的人臉識別關(guān)鍵技術(shù)研究與實現(xiàn)[D].成都：電子科技大學，2017.

[6]廖周宇，王鈺婷，謝曉蘭，劉建明基于粒子群優(yōu)化的支持向量機人臉識別[J].計算機工程，2017，43（12），248-254.

[7]田云.基于二次分割的多特征圖像分類方法研究[D].太原，山西大學，2011.

[8]王朔琛.基于半監(jiān)督支持向量機的圖像分類方法研究[D].西安：陜西師范大學，2015.