郭新辰, 張 超, 李成龍

(東北電力大學(xué) 理學(xué)院, 吉林 吉林 132012)

支持向量機(SVM)是在VC維理論和結(jié)構(gòu)風(fēng)險最小化原理基礎(chǔ)上發(fā)展的一種通用機器學(xué)習(xí)方法[1]. 為提高SVM的訓(xùn)練效率, Suykens等[2-3]對標準SVM進行了擴展, 提出了最小二乘支持向量機(LS-SVM), 采用具有等式約束且滿足KKT條件的規(guī)則化最小二乘函數(shù)作為損失函數(shù), 代替了SVM計算復(fù)雜的QP問題, 求解速度相對較快. 但由于平方損失函數(shù)沒有正則化, 導(dǎo)致最小二乘向量機對孤立點的魯棒性較差[4-5].

為了克服噪聲和野點對支持向量機的影響, 文獻[6]將模糊集理論和支持向量機相結(jié)合, 提出了模糊支持向量機(FSVM). 文獻[7-10]將二者結(jié)合又提出了模糊最小二乘支持向量機(FLS-SVM). 在樣本的隸屬度確定方面, 常見的方法是根據(jù)樣本到類中心的距離確定相應(yīng)的隸屬度大小, 但這種方法所確定的隸屬度有兩點局限性： 1) 未考慮樣本間的緊密程度； 2) 未考慮樣本周圍的樣本點情況.

Zadeh[11]提出了模糊集理論, 但由于其隸屬度是一個實數(shù), 只能反映支持、 不支持和不確定三者之一, 不能反映實際情況. 因此, Atanassov[12]在模糊集的基礎(chǔ)上提出了基于隸屬度、 非隸屬度和不確定度的直覺模糊集. 本文將直覺模糊集的相關(guān)理論引入到最小二乘支持向量機中提出了新的直覺模糊最小二乘支持向量機(intuitionistic fuzzy least square support vector machine, IFLS-SVM).

1 直覺模糊集

設(shè)χ為給定的論域, 則定義χ上的直覺模糊集為

A={〈x,μA(x),νA(x)〉x∈χ},

其中μA(x):x→[0,1]和νA(x):x→[0,1]分別為A的隸屬度函數(shù)和非隸屬度函數(shù), 并滿足對所有的x∈A均有0≤μA(x)+νA(x)≤1成立.πA=1-(μA(x)+νA(x))稱為x屬于A的不確定度函數(shù), 即直覺指數(shù).

2 最小二乘支持向量機與模糊最小二乘支持向量機

給定帶有類別標簽的訓(xùn)練集(x1,y1),(x2,y2),…,(xl,yl), 其中訓(xùn)練樣本xi∈RN,yi∈{1,-1}為訓(xùn)練樣本對應(yīng)的類標簽,i=1,2,…,l. LS-SVM對應(yīng)的優(yōu)化問題為

(1)

其中：φ(x): RN→ RNh為輸入空間到特征空間的映射； 權(quán)矢量wT∈RN； 誤差變量ξi∈R；b為偏差量；C為正規(guī)化參數(shù)即最大分類間隔與最小分類誤差的折中.

若在FLS-SVM中引入隸屬度μi的概念, 則相關(guān)的數(shù)學(xué)模型變?yōu)?/p>

(2)

3 直覺模糊最小二乘支持向量機

給定帶有類別標簽的訓(xùn)練集(以樣本有兩類為例)： (x1,y1),(x2,y2),…,(xl,yl), 其中: 訓(xùn)練樣本xi∈RN;yi∈{1,-1}為訓(xùn)練樣本對應(yīng)的類標簽;i=1,2,…,l.

3.1 相關(guān)指標

圖1 樣本類中心與類內(nèi)、 外徑示意圖Fig.1 Diagram of sample class center and internal and external radii

3.1.2 樣本點周圍同類點比例與異類點比例 正樣本點周圍同類點比例為

負樣本點周圍同類點比例為

負樣本點周圍異類點比例為

d值需要綜合考慮R1,r1,R2,r2和正負樣本容量等指標合理取值[13].

3.1.3 樣本隸屬度 為了更好地反映每個樣本點與類別間的真實關(guān)系, 定義相關(guān)的隸屬度. 正樣本屬于正類隸屬度為

正樣本屬于負類隸屬度為

當(dāng)樣本點滿足D(xi,O1)

負樣本屬于負類隸屬度為

負樣本屬于正類隸屬度為

由隸屬度的計算公式可得：

3.2 直覺模糊最小二乘支持向量機

因為直覺指數(shù)反映了一個樣本的不確定程度, 所以直覺模糊最小二乘支持向量機模型為

(3)

其中k為待定參數(shù), 滿足0≤μi-k·πi≤1.

模型(3)對應(yīng)的Lagrange函數(shù)為

(4)

其中Lagrange乘子αi∈R,i=1,2,…,l. 根據(jù)KKT條件, 有

(5)

其中i=1,2,…,l. 將式(5)寫成矩陣形式為

(6)

其中:

Z=(y1φ(x1),y2φ(x2),…,ylφ(xl));y=(y1,y2,…,yl);μ=diag(μ1,μ2,…,μl);

π=diag(π1,π2,…,πl(wèi));ξ=(ξ1,ξ2,…,ξl)T;α=(α1,α2,…,αl)T;1=(1,1,…,1)T.

經(jīng)同解變換消去變量w和ξ, 并結(jié)合Mercer條件, 式(4)可寫成

(7)

其中Ωij=yiyjK(xi,xj). 令A(yù)=Ω+(C(μ-k·π))-1, 求解式(7)可得

4 仿真實驗

借助MATLAB的LSSVMlab工具箱, 在人工數(shù)據(jù)集上對本文算法進行實驗驗證. 驗證過程如下.

1) 隨機生成人工數(shù)據(jù)集. 樣本容量為300, 取其中100個樣本作為訓(xùn)練樣本集, 其余200個樣本作為測試集.

2) 對訓(xùn)練樣本集進行訓(xùn)練. 訓(xùn)練采用RBF核函數(shù), 取σ=0.5,C=10,d=0.6,k=0.5. 分別用LS-SVM,FLS-SVM和IFLS-SVM這3種方法對訓(xùn)練樣本集進行訓(xùn)練.

3) 根據(jù)3種訓(xùn)練結(jié)果分別對測試集進行測試.

4) 對測試結(jié)果進行整理. 由于每次訓(xùn)練時訓(xùn)練集和測試集均為隨機生成, 所以本文取3種方法測試100次準確率的平均值作為測試準確率.

根據(jù)上述訓(xùn)練過程, 得出3種方法的測試準確率結(jié)果分別為LS-SVM： 93.75%; FLS-SVM： 94.45%; IFLS-SVM： 95.25%. 可見IFLS-SVM的分類效果較好. 圖2為IFLS-SVM(圖2(A))和FLS-SVM(圖2(B))對同一組數(shù)據(jù)分類結(jié)果的對比. 由圖2可見, FLS-SVM將右下方的一個樣本點分錯, 而IFLS-SVM 則沒有. 因此, 本文提出的IFLS-SVM算法比較合理.

圖2 直覺模糊最小二乘支持向量機和模糊最小二乘支持向量機分類的對比結(jié)果Fig.2 Classification by IFLS-SVM and FLS-SVM

為了進一步驗證IFLS-SVM算法的有效性, 在標準數(shù)據(jù)集Blood-Transfusion, Pima Indians Diabetes和Statlog (Heart)上對LS-SVM, FLS-SVM和IFLS-SVM這3種算法進行對比測試, 測試結(jié)果列于表1. 由表1可見, IFLS-SVM算法對應(yīng)的準確率較高, 從而進一步驗證了IFLS-SVM算法的合理性.

表1 3種算法在標準數(shù)據(jù)集上的測試結(jié)果

綜上所述, 為了降低在采用LS-SVM分類時樣本中噪聲和野點對分類效果的影響, 本文將直覺模糊集的相關(guān)理論引入到LS-SVM中, 建立了直覺模糊最小二乘支持向量機. 先定義了樣本的隸屬度、 非隸屬度及直覺指數(shù)等相關(guān)指標, 并建立了IFLS-SVM的數(shù)學(xué)模型, 再對其求解過程進行推導(dǎo), 最后通過在人工數(shù)據(jù)集和標準數(shù)據(jù)集上進行仿真實驗, 實驗結(jié)果驗證了算法的有效性.

[1] Vapnik V N. Statistical Learning Theory [M]. New York: Wiley, 1995： 100-105.

[2] Suykens J A K. Nonlinear Modeling and Support Vector Machines [C]//Proceedings of the 18th IEEE Instrumentation and Measurement Technology Conference. Budapest: Hungary, 2001： 287-294.

[3] Suykens J A K, Vandewalle J. Least Squares Support Vector Machine Classifiers [J]. Neural Process Lett, 1999, 9(3)： 293-300.

[4] Shim J Y, Hwang C, Nau S. Robust LS-SVM Regression Using FuzzyC-Means Clustering [J]. Advances in Natural Computation, 2006, 1(1): 157-166.

[5] LI Jin, TANG Wei. Fuzzy Least Squares Support Vector Machine in the Black Liquor Baume Soft Measurement [J]. Aerospace Manufacturing Technology, 2008(2): 51-53. (李瑾, 湯偉. 模糊最小二乘支持向量機在黑液波美度軟測量中的應(yīng)用 [J]. 航天制造技術(shù), 2008(2): 51-53.)

[6] LIN Chun-fu, WANG Sheng-de. Fuzzy Support Vector Machines [J]. IEEE Transactions on Neural Networks, 2002, 13(2): 464-471.

[7] CHEN Xiu-juan, LI Yong, Robert H G, et al. Genetic Fuzzy Classification Fusion of Multiple SVMs for Biomedical Data [J]. Journal of Intelligent & Fuzzy Systems, 2007, 18(6): 527-541.

[8] YANG Jun, DUAN Chong, XIE Shou-sheng. Fuzzy Least Squares Support Vector Machines Based Recognition for Aircraft Flight Action [J]. Missiles and Guidance, 2004, 24(3): 395-398. (楊俊, 段翀, 謝壽生. 基于模糊最小二乘支持向量機的飛機飛行動作識別 [J]. 彈箭與制導(dǎo)學(xué)報, 2004, 24(3): 395-398.)

[9] ZHANG Ying, SU Hong-ye, CHU Jian. Soft Sensor Modeling Based on Fuzzy Least Squares Support Vector Machine [J]. Control and Decision, 2005, 20(6): 621-624. (張英, 蘇宏業(yè), 褚健. 基于模糊最小二乘支持向量機的軟測量建模 [J]. 控制與決策, 2005, 20(6): 621-624.)

[10] WEI Guo, LIU Jian, SUN Jin-wei, et al. Study on Nonlinear Multifunctional Sensor Signal Reconstruction Method Based on LS-SVM [J]. Acta Automatica Sinica, 2008, 34(8): 869-875. (魏國, 劉劍, 孫金瑋, 等. 基于LS-SVM的非線性多功能傳感器信號重構(gòu)方法研究 [J]. 自動化學(xué)報, 2008, 34(8): 869-875.)

[11] Zadeh L A. Fuzzy Sets [J]. Information and Control, 1965, 8(3): 338-353.

[12] Atanassov K T. Intuitionistic Fuzzy Sets [J]. Fuzzy Sets and Systems, 1986, 20(1): 87-96.

[13] HA Ming-hu, HUANG Shu, WANG Chao, et al. Intuitionistic Fuzzy Support Vector Machine [J]. Journal of Hebei University: Natural Sicence Edition, 2011, 31(3): 225-229. (哈明虎, 黃澍, 王超, 等. 直覺模糊支持向量機 [J]. 河北大學(xué)學(xué)報: 自然科學(xué)版, 2011, 31(3): 225-229.)