劉 通,李海富,王麗榮,臧睦君

(1.長春理工大學(xué) 電子信息工程學(xué)院,長春 130022； 2.長春大學(xué) 電子工程學(xué)院,長春 130022；3.吉林大學(xué) 通信工程學(xué)院,長春 130012)

0 引 言

隨著控制系統(tǒng)硬件的發(fā)展,系統(tǒng)模型的精度和復(fù)雜性都在逐步提高。而對于康復(fù)器械,傳統(tǒng)的系統(tǒng)辨識往往需要使用單位階躍等固定輸入信號獲取所需樣本。由于康復(fù)器械的特殊性,在很多情況下,這類信號的響應(yīng)無法采樣得到,因此傳統(tǒng)的建模方法無法滿足該類系統(tǒng)的工程需要。目前,一些非結(jié)構(gòu)化的機器學(xué)習(xí)模型也逐漸被應(yīng)用于該領(lǐng)域的系統(tǒng)建模,其多數(shù)基于機器回歸的理論模型[1,2],其中支持向量機是較好的方法之一。

支持向量機(SVM：Support Vector Machine)是由AT&T貝爾實驗室的Vapnik及其研究小組于1995年在統(tǒng)計學(xué)習(xí)理論(SLT：Statistical Learning Theory)的基礎(chǔ)上提出的一類新型的機器學(xué)習(xí)方法[3,4]。該方法相對人工神經(jīng)網(wǎng)絡(luò)而言,使用統(tǒng)計風(fēng)險最小準(zhǔn)則,有效地解決了人工神經(jīng)網(wǎng)絡(luò)泛化能力較差的問題,在很多領(lǐng)域中作為解決回歸問題的重要工具。但支持向量機回歸模型的效果依賴于訓(xùn)練參數(shù)的選取,而由于本課題模型的一些特殊性,導(dǎo)致在通常情況下,不能完全使用以非線性函數(shù)回歸為藍本的支持向量機的參數(shù)選取方法。因此,研究目前流行的參數(shù)選取算法在這類模型下的性質(zhì)具有一定的工程實用價值,筆者通過仿真對比實驗的方法得出一些主流算法的性能,討論了這些算法在建模中的應(yīng)用范圍,并提出不同應(yīng)用環(huán)境下算法的選取依據(jù)。

1 模型的特性分析與支持向量機建模

系統(tǒng)建模的基本問題,是對某系統(tǒng)y=f(x),x∈R1,y∈R2,求得映射g：R1→R2,使函數(shù)f和g之間的距離最小

(1)

其中L定義為懲罰函數(shù)(Loss function),該式直接反映回歸的精確度,被認(rèn)為是回歸器的反饋。系統(tǒng)模型中f為待求量,可通過采樣得到樣本對(x1,y1),(x2,y2),…,(xr,yr),xi∈R1,yi∈R2,通過回歸方式求得g。控制系統(tǒng)的回歸模型在本質(zhì)上與非線性函數(shù)回歸沒有區(qū)別,通常情況下,驅(qū)動系統(tǒng)的離散模型在i+1時刻的輸出可描述為

yi+1=f(yi,…,yi-n+1,ri+1,ri,…,ri-n+1)=f(xi)

(2)

其中xi=yi,…,yi-n+1,ri+1,ri,…,ri-n+1,n為系統(tǒng)的階數(shù)。此外,樣本集具有如下的前后遞推關(guān)系[5]

[(yn-1,…,y0,rn-1,…,r0),yn]=(xn,yn)

[(yn,…,y1,rn,…,r1),yn+1]=(xn+1,yn+1)

(3)

這種特性說明,n階系統(tǒng)當(dāng)前時刻的輸入與前n個狀態(tài)有關(guān),因此,相對非線性函數(shù)回歸,訓(xùn)練樣本不具有完全的獨立性。對于固定結(jié)構(gòu)的支持向量機,其最優(yōu)參數(shù)的選擇依賴于樣本,因此,樣本的特殊性也會導(dǎo)致最優(yōu)參數(shù)的選擇方法需要單獨展開研究。

依據(jù)瓦普尼克的支持向量機基礎(chǔ)理論,使用高斯徑向基函數(shù)K(x,xi)=exp(-γ*‖x-xi‖2)為支持向量機的核函數(shù),懲罰函數(shù)采用線性ε不敏感損失函數(shù)

Lε(x,y,f)=|y-f(x)|ε=max(0,|y-f(x)|-ε)

(5)

其中f是域X上的實值函數(shù),x∈X,y∈R。核函數(shù)提供了由樣本空間到可線性回歸空間的映射,而不敏感損失函數(shù)則是式(1)的具體表達式

二次規(guī)劃問題

(6)

在給定的參數(shù)下解決此二次規(guī)劃問題就是支持向量機的學(xué)習(xí)過程。

2 支持向量機的參數(shù)選取方法

SVM的參數(shù)選取至今沒有一個準(zhǔn)確的方法,但其訓(xùn)練效果嚴(yán)重依賴于其參數(shù)的選取,所以從其創(chuàng)始之初參數(shù)選取的討論就已經(jīng)開始。對于經(jīng)典支持向量機模型,定義不敏感損失函數(shù)的敏感度因子為C,核函數(shù)寬度參數(shù)的倒數(shù)為G。在本文中,C為式(5)中的ε,G為式(4)中1/γ。文獻[6]首次提出了參數(shù)C的經(jīng)驗選取方法； 文獻[7]進一步提出了基于響應(yīng)和樣本方差的經(jīng)驗公式； 文獻[8]從噪聲與損失函數(shù)的關(guān)聯(lián)角度提出了損失參數(shù)的經(jīng)驗公式。這些早期的方法在一定程度上近似地解決了這一問題。

由于下肢康復(fù)訓(xùn)練器驅(qū)動系統(tǒng)的特殊性,對參數(shù)選擇方法也有一些特殊要求：1)樣本的前后遞推關(guān)系使其并不完全獨立,所以使參數(shù)特性與非線性函數(shù)回歸不同,參數(shù)選取算法需要適應(yīng)該模型； 2)在設(shè)備的設(shè)計、研發(fā)和中試階段都需要不斷調(diào)整系統(tǒng)參數(shù)甚至系統(tǒng)結(jié)構(gòu),因此,算法不需要過多人為干預(yù)就能得出有效結(jié)論； 3)能快速而較準(zhǔn)確地找到最優(yōu)參數(shù)。

隨著計算機科學(xué)技術(shù)的發(fā)展,一些工程上常用的參數(shù)選取方法逐漸開始被廣泛應(yīng)用。這類工程算法通常以MSE(Mean Square Error,EMSE)和互相關(guān)系數(shù)(R2)作為目標(biāo)函數(shù)的尋優(yōu)算法,如粒子群算法(PSO:Particle Swarm Optimization)、網(wǎng)格搜索(GS:Grid-Search)和遺傳算法(GA:Genetic Algorithm)。

由于粒子群算法相對遺傳算法而言,種群之間的聯(lián)系具有更明確的物理意義,因此,可把支持向量機中常用的交叉驗證思想方便地引入粒子群,這類組合算法在近些年來的工程中也逐漸出現(xiàn)。

近幾年來,提出一些針對通用支持向量機回歸的算法,如文獻[9]提出了一種啟發(fā)式算法,該算法在精度和效率上都較工程尋優(yōu)算法有巨大的優(yōu)勢。需要指出的是雖然文獻[9]中沒有在理論上明確指出依據(jù),但認(rèn)為啟發(fā)式算法的成功得益于其采用經(jīng)驗概率模型的吉布斯采樣參數(shù)估計。除了這些專用算法,一些改進型的工程尋優(yōu)算法[10]也被廣泛引用于這一領(lǐng)域。

目標(biāo)函數(shù)尋優(yōu)的參數(shù)選取方法的特點更適應(yīng)于筆者需求,因此,筆者對3類常見的目標(biāo)函數(shù)尋優(yōu)算法通過仿真對比的方式,研究其優(yōu)缺點及其適用范圍,以此得到下肢康復(fù)器械使用SVM建模時,針對不同設(shè)備要求和實驗環(huán)境采用的參數(shù)選擇算法。

3 目標(biāo)函數(shù)尋優(yōu)算法及其仿真

常用的目標(biāo)函數(shù)尋優(yōu)算法中有代表性的是:以GS為代表的枚舉迭代法、以GA為代表的全局優(yōu)化算法以及以PSO為代表的局部與全局響應(yīng)結(jié)合的方法。

樣本的采集使用Matlab的Simulink工具箱,搭建樣本采集系統(tǒng)(見圖1),以采集到的樣本前6 s作為訓(xùn)練集,后40 s為測試集,采樣間隔0.1 s,因此,得到60個訓(xùn)練樣本和400個測試樣本,對樣本進行(-1,+1)的歸一化后分別作為訓(xùn)練集和測試集。

圖1 Simulink采樣仿真系統(tǒng)

筆者使用臺灣國立大學(xué)林智仁教授開發(fā)的Libsvm系列工具箱為支持向量機回歸仿真工具,使用其Matlab版本作為平臺進行研究。該工具箱提供了完善的核函數(shù)、參數(shù)和訓(xùn)練效果等接口,筆者以訓(xùn)練參數(shù)接口作為目標(biāo)函數(shù)的自變量,訓(xùn)練效果反饋接口作為目標(biāo)函數(shù)的因變量。自變量具體為懲罰參數(shù)C和高斯徑向基核寬度G,而因變量為訓(xùn)練集和測試集上的EMSE和R2。以此為基礎(chǔ),分別在SVM外層搭建3種目標(biāo)函數(shù)尋優(yōu)算法的參數(shù)尋優(yōu)函數(shù),用于分析其特點。

3.1 GS算法

GS算法的基本步驟：

1)對給定的參數(shù)范圍和步長,枚舉產(chǎn)生參數(shù)樣本對;

2)對每個參數(shù)樣本對執(zhí)行SVM訓(xùn)練,并且在訓(xùn)練集上執(zhí)行訓(xùn)練;

3)求得每個參數(shù)樣本的MSE;

4)取MSE最小的參數(shù)樣本作為最終的訓(xùn)練參數(shù)。

設(shè)置C、G的迭代范圍均為(2-8,28),迭代步長均為2-0.5,迭代找到的最優(yōu)參數(shù)C=8,G=0.015 625。該參數(shù)下,訓(xùn)練集EMSE=0.002 303 64,R2=0.995 528,測試集EMSE=0.004 079 75,R2=0.992 219。輸出效果比對如圖2所示。圖2中縱坐標(biāo)為系統(tǒng)輸出歸一化值,橫坐標(biāo)為樣本序列號。其中實線連接的黑色空心圓為Simulink仿真系統(tǒng)輸出,虛線連接的淺色空心三角為SVM預(yù)測輸出,兩者在波形上完全近似,僅在局部區(qū)域存在偏差,實際效果與所得的實驗統(tǒng)計數(shù)據(jù)基本一致。

圖2 GS算法的效果

由于GS是一種沒有隨機量的算法,而SVM本身也沒有隨機量,因此,該算法的實驗結(jié)果絕對穩(wěn)定(無論進行多少次實驗均能得到相同的結(jié)果)。這種特性適用于容易造成二次損傷的下肢殘障病人專用的器械。而從實驗效果看,回歸效果也非常優(yōu)秀。但需要指出的是,由于這類算法過于依賴計算量,其運算量對參數(shù)的個數(shù)以及訓(xùn)練樣本數(shù)量呈災(zāi)難性,因此,不適于大樣本回歸以及目前較熱門的多核支持向量機[11,12]。

3.2 GA算法的基本步驟

1)初始化。設(shè)置進化代數(shù)計數(shù)器t=0,設(shè)置最大進化代數(shù)T,隨機生成M個個體作為初始群體P(0)。

2)個體評價。計算群體P(t)中每個個體的適應(yīng)度。

3)選擇運算。將選擇算子作用于群體。以優(yōu)化的個體直接遺傳到下一代或通過配對交叉產(chǎn)生新的個體再遺傳到下一代。選擇操作建立在群體中個體的適應(yīng)度評估基礎(chǔ)上。

4)交叉運算。將交叉算子作用于群體。交叉是指把兩個父代個體的部分結(jié)構(gòu)加以替換重組成新個體的操作。遺傳算法中起核心作用的就是交叉算子。

5)變異運算。將變異算子作用于群體。即對群體中個體串的某些基因座上的基因值進行變動。 群體P(t)經(jīng)過選擇、交叉和變異運算后得到下一代群體P(t1)。

6)終止條件判斷。若t=T,則以進化過程中所得到的具有最大適應(yīng)度的個體作為最優(yōu)解輸出,終止計算。

使用與3.1節(jié)相同的樣本和迭代范圍,設(shè)置參數(shù)為最大進化代數(shù)100,種群數(shù)量20。由于GA算法不穩(wěn)定,并且在理論上不保證每次都能找到最優(yōu)解,因此,通過多次重復(fù)實驗的方式檢驗其效果和穩(wěn)定性。筆者列出其中15次實驗結(jié)果(見表1),表1中,依次統(tǒng)計了對訓(xùn)練集本身進行預(yù)測輸出以及對測試集進行輸出的EMSE和R2,充分體現(xiàn)其精確度和泛化能力。從結(jié)果可以看出,GA算法在本課題中表現(xiàn)非常不穩(wěn)定,有時會得到非常理想的結(jié)果,如第7組、第12組和第13組,但多數(shù)情況下結(jié)果并不理想,甚至完全不可用。

表1 GA的實驗數(shù)據(jù)統(tǒng)計

雖然GA算法在分類問題以及通用回歸問題中有良好的表現(xiàn)[13,14],但該算法無法滿足要求,可能是兩方面原因?qū)е碌模?)該課題中樣本不完全獨立會導(dǎo)致目標(biāo)函數(shù)有更多的局部最優(yōu)點,而GA算法在局部最優(yōu)點過多的情況下并不十分有效； 2)GA算法在局部最優(yōu)點之間存在的聯(lián)系過于隨機化,使迭代效率非常低。因此,在本課題中,GA算法僅適用于不關(guān)注參數(shù)穩(wěn)定性的實驗室討論。

3.3 CV-PSO算法

CV-PSO(Cross Validation-Particle Swarm Optimization)算法的基本步驟如下：

1)種群隨機初始化；

2)通過交叉驗證規(guī)則生成不同樣本集；

3)在不同樣本集上對種群內(nèi)的每個個體計算適應(yīng)值(fitness value),其與最優(yōu)解的距離有關(guān)；

4)種群根據(jù)適應(yīng)值進行復(fù)制,并保留最佳適應(yīng)值的解；

5)判斷是否滿足中止條件,若不滿足,則跳轉(zhuǎn)到2)； 若滿足,則以找到的最佳適應(yīng)值的解為最終結(jié)果。

筆者選取與3.2節(jié)相同的最大運算代數(shù)和種群數(shù)量,并引入3折交叉驗證。由于粒子群算法同樣是不穩(wěn)定的,因此,通過多次重復(fù)實驗驗證其性能與穩(wěn)定性,表2為其中15次實驗結(jié)果,實驗結(jié)果的統(tǒng)計方式與表1相同。

可看出雖然結(jié)果不是絕對穩(wěn)定,但第1、2、4、6、9、11、12、14組的結(jié)果收斂于相同的最優(yōu)解,而且其他解也較為穩(wěn)定地收斂在性能很好的位置。在該課題中,CV-PSO算法的效果得益于：1)比GA算法具有更明確的種群聯(lián)系； 2)引入的交叉驗證算法極大地提高了系統(tǒng)的泛化能力； 3)局部加種群聯(lián)系的響應(yīng)方法對控制系統(tǒng)中樣本不獨立問題的包容性更好。因此,相對于GS算法,CV-PSO適用于對穩(wěn)定性沒有絕對要求的情況,而對于實時性要求不高的系統(tǒng),GS依然是一種最有效的選擇。

表2 CV-PSO的實驗結(jié)果統(tǒng)計

(續(xù)表2)

40.003 484 070.995 0350.003 970 610.991 49250.003 580 330.994 4020.004 005 320.990 31460.003 484 070.995 0350.003 970 610.991 49270.002 292 710.996 5650.004 043 680.994 05880.003 565 260.994 5370.003 996 390.990 57090.003 484 070.995 0350.003 970 610.991 492100.002 292 710.996 5650.004 043 680.994 058110.003 484 070.995 0350.003 970 610.991 492120.003 484 070.995 0350.003 970 610.991 492130.002 292 710.996 5650.004 043 680.994 058140.003 484 070.995 0350.003 970 610.991 492150.002 292 710.996 5650.004 043 680.994 058

4 結(jié) 語

筆者針對支持向量機用于下肢康復(fù)訓(xùn)練器驅(qū)動系統(tǒng)建模時的訓(xùn)練參數(shù)選取問題進行了研究,通過對比實驗的方法討論了當(dāng)前比較流行的3種目標(biāo)函數(shù)極值尋優(yōu)算法。實驗結(jié)果表明：GS算法絕對穩(wěn)定而且效果很好,但運算開銷大,僅適用于單核雙參數(shù)的情況； GA算法適用于不考慮參數(shù)問題的支持向量機實驗室討論,而不適合于此類問題的工程應(yīng)用； CV-PSO算法較為穩(wěn)定,且性能很好,適合于除個別(要求性能絕對穩(wěn)定)情況下的多數(shù)工程應(yīng)用。對3種不同算法的實驗討論以及選取依據(jù)的提出解決了下肢康復(fù)訓(xùn)練器驅(qū)動系統(tǒng)建模的難點。

參考文獻：

[1] 康皓,林和平.基于模糊回歸的模糊決策模型的設(shè)計與實現(xiàn)[J].吉林大學(xué)學(xué)報：信息科學(xué)版,2005,23(2)：107-112.

KANG Hao,LIN He-ping.Design and Realization of Fuzzy Decision Making Model Based on Fuzzy Regress[J].Journal of Jilin University:Information Science Edition,2005,23(2)：107-112.

[2]林和平,張秉正,喬幸娟.回歸分析人工神經(jīng)網(wǎng)絡(luò)[J].吉林大學(xué)學(xué)報：信息科學(xué)版,2010,28(2)：147-152.

LIN He-ping,ZHANG Bing-zheng,QIAO Xing-juan.Regression Analysis Artificial Neural Network[J].Journal of Jilin University：Information Science Edition,2010,28(2)：147-152.

[3]VAPNIK V.The Nature of Statistical Learning Theory[M].New York:Springer,1999.

[4]MOLA A.A Tutorial on Support Vector Regression[R].London,UK：Royal Holloway College,University of London,1998.

[5]梁華,李應(yīng)紅,尉詢楷,等.航空發(fā)動機的支持向量機自適應(yīng)PID控制[J].航空動力學(xué)報,2007,22(1)：137-141.

LIANG Hua,LI Ying-hong,WEI Xun-kai,et al.Support Vector Machines PID Adaptive Control in Aeroengine[J].Journal of Aerospace Power,2007,22(1)：137-141.

[6]MATTERA D,HAYKIN S.Support Vector Machines for Dynamic Reconstruction of a Chaotic System[C]∥Advances in Kernel Methods-Support Vector Learning.Cambridge,MA:MIT Press,1999.

[7]CHERKASSKY V,MA Y.Selection of Meta-Parameters for Support Vector Regression[C]∥Proceedings of the International Conference on Artificial Neural Networks.Madrid,Spain:Springer,2002:687-693.

[8]SMOLA A J,MURATA N,SCHOLKOPF B,et al.Asymptotically Optimal Choice of Epsilon-Loss for Support Vector Machines[C]∥Proceeding of the International Conference on Artificial Neural Network.Berlin,Germany:Springer,1998:105-110.

[9]劉靖旭,蔡懷平,譚躍進.支持向量回歸參數(shù)調(diào)整的一種啟發(fā)式算法[J].系統(tǒng)仿真學(xué)報,2007,19(7):1540-1543.

LIU Jing-xu,CAI Huai-ping,TAN Yue-jin.Heuristic Algorithm for Tuning Hyperparameters in Support Vector Regression[J].Journal of System Simulation,2007,19(7):1540-1543.

[10]ZHOU Tao,ZHANG Yan-ning,YUAN He-jin,et al.SVM Based on Improvement Particle Swarm Optimization Algorithm[J].Computer Engineering and Applications,2007,43(15):44-46.

[11]楊海燕,周永權(quán).一種支持向量機的混合核函數(shù)[J].計算機應(yīng)用,2009,29(12)：173-178.

YANG Hai-yan,ZHOU Yong-quan.Mixture Kernel Function of Support Vector Machines[J].Journal of Computer Applications,2009,29(12):173-178.

[12]顏根廷,馬廣富,肖余之.一種混合核函數(shù)支持向量機算法[J].哈爾濱工業(yè)大學(xué)學(xué)報,2007,39(11)：1704-1706.

YAN Gen-ting,MA Guang-fu,XIAO Yu-zhi.Support Vector Machines Based on Hybrid Kernel Function[J].Journal of Harbin Institute of Technology,2007,39(11):1704-1706.

[13]王建中,劉凌,徐金陽.基于遺傳算法與支持向量機的日流量預(yù)測[J].水電能源科學(xué),2008,26(4)：14-17.

WANG Jian-zhong,LIU Ling,XU Jin-yang.Daily Flow Forecasting Based on Genetic Algorithm and Support Vector Machine[J].Water Resources and Power,2008,26(4)：14-17.

[14]陳果.基于遺傳算法的支持向量機分類器模型參數(shù)優(yōu)化[J].機械科學(xué)與技術(shù),2007,26(3):347-350.

CHEN Guo.Optimizing the Parameters of Support Vector Machine’s Classifier Model Based on Genetic Algorithm[J].Mechanical Science and Technology,2007,26(3):347-350.