程雙江 李世平 鄔肖敏 鄭 堂

(第二炮兵工程大學(xué)，西安 710025)

?

基于改進(jìn)混合核SVM的非線性組合預(yù)測

程雙江 李世平 鄔肖敏 鄭 堂

(第二炮兵工程大學(xué)，西安 710025)

針對SVM在預(yù)測過程中核函數(shù)難以確定的問題，采用混合核函數(shù)并進(jìn)行改進(jìn)，提出基于預(yù)測有效度的混合核函數(shù)混合參數(shù)確定準(zhǔn)則；結(jié)合多項(xiàng)式預(yù)測和ARIMA預(yù)測單一預(yù)測模型，實(shí)現(xiàn)了改進(jìn)的SVM用于某電壓計量標(biāo)準(zhǔn)精度的非線性組合預(yù)測，結(jié)果表明改進(jìn)后的SVM預(yù)測效果得到了很大程度的提高，具有很高的應(yīng)用價值。

SVM；混合核函數(shù)；非線性組合預(yù)測；預(yù)測有效度

0 引言

預(yù)測是運(yùn)用科學(xué)的判斷方法，對事物未來可能演變的情況，事先作出推測的一種技術(shù)。傳統(tǒng)的單一預(yù)測模型包括時間序列預(yù)測模型、回歸分析預(yù)測模型、隨機(jī)時間序列預(yù)測模型和灰色系統(tǒng)預(yù)測模型等[1-2]，然而單純的使用某一種單一預(yù)測模型往往達(dá)不到理想的預(yù)測精度，因此1969年Bates和Granger提出了組合預(yù)測[3]的概念。組合預(yù)測分為線性組合預(yù)測和非線性組合預(yù)測兩種，線性組合預(yù)測是不同預(yù)測方法的值之間的一種凸組合，對于—個復(fù)雜系統(tǒng)的預(yù)測對象，單單依靠各個子方法的簡單線性相加有時候會出現(xiàn)預(yù)測精度不高甚至無法預(yù)測的現(xiàn)象[4-5]，因此本文采用基于SVM的非線性組合預(yù)測。

本文將首先分別使用多項(xiàng)式模型和ARIMA模型對某電壓計量標(biāo)準(zhǔn)精度進(jìn)行單一預(yù)測，而后將單一預(yù)測模型結(jié)果作為輸入，輸入到SVM進(jìn)行組合?？紤]到SVM核函數(shù)[6]選擇的重要性，本文將采用多項(xiàng)式(poly)核和徑向基(RBF)核的混合核[7-8]進(jìn)行SVM非線性組合預(yù)測，這樣即可以保證預(yù)測的擬合能力又能提高其外推性。但是考慮到截止到目前為止混合核函數(shù)的混合參數(shù)(各核函數(shù)所占百分比)的確定尚沒有統(tǒng)一的有效方法，因此本文將預(yù)測有效度[9-10]引入到混合參數(shù)的確定當(dāng)中，提出了一種基于預(yù)測有效度的混合核SVM組合預(yù)測模型，將其應(yīng)用到某電壓計量標(biāo)準(zhǔn)精度的預(yù)測當(dāng)中進(jìn)行分析。

1 單一預(yù)測模型

考慮到多項(xiàng)式模型對于趨勢項(xiàng)擬合效果較好，而ARIMA模型對于隨機(jī)序列效果較好，因此單一預(yù)測模型選擇兩者。

多項(xiàng)式模型是基于多項(xiàng)式的非線性擬合能力，對歷史數(shù)據(jù)進(jìn)行擬合和預(yù)測，多項(xiàng)式擬合的性能跟多項(xiàng)式階數(shù)有很大的關(guān)系，多項(xiàng)式的階數(shù)越高，擬合的效果越好，但是階數(shù)過高，會導(dǎo)致外推性變差，因此采用多項(xiàng)式模型，階數(shù)必須要著重考慮。同時ARMA模型處理的是平穩(wěn)信號，而計量標(biāo)準(zhǔn)精度的變化展現(xiàn)出的是非平穩(wěn)特性，因此首先要去非平穩(wěn)化，即對信號進(jìn)行差分處理，建立ARIMA模型，該模型對隨機(jī)信號能進(jìn)行有效預(yù)測，尤其能處理周期性變化的序列，且建模時所需數(shù)據(jù)量少。因此將多項(xiàng)式模型與ARIMA模型相結(jié)合，能很好的相互補(bǔ)充。

2 SVM和SVM核函數(shù)

2.1 SVM簡介

SVM是根據(jù)Vapnik等人提出的統(tǒng)計學(xué)理論發(fā)展而來的。該學(xué)習(xí)機(jī)主要建立在兩個理論基礎(chǔ)之上：VC維理論和結(jié)構(gòu)風(fēng)險最小化理論[11-12]。SVM根據(jù)有限的樣本信息，在學(xué)習(xí)能力和模型的復(fù)雜性之間尋找二者的平衡，使其具有更強(qiáng)的泛化能力。

SVM的最大特點(diǎn)在于它通過非線性變換將原問題映射到某個高維特征空間中的線性問題上進(jìn)行求解。這個非線性變換通過SVM的核函數(shù)實(shí)現(xiàn)，這樣根據(jù)SRM準(zhǔn)則，SVM回歸預(yù)測問題最終就可表示為一個二次規(guī)劃問題，不存在局部極小點(diǎn)。

2.2 SVM核函數(shù)

對于SVM而言，不同的核函數(shù)和核函數(shù)參數(shù)，對預(yù)測結(jié)果起著決定性的作用，而核函數(shù)的種類有很多，常見的有多項(xiàng)式(poly)核函數(shù)、徑向基(RBF)核函數(shù)和Sigmoid核函數(shù)等，因此選擇何種核函數(shù)是研究SVM的重點(diǎn)。鑒于這些核函數(shù)在類型上可分為局部核函數(shù)和全局核函數(shù)，全局核函數(shù)具有較強(qiáng)的外推能力，局部核函數(shù)具有較強(qiáng)的擬合能力，因此本文采用混合核函數(shù)進(jìn)行研究。

poly核函數(shù)和RBF核函數(shù)分別作為全局核函數(shù)和局部核函數(shù)的代表被運(yùn)用到本文的混合核函數(shù)當(dāng)中，其計算公式分別表示如下

Kpoly(xi,xj)=[(xi·xj)+1]d

(1)

式中，d為poly核函數(shù)的階數(shù)；σ為RBF核函數(shù)的寬度。取xj=0.2，d分別為1、2、3，則poly核函數(shù)曲線圖如圖1所示，由圖中我們可以清楚地看到poly核函數(shù)的全局性。

圖1 poly核函數(shù)曲線

同樣取xj=0.2，寬度σ分別取0.1、0.3、0.5，RBF核函數(shù)曲線圖如圖2所示，從圖中我們可以發(fā)現(xiàn)RBF核函數(shù)值僅在測試點(diǎn)附近才較大，因此RBF核函數(shù)是局部核函數(shù)。

圖2 RBF核函數(shù)曲線

3 基于預(yù)測有效度的混合核函數(shù)SVM

混合核函數(shù)指的是將兩個不同的核函數(shù)混合起來使用，采用poly核和RBF核混合，混合后的核函數(shù)表述如下：

K=ρKpoly+(1-ρ)KRBF

(2)

式中，ρ為混合核函數(shù)混合參數(shù)，如何確定尚無定論。本文通過分析提出了一種基于預(yù)測有效度的方法。

預(yù)測有效度是基于對預(yù)測結(jié)果的評價，不同的指標(biāo)序列具有不同的量綱導(dǎo)致無法直接進(jìn)行比較而提出的。其定義如下：

則第i種方法的k階預(yù)測有效度可以表示為

(3)

其中H為某一k元連續(xù)函數(shù)。因此一階預(yù)測有效度就可以用預(yù)測有效度元來表示，那么第i種預(yù)測方法在區(qū)間[N+1,N+T]上的一階預(yù)測有效度就可表示為

(4)

那么基于一階預(yù)測有效度的混合核函數(shù)參數(shù)ρ就可以按照下面公式確定

(5)

按照擬合誤差“近大遠(yuǎn)小”[13]的原理，即區(qū)別對待各時刻的擬合誤差，歷史中近期的發(fā)展規(guī)律應(yīng)該得到更好的擬合，遠(yuǎn)期歷史數(shù)據(jù)的擬合程度可以稍低，取

(6)

將式(6)帶入式(5)就可以求得混合參數(shù)ρ的大小。

4 基于預(yù)測有效度的混合核函數(shù)SVM組合預(yù)測實(shí)例分析

計量標(biāo)準(zhǔn)是保障儀器測量量值準(zhǔn)確、統(tǒng)一的物質(zhì)基礎(chǔ)。對其進(jìn)行精度預(yù)測是進(jìn)行計量標(biāo)準(zhǔn)全壽命周期質(zhì)量控制、管理與檢測的主要手段，是科學(xué)合理的確定計量標(biāo)準(zhǔn)量值傳遞和溯源周期的重要依據(jù)，在確定儀器的有效使用時間和使用壽命方面具有重要的應(yīng)用價值，這里將計量標(biāo)準(zhǔn)的精度預(yù)測轉(zhuǎn)換成誤差數(shù)據(jù)進(jìn)行預(yù)測研究。

預(yù)測流程可以表示為如圖3所示。

圖3 預(yù)測流程圖

預(yù)測步驟可表述如下：

步驟1)：進(jìn)行多項(xiàng)式模型和ARIMA模型的單一模型預(yù)測；

步驟2)：根據(jù)單一模型的預(yù)測結(jié)果，分別進(jìn)行多項(xiàng)式核和RBF核SVM的非線性組合預(yù)測；

步驟3)：根據(jù)poly核和RBF核預(yù)測結(jié)果，計算混合核函數(shù)的混合參數(shù)；

步驟4)：利用混合核函數(shù)進(jìn)行SVM非線性組合預(yù)測。

本設(shè)計是基于某計量站2004年至2011年10V電壓計量標(biāo)準(zhǔn)精度變化監(jiān)測數(shù)據(jù)為依據(jù)，進(jìn)行實(shí)例分析。監(jiān)測數(shù)據(jù)如表1所示，共96個數(shù)據(jù)點(diǎn)，選取90個點(diǎn)作為樣本進(jìn)行擬合訓(xùn)練，剩余6個點(diǎn)進(jìn)行預(yù)測分析。

表1 10V電壓計量標(biāo)準(zhǔn)精度變化監(jiān)測數(shù)據(jù) (單位：10-6V)

首先分別采用多項(xiàng)式模型和ARIMA模型進(jìn)行單一模型預(yù)測，多項(xiàng)式模型階數(shù)設(shè)為4，ARIMA模型的參數(shù)(p，d，q)分別取值為(4，5，1)，預(yù)測結(jié)果如圖4所示：

圖4 多項(xiàng)式模型和ARIMA模型擬合

由圖(4)我們可以看到，就本實(shí)例來說多項(xiàng)式模型和ARIMA模型均反映出了誤差的變化趨勢，ARIMA模型預(yù)測相對效果較好，但仍有較大誤差。為了進(jìn)一步的提高預(yù)測性能，我們進(jìn)行SVM組合預(yù)測，為了提高預(yù)測精度，使用遺傳算法(GA)對SVM的參數(shù)進(jìn)行優(yōu)化。首先分別使用poly核SVM和RBF核SVM進(jìn)行非線性組合預(yù)測，而后根據(jù)兩者的預(yù)測結(jié)果計算混合核函數(shù)的混合參數(shù)，最后使用設(shè)計的基于預(yù)測有效度的混合核SVM進(jìn)行預(yù)測，分析比較預(yù)測結(jié)果。采用poly核和RBF核SVM進(jìn)行預(yù)測的擬合曲線和誤差曲線分別如圖(5)和圖(6)所示：

圖5 poly核和RBF核擬合曲線

圖6 poly核和RBF核擬合誤差曲線

由圖5和圖6可以看到，組合預(yù)測SVM模型相比于多項(xiàng)式和ARIMA單一預(yù)測模型，精度得到很大程度的提高，反映了組合預(yù)測的強(qiáng)大優(yōu)勢。根據(jù)兩者預(yù)測結(jié)果，經(jīng)計算得混合核參數(shù)ρ=0.347，然后進(jìn)行混合核SVM組合預(yù)測，得到擬合曲線(圖7)和誤差曲線(圖8)如下所示。

圖7 混合核SVM擬合曲線

圖8 混合核SVM擬合誤差曲線

可以看到，基于預(yù)測有效度的混合核函數(shù)SVM預(yù)測相比單一核SVM預(yù)測性能又得到了進(jìn)一步的提升。為了更加直觀的看到效果，將兩單一預(yù)測模型和三種不同形式核函數(shù)SVM分別用于后6個數(shù)據(jù)點(diǎn)的預(yù)測，6個數(shù)據(jù)點(diǎn)的實(shí)際值與預(yù)測值進(jìn)行比較如表2所示。

表2 不同核函數(shù)實(shí)際值與預(yù)測值比較 (單位：10-6V)

對于預(yù)測結(jié)果的評價，采用誤差平方和作為準(zhǔn)則，得到五種不同形式預(yù)測的評價結(jié)果如表3所示。

表3 預(yù)測結(jié)果評價 (單位：10-6V2)

可以發(fā)現(xiàn)，非線性的組合預(yù)測模型比單一預(yù)測模型預(yù)測精度得到很大程度的提高，經(jīng)過改進(jìn)后的混合核函數(shù)SVM相對于多項(xiàng)式核和RBF核SVM預(yù)測精度也得到了進(jìn)一步的提升，效果比較明顯。

5 結(jié)論

本文將預(yù)測理論引入到計量標(biāo)準(zhǔn)的預(yù)測當(dāng)中，結(jié)合單一多項(xiàng)式模型和ARIMA模型，實(shí)現(xiàn)了基于SVM的10V電壓計量標(biāo)準(zhǔn)的非線性組合預(yù)測，鑒于核函數(shù)的重要性，采用了混合核函數(shù)，并對混合核函數(shù)的混合參數(shù)提出了一種新的計算方案，結(jié)果表明此方法有效地提高了預(yù)測精度，可以考慮作為短期計量標(biāo)準(zhǔn)預(yù)測的方案。

[1] 唐小我，等.現(xiàn)代組合預(yù)測和組合投資決策方法及應(yīng)用[M].北京：科學(xué)技術(shù)出版社，2003

[2] 鄢小彬.組合預(yù)測技術(shù)及其應(yīng)用[D].武漢：武漢理工大學(xué)，2007

[3] Bates J.M.，Granger C.W.J.，The combination of forecasts[J].Operational Research Quarterly,1969，20(4)：451—468

[4] 韓冬梅，等.線性與非線性組合預(yù)測方法研究[J].情報科學(xué)，2007，25(11)：1672-1678

[5] 甘旭升，等.基于ARIMA與SVM的飛行事故組合預(yù)測方法[J].中國安全科學(xué)學(xué)報，2011，21(7)：79-81

[6] 吳德會.基于最小二乘支持向量機(jī)的傳感器非線性動態(tài)系統(tǒng)辨識[J].計量學(xué)報，2008，29(3)

[7] 孫俊清.電學(xué)軍事計量標(biāo)準(zhǔn)精度預(yù)測技術(shù)研究[D].西安：第二炮兵工程學(xué)院，2008

[8] 鄭志成，等.基于混合核函數(shù)PSO-LSSVM的邊坡變形預(yù)測[J].巖石力學(xué)，2012，33(5)：1421-1425

[9] 馮新剛.支持向量機(jī)核函數(shù)的選擇方法探討[D].江西：江西理工大學(xué)，2012

[10] 陳華友.組合預(yù)測方法有效性理論及其應(yīng)用[M].北京：科學(xué)出版社，2008

[11] 陳華友,侯定丕.基于預(yù)測有效度的組合預(yù)測模型研究[J].預(yù)測，2001，20(3)：72-73

[12] 張凱，沙鋒.基于非線性組合方法的石油期貨價格預(yù)測研究[J].計算機(jī)仿真，2012，29(7)：379-382

[13] 康重慶，等.電力系統(tǒng)負(fù)荷預(yù)測[M].北京：中國電力出版社，2008

10.3969/j.issn.1000-0771.2015.10.01