□章 政 王曉佳 [合肥工業(yè)大學(xué) 合肥 230009]

引言

近些年來，我國經(jīng)濟(jì)高速發(fā)展，但這也伴隨著能源的快速消耗。同時，隨著工業(yè)化進(jìn)程的不斷深入和城鄉(xiāng)居民生活水平的不斷提高，對電力的需求也越發(fā)旺盛。因此，對未來用電量的準(zhǔn)確預(yù)測，將有助于合理地安排生產(chǎn)活動，制定生產(chǎn)計劃，維持社會的穩(wěn)定發(fā)展，實現(xiàn)經(jīng)濟(jì)效益的快速提升。支持向量機(jī)(Support Vector Machine)是由Vapnik等人在1995年提出來的[1]，它是基于統(tǒng)計學(xué)習(xí)理論，采用結(jié)構(gòu)風(fēng)險最小化的原理，較好地解決了“過學(xué)習(xí)”的現(xiàn)象，并且具備良好的泛化能力。支持向量回歸機(jī)(Support vector regression)是將支持向量機(jī)應(yīng)用于回歸分析中而形成的。雖然該理論的發(fā)展只有不到20年時間，但海內(nèi)外學(xué)者仍然對其展開了廣泛地研究。如文獻(xiàn)[2]基于支持向量機(jī)原理，提出了一個預(yù)測系統(tǒng)用以預(yù)測輸配電線路上的積冰問題；文獻(xiàn)[3]通過支持向量機(jī)預(yù)測了土耳其的用電量情況；文獻(xiàn)[4]將免疫優(yōu)化算法應(yīng)用于支持向量機(jī)的參數(shù)尋優(yōu)中，并建立了優(yōu)化模型預(yù)測臺灣各地區(qū)的用電量；文獻(xiàn)[5]運(yùn)用蟻群算法優(yōu)化訓(xùn)練數(shù)據(jù)，加快了SVM的訓(xùn)練時間；文獻(xiàn)[6]應(yīng)用支持向量回歸機(jī)原理預(yù)測混沌時間序列，實驗結(jié)果顯示SVM方法不僅精度高，而且具有良好的泛化能力；文獻(xiàn)[7]運(yùn)用加權(quán)支持向量機(jī)原理對不平衡庫存問題進(jìn)行分類研究，取得了較好的結(jié)果；文獻(xiàn)[8]將主成分分析與支持向量機(jī)相結(jié)合進(jìn)行電力預(yù)測，加快了學(xué)習(xí)速度，提高了預(yù)測精度。

本研究采用最小一乘原理，通過自適應(yīng)遺傳算法優(yōu)化支持向量機(jī)的模型參數(shù)，并且在訓(xùn)練過程中使用了交叉驗證的思想，通過江蘇省2004年～2009年全社會用電量及宏觀經(jīng)濟(jì)影響因素月度數(shù)據(jù)，預(yù)測未來的用電量水平。實驗結(jié)果表明，該模型在擬合度和誤差上均優(yōu)于BP-神經(jīng)網(wǎng)絡(luò)模型和傳統(tǒng)的SVR模型，并且預(yù)測精度也較高。

一、支持向量回歸機(jī)原理

給定樣本空間D=(xi,yi)，xi∈Rp，yi∈R，i=1,2,…,n。并且令線性回歸函數(shù)為

其中：w稱為權(quán)向量，b稱為分類閾值。φ(x) 為一非線性變換，它將數(shù)據(jù)集x映射到高維的特征空間F中。從而，由結(jié)構(gòu)風(fēng)險最小化的原則，為求得 f(x)，就需要極小化如下泛函：

其中，C是一個正常數(shù)，它是模型平坦性和經(jīng)驗誤差之間的折中因子，也稱為懲罰因子。L(yi,f(xi))為損失函數(shù)。一般的，取損失函數(shù)為ε不敏感損失函數(shù)，即對于i=1,2,…,n，

從而問題轉(zhuǎn)化為：

為求解優(yōu)化問題(4)，引入Lagrange 因子αi,βi,μi,υi，i=1,2,…,n，并定義Lagrange函數(shù)如下：

對函數(shù)L(·)關(guān)于變量w，b，ξi，ξi*求偏導(dǎo)，并令其為零，則有

將(6)～(9)式代入(5)式，并將優(yōu)化問題轉(zhuǎn)化為其對偶問題，則有

求解二次規(guī)劃問題(10)，有

其中：

K(xi,x)為核函數(shù)，而由于滿足Mercer條件的核函數(shù)[1]，即對應(yīng)高維空間中的一組點積。從而只需要獲得滿足該條件的核函數(shù)，即可求得回歸函數(shù)f(x)，甚至都不需要知道φ(x)的具體形式。由于徑向基函數(shù)的參變量少，且采用RBF核的SVM對頻率較高的非線性系統(tǒng)有較好的逼近性能。另外，RBF核的參數(shù)在有效范圍內(nèi)改變時不會使空間復(fù)雜度過大[9]。因此，本研究將核函數(shù)取為徑向基函數(shù)，即

二、基于最小一乘的遺傳算法參數(shù)尋優(yōu)

不敏感損失函數(shù)中的ε、懲罰因子C和徑向基函數(shù)中的2σ這三個參數(shù)取值的不同，將得到不同的支持向量回歸模型。從而，這三個參數(shù)的取值將對回歸模型的預(yù)測精度產(chǎn)生很大的影響。遺傳算法對含參變量多且計算結(jié)果難以獲得的復(fù)雜優(yōu)化問題尤為適用[10]。本研究將采用自適應(yīng)遺傳算法對SVR的參數(shù)C，2σ和ε進(jìn)行尋優(yōu)。對傳統(tǒng)的遺傳算法，它能避免過早收斂，且具有更好的局部搜索能力和全局搜索能力。

本研究在求解的優(yōu)化準(zhǔn)則中，將采用最小一乘準(zhǔn)則取代最小二乘準(zhǔn)則。這是由于在應(yīng)用最小二乘準(zhǔn)則時，異常點的誤差會被擴(kuò)大化，且在樣本數(shù)據(jù)較少時，預(yù)測精度會變低，而最小一乘準(zhǔn)則具有較好的穩(wěn)健性，它的統(tǒng)計性能要優(yōu)于最小二乘準(zhǔn)則[11]。

在采用最小一乘準(zhǔn)則的參數(shù)優(yōu)化步驟如下：

Step1：初始化種群大小，令 80N=，并隨機(jī)產(chǎn)生N個個體 (C,σ2,ε)的取值，且編碼方法采用二進(jìn)制編碼。

Step3：針對每個個體的適應(yīng)度值，進(jìn)行選擇和復(fù)制運(yùn)算，從而形成了一個臨時的集合G。選擇策略采用正比例選擇策略，第i個個體被選擇的概率為

其中Fi為第i個個體的適應(yīng)度值。在得到選擇概率后，采用旋輪法來實現(xiàn)選擇操作。即對于隨機(jī)數(shù)ξ，當(dāng)Ai-1≤ξ≤Ai時，則第i個個體被選擇，其中

Step4：交叉運(yùn)算采用多點交叉。交叉概率為

其中pcmax是最大交叉概率，pcmin是最小交叉概率，F(xiàn)′是兩個個體中較小的適應(yīng)度值，maxgen是最大迭代次數(shù)，curgen是當(dāng)前迭代次數(shù)。為了獲得較優(yōu)的全局搜索能力，避免陷入局部最優(yōu)，這里令pcmax=0.9，pcmin=0.1。

Step5：變異策略采用多點變異。概率如下：

其中pmmax是最大變異概率，pmmin是最小變異概率，F(xiàn)是個體的適應(yīng)度值。為了使個體在初始迭代過程中盡量多樣化并且在后期迭代過程中有出色的局部搜索能力，這里令pmmax=0.4，pmmin=0.01。

Step6：判斷是否達(dá)到終止條件，如何不是，則跳轉(zhuǎn)到Step1。這里終止條件為迭代次數(shù)M=2000或者誤差精度η=10-6。

Step7：輸出最優(yōu)參數(shù)集 (C,σ2,ε)，得到預(yù)測模型f(x)。

三、建模和預(yù)測

（一）數(shù)據(jù)的選取及預(yù)處理

本研究的影響因素為上月用電量(億千瓦時)、月平均溫度(℃)、居民消費(fèi)價格指數(shù)(CPI)、社會消費(fèi)品零售額(億元)、工業(yè)增加值(億元)和進(jìn)出口總額(億元)等。通過對江蘇省2004年1月～2009年7月的數(shù)據(jù)，采用交叉驗證的思想，構(gòu)建基于最小一乘準(zhǔn)則下的GA-SVR模型，并對未來進(jìn)行預(yù)測分析。

并利用公式

對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，以消除量綱的影響。

（二）模型的回歸預(yù)測結(jié)果

本研究使用matlab進(jìn)行建模分析，將江蘇省2004年1月～2009年7月的宏觀經(jīng)濟(jì)數(shù)據(jù)和全社會用電量數(shù)據(jù)作為訓(xùn)練集，進(jìn)行模型訓(xùn)練。同時用2009年8月～10月的全社會用電量數(shù)據(jù)進(jìn)行驗證分析。為了有良好的訓(xùn)練速度，交叉驗證的訓(xùn)練份數(shù) 4K=。從而采用基于最小一乘準(zhǔn)則的GA-SVR方法擬合預(yù)測結(jié)果和相對誤差如圖1、圖2所示。

圖1 基于最小一乘準(zhǔn)則的回歸預(yù)測結(jié)果對比

圖2 相對誤差

將本文模型與matlab工具箱中的BP-神經(jīng)網(wǎng)絡(luò)模型進(jìn)行比較分析，結(jié)果見表2：

表1 擬合比較

yi為真實值，為預(yù) 測值，

RMSE度量了模型誤差的偏離程度，R2度量了模型的擬合程度。

本文模型與傳統(tǒng)SVR方法、PSO-SVR方法比較，結(jié)果如表2所示。

表2 預(yù)測結(jié)果比較

其中，相對誤差rel=(-yi)yi，yi為真實值，為預(yù)測值。

從圖1和圖2可以看出，模型的訓(xùn)練精度還是比較高，總體上誤差保持在10%以內(nèi)。從表1的結(jié)果看出，基于最小一乘準(zhǔn)則和交叉驗證思想的GA-SVR模型的偏離程度和擬合精度都比BP-神經(jīng)網(wǎng)絡(luò)要好。同時，表2表明該方法在實驗中的預(yù)測精度上也要比傳統(tǒng)的SVR方法和PSO-SVR方法要精確。

四、結(jié)論

本研究提出了一種基于最小一乘準(zhǔn)則和交叉驗證思想的GA-SVR模型。該模型不同于一般的模型曲線擬合中采用的最小二乘方法，而是使用了最小一乘準(zhǔn)則，從而可以避免異常點對模型總體的影響，提高模型的穩(wěn)定性。接著利用自適應(yīng)遺傳算法對SVR模型進(jìn)行參數(shù)尋優(yōu)，加快了參數(shù)的擇優(yōu)速度，提高了模型的預(yù)測精度，同時通過交叉驗證的思想，進(jìn)一步提升模型的穩(wěn)定性和泛化能力。雖然支持向量回歸模型對非線性問題能有很好的擬合能力，但是與所預(yù)測問題選取的相關(guān)因素將對預(yù)測結(jié)果產(chǎn)生較大影響。因此，為了使模型提供更好的預(yù)測能力，應(yīng)當(dāng)選取更能反映問題本質(zhì)的訓(xùn)練數(shù)據(jù)。同時，提高訓(xùn)練樣本容量并且尋求更優(yōu)的參數(shù)優(yōu)化方法也將有助于提高模型的預(yù)測精度。

[1]VAPNIK V N．The Nature of Statistic Learning Theory[M]．New York：Springer，1995．

[2]ZARNANI A,MUSILEK P,SHI Xiaoyu,et al．Learning to predict ice accretion on electric power lines[J]．Engineering Applications of Artificial Intelligence,2012,25(3):609-617．

[3]KAVAKLIOGLU K．Modeling and prediction of Turkey’s electricity consumption using Support Vector Regression[J]．Applied Energy,2011,88(1):368-375．

[4]HONG Wei-Chiang．Electric load forecasting by support vector model[J]．Applied Mathematical Modelling,2009,33(5):2444-2454．

[5]NIU Dongxiao,WANG Yongli,et al．Power load forecasting using support vector machine and ant colony optimization[J]．Expert Systems with Applications,2010,37(3):2531-2539．

[6]劉涵，劉丁，李琦．基于支持向量機(jī)的混沌時間序列非線性預(yù)測[J]．系統(tǒng)工程理論與實踐，2005，25(9)：94-99．

[7]肖智，王明愷，謝林林，王偉立．考慮樣本不平衡的多準(zhǔn)則庫存分類加權(quán)支持向量機(jī)方法及其參數(shù)選擇[J]．中國管理科學(xué)，2007，15(z1)：29-34．

[8]石海波．PCA-SVM在電力負(fù)荷預(yù)測中的應(yīng)用研究[J]．計算機(jī)仿真，2010，21(10)：279-282．

[9]榮海娜，張葛祥，金煒東．系統(tǒng)辨識中支持向量機(jī)核函數(shù)及其參數(shù)的研究[J]．系統(tǒng)仿真學(xué)報，2006,18(11)：3204-3208,3226．

[10]FRANK H F,LEUNG,H K,et al．Tuning of the Structure and Parameters of a Neural Network Using an Improved Genetic Algorithm[J]．IEEE Transactions on Neural Networks,2003,14(1):79-88．

[11]陳希孺．最小一乘線性回歸[J]．?dāng)?shù)理統(tǒng)計與管理，1989，8(5):48-55．

[12]董春嬌，邵春福，熊志華．基于優(yōu)化SVM的城市快速路網(wǎng)交通流狀態(tài)判別[J]．北京交通大學(xué)學(xué)報，2011，35(6)：13-16,22．

[13]王曉佳，沈建新，楊善林．基于Gauss插值的正交化預(yù)測方法在智能電網(wǎng)用電量預(yù)測中的應(yīng)用研究[J]．電力系統(tǒng)保護(hù)與控制,2010,38(21):141-145．

[14]楊海軍，王太雷．基于模糊支持向量機(jī)的上市公司財務(wù)困境預(yù)測[J]．管理科學(xué)學(xué)報，2009，12(3):102-110．