熊中剛，劉 忠，羅素蓮

(桂林航天工業(yè)學院機械工程學院，廣西 桂林 541004)

0 引言

國內外關于非線性系統建模的研究在工程、科學等領域得到了大力發(fā)展，最小二乘支持向量回歸作為支持向量回歸的變體，極大加速了模型訓練問題，在時間序列預測、子空間辨識、信號處理等方面得到了廣泛應用[1]。

文獻[2]經過大量實驗研究表明，最小二乘支持向量回歸的泛化性能優(yōu)于支持向量回歸。文獻[3]研究了最小二乘支持向量回歸能以較好全局性能辨識被估模型，但缺乏可靠的局部建模行為。文獻[4]提出了基于最小二乘支持向量回歸的局部神經-模糊方法，利用分層二進制學習算法將輸入空間劃分為若干個小區(qū)域，借助最小二乘支持向量回歸對每個區(qū)域進行獨立建模，但由于要為所有測試數據創(chuàng)建局部模型，導致計算負荷較大，效率低。文獻[5]通過局部建模方法以訓練數據中感興趣的數據點為中心，選取靠近中心的數據建立模型，與此相似的局部建模方法還有K近鄰點方法[6]和歐拉距離方法[7-8]，但沒有統一標準從數據集中選取K個近鄰點保證其性能。文獻[9]提出了局部支持向量回歸建模方法，該方法能更好捕捉數據中局部信息以及建立各個模型之間的關系，但是當被建模的數據處于或靠近原始數據集邊界時，易產生邊界效應，即邊界數據會產生較大的建模偏差。文獻[10]考慮全局最小二乘支持向量回歸方法計算量大，提出了局部灰色支持向量回歸算法，該方法在建模問題上對計算時間進一步進行了優(yōu)化。

本文針對最小二乘支持向量回歸方法計算量大、非線性系統建模時邊界數據會產生較大的建模偏差及數據計算負荷大等問題，提出了基于模糊加權最小二乘支持向量回歸的非線性系統建模方法。

1 基礎算法研究

1.1 最小二乘支持向量回歸

文獻[11] 中為了考察一部分核函數的推廣能力，通過建立核函數與正則化算子P之間的關系，得出最佳選擇是高斯核函數，而且可以獲得非常平滑的估計。文獻[1]研究了最小二乘支持向量回歸并對于輸入-輸出數據xk=(x1k,x2k,…,xnk)T和yk，k=1,2,…,N，建立了如下初始模型：

(1)

式(1)中，x表示新測試數據。

本文經研究表明，最小二乘支持向量回歸的泛化性能優(yōu)于支持向量回歸，基于上述因素、系統特征以及測量數據缺乏先驗知識等問題，本文采用高斯核函數，則式(1)可進一步描述為：

(2)

式(2)中，σ為高斯核函數，α=(α1,α2,…,αN)為支持值向量，b為偏差項，以上參數通過如下優(yōu)化求解

(3)

s.t.yk=wTΦ(xk)+b+ξk,k=1,2,…,N

(4)

Φ表示從非線性空間到線性空間的特征映射，參數γ∈R+表示規(guī)則化常量，用于對模型擬合度與平滑性之間相對重要性的控制。對式(3)和(4)使用拉格朗日方法得到如下無約束優(yōu)化問題：

根據KKT條件有，

(5)

(6)

(7)

因此，最小二乘支持向量回歸的學習過程可由式(5)—式(7)建立如下方程組求解：

(8)

式(8)中，y=(y1,y2,…,yN)T，1N=(1,1,…,1)TΩij=K(xi,xj)=ΦT(xi)Φ(xj)，對任意的i,j=1,2,…,N，K(·,·)為滿足Mercer條件的正定核函數。

1.2 GK(Gustafson-Kessel)聚類算法

文獻[11—13]對于GK聚類算法的研究最終建立了一種最小化迭代優(yōu)化算法目標函數：

(9)

GK聚類算法的突出優(yōu)點在于其聚類協方差矩陣特征值能夠為不同聚類的形狀和方向提供不同的信息，從而能檢測到不同的形狀和方向數據集。本設計基于式(9)建立如下所述的約束條件：

(10)

2 基于數據簡化及模糊加權最小二乘支持向量回歸的非線性系統建模

2.1 數據簡化及模糊權值計算

本設計為實現前件參數辨識，采用優(yōu)于模糊C均值聚類的GK聚類算法，并引入重疊因子去除建模過程中一些非重要數據，減小建模方法的運算時間，從而對數據進行有效簡化，在不影響建模性能的條件下為后件參數辨識減小計算量。

(11)

(12)

(13)

式(12)、式(13)中，i=1,2,…,N,k=1,2,…,R,j=1,2,…,n。本設計經由式(12)和式(13)對每個數據子集引入重疊因子進行簡化后，同時在式(11)的基礎上建立了如下的三角模糊隸屬函數：

(14)

基于式(14)，第i個規(guī)則的執(zhí)行強度可計算為各個隸屬度乘積：

(15)

式(15)中，μAij(x)為模糊集Aij的隸屬函數。對于第k個模糊集取標準化觸發(fā)強度，可得模糊權值：

(15)

經過GK聚類算法處理后不僅能夠保持原始數據集容量，而且可有效減小每個子集的容量，理論上認為任意一個數據的隸屬度遠離聚類中心的三倍標準差時可以忽略，本設計中一般在3附件選擇重疊因子λ，進而再劃分數據子集后，新的數據子集能夠在保證數據重要性的前提條件下極大的簡化數據容量，充分簡化了T-S模型在計算負荷上的后件參數辨識。

2.2 模糊加權的最小二乘支持向量回歸非線性系統建模

本建模方法設計時先將輸入空間模糊劃分為幾個模糊區(qū)域，每個區(qū)域用子集回歸模型代替每個規(guī)則對應的線性函數逼近T-S模型子系統，再經由最小二乘支持向量回歸(LS-SVR)對每個訓練數據子集回歸模型獨立建模，最終通過模糊加權得到被估系統的全局行為。

該系統非線性系統建模首先基于獲取到的未知系統輸入-輸出數據xk=(x1k,x2k,…,xnk)T和yk，k=1,2,…,N，對于任意未知非線性系統y=f(x)運用T-S模糊模型能進行一個較好的描述和建模，對于各個數據的采樣指標采用k表示，同時回歸量數目采用n進行表示[15]。在T-S模糊模型描述下的后件部分輸入的線性函數：

(17)

式(17)中，i=1,2,…,R，其中n×1的輸入變量采用x表示，輸出變量采用yi∈表示。系統T-S模糊模型的后件參數采用n×1維向量ai和bi∈表示，第i個規(guī)則用Ri表示，總規(guī)則數則用R表示。

然而‘xisAi(x)’的邏輯組合有如下形式：

然后基于所獲取的新訓練子集，同時結合式(2)建立每個子集回歸模型SRMk，即

(18)

式(18)中，k=1,2,…,R，其中第k個子集回歸模型采用SRMk定義，并通過最小二乘支持向量回歸方法對參數αk,i，bk進行求解，mk表示第k新訓練數據子集Δk的大小。

最后通過式(16)模糊加權值對子集回歸模型SRMk進行組合，得到所提出方法的最終輸出。

(19)

在式(19)中，每個子集回歸模型SRMk(x)可以通過對應的數據子集獨立求解且彼此之間的運算是獨立的，本質上不受聚類數的影響。

3 仿真實驗

為能有效論證提出的方法，下面將通過仿真從均方根誤差和不同方法計算時間進行比較。 第一個實驗為雙輸入單輸出非線性函數，第二個是非線性動態(tài)系統。

考察的其中一個性能指標均方根誤差RMSE的定義如下：

(20)

另一個性能指標是提出方法的全局建模時間和局部建模時間、全局最小二乘支持向量回歸建模和局部最小二乘支持向量回歸建模做比較，同時考慮了重疊因子在試驗中的影響。對于不同方法選取一樣的超參數集以使比較盡量公平。對于局部建模方法，假設獲取的訓練數據X={(xi,yi)|i=1,…,N}，測試輸入xt，并在其鄰域采用測試輸入與訓練數據之間的歐拉距離獲取p個訓練點用于建立局部模型。首先考慮如下雙輸入非線性系統：

在-5≤x1,x2≤5進行等距離采樣獲取訓練數據1 681(41×41)，測試數據量為6 561(81×81)。

為了將提出的方法與局部最小二乘支持向量回歸方法、全局最小二乘支持向量回歸方法和文獻[3]進行有力比較，同時考慮與現有方法比較的公平性，故采取十階交叉驗證法獲取與比較系統一樣的超參數集(σ,γ,λ)=(3,15,1.5)，表1和表2分別給出了不同方法對于均方根誤差以及運算時間的比較。此外，也給出了不同重疊因子λ為1.5和3.0時，提出方法在數據簡化后的每個數據子集大小、訓練/測試均方根誤差以及局部建模時間相關情況如表3所示。從表1到表2的結果可以清晰看到，提出方法無論是從計算時間還是均方根誤差，顯然優(yōu)于其他建模方法。表3從某種程度上表明，提出方法對于重疊因子的選擇并不是越大越好。

表1 不同方法的均方根誤差性能比較

表2 不同方法的運算時間比較

表3 不同重疊因子對應的各個數據子集大小、均方根誤差(訓練/測試)以及局部時間

采用局部最小二乘支持向量回歸方法，通過歐拉距離選取的p個訓練點分別為50,80,120和170時，如圖1所示，出現了明顯的邊界效應問題，尤其是訓練數據量較小的時候時尤為嚴重。即便p增加會削弱邊界效應問題，但是建模運算時間隨之急劇增加，如p取170時，建模時間達到了155.1565秒。圖2給出了提出方法在R分別取2,4,6,8的建模輸出，即便R取較小時，也沒出現邊界效應。分別通過圖1和圖2對局部建模方法和提出方法仿真，將獲取到的整個數據通過聚類方法分別聚類成2類、4類、6類、8類進行比較時，得出當類數R選擇越大時，局部建模方法的精度越高，然而運算時間也越大；即便如此，提出方法在較小聚類數R時，建模精度和運算時間也能得到較好的保證。

圖1 局部最小二乘支持向量回歸方法選擇p個訓練點分別為50,80,120和170Fig.1 L-LS-SVR method selects training points for 50,80,120 and 170 respectively

圖2 提出方法在R分別取2、4、6、8的建模輸出Fig.2 The proposes a method to take 2, 4, 6, 8 modeling outputs in R respectively

接下來，考慮非線性動態(tài)系統：

(20)

從該系統產生501個訓練點，v(t)是方差為0.5的高斯噪聲，使用提出的方法對其進行動態(tài)建模，選擇聚類數R為7，與文獻[3]提出的方法進行對比，本文采用5階交叉驗證選取5組不同的互斥數據集作仿真進行比較，更能體現提出方法與現有方法的合理性和優(yōu)越性；5階交叉驗證尋優(yōu)超參數集(σ,γ,λ)為(1,1 000,1.1)。

表4和表5分別給出了不同方法的均方根誤差RMSE以及運算時間的比較，重疊因子λ為1.1和2.5時，提出方法在數據簡化后的每個數據子集大小、訓練/測試均方根誤差以及局部建模時間的比較情況如表3所示。表4到表6清晰地表明，提出方法較全局最小二乘支持向量回歸和局部最小二乘支持向量回歸方法都有著較好的有效性和優(yōu)越性。例如表4，從均方根誤差的性能比較來看，即便子集回歸模型個數為3(對應規(guī)則數R取3)時，其均方根誤差為0.252 3，運行時間為0.328 1 s，而局部最小二乘支持向量回歸選擇最多數據量為89時也為0.356 1，運行時間達到了18.171 9 s。

表4 不同方法的均方根誤差性能比較

表5 不同方法的運算時間比較

表6 不同重疊因子對應的各個數據子集大小、均方根誤差(訓練/測試)以及局部時間

綜上測試可知本文設計的方法選取較小的重疊因子能夠使系統訓練和測試的均方根誤差更好，并能更好地簡化數據，重疊因子越小時，每個聚類子集所包含的數據量越小，從而導致每個數據子集的重要數據消失，最終引起建模精度的下降，故也不能無限制地對重疊因子取小，這樣反而會丟失建模過程中的有效數據，但究竟如何適當選取將是下一步進行的工作。

4 結論

本文提出了基于模糊加權最小二乘支持向量回歸的非線性系統建模方法。該方法融合了模糊加權機理與最小二乘支持向量回歸的優(yōu)點，通過引入重疊因子，在保證建模精度(均方根誤差越小越好)的情況下，去除建模過程中的一些非重要數據，減小建模方法的運算時間，并能將全局與局部建模方法相融合有效解決局部建模方法所產生的邊界效應問題。實驗驗證結果表明，本文設計的幾種方法分別從訓練/測試均方根誤差、不同重疊因子、計算時間方面比較都有明顯的有效性和優(yōu)越性，但重疊因子大小與建模精度的確切關系有待進一步研究。