張德豐，馬子龍

(1.佛山科學技術學院計算機系，廣東佛山 528000;2.哈爾濱工業(yè)大學電子工程系，黑龍江哈爾濱 150001）

模糊神經(jīng)網(wǎng)絡控制在控制領域里目前已經(jīng)成為一個研究熱點，把神經(jīng)網(wǎng)絡應用于模糊系統(tǒng)，可以解決模糊系統(tǒng)中的知識抽取問題;把模糊系統(tǒng)應用于神經(jīng)網(wǎng)絡，神經(jīng)網(wǎng)絡就不再是黑箱了，人類的知識就很容易融合到神經(jīng)網(wǎng)絡中。將模糊系統(tǒng)與神經(jīng)網(wǎng)絡適當?shù)亟Y合起來，吸取兩者的長處，則可組成比單獨的神經(jīng)網(wǎng)絡系統(tǒng)或單獨的模糊系統(tǒng)性能更好的系統(tǒng)。由于二者既有共性又有互補性，將兩者有機地結合起來，發(fā)揮各自的優(yōu)勢，是智能控制領域研究的主要方向和發(fā)展趨勢之一。

1 算法的理論分析與確定

1.1 列主元SVD-QR方法修剪策略

修剪技術對于動態(tài)時變非線性系統(tǒng)的辨識是非常必要的。如果在學習進行時，檢測到不活躍的模糊規(guī)則并加以剔除，則可獲得更為緊湊的D-FNN結構。在本文中我們將采用列主元SVD-QR方法作為一種修剪技術來選擇重要的模糊規(guī)則。

列主元SVD-QR方法最初由Golub等［1］提出，以解決回歸分析中的子集選擇問題，在本文中用這種方法從給定的規(guī)則庫中提取最重要的模糊規(guī)則。這種方法的基本思想是用H(b)θ(b)替換如下線性回歸問題中的Hθ

其中，H(b)∈Rn×b由H的b個列構成，這b個列在H中的位置決定了用規(guī)則庫中哪些規(guī)則來逼近向量D。

假設H∈Rn×v的SVD有式H=U∑ST給定，并且通過式 (2)來定義矩陣

其中，Π∈Rv×v是一個交換矩陣。Golub等人證明［2］:如果

其中，σb(H(b))和σb(H)分別為H(b)和H的第b個奇異值。

這個結果表明，為了獲得充分獨立的列子集，即對應于模糊規(guī)則中最重要的子集，交換矩陣Π的選擇使得產(chǎn)生的S'11子矩陣應不是病態(tài)的，從而‖(S'11)－1‖2盡可能地小。這意味著計算的子集H(b)趨向于使它的最小奇異值σb(H(b))最大化［3］。解決這個問題可以采用Golub等人提出的方法，即通過計算矩陣列主元的QR分解來解決［4］，其中∈和∈由下式來定義:

特別地，如果用列主元的QR分解來計算［5］:= ［R11R12］b v－ b (6)其中，Q∈Rb×b是正交矩陣，Π∈ Rv×v是交換矩陣，且R11∈Rb×b是上三角矩陣，則式 (3)意味著:

注意到 R11為非奇異，而且 ‖(S'11)－1‖2=。因此列主元法可產(chǎn)生一個非病態(tài)的R11和S'11。

矩陣Π的每一列只含有一個“1”(其他的元都為0)。“1”在Π中的位置決定了H的列在HΠ中的位置及其在規(guī)則庫中的位置。為了說明這個問題，假設

如果想用兩條模糊規(guī)則建立一個模型，則應該選擇第二和第三個規(guī)則［6］。

b個最重要的模糊規(guī)則的候選者可以通過求解如下簡化方程得到:

其中，θ(b)= ［θ1，θ2，…，θb］T且 H(b)需要像前面一樣通過使用b個最重要的模糊規(guī)則進行歸一化處理［7］。

列主元的SVD-QR方法可以歸納成如下幾個步驟:

1)計算H的SVD，也即H=UΣST同時保存Σ和S。

2)檢查 Σ =diag(σ1，σ2，…，σv)中的奇異值，確定用來構建模型的模糊規(guī)則數(shù) b，其中 b≤rank(H)。

4)基于b個最重要的模糊規(guī)則構造歸一化矩陣 H(r)∈ Rn×b

5)用SVD方法求解H(b)θ(b)=D得到θ(b)。

SVD-QR算法不需要明確地構造相關矩陣，因此，避免了不必要的數(shù)字和舍入誤差。此外，眾所周知，與特征值相比，奇異值的計算更有效，且具有更高的數(shù)值計算穩(wěn)定性。因此，從應用的角度來看，SVD-QR算法優(yōu)于ED(特征值分解)算法［8］。

1.2 D-FNN參數(shù)調(diào)整方法

卡爾曼濾波 (Kalman filter，KF)算法可以用于結果參數(shù)調(diào)整。本文中，我們還選擇擴展的卡爾曼濾波方法 (extended Kalman filter，EKF)來調(diào)整這些參數(shù)。作為一種非線性更新算法，EKF方法可以用來調(diào)節(jié)D-FNN的所有參數(shù)。由于全局的方法將涉及大矩陣運算，遇到巨大計算負擔以及占用大量的內(nèi)存，因此，這種全局方法可以被劃分為一系列可處理的子問題。在實際應用中，可以用卡爾曼濾波 (KF)方法來調(diào)節(jié)結果參數(shù)，同時，EKF方法用于更新前提參數(shù)的中心和寬度，從而使得所有參數(shù)都被修正。這一思想等價于把全局算法分解為一系列解耦的算法［9］。

圖1所示為EKF用于D-FNN參數(shù)調(diào)整的原理圖。實驗結果表明，高斯中心對系統(tǒng)性能影響不大，因此只對高斯寬度進行更新。

圖1 EKF用于D-FNN參數(shù)調(diào)整的原理圖Fig.1 EKF for D-FNN parameter adjustment principle diagram

結果參數(shù)的更新是線性的，而高斯寬度的更新是非線性的，可以用EKF作如下優(yōu)化:

初始條件為∑0＞0以及S0=ρI，其中，ρ為一個小的正數(shù)，是i第次觀測的增益矩陣，Si是第i次觀測誤差協(xié)方差矩陣，∑i=(σ1，σ2，…，σu)表示經(jīng)過i次迭代后的高斯寬度向量，F(xiàn)i=(δσ1，…，δσj，…，δσu)是第 i次觀測寬度的梯度向量。

其中，Cj和wj分別是中心和第j個RBF單元的權值，ψj是第 j個歸一化層的輸出［10］。

需要強調(diào)的是，KF或EKF算法用于D-FNN，當一條規(guī)則產(chǎn)生/去除或者寬度有任何的調(diào)整時，將產(chǎn)生額外的計算負擔，即在這些情況下，迭代將必須從第一個樣本開始。

2 實驗結果與分析

在本文中，我們的目的是驗證采用列主元SVD-QR方法修剪策略與卡爾曼濾波方法來調(diào)整這些參數(shù)的D-FNN系統(tǒng)能否逼近一個動態(tài)而且是時變的系統(tǒng)，通過藥物注射系統(tǒng)的直接逆控制來驗證我們所采用算法的有效性。

當D-FNN在藥物注射系統(tǒng)中作為控制器時，我們的目標是得到適當?shù)目刂菩袨閡(t)，使輸出值y(t)逼近期望值r(t)，為了實現(xiàn)這個目標，涉及到學習和應用兩個階段。在學習階段，潛在對象的時變動態(tài)逆模型被D-FNN辨識，然后，D-FNN在應用階段作為控制器產(chǎn)生控制行為［11］。

逆模型通常由式 (13)表示的NARX模型經(jīng)過簡單推導得到式 (14):

由式 (14)可以看到u(t)的產(chǎn)生還需要知道未來的值y(t+1)。為了克服這個問題，通常用r(t+1)代替y(t+1)。這個假設是合理的，因為r(t)與參考信號有關，通常被稱為前一步［12］。

而另一個問題是逆映射f－1是否一直存在?這里暫不考慮式 (14)中的逆模型是否存在，可以用NARX模型直接構造如下的逆模型:

從而g≈f－1。應當指出，在物理意義上g不是f的準確逆模型，它只是數(shù)學上逼近這個逆映射［13］。

一般的病人響應模型描述如下［14］

為了產(chǎn)生訓練數(shù)據(jù)，藥物注射率u(k)取為:

設A=50，初始條件為:當t≤0時，Δp(t)=0，u(t)=0，根據(jù)式 (16)和式 (17)提取200個樣本。式 (16)的逆模型取為:

其中，f是D-FNN，它代表式 (16)的逆映射。基于列主元SVD-QR方法參數(shù)調(diào)整的D-FNN控制器訓練的結果如圖2所示。

圖2(a)是訓練階段的輸出誤差;圖2b是訓練階段的均方根誤差;圖2(c)是訓練階段期望和實際的注射率;圖2(d)是訓練階段期望與實際注射的誤差。

圖2 訓練階段參數(shù)變化模型訓練結果Fig.2 Training phase parameter changes in model training results

然后，把訓練好的D-FNN用于控制對象。假定采樣時間是15 s，病人初始的血壓設為140 mm-Hg(1 mmHg=133.322 Pa)，最后的血壓要求降低到100 mmHg，如圖3a所示。如果期望的血壓變化中含有方差為1 mmHg的白噪聲，如圖3b所示。圖3c顯示了在噪聲環(huán)境下的血壓誤差，藥物注射率和血壓之間的關系如圖3d所示。由仿真結果可以看到血壓隨著藥物注射的變化而平穩(wěn)地變化，并沒有明顯的延遲，這表明D-FNN對系統(tǒng)進行了很好的建模。仿真的結果如下:

血壓變化量 Δpmax=5.91;平均動脈血壓MAPmin=97.3;平均動脈血壓變化量ΔMAPmax=2.63

由上述仿真結果可以看到:血壓的變化很好地滿足了藥物注射系統(tǒng)的約束條件。

為了跟蹤模型的時變特性，對一種參數(shù)和結構都隨時間變化的復雜時變系統(tǒng)進行仿真。D-FNN的性能根據(jù)Δpmax和 RMSE進行了評估，結果如表1所示。

圖3 測試階段參數(shù)變化模型測試結果Fig.3 Parameter changes in the model test results of the testing phase

表1 D-FNN控制器的性能Table 1 The performance of the D-FNN controller

文獻 ［15］中的結果列于表2中。與文獻［15］的方法 IANC相比，我們的測試結果 (圖3d)非常穩(wěn)定，即使在噪聲環(huán)境下也沒有大的振蕩。D-FNN控制器的性能根據(jù)期望和實際MAP變化的最大誤差 Δpmax來評估，同時，與文獻 ［15］相比較的結果列于表2中。

表2 IANC與D-FNN的性能比較Table 2 Performance comparison of IANC with D-FNN

從仿真結果來看，由于使用了列主元SVD-QR方法修剪技術，規(guī)則數(shù)很快達到穩(wěn)定，使得網(wǎng)絡結構沒有持續(xù)增長，避免了過擬合及過訓練現(xiàn)象，因而確保了系統(tǒng)的泛化能力。

考慮系統(tǒng)作為時變結構，從表2、圖3d來看，仿真結果表明D-FNN控制器具有良好的性能，沒有出現(xiàn)明顯的延遲和震蕩，這也表明D-FNN很好地學習了模型特性，也說明D-FNN控制器優(yōu)于文獻 ［16］的方法。

3 結論

一個規(guī)則可能最初是活躍的，但逐漸對系統(tǒng)幾乎沒有貢獻了。因此，修剪技術對于動態(tài)時變非線性系統(tǒng)的辨識是非常必要的。如果在學習進行時，檢測到不活躍的模糊規(guī)則并加以剔除，則可獲得更為緊湊的D-FNN結構?？梢杂肒F方法來調(diào)節(jié)結果參數(shù)，同時，EKF方法用于更新前提參數(shù)的中心和寬度，從而使得所有參數(shù)都被修正。EKF是基于在線的學習算法，該算法可用于平滑、濾波或者預測非線性動態(tài)系統(tǒng)的狀態(tài)，同其他基于梯度的在線算法相比，EKF可以加快收斂速度。仿真結果表明，由于使用了列主元修剪策略與參數(shù)調(diào)整算法使得D-FNN具有更緊湊的系統(tǒng)結構、強大的泛化能力以及快速的學習速度。

［1］PLATT J.A resource-allocating network for function interpolation［J］.Neural Computation，2007，19(2):213－225.

［2］BRUNELLI R，POGGIO T.Face recognition:features versus templates［J］.IEEE Trans Pattern Analysis and Machine Intelligence，2010，25(10):1042－1053.

［3］馬莉，張德豐，馬子龍.滑動窗與修剪技術的動態(tài)模糊神經(jīng)網(wǎng)絡方法研究［J］.中山大學學報:自然科學版，2010，49(1):48－52.

［4］HONG Z.Algebraic feature extraction of image for recognition［J］.Patt Recog，2009，24(2):211 －219.

［5］TURK M A，PENTLAND A P.Eigenfaces for recognition［J］.Cognitive Neuroscience，2008，3(1):71 －86.

［6］WANG L X，MENDEL J M.Fuzzy basis function，universal approximation，and orthogonal least squares learning［J］.IEEE Trans Neural Networks，2009，3:907 －914.

［7］EICKELER S，MUELLER S，RIGOLL G.High quality face recognition in JPEG compressed images［C］.Proc IEEE Int Conf Image Processing，2008:672－676.

［8］WU S Q，ER M J.Dynamic fuzzy neural networks:a novel approach to function approximation［J］.IEEE Trans Syst Man Cybern Part:B，2010，30:358 －364.

［9］LU Y，SUNDARARAJAN N，SARATCHANDRAN P.A sequential learning scheme for function approximation by Using minimal radial basis function networks［J］.Neural Computation，2009，19(2):461－478.

［10］任愛紅.模糊隨機過程函數(shù)列均方差一致Henstock積分的可積性［J］.中山大學學報:自然科學版，2010，51(4):41－44.

［11］CHELLAPPA R，WILSON C L，SIROHEY S.Human and machine recognition of faces:a survey［J］.Proc IEEE，2009，93(2):705 －740.

［12］VALENTIN D，ABDI H，O’Toole A J，et al.Connectionist models of face processing:a survey［J］.Patt Recog，2009，27(4):1209 －1230.

［13］JANG J-S R.ANFIS:adaptive-network-based Fuzzy inference system［J］.IEEE Trans Syst Man Cybern，1993，23(3):665－684.

［14］KADIRKAMANATHAN V，NIRANJAN M.A function estimation approach to sequential learning with neural networks［J］.Neural Computation，2008，16(4):954－975.

［15］POLYCARPOU M M，CONWAY J Y.Indirect adaptive nonlinear control of drug delivery systems［J］.IEEE Trans Automat Contr，2010，43:849 －856.

［16］BEHBEHANI K，CROSS R R.A controller for regulation of mean arterial blood pressure using optimum nitroprusside infusion rate［J］.IEEE Trans Biomedical Engineering，2010，47:513 －521.