楊文光

(華北科技學院基礎部，北京 101601)

神經網(wǎng)絡的研究從20世紀40年代開始，經過半個多世紀的發(fā)展，現(xiàn)已成為信息加工、處理、存儲和搜索的重要工具［1］，在分布式存儲、并行性計算、智能控制、通信等方面?zhèn)涫苎芯空叩年P注［2－4］。前向神經網(wǎng)絡是目前研究最多的網(wǎng)絡形式之一，在Rumelhart E.和Williams R.J.等為首的研究小組提出的具有強大學習和訓練功能的BP學習算法作用下，使其具有了逼近任意非線性函數(shù)的能力。前向神經網(wǎng)絡的發(fā)展與問題并存，從網(wǎng)絡結構來講，隱層神經元數(shù)過少將無法達到學習和逼近的效果，隱層神經元數(shù)過多又將使網(wǎng)絡出現(xiàn)過擬合等不良現(xiàn)象，同時在硬件實現(xiàn)上也將難以完成。文獻［5］利用逼近論對單一隱層前向神經網(wǎng)絡進行了研究，在理論層面上闡述了神經網(wǎng)絡的本質逼近階既與隱層神經元個數(shù)有關，又與被逼近函數(shù)的光滑性有關;隨后，曹飛龍等在文獻 ［6］中使用構造法得出了單隱層神經網(wǎng)絡逼近定義在緊集上的任意連續(xù)函數(shù)的逼近速度不超過該網(wǎng)絡的最佳多項式逼近的二倍的結論。最近幾年關于神經網(wǎng)絡的插值性問題研究日漸增多，考慮到神經網(wǎng)絡在全局上具有較好的逼近精度，若再解決局部結點處的插值問題則會效果更好［7－10］。文獻 ［7－10］分別針對一般的Sigmoidal激勵函數(shù)和一類廣義激勵函數(shù)，構造了精確插值和近似插值神經網(wǎng)絡，討論了逼近誤差，這些文獻從理論上給出了滿足插值意義的神經網(wǎng)絡存在性的證明，但構造非常復雜，并且缺少對應的數(shù)值仿真算例加以佐證。

前向神經網(wǎng)絡與模糊系統(tǒng)的結合產生了模糊前向神經網(wǎng)絡，使得神經元的解釋變得更加合理，作為神經網(wǎng)絡構成要素的激勵函數(shù)、網(wǎng)絡結構和學習算法也隨之發(fā)生改變。張雨濃教授在函數(shù)逼近論研究基礎上對BP算法做了有意義的改進，提出了隱層神經元最優(yōu)權值直接確定算法，有效克服了最優(yōu)權值難以確定的問題，也避免了網(wǎng)絡過擬合和泛化問題［11－14］。插值方法作為函數(shù)逼近的簡單實用工具在眾多領域發(fā)揮了重要作用，對于如何有效利用蘊含重要信息的采樣數(shù)據(jù)集，使其還原并豐富有限采樣數(shù)據(jù)所代表的真實系統(tǒng)日漸成為有趣的研究課題。本文將使用模糊系統(tǒng)的三角型隸屬函數(shù)和隱層神經元輸出的乘積作為模糊前向神經網(wǎng)絡的激勵函數(shù)，依據(jù)采樣數(shù)據(jù)集所含數(shù)據(jù)對個數(shù)確定隱層神經元個數(shù)，簡化最優(yōu)網(wǎng)絡結構的確定過程，然后利用權值直接確定算法確定相應的最優(yōu)權值，建立近似插值模糊前向神經網(wǎng)絡，最后結合數(shù)值仿真實例突出所構建網(wǎng)絡的有效性和實時性。

1 模糊前向神經網(wǎng)絡結構

為明確起見，下面對一些基本術語和記號加以約定和標記。

設在二維Euclid空間，經傳感器采樣獲得m組采樣數(shù)據(jù)，分別為(x1，y1)，(x2，y2)，…，(xm，ym)，亦即插值樣本，同時將這m組采樣數(shù)據(jù)作為網(wǎng)絡的訓練數(shù)據(jù)。依據(jù)采樣數(shù)據(jù)的重要性對m組采樣數(shù)據(jù)進行遴選獲得n組較為重要的具有代表性的數(shù) 據(jù)， 記 作 (x′1，y′1)，(x′2，y′2)，…，(x′n，y′n)，稱為構造數(shù)據(jù)，作為生成隱層神經元的母體，故n≤m，在網(wǎng)絡建立過程中所采用的構造數(shù)據(jù)集就是訓練數(shù)據(jù)集 (插值樣本集)的子集?，F(xiàn)在構造與采樣數(shù)據(jù)維數(shù)相符的包含單一隱層的單輸入單輸出前向神經網(wǎng)絡

其中x∈R為輸入變量，n為隱層神經元個數(shù)，c=(c1，c2，…，cn)T是輸入層神經元與隱層神經元之間的連接權值向量，w=(w1，w2，…，wn)T是隱層神經元與輸出層神經元之間的連接權值向量，σ是隱層神經元激勵函數(shù)，θi是隱層神經元閾值 (i=1，2，…，n)。

定義1 對于插值樣本 (x1，y1)，(x2，y2)，…，(xm，ym)，若公式⑴滿足插值條件f(xi)=yi，則稱f(x)是采樣數(shù)據(jù)的精確插值神經網(wǎng)絡;若f(xi)≈yi，則稱f(x)是采樣數(shù)據(jù)的近似插值神經網(wǎng)絡 (i=1，2，…，m)。

定理1［15］求解定義2中的s*∈Φ，等價于求解多元函數(shù)

在前向神經網(wǎng)絡⑴基礎上，選擇σ為三角型隸屬函數(shù)與構造數(shù)據(jù)的組合，充分體現(xiàn)相應神經元的激活程度，假設c=(c1，c2，…，cn)T=(1，1，…，1)T，θi=0(i=1，2，…，n)，以簡化計算，使用構造數(shù)據(jù)中的每組數(shù)據(jù)作為母體構造隱層神經元，組成隱層含n個神經元的單輸入單輸出模糊前向神經網(wǎng)絡

單輸入單輸出系統(tǒng)的模糊前向神經網(wǎng)絡的結構見圖1?，F(xiàn)對(2)式中三角型隸屬函數(shù)加以說明，由構造數(shù)據(jù)提取出第一維數(shù)據(jù)得到X=(x′1，x′2，…，x′n)，提 取 第 二 維 數(shù) 據(jù) 得 到Y=(y′1，y′2，…，y′n)，在模糊系統(tǒng)的構造中，通常以 (x′1，x′2，…，x′n)為峰點構造全交疊三角型模糊集，其圖形見圖2。

使用編程易于實現(xiàn)的表示法對圖2所示三角型模糊集描述為:

當x′i≤x≤x′i+1時，模糊集 μi和 μi+1的隸屬度分別為 μi(x)=(x′i+1－x)/(x′i+1－x′i)，μi+1(x)=(x－x′i)/(x′i+1－x′i);相應神經元激勵函數(shù)為σi(x)=μi(x)y′i，σi+1(x)=μi+1(x)y′i+1就表示對應神經元輸出的激活程度大小 (i=1，2，…，n－1)。

顯然，μ1(x)，μ2(x)，…，μn(x)∈L2w［x′1，x′n］，則 σ1(x)，σ2(x)，…，σn(x)∈L2w［x′1，x′n］，且線性無關，故由定理1可知存在模糊前向神經網(wǎng)絡f(x)可以最佳平方逼近插值樣本集所代表的系統(tǒng)。

2 權值直接確定算法

采樣數(shù)據(jù)蘊含著未知系統(tǒng)內部的函數(shù)關系，前面使用構造數(shù)據(jù)所建立的單輸入單輸出的模糊前向神經網(wǎng)絡，還需要進一步使用訓練數(shù)據(jù)進行訓練，使其達到更高的逼近精度。

定義3 設實矩陣V∈Rn×m，如果U∈Rm×n，滿足VUV=V，UVU=U，(VU)T=VU，(UV)T=UV，則稱U為V的Moore-Penrose廣義逆矩陣或偽逆。

依據(jù)張雨濃教授所提出的前向神經網(wǎng)絡權值直接確定算法［12－14］，對于單輸入單輸出模糊前向神經網(wǎng)絡，由誤差反向傳播學習算法亦可得如下定理。

定理2 模糊前向神經網(wǎng)絡⑵在訓練數(shù)據(jù)(x1，y1)，(x2，y2)，…，(xm，ym)作用下，得輸入受激勵矩陣U∈Rm×n，設 α=(x1，x2，…，xm)T∈Rm，β=(y1，y2，…，ym)T∈Rm，令w表示模糊前向神經網(wǎng)絡的最優(yōu)權值向量，則有

其中，代入α得

(UTU)－1UT是輸入受激勵矩陣U的廣義逆矩陣(偽逆)，在MATLAB軟件中可直接調用函數(shù)pinv(U)求解。

證明 由矩陣論知識可知，對于矩陣方程組Uw=β，只有U是列滿秩時，最小二乘解才是唯一的，且為(UTU)－1UT，否則便有無窮多最小二乘解。

由BP算法負梯度思想可知

對 (5)式兩邊取極限，即為所求，其中學習率η取1。證畢。

定理3 模糊前向神經網(wǎng)絡 (2)是近似插值神經網(wǎng)絡。

證明 對于采樣數(shù)據(jù)即訓練數(shù)據(jù) (x1，y1)，(x2，y2)，…，(xm，ym)和 構 造 數(shù) 據(jù) (x′1，y′1)，(x′2，y′2)，…，(x′n，y′n)而言，構造數(shù)據(jù)用于構造隱層神經元隸屬函數(shù)確定網(wǎng)絡結構，而訓練數(shù)據(jù)則用于訓練網(wǎng)絡，在權值直接確定算法作用下得到網(wǎng)絡的最優(yōu)權值向量w。

對于任意輸入x，當x=xi時，i=1，2，…，m，將式(2)展開為矩陣形式得

第一種情況:若xi∈X，則存在唯一的非零模糊集μj，使得μj(xi)=1，由此可得f(xi)=wjy′j，此時y′j=yi;

第二種情況:若x?X，則有且只有兩個非零模糊集μj和μj+1，使得μj(xi)＞0，μj+1(xi)＞0，且μj(xi)+μj+1(xi)=1，簡化⑹式得f(xi)=wjμj(xi)y′j+wj+1μj+1(xi)y′j+1，i=1，2，…，m，j=1，2，…，n－1。

無論是哪種情況，均由定理2的推導可知最優(yōu)權值向量w是在保證最佳平方逼近下得到的，故f(xi)≈yi，模糊前向神經網(wǎng)絡(2)是近似插值神經網(wǎng)絡，i=1，2，…，m，j=1，2，…，n－1。證畢。

3 數(shù)值仿真實例

本節(jié)將在基于采樣數(shù)據(jù)和構造數(shù)據(jù)構建的模糊前向神經網(wǎng)絡的基礎上，選用張雨濃教授在文獻［13］中所使用的 4個目標函數(shù)，在 MATLAB 7.5.0(R2007b)中進行數(shù)值仿真實驗，以加強對比說明的效果。在工程實踐中，測量誤差是無法消除的，當逼近精度達到一定的有效位數(shù)后，實時性的要求變的更為重要。所選用的4個目標函數(shù)依次為:φ1(x)=ex+x2+cos 3.6πx，φ2(x)=excos 2πx，φ3(x)=sin 8x/cosx，φ4(x)=x7/ex+sin 10x。

首先提取訓練數(shù)據(jù)和構造數(shù)據(jù)，選擇 ［–1，0.8］為訓練區(qū)間，按照前面隱層神經元建立方法，以h1=0.01 s為采樣步長，得181組訓練數(shù)據(jù)，即m=181;假設按照重要性對訓練數(shù)據(jù)進行等間隔提取構造數(shù)據(jù)，提取步長h2=0.02 s，即n=91，亦即隱層神經元個數(shù)，在此選擇的步長遵循前面的要求，即h1≤h2，m≥n。模糊前向神經網(wǎng)絡的逼近精度隨構造數(shù)據(jù)的增多而提高，直到選擇的隱層神經元個數(shù)n=m為止，達到最好的逼近效果，具體仿真結果見圖3中的 (a)-(d)。模糊前向神經網(wǎng)絡的逼近效果取決于采樣數(shù)據(jù)的多少，采樣數(shù)據(jù)越多，構造數(shù)據(jù)的選擇亦可增多，在表1中，將會給出具體的參數(shù)指標，如網(wǎng)絡運行時間，均方差，以及改變構造數(shù)據(jù)步長h2發(fā)生的相應改變。

圖3 模糊前向神經網(wǎng)絡的逼近Fig.3 The approximation of fuzzy feed-forward neural network

表1 模糊前向神經網(wǎng)絡仿真結果Table 1 The results of fuzzy feed-forward neural network's simulation

從圖3和表1，不難發(fā)現(xiàn)，各個目標函數(shù)的運行時間均減少到參考文獻 ［13］的1%左右，在隱層神經元個數(shù)為采樣數(shù)據(jù)個數(shù)一半的情況下就已經達到了很高的逼近精度，當選用全部采樣數(shù)據(jù)用于構造隱層神經元時，則達到了10－33次的數(shù)量等級的逼近精度，誤差基本可以忽略不計。下面進一步說明本文所構建的網(wǎng)絡具有較好的預測性能。同樣，選擇區(qū)間 ［–1，0.8］為預測區(qū)間，選擇目標函數(shù)1和2，給出真實模型，選擇h1=h2=0.01 s，得到模糊前向神經網(wǎng)絡模型⑵，然后使用rand()函數(shù)在區(qū)間 ［–1，0.8］上隨機生成360個數(shù)作為輸入送入到模糊前向神經網(wǎng)絡模型⑵中，得到預測輸出，見圖4中的 (a)-(b)。表2給出了與圖4相應的運行時間、預測數(shù)據(jù)的均方差等性能指標參數(shù)，表明預測精度很高。

圖4 模糊前向神經網(wǎng)絡的預測Fig.4 The predication of fuzzy feed-forward neural network

表2 模糊前向神經網(wǎng)絡預測結果Table 2 The results of fuzzy feed-forward neural network's predication

4 結論

本文避開了前向神經網(wǎng)絡建立時所遵循的復雜的網(wǎng)絡結構和學習算法的迭代學習過程，得到了基于采樣數(shù)據(jù)建立的模糊前向神經網(wǎng)絡，該網(wǎng)絡為實時還原真實系統(tǒng)提供了有效解決方法。該網(wǎng)絡能夠根據(jù)采樣數(shù)據(jù)的多少實現(xiàn)隱層神經元的自主設定，并且利用權值直接確定算法直接確定了最優(yōu)權值，縮短了網(wǎng)絡運行時間，相應的網(wǎng)絡運行時間都在毫秒級。計算機數(shù)值仿真實驗表明，基于三角型隸屬函數(shù)建立的模糊前向神經網(wǎng)絡是一種具有較高逼近精度和預測精度的實時性神經網(wǎng)絡，在工程實踐中將會具有很好的借鑒意義。

［1］李士勇.模糊控制·神經網(wǎng)絡和智能控制論［M］.哈爾濱:哈爾濱工業(yè)大學出版社，1998.

［2］張雨濃，張禹珩，陳軻，等.線性矩陣方程的梯度法神經網(wǎng)絡求解及其仿真驗證［J］.中山大學學報:自然科學版，2008，47(3):26－32.

［3］陳北京，孫星明，王定成，等.基于彩色圖像四元數(shù)表示的彩色人臉識別［J］.自動化學報，2012，38(11):1815－1823.

［4］張文輝，葉曉平.參數(shù)突變自由漂浮空間機器人神經集成控制［J］.中國科學:信息科學，2012，42(11):1435－1444.

［5］曹飛龍，徐宗本.神經網(wǎng)絡的本質逼近階［J］.中國科學:E輯，2004，34(4):361－373.

［6］曹飛龍，張永全，張衛(wèi)國.單隱層神經網(wǎng)絡與最佳多項式逼近［J］.數(shù)學學報:中文版，2007，50(2):385－392.

［7］LIANAS B，SAINZ F J.Constructive approximate interpolation by neural networks［J］.J Comput Applied Math，2006，188:283－308.

［8］謝庭藩，曹飛龍.關于插值神經網(wǎng)絡的構造性［J］.自然科學進展，2008，18(3):334 －340.

［9］徐士英，曹飛龍.距離空間中插值神經網(wǎng)絡的誤差估計［J］.系統(tǒng)科學與數(shù)學，2009，29(5):670－676.

［10］徐士英，曹飛龍.多元插值神經網(wǎng)絡的一個注記［J］.高校應用數(shù)學學報，2009，24(1):91－94.

［11］張雨濃，譚寧，李展，等.求解線性不定方程組所展現(xiàn)的BP與Hopfield類型神經網(wǎng)絡的學習同質性研究［J］.中山大學學報:自然科學版，2010，49(2):1 －7.

［12］張雨濃，李凌峰，郭東生，等.Hermite插值神經網(wǎng)絡權值和結構確定理論探討［J］.計算機應用研究，2010，27(11):4048 －4051.

［13］張雨濃，郭東生，譚寧.冪激勵前向神經網(wǎng)絡最優(yōu)結構確定算法［J］.計算機工程與應用，2011，47(2):29－31.

［14］肖秀春，張雨濃，姜孝華.MISO多元廣義多項式神經網(wǎng)絡及其權值直接求解［J］.中山大學學報:自然科學版，2009，48(4):42 －46.

［15］薛毅.數(shù)值分析與科學計算［M］.北京:科學出版社，2011.