張 超 嚴洪森

(1東南大學(xué)自動化學(xué)院, 南京 210096)(2河南工學(xué)院計算機科學(xué)與技術(shù)系, 新鄉(xiāng) 453003)(3東南大學(xué)復(fù)雜工程系統(tǒng)測量與控制教育部重點實驗室, 南京 210096)

基于最優(yōu)結(jié)構(gòu)多維泰勒網(wǎng)的含噪聲非線性時變系統(tǒng)辨識

張 超1,2,3嚴洪森1,3

(1東南大學(xué)自動化學(xué)院, 南京 210096)(2河南工學(xué)院計算機科學(xué)與技術(shù)系, 新鄉(xiāng) 453003)(3東南大學(xué)復(fù)雜工程系統(tǒng)測量與控制教育部重點實驗室, 南京 210096)

針對具有噪聲干擾的非線性時變系統(tǒng)建模時存在的困難,建立了一種具有最優(yōu)結(jié)構(gòu)和最佳泛化能力的多維泰勒網(wǎng)模型,以實現(xiàn)對該系統(tǒng)的辨識.首先,為了能夠快速反映系統(tǒng)輸入/輸出的變化,以多維泰勒網(wǎng)的連接權(quán)系數(shù)作為時變參數(shù),并由帶可變遺忘因子的遞推最小二乘算法對其進行訓(xùn)練,進而討論了辨識方案的穩(wěn)定性.然后,為了避免維數(shù)災(zāi)難并滿足實時性要求,給出了選擇多維泰勒網(wǎng)有效回歸項的改進權(quán)衰減法,以使多維泰勒網(wǎng)同時具有最小結(jié)構(gòu)和最佳的泛化能力.最后,通過算例說明基于最優(yōu)結(jié)構(gòu)的多維泰勒網(wǎng)在含噪聲非線性時變系統(tǒng)辨識問題中應(yīng)用的方法,算例結(jié)果驗證了該方法的有效性.

辨識;非線性時變系統(tǒng);多維泰勒網(wǎng);噪聲干擾;剪枝算法

在航空航天和機械工程領(lǐng)域中,系統(tǒng)的隨機因素、時變特性和非線性是不可忽略的,如航天器繩系系統(tǒng)、柔性機械臂、太陽能陣列、車橋系統(tǒng)振動等.由于這些系統(tǒng)結(jié)構(gòu)設(shè)計的復(fù)雜性和各種先進材料的使用,導(dǎo)致很難準確地描述其結(jié)構(gòu)特征.系統(tǒng)辨識是解決復(fù)雜系統(tǒng)建模問題的主要方法之一,而具有噪聲干擾的非線性時變系統(tǒng)辨識的研究仍處于發(fā)展階段.傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)由于具有很強的非線性擬合能力,在非線性系統(tǒng)辨識中得到了充分的發(fā)展和應(yīng)用,而神經(jīng)網(wǎng)絡(luò)方法一般只適用于非線性時不變系統(tǒng)的辨識[1].此外,其網(wǎng)絡(luò)結(jié)構(gòu)的選擇主要取決于設(shè)計者的經(jīng)驗,即基于試湊的方法;網(wǎng)絡(luò)訓(xùn)練收斂速度慢也嚴重限制了這種方法的實際應(yīng)用[2].

多維泰勒網(wǎng)(MTN)是一種非線性系統(tǒng)的動力學(xué)建模方法,適合機理未知的一般非線性系統(tǒng)的建模[3-4].它本質(zhì)上是一個多項式型的非線性自回歸滑動平均模型.MTN的多項式函數(shù)由一些線性項和非線性項組成,因此其可以表示一般意義下的狀態(tài)動力學(xué)特性.目前一些學(xué)者正對該模型在模型預(yù)測、災(zāi)害預(yù)測、非線性控制以及先進武器控制等領(lǐng)域的應(yīng)用進行研究.

遞推最小二乘(RLS)算法是一種常用的解決含有噪聲因素和時變特性的非線性系統(tǒng)辨識問題的算法[5].為了適應(yīng)實際系統(tǒng)和環(huán)境的變化,該算法采用遞推的方法來實現(xiàn)系統(tǒng)辨識.但一般RLS估計存在自適應(yīng)跟蹤慢和精度低的問題,因此本文采用帶有可變遺忘因子的遞推最小二乘(VFF-RLS)算法[6]來跟蹤非線性時變系統(tǒng)的動態(tài)特性.該算法能夠提高“新”觀測數(shù)據(jù)的影響,削弱“舊”數(shù)據(jù)的作用,這是因為“新”觀測數(shù)據(jù)比“舊”數(shù)據(jù)能更好地反映系統(tǒng)的當前特性.此外,對高次動態(tài)系統(tǒng)進行辨識時,需要采用高階網(wǎng)絡(luò)化模型.由于MTN的中間節(jié)點相互聯(lián)系,通過“學(xué)習(xí)”其模型可以很容易地捕捉到建模對象高次項的變化規(guī)律,因此MTN適用于高次動態(tài)非線性系統(tǒng)辨識.然而,隨著輸入規(guī)模的增加,“維數(shù)爆炸”一直是限制高階網(wǎng)絡(luò)化模型應(yīng)用的主要原因,通常的高階網(wǎng)絡(luò)化模型應(yīng)用只限于二階或三階,因此本文利用改進的權(quán)衰減(IWE)算法[7-8]通過選擇有效的回歸項來降低MTN的中間層節(jié)點數(shù),精簡后的多維泰勒網(wǎng)模型有助于減少迭代學(xué)習(xí)時間以及簡化網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法.

為此,本文提出了一種綜合利用IWE算法和VFF-RLS算法的基于MTN的新型辨識方法,通過訓(xùn)練MTN的權(quán)值來改善具有隨機因素和時變特性的復(fù)雜非線性系統(tǒng)的辨識能力.該辨識策略分為離線和在線2個階段.在離線階段,由于可多次重復(fù)迭代學(xué)習(xí),因此利用VFF-RLS和IWE算法進行權(quán)值和結(jié)構(gòu)的設(shè)計;在在線階段,為保證實時性要求,利用VFF-RLS算法進行權(quán)值訓(xùn)練.

1 問題描述

本文是基于多維泰勒網(wǎng)模型來設(shè)計具有噪聲干擾的非線性時變系統(tǒng)的辨識策略,其基本思想是將MTN的連接權(quán)值作為時變參數(shù),通過設(shè)計合適的學(xué)習(xí)算法來估計、訓(xùn)練這些參數(shù)以反映系統(tǒng)輸入/輸出的變化,即在同一組輸入激勵下,待辨識系統(tǒng)的輸出和MTN模型的輸出是一致的.

考慮差分方程描述的具有噪聲干擾的單輸入單輸出非線性時變離散系統(tǒng):

y(k+1)=f(y(k),y(k-1),…,

y(k-dy),u(k),u(k-1),…,

u(k-du),v(k),k)

(1)

式中,f(·)為未知的非線性標量函數(shù);dy和du為對應(yīng)的最大延遲;v(k)表示同一時刻的噪聲干擾.噪聲干擾是指干擾變化很快,不能用時間函數(shù)明確表示的一種隨機過程.根據(jù)其來源[9],可分為:① 聲音噪聲;② 熱噪聲和散粒噪聲;③ 電磁噪聲;④ 靜電噪聲;⑤ 信道失真、回波和衰落.

根據(jù)待辨識系統(tǒng)輸入-輸出與辨識模型輸入-輸出之間的關(guān)系,辨識策略存在2種辨識結(jié)構(gòu): 串-并聯(lián)型和并聯(lián)型. 在模型自適應(yīng)訓(xùn)練時, 反饋可以連接到系統(tǒng)輸出y(k)(串-并聯(lián)模型)或模型輸出yI(k)(并聯(lián)模型), 如圖1所示.

圖1 系統(tǒng)辨識結(jié)構(gòu)圖

理論上,在系統(tǒng)輸出存在擾動時,串-并聯(lián)模型是有偏的,但并聯(lián)模型可以是無偏的[1].因此,下式表示的并聯(lián)模型更適合辨識含有擾動的系統(tǒng):

yI(k-dy),u(k),u(k-1),…,

u(k-du),wI(k))

(2)

但在實際應(yīng)用中并聯(lián)模型的辨識誤差在自反饋遞歸過程中會產(chǎn)生累積效應(yīng),這可能會導(dǎo)致嚴重的估計誤差甚至模型的不穩(wěn)定.而串-并聯(lián)模型的當前時刻輸出依賴于系統(tǒng)之前的輸出和外部輸入,由于系統(tǒng)是BIBO穩(wěn)定的,因此MTN模型的所有輸入信號都是有界的,當學(xué)習(xí)率選擇適當時,辨識模型的收斂是可以保證的.

為了克服并聯(lián)模型不能保證系統(tǒng)辨識收斂的缺點,Plett[10]先采用串-并聯(lián)辨識結(jié)構(gòu),當辨識模型收斂后,再切換到并聯(lián)辨識結(jié)構(gòu).假設(shè)它們之間可以直接切換,但當從串-并聯(lián)結(jié)構(gòu)切換到并聯(lián)結(jié)構(gòu)時,如果辨識模型和系統(tǒng)之間存在誤差,那么由于誤差的累積效應(yīng),該并聯(lián)模型仍然是可能不收斂的.因此,這種方法仍然無法回避辨識模型不收斂的問題.這種在2個模型之間直接切換的可行性仍有待證明.

綜上所述,由于串-并聯(lián)模型更能保證辨識模型的收斂,且結(jié)構(gòu)和算法比較簡單,因此本文采用串-并聯(lián)模辨識結(jié)構(gòu).

2 基于多維泰勒網(wǎng)的非線性時變模型辨識

2.1 系統(tǒng)辨識

引理1[12]任何定義于一個閉區(qū)間的連續(xù)函數(shù)可以用多項式函數(shù)任意準確地逼近.

圖2 多維泰勒網(wǎng)模型

y(k-dy),u(k),u(k-1),…,

u(k-du),v(k),wI(k))

(3)

式中,yI(k+1)為k+1時刻MTN模型的輸出;wI(k)為在同一時刻MTN模型的時變權(quán)重系數(shù)向量.

為了方便且不失一般性,設(shè)n=dy+du+2,x(k)={y(k),…,y(k-dy),u(k),…,u(k-du)}T,定義wI(k)={w1(k),w2(k),…,wN(n,m)(k)}T.因此,式(3)可被改寫成如下形式:

(4)

式中,wIt為第t個變量乘積項之前的權(quán)值.

定義如下目標函數(shù):

(5)

式中,β為用來估計“新”、“老”數(shù)據(jù)對RLS算法影響的遺忘因子,其基本思想是靠近k+1時刻的數(shù)據(jù)設(shè)定較大的權(quán)重,遠離k+1時刻的數(shù)據(jù)給予較小的權(quán)重.

當系統(tǒng)參數(shù)隨時間變化時,因新數(shù)據(jù)被舊數(shù)據(jù)所淹沒,一般的最小二乘遞推算法無法直接使用.為適應(yīng)時變參數(shù)的變化情況,降低舊數(shù)據(jù)的權(quán)重,增加新數(shù)據(jù)的權(quán)重,故本文采用VFF-RLS算法[6]進行時變參數(shù)估計.對于VFF-RLS算法,一般取0<β<1.β取得越小,意味著舊數(shù)據(jù)對參數(shù)估計的影響越低,新數(shù)據(jù)影響越大,算法能很好地跟蹤時變參數(shù).但是,經(jīng)過大量仿真實驗表明,β越小,噪聲干擾影響越大,估計誤差的方差越大.在實際應(yīng)用中,需視具體被辨識對象并根據(jù)經(jīng)驗選擇,再通過實驗來選定.綜合考慮,本文設(shè)定β的取值范圍是0.9<β<1.仿真結(jié)果顯示,通過引入可變遺忘因子,系統(tǒng)辨識能力、收斂速度和學(xué)習(xí)算法性能都得到有效改善.

由式(4)有

(6)

經(jīng)過推導(dǎo),基于MTN的VFF-RLS算法具體步驟如下:

算法1基于MTN的VFF-RLS算法

① 初始化.wI(τ)的初始權(quán)值設(shè)定為wI(0)=0;P(τ)的初始值設(shè)定為P(0)=δI,其中δ為較大的正常數(shù),I為單位矩陣.

② 計算估計誤差

③ 計算權(quán)值迭代參數(shù)

K(τ+1)=P(τ)Z(τ)/[β+ZT(τ)P(τ)Z(τ)]

P(τ+1)=β-1[I-K(τ+1)ZT(τ)]P(τ)

β(τ)=βmin+(1-βmin)2L(τ)

L(τ)=-INT(ρe2(τ))

式中,INT( ·)表示取靠近ρe2(τ)的最小整數(shù);ρ為敏感增益,可以控制β的速率趨近于1,且當估計誤差e(τ)趨近于0時,β=1.

④ 權(quán)值迭代

wI(τ+1)=wI(τ)+K(τ+1)e(τ+1)

⑤ 重復(fù)步驟②～④,直到滿足終止條件.

2.2 穩(wěn)定性分析

首先,為了穩(wěn)定性分析方便,作出如下假設(shè):

假設(shè)1MTN的理想權(quán)值是有界的,使得

本節(jié)將通過李雅普諾夫穩(wěn)定性理論來證明MTN權(quán)值的收斂性.

定理1對于由式(1)定義的含噪聲非線性時變系統(tǒng),在滿足假設(shè)1的條件下,若MTN的辨識算法采用算法1,則MTN的權(quán)值最終趨近于理想取值.

證明選取Lyapunov函數(shù)為

(7)

ΔVτ=Vτ-Vτ-1=

(8)

由算法1可得

(9)

因此

(10)

3 基于剪枝算法的多維泰勒網(wǎng)最優(yōu)結(jié)構(gòu)實現(xiàn)

通常情況下,待辨識系統(tǒng)預(yù)先是未知的,因此其系統(tǒng)階次和辨識網(wǎng)絡(luò)的輸入/輸出延遲也是不可得的.因此,在辨識模型時,比較保險的策略是采用自頂向下的設(shè)計方法,即先構(gòu)造一個“足夠大”的網(wǎng)絡(luò).對于MTN,式(4)中的N(n,m)可能會非常大,維數(shù)爆炸問題將極大地增加迭代學(xué)習(xí)的計算復(fù)雜度.在保證建模精度的前提下,為了得到最佳的泛化能力(滿足辨識精度要求的最小網(wǎng)絡(luò)結(jié)構(gòu)),本文綜合利用剪枝算法和VFF-RLS算法(在VFF-RLS算法的每一次迭代過程中嵌入改進的剪枝算法)來剪除辨識網(wǎng)絡(luò)的冗余權(quán)值,該集成策略可以選擇式(4)右側(cè)多項式的某些“有用項”(這些節(jié)點/權(quán)值對系統(tǒng)貢獻最大)作為網(wǎng)絡(luò)基函數(shù).

對于逼近任意復(fù)雜的非線性函數(shù),文獻[14]通過理論分析和實際驗證得出結(jié)論:當網(wǎng)絡(luò)具有10個左右的中間層分量時,在經(jīng)過“充分的”學(xué)習(xí)后,其已可滿足大多數(shù)情況下的辨識精度要求.同時,當網(wǎng)絡(luò)具有最簡結(jié)構(gòu)時,也利于實際應(yīng)用和滿足在線辨識的高實時性要求,因此網(wǎng)絡(luò)規(guī)模的精簡是十分必要的.權(quán)衰減法[7]是一種常見的剪枝方法,屬于正則化方法,其工作機理可從先驗分布的角度加以解釋,即損失函數(shù)的最小化等同于權(quán)參數(shù)后驗概率的最大化,這證實了網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的最簡原則:對已達到給定訓(xùn)練精度的網(wǎng)絡(luò),其有效參數(shù)越少,泛化能力就越好,從而為設(shè)計最小結(jié)構(gòu)網(wǎng)絡(luò)的合理性提供了理論基礎(chǔ).由網(wǎng)絡(luò)結(jié)構(gòu)與泛化能力的關(guān)系可知,精簡結(jié)構(gòu)后,網(wǎng)絡(luò)的泛化能力將得到提高,這也是正則化方法能改進泛化能力的直接原因.故本文利用IWE算法來實現(xiàn)降低網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性的目標,該算法將表示結(jié)構(gòu)復(fù)雜性的正則化項引入到辨識網(wǎng)絡(luò)的目標函數(shù)中.

3.1 權(quán)衰減法的剪枝原理

為了避免過擬合,應(yīng)設(shè)計具有最小結(jié)構(gòu)的多維泰勒網(wǎng),即如果幾個MTN對學(xué)習(xí)樣本擬合的效果相同,則結(jié)構(gòu)最簡單的MTN平均意義下泛化能力最好.為了實現(xiàn)此目標,需要有: ① 復(fù)雜性測度;② 實現(xiàn)最佳泛化能力的算法.在IWE算法中,用最短描述長度來表示機器學(xué)習(xí)的復(fù)雜性,即給定學(xué)習(xí)數(shù)據(jù)后,最優(yōu)的模型應(yīng)具有最短總描述長度.總描述長度為描述長度(數(shù)據(jù)|模型)和描述長度(模型)的和,前者是模型的殘差,后者用來衡量模型的復(fù)雜性.因此最短描述長度是綜合評價殘差和模型復(fù)雜性的集成測度,其目標是尋找滿足目標精度且具有最佳泛化能力的辨識網(wǎng)絡(luò).

根據(jù)最短描述長度準則,目標函數(shù)通常為

J(w)=E(w)+γC(w)

(11)

式中,E(w)為網(wǎng)絡(luò)誤差平方和;C(w)為正則化項,用來表示網(wǎng)絡(luò)的復(fù)雜性;γ表示模型復(fù)雜性項的相對重要性.由于正則化項的剪枝特性,學(xué)習(xí)過程中某些冗余的權(quán)值將逐步衰減到0,從而達到剪枝的目的.

由式(11),本文采用的誤差函數(shù)為

(12)

式中,w0為固定值,稱基準權(quán)值.

由式(12)可知,辨識網(wǎng)絡(luò)中的每個權(quán)值wt都對應(yīng)一個損失函數(shù)項:

(13)

3.2 正則化系數(shù)的動態(tài)調(diào)整策略

IWE算法中的正則化系數(shù)γ對多維泰勒網(wǎng)的泛化能力影響很大,且難以整定.本文根據(jù)進化策略[15]尋找最優(yōu)正則化參數(shù),并給出了參數(shù)調(diào)整方法,有效地改進了MTN模型的泛化能力.

調(diào)整正則化參數(shù)的具體步驟如下:

①γ初始設(shè)置為0,隨后根據(jù)以下規(guī)則動態(tài)調(diào)節(jié).

② 當E(k)

③ 當E(k)≥E(k-1),E(k)

④ 當E(k)≥E(k-1),E(k)≥A(k)且E(k)≥D,則γ(k)=σγ(k-1),其中σ為接近1的系數(shù).此時,不僅當前誤差在上升,而且長期來看訓(xùn)練誤差也在下降,所以應(yīng)該大幅度地減小正則化系數(shù)γ.

其中,E(k)為當前時刻的學(xué)習(xí)誤差;A(k)為當前時刻的加權(quán)平均誤差,定義為A(k)=ηA(k-1)+(1-η)E(k),其中η為接近于1的濾波系數(shù);D為期望誤差值,如果沒有先驗知識,可設(shè)定D=0,計算時間由計算次數(shù)限制.

4 基于VFF-RLS和IWE混合算法的辨識策略

為了更好地實現(xiàn)具有噪聲干擾的非線性時變系統(tǒng)辨識,本文提出了一種綜合利用IWE算法和VFF-RLS算法的基于MTN的新型辨識方法.該混合算法在帶有可變遺忘因子的遞推最小二乘算法的每一次迭代過程中嵌入改進權(quán)衰減算法的剪枝方法,在保證建模精度的前提下,獲得多維泰勒網(wǎng)最佳的泛化能力.辨識策略分為離線和在線2個階段.在離線階段,因無實時性的要求,故可多次重復(fù)迭代訓(xùn)練,以期獲得最優(yōu)結(jié)構(gòu),其目標函數(shù)的具體形式為

(14)

式中,右邊第1項用來衡量MTN的性能.在最簡單的情況下,其為k+1時刻所有訓(xùn)練樣本集的誤差平方和;第2項用來衡量MTN的規(guī)模.對于多維泰勒網(wǎng),由式(4)有NI=N(n,m).

訓(xùn)練過程中權(quán)值wI的調(diào)節(jié)公式為

(15)

經(jīng)過一定次數(shù)的學(xué)習(xí),MTN中間層的某些權(quán)值將逐步衰減到0附近.在離線訓(xùn)練結(jié)束后,會對所有中間節(jié)點進行“審核”,判斷是否為冗余節(jié)點.如果一個中間節(jié)點的權(quán)值接近于0(滿足剪枝條件),那么就可以刪除該冗余節(jié)點,以此類推,剩下的項就為有效回歸項.通過多次“充分的”迭代訓(xùn)練,最后即可得到精簡的多維泰勒網(wǎng).

權(quán)值調(diào)整和剪枝的步驟如下:

① 選定初始多維泰勒網(wǎng)規(guī)模,初始化其權(quán)值.

② 以式(14)為目標函數(shù),采用VFF-RLS和IWE混合算法訓(xùn)練MTN模型;以式(15)為權(quán)值調(diào)整公式,直至滿足誤差精度,或達到一定訓(xùn)練次數(shù).

③ 刪除MTN的冗余權(quán)值/冗余中間節(jié)點,得到具有最佳泛化能力的多維泰勒網(wǎng).

在已得到MTN模型最優(yōu)結(jié)構(gòu)的基礎(chǔ)上,在在線辨識階段(重點滿足實時性的要求),MTN權(quán)值僅由VFF-RLS算法來訓(xùn)練,因此,需要最小化的瞬時目標函數(shù)為

(16)

5 仿真結(jié)果與分析

5.1 算例1

針對一個具有噪聲干擾的非線性時變系統(tǒng)辨識問題來驗證本文所提方法的有效性,設(shè)定輸出信號初始值y(0)=0,按下式生成300個樣本(其中前200個樣本用于學(xué)習(xí),后100個樣本用于測試):

y(k+1)=(0.8-0.5e-y2(k)(1+e-0.015k))y(k)-

(0.3+0.9e-y2(k)(1+0.5sin(0.5πk)))y(k-1)+

(0.4e-0.016k+0.1)u(k)u(k-1)+v(k)

(17)

式中,v(k)為均值為0、標準偏差為0.1的高斯白噪聲;u(k)為輸入信號,取[-0.5,0.5]內(nèi)均勻分布的隨機值.

圖3 算例1和算例2的輸入信號

(a) 辨識結(jié)果

(b) 辨識誤差

辨識方法MSERLS0.0522VFF-RLS0.0451MTN+VFF-RLS0.0287MTN+VFF-RLS+IWE0.0303

多維泰勒網(wǎng)訓(xùn)練時學(xué)習(xí)參數(shù)設(shè)置如下:對于VFF-RLS算法,權(quán)系數(shù)向量的初始值wI(0)=0,P(0)=δI,其中δ=1 000,βmin=0.95,ρ=5;對于IWE算法,基準權(quán)值為0.1,正則化參數(shù)初值為0,參數(shù)調(diào)整時的濾波系數(shù)為η=0.92,γ=0.995,正則化參數(shù)增量為0.5×10-4,訓(xùn)練結(jié)束后用于剪枝冗余權(quán)值的閾值為0.05.

由圖4和表1可知,基于VFF-RLS算法的MTN辨識方法在改善辨識精度方面效果明顯.同時,IWE算法對學(xué)習(xí)誤差的影響不大,雖然其均方誤差(MSE)略低于未剪枝的網(wǎng)絡(luò),但仍大大優(yōu)于傳統(tǒng)的RLS和VFF-RLS算法.此外,在剪除冗余節(jié)點后,MTN網(wǎng)絡(luò)僅保留7個中間節(jié)點(原本35個節(jié)點),這大大減少了計算量和網(wǎng)絡(luò)的復(fù)雜度.網(wǎng)絡(luò)訓(xùn)練結(jié)束后,原有網(wǎng)絡(luò)(35個中間節(jié)點)對100個測試樣本的訓(xùn)練誤差為0.019 9,剪枝網(wǎng)絡(luò)(僅有7個有效節(jié)點)對100個測試樣本的測試誤差也為0.019 9,無差異.

圖5為學(xué)習(xí)過程中正則化系數(shù)的變化情況,圖6為訓(xùn)練的學(xué)習(xí)曲線,圖7為網(wǎng)絡(luò)修剪過程中多維泰勒網(wǎng)權(quán)值的變化情況.盡管訓(xùn)練過程中正則化系數(shù)的變化并不平滑,但權(quán)衰減法的學(xué)習(xí)曲線卻較為平滑,這說明冗余權(quán)值分化過程并不會導(dǎo)致學(xué)習(xí)誤差的劇烈波動,而且對最終剪枝結(jié)果影響也不大.

圖5 學(xué)習(xí)過程中正則化系數(shù)的變化

圖6 權(quán)衰減法的學(xué)習(xí)曲線

圖7 剪枝過程中MTN權(quán)值系數(shù)的變化(以任意4個中間節(jié)點為例)

綜上所述,本文實現(xiàn)了多維泰勒網(wǎng)的最佳泛化能力和最簡結(jié)構(gòu),這大大減少了學(xué)習(xí)過程中的計算復(fù)雜度,有助于MTN的工程實踐和硬件實現(xiàn).

5.2 算例2

為了驗證本文所提方法在不同時變對象上的辨識效果,設(shè)定輸出信號初始值y(0)=0,按下式生成300個樣本(其中前200個樣本用于學(xué)習(xí),后100個樣本用于測試)：

e-0.8ky(k-1)+u(k)+e-0.8ku(k-1)+v(k)

(18)

式中,v(k)為均值為0、標準偏差為0.05的高斯白噪聲;u(k)為輸入信號,取[-0.5,0.5]內(nèi)均勻分布的隨機值.其他參數(shù)的設(shè)定與算例1相同.

由圖8和表2可知,基于VFF-RLS和IWE算法的MTN辨識方法在不同時變對象上都能取得較好的辨識效果.此外,在剪除冗余節(jié)點后,MTN網(wǎng)絡(luò)僅保留8個中間節(jié)點,這大大減少了計算量和網(wǎng)絡(luò)的復(fù)雜度.網(wǎng)絡(luò)訓(xùn)練結(jié)束后,未剪枝網(wǎng)絡(luò)對100個測試樣本的訓(xùn)練誤差為0.012 6,剪枝網(wǎng)絡(luò)對100個測試樣本的測試誤差也為0.012 8,同樣基本無差異.

(a) 辨識結(jié)果

(b) 辨識誤差

表2 不同辨識方法的MSE計算結(jié)果對比(算例2)

6 結(jié)語

具有噪聲干擾的非線性時變系統(tǒng)辨識對復(fù)雜系統(tǒng)建模、實時控制和響應(yīng)預(yù)估都具有重要的理論意義和工程實踐價值.本文提出了一種基于具有最佳泛化能力的多維泰勒網(wǎng)的新型辨識方法.該方法將MTN的連接權(quán)值作為時變參數(shù),由VFF-RLS和IWE混合算法進行訓(xùn)練,在保證能夠快速反映系統(tǒng)輸入/輸出變化的前提下,避免了維數(shù)災(zāi)難,減少了迭代學(xué)習(xí)的計算復(fù)雜度,最終實現(xiàn)對具有噪聲干擾的非線性時變系統(tǒng)的有效辨識.仿真結(jié)果表明,本文方法在保證建模精度的前提下可獲得網(wǎng)絡(luò)的最優(yōu)結(jié)構(gòu),因此是可行和有效的.本文方法為解決一般非線性系統(tǒng)的辨識問題提供了新的思路.該辨識方法也可應(yīng)用于水文監(jiān)測、化工過程和金融經(jīng)濟等諸多領(lǐng)域.

)

[2] Peng J, Dubay R. Identification and adaptive neural network control of a DC motor system with dead-zone characteristics[J].ISATrans, 2011,50(4): 588-598. DOI:10.1016/j.isatra.2011.06.005.

[3] 林屹, 嚴洪森. 多尺度正負反饋交替論模型及其應(yīng)用 [J]. 控制理論與應(yīng)用, 2016, 33(7): 879-888. DOI:10.7641/CTA.2016.50742.

Lin Yi, Yan Hongsen. The model of multi-scale alternate positive negative feedbackics and its applications [J].ControlTheory&Applications, 2016,33(7): 879-888. DOI:10.7641/CTA.2016.50742. (in Chinese)

[4] 周博, 嚴洪森. 一類具有羊群效應(yīng)的多重多維泰勒網(wǎng)動力學(xué)模型[J]. 控制理論與應(yīng)用, 2015, 32(7): 963-969. DOI:10.7641/CTA.2015.40628.

Zhou Bo, Yan Hongsen. A class of multiple multi-dimensional Taylor networks dynamics model with herd behavior[J].ControlTheory&Applications, 2015,32(7): 963-969. DOI:10.7641/CTA.2015.40628.(in Chinese)

[5] Li J, Zheng Y, Lin Z. Recursive identification of time-varying systems: Self-tuning and matrix RLS algorithms[J].Systems&ControlLetters, 2014,66: 104-110. DOI:10.1016/j.sysconle.2014.01.004.

[6] Qin B, Cai Y, Champagne B, et al. A low-complexity variable forgetting factor constant modulus RLS algorithm for blind adaptive beamforming[J].SignalProcessing, 2014,105: 277-282. DOI:10.1016/j.sigpro.2014.06.003.

[7] Kuo R J, Wu P, Wang C P. An intelligent sales forecasting system through integration of artificial neural networks and fuzzy neural networks with fuzzy weight elimination[J].NeuralNetworks, 2002,15(7): 909-925. DOI:10.1016/s0893-6080(02)00064-3.

[8] Xie L, Wei H, Zhao J, et al. Automatic feature extraction based structure decomposition method for multi-classification[J].Neurocomputing, 2016,173: 744-750. DOI:10.1016/j.neucom.2015.08.025.

[9] 朱紅路. 熱工信號自適應(yīng)濾波及其在建模與控制中的應(yīng)用 [D]. 北京: 華北電力大學(xué)控制與計算機工程學(xué)院, 2010.

[10] Plett G L. Adaptive inverse control of linear and nonlinear systems using dynamic neural networks [J].IEEETransactionsonNeuralNetworks, 2003,14(2): 360-376. DOI:10.1109/TNN.2003.809412.

[11] 林屹, 嚴洪森, 周博. 基于多維泰勒網(wǎng)的自適應(yīng)混沌時間序列多步預(yù)測[J]. 東南大學(xué)學(xué)報(自然科學(xué)版), 2015, 45(2): 281-288. DOI:10.3969/j.issn.1001-0505.2015.02.016.

Lin Yi, Yan Hongsen, Zhou Bo. Adaptive multi-step prediction of chaotic time series based on multi-dimensional Taylor network[J].JournalofSoutheastUniversity(NaturalScienceEdition), 2015,45(2): 281-288. DOI:10.3969/j.issn.1001-0505.2015.02.016.(in Chinese)

[12] Klambauer G.Mathematicalanalysis[M]. New York: Marcel Dekker Inc, 1975: 236-237.

[13] 林屹, 嚴洪森, 周博. 基于多維泰勒網(wǎng)的非線性時間序列預(yù)測方法及其應(yīng)用[J]. 控制與決策, 2014,29(5): 795-801. DOI:10.13195/j.kzyjc.2013.0198.

Lin Yi, Yan Hongsen, Zhou Bo. Nonlinear time series prediction method based on multi-dimensional Taylor network and its applications[J].ControlandDecision, 2014,29(5): 795-801. DOI:10.13195/j.kzyjc.2013.0198.(in Chinese)

[14] Kreiberg D, S?derstr?m T, Yang-Wallentin F. Errors-in-variables system identification using structural equation modeling[J].Automatica, 2016,66: 218-230. DOI:10.1016/j.automatica.2015.12.007.

[15] Wawrzynski P, Tanwani A K. Autonomous reinforcement learning with experience replay [J].NeuralNetworks, 2013,41: 156-167. DOI:10.1016/j.neunet.2012.11.007.

Identificationofnonlineartime-varyingsystemwithnoisebasedonmulti-dimensionalTaylornetworkwithoptimalstructure

Zhang Chao1,2,3Yan Hongsen1,3

(1School of Automation, Southeast University, Nanjing 210096, China) (2Department of Computer Science and Technology, Henan Institute of Technology, Xinxiang 453003, China) (3Key Laboratory of Measurement and Control of Complex Systems of Engineering, Ministry of Education, Southeast University, Nanjing 210096, China)

Aiming at the modeling difficulties of the nonlinear time-varying system with noise disturbance, a multi-dimensional Taylor network (MTN) model with optimal structure and optimum generalization ability is established to implement the identification of the system. Firstly, to rapidly reflect the input-output changes of the system, the link weight coefficients of MTN are taken as the time-varying parameters, and then the recursive least-squares algorithm with a variable forgetting factor is adopted to train the system and the stability of the identification scheme is addressed. Secondly, to avoid the dimension curse and meet the real-time requirements, an improved pruning algorithm is developed to choose the effective regression items of MTN, which provides the network with the simplest structure and optimum generalization ability. Finally, an example is given to illustrate the application of the MTN with minimum structure in the identification of a nonlinear time-varying system with noise disturbance, and the experimental results demonstrate the effectiveness of the proposed method.

identification; nonlinear time-varying system; multi-dimensional Taylor network; noise disturbance; pruning algorithm

10.3969/j.issn.1001-0505.2017.06.002

TB391

A

1001-0505(2017)06-1086-08

2017-06-22.

張超(1983—),男,博士生,講師;嚴洪森(聯(lián)系人),男,博士,教授,博士生導(dǎo)師, hsyan@seu.edu.cn.

國家自然科學(xué)基金資助項目(61673112, 60934008)、中央高?；究蒲袠I(yè)務(wù)費專項資金資助項目(2242017K10003, 2242014K10031)、江蘇高校優(yōu)勢學(xué)科建設(shè)工程資助項目.

張超，嚴洪森.基于最優(yōu)結(jié)構(gòu)多維泰勒網(wǎng)的含噪聲非線性時變系統(tǒng)辨識[J].東南大學(xué)學(xué)報(自然科學(xué)版),2017,47(6):1086-1093.

10.3969/j.issn.1001-0505.2017.06.002.