董海迪 何兵 劉剛 鄭建飛

在信號(hào)處理領(lǐng)域,將信號(hào)自相關(guān)矩陣最小特征值對(duì)應(yīng)的特征向量定義為信號(hào)的次成分(Minor component,MC).次成分分析是一種從信號(hào)提取次成分的技術(shù).次成分分析已經(jīng)廣泛應(yīng)用于計(jì)算機(jī)視覺[1]、波達(dá)方向估計(jì)[2]、FIR濾波器設(shè)計(jì)[3]、曲面擬合[4]等領(lǐng)域.目前,基于神經(jīng)網(wǎng)絡(luò)的次成分分析算法是國(guó)際上的一個(gè)研究熱點(diǎn).相比傳統(tǒng)的特征值分解算法,神經(jīng)網(wǎng)絡(luò)算法具有計(jì)算復(fù)雜度低、能夠在線實(shí)施和跟蹤非平穩(wěn)信號(hào)等優(yōu)點(diǎn)[5].

根據(jù)提取次成分的維數(shù),次成分分析算法可以分為:單維次成分提取、次子空間跟蹤和多維次成分提取等三類[6].目前,學(xué)者們已經(jīng)提出了大量的單維次成分提取算法和次子空間跟蹤算法[2?3,6],而多維次成分提取算法還非常稀少.傳統(tǒng)的多維次成分提取大多是通過串行提取或空間旋轉(zhuǎn)來實(shí)現(xiàn)[6].串行提取法是首先利用單維次成分分析算法提取信號(hào)的第一個(gè)次成分,然后利用膨脹技術(shù)依次提取下一個(gè)次成分.串行算法的缺點(diǎn)在于存儲(chǔ)器需求量大、提取時(shí)間有延遲、誤差累計(jì)傳播等.空間旋轉(zhuǎn)法是首先利用次子空間跟蹤算法提取信號(hào)的次子空間,然后進(jìn)行空間旋轉(zhuǎn)得到多維次成分.空間旋轉(zhuǎn)法的缺點(diǎn)在于計(jì)算復(fù)雜度的增加[7].

相比串行提取法和空間旋轉(zhuǎn)法,并行算法能夠直接從信號(hào)中提取多維次成分,且不需要中間轉(zhuǎn)換過程,因此可以避免兩類算法的缺點(diǎn).最早的并行提取算法是由芬蘭學(xué)者Oja提出來的[8],該算法雖然可以并行提取多維次成分,但是其要求信號(hào)的最小特征值必須小于1;Mathew等提出的算法[9]雖然沒有特征值大小的限制,但是該算法只適用于信號(hào)具有多個(gè)相同的最小特征值;基于Douglas次子空間跟蹤算法,Jankovic等[10]提出了一種新型多維次成分提取算法—MDouglas算法,雖然該算法對(duì)特征值大小沒有要求,但是需要事先選取參數(shù),而且該參數(shù)選取的結(jié)果直接影響著算法的收斂性能;采用主/次成分轉(zhuǎn)換機(jī)制,Tan等提出了一種并行提取算法[11],該算法的缺點(diǎn)在于需要事先對(duì)最小特征值進(jìn)行估計(jì);Bartelmaos等所提出的MCA-OOJAH算法[12]雖然對(duì)信號(hào)特征值沒有要求,但是需要在每次迭代過程中增加模值歸一化措施,以保證算法的收斂性.頻繁的模值歸一化操作極大地增加了MCA-OOJAH算法的計(jì)算復(fù)雜度.綜上所述可得,現(xiàn)有算法存在以下幾個(gè)方面的問題:1)對(duì)信號(hào)的特征值有要求;2)需要事先選取一些參數(shù);3)算法計(jì)算過程復(fù)雜.本文研究目的就是發(fā)展能夠避免上述缺點(diǎn)的多維次成分并行提取算法.

本文的主要貢獻(xiàn)可以歸納為以下三個(gè)方面:1)提出了一種多維次成分并行提取算法,該算法對(duì)信號(hào)的特征值沒有要求,而且不需要模值歸一化操作;2)利用遞歸最小二乘(Recursive least square,RLS)技術(shù)對(duì)所提算法進(jìn)行改進(jìn),導(dǎo)出了一種具有低計(jì)算復(fù)雜度的算法;3)利用李雅普諾夫函數(shù)法完成了對(duì)所提算法的全局收斂性分析,確定了所提算法的全局收斂域.

論文的結(jié)構(gòu)安排如下:第1節(jié)是對(duì)神經(jīng)網(wǎng)絡(luò)模型和次成分進(jìn)行簡(jiǎn)介;第2節(jié)是在研究OJAm算法的基礎(chǔ)上,提出兩種多維次成分提取算法;第3節(jié)是采用李雅普諾夫函數(shù)法對(duì)所提算法的全局收斂性進(jìn)行證明;第4節(jié)是通過仿真實(shí)驗(yàn)對(duì)所提算法的性能進(jìn)行驗(yàn)證;論文的總結(jié)安排在第5節(jié).

1 問題描述

考慮如下一個(gè)具有多輸入多輸出的神經(jīng)網(wǎng)絡(luò)模型:

其中,y(k)∈Rr×1是神經(jīng)網(wǎng)絡(luò)的輸出,W∈Rn×r是神經(jīng)網(wǎng)絡(luò)的狀態(tài)矩陣,輸入信號(hào)x(k)∈Rn×1是一個(gè)零均值的隨機(jī)過程,這里作為神經(jīng)網(wǎng)絡(luò)的輸入,n為輸入向量的維數(shù),r為所需提取次成分成分的維數(shù).

令R=E[x(k)xT(k)]為輸入信號(hào)x(k)的自相關(guān)矩陣,λi和ui(i=1,2,···,n)分別為自相關(guān)矩陣R的特征值和對(duì)應(yīng)的特征向量.根據(jù)矩陣?yán)碚摽傻?矩陣R是一個(gè)對(duì)稱非負(fù)定矩陣,且其特征值均是非負(fù)的.為了后續(xù)方便,這里將其矩陣R的特征值按照從大到小方式排列,即

則矩陣R的特征值分解可以表示為

其中,U=[u1, u2,···, un]是由矩陣R的特征向量構(gòu)成的矩陣,Λ=diag{λ1,λ2,···,λn}是由矩陣R的特征值構(gòu)成的對(duì)角矩陣,U1=[u1,u2,···,un?r]是由前n?r個(gè)特征向量構(gòu)成的矩陣,Λ1=diag{λ1,λ2,···,λn?r}是由前n?r個(gè)特征值構(gòu)成的對(duì)角矩陣,Un=[un?r+1,un?r+2,···, un]和Λn=diag{λn?r+1,λn?r+2,···,λn}分別為后r個(gè)特征向量和特征值構(gòu)成的矩陣.

根據(jù)定義可知特征值λn?r+1,λn?r+2,···,λn所對(duì)應(yīng)的特征向量un?r+1, un?r+2,···,un稱為信號(hào)的前r個(gè)次成分,而由特征向量un?r+1,un?r+2,···,un張成的子空間V1=Span{ un?r+1, un?r+2,···, un}稱為信號(hào)的次子空間.子空間跟蹤算法的目的是能夠估計(jì)出子空間V1的一組基,而多維次成分提取算法則是要找到確定的特征向量un?r+1, un?r+2,···,un.

2 多維次成分并行提取算法

2.1 多維次成分提取算法的提出

在文獻(xiàn)[13]中,Feng等提出了OJAm次子空間跟蹤算法.當(dāng)OJAm算法收斂時(shí),該算法的狀態(tài)矩陣只能收斂到信號(hào)次子空間的一組正交基,而非多維次成分.通過對(duì)OJAm算法進(jìn)行加權(quán)處理,這里提出如下算法

其中,η是神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)因子,滿足關(guān)系:0<η≤1;A=diag{a1,a2,···,ar}是一個(gè)r×r維對(duì)角矩陣,其對(duì)角線元素均為正數(shù),且滿足關(guān)系:ar>ar?1>···>a1>0;(k)為k時(shí)刻對(duì)自相關(guān)矩陣R的估計(jì)值,即

其中,α被稱為遺忘因子.如果樣本來自于一個(gè)平穩(wěn)的隨機(jī)過程,則可以令α=1,此時(shí)式(5)相當(dāng)于對(duì)x(k)xT(k)取瞬時(shí)數(shù)學(xué)期望.顯然當(dāng)訓(xùn)練樣本非常大時(shí),(k)將等價(jià)于自相關(guān)矩陣R.另一方面,如果x(k)取自一個(gè)非平穩(wěn)的隨機(jī)過程,則遺忘因子α應(yīng)該在區(qū)間(0,1)內(nèi)取值,以便對(duì)采樣樣本施加一個(gè)寬度為1/(1?α)的遺忘窗.該遺忘窗通過對(duì)不同時(shí)刻的采樣樣本賦予不同的權(quán)值來降低以往數(shù)據(jù)對(duì)于當(dāng)前結(jié)果的影響.遺忘因子α的取值是由采樣信號(hào)來決定.通常對(duì)于變化緩慢的樣本,α的取值要接近1以產(chǎn)生一個(gè)較大的遺忘窗;而對(duì)于變化快速的樣本,遺忘窗口寬度應(yīng)比較小,此時(shí)α則應(yīng)該在接近0處取值[14].為了方便后續(xù)使用,這里將式(4)所描述的算法記為WOJAm(Weighted OJAm)算法.

從式(4)可得:學(xué)習(xí)因子η控制著算法的學(xué)習(xí)步長(zhǎng).一般說來,學(xué)習(xí)因子η越大,算法的學(xué)習(xí)步長(zhǎng)越大,算法的收斂速度也越快,但是學(xué)習(xí)因子過大有時(shí)會(huì)引起算法的震蕩甚至發(fā)散.反之,學(xué)習(xí)因子越小,算法的學(xué)習(xí)步長(zhǎng)越小,收斂速度也越慢,因此過小的學(xué)習(xí)因子會(huì)降低算法的性能.目前,學(xué)習(xí)因子的選擇主要依靠經(jīng)驗(yàn)知識(shí),如何選取最優(yōu)的學(xué)習(xí)因子仍是一個(gè)難以解決的問題.從式(5)可得:遺忘因子主要影響著信號(hào)的自相關(guān)矩陣.根據(jù)文獻(xiàn)[15]的研究,遺忘因子對(duì)于算法的收斂速度幾乎沒有影響.

2.2 基于遞歸最小二乘的改進(jìn)型算法

雖然WOJAm算法可以提取信號(hào)的多維次成分,但其計(jì)算復(fù)雜度為n2r+5nr2+11r3/3,高于OJAm算法n2r+2nr2+10r3/3的計(jì)算算復(fù)雜度.通常,高昂的計(jì)算復(fù)雜度會(huì)在一定程度上限制算法的使用范圍.由于RLS技術(shù)能夠在不改變算法性能的前提下降低算法的計(jì)算復(fù)雜度[16],因此本節(jié)將研究基于RLS技術(shù)的多維次成分提取算法.

假設(shè)在第i(1≤i≤k)次迭代時(shí),輸入數(shù)據(jù)x(i)在神經(jīng)網(wǎng)絡(luò)狀態(tài)矩陣W(k?1)上的投影可以通過式y(tǒng)(i)≈WT(i?1)x(i)來近似(這一近似已經(jīng)廣泛應(yīng)用于很多算法的推導(dǎo)過程中,并不會(huì)影響算法的最終性能[17]).通過這一近似,就可以在任意時(shí)刻i(i=1,2,···,k)獲得神經(jīng)網(wǎng)絡(luò)的輸出y(i)的估計(jì)值.將式(5)代入式(4)可得:

為了方便計(jì)算,這里做如下簡(jiǎn)記:

應(yīng)用矩陣求逆引理[18],則式(7)可以化簡(jiǎn)為:

上式推導(dǎo)過程中用到了如下結(jié)論:

綜合式(6)～(10),就可以利用k時(shí)刻的輸入向量x(k)和k?1時(shí)刻的(k?1)來估計(jì)狀態(tài)矩陣(k),即完成了利用RLS技術(shù)對(duì)WOJAm算法的改進(jìn),因此將該算法記為RLS-WOJAm算法,其計(jì)算過程如下.

初始化:令k=0,選擇合適的學(xué)習(xí)因子η和遺忘因子α,其他初始化參數(shù)設(shè)置為:P(0)=δIr(其中δ是一個(gè)非常小的數(shù)),(0)=0.

迭代過程:令k=k+1,根據(jù)以下方程對(duì)神經(jīng)網(wǎng)絡(luò)狀態(tài)矩陣進(jìn)行更新迭代,

2.3 算法性能評(píng)價(jià)

本節(jié)對(duì)所提算法進(jìn)行分析,并將所提算法與一些現(xiàn)有算法進(jìn)行比較:

1)將WOJAm算法與OJAm算法進(jìn)行對(duì)比可以發(fā)現(xiàn),兩者相差的只是加權(quán)矩陣A.OJAm算法只是在對(duì)狀態(tài)矩陣的模值進(jìn)行了約束,而WOJAm算法則是通過該加權(quán)矩陣對(duì)狀態(tài)矩陣不斷地實(shí)施Gram-Schmidt正交化操作,從而使得狀態(tài)矩陣能夠收斂到所需的次成分.顯然,這里加權(quán)矩陣的作用是與文獻(xiàn)[16]相類似的.

2)從文獻(xiàn)[13]可得,OJAm 算法是一個(gè)次子空間跟蹤算法,算法只能收斂到信號(hào)次子空間V1=Span{ un?r+1,un?r+2,···, un}的一組基,不一定是次成分un?r+1, un?r+2,···,un,而所提算法收斂結(jié)果則是確定的次成分.根據(jù)矩陣?yán)碚揫18]可得:子空間V1有很多種不同的基,而次成分只是其中一個(gè)特殊的基.即所提算法不僅適用于多維次成分提取,而且還可以用于子空間跟蹤.因此相比OJAm算法,所提算法具有更為廣泛的應(yīng)用范圍.

3)這里將所提算法與近期提出的AMMD算法[11]和MCA-OOJAH算法[12]進(jìn)行對(duì)比.在應(yīng)用AMMD算法前,必須要對(duì)信號(hào)自相關(guān)矩陣的最大特征值進(jìn)行估計(jì),由于信號(hào)是多種多樣,有些情況下是難以估計(jì)的,因此這一約束限制了AMMD算法的實(shí)際應(yīng)用.而所提算法在使用前并沒有這一要求,因此拓寬了使用范圍.MCA-OOJAH算法雖然沒有限制條件,但是其需要在每一次迭代過程中增加狀態(tài)矩陣模值歸一化操作,以確保算法的穩(wěn)定性,由于大量的歸一化操作,增加了MCA-OOJAH算法的計(jì)算量,而所提算法則沒有這些要求,降低了算法的硬件開銷.

4)雖然WOJAm算法的計(jì)算復(fù)雜度為n2r+5nr2+O(n),但是由其導(dǎo)出的RLS-WOJAm算法的計(jì)算復(fù)雜度將至2nr2+2nr+O(n).這一計(jì)算復(fù)雜度不僅要低于原來的OJAm次子空間跟蹤算法(n2r+2nr2+10r3/3),而且還要比AMMD算法[11]n3+2n2r+O(n)的計(jì)算復(fù)雜度和MDouglas算法[10]n2r+5nr2+O(n)的計(jì)算復(fù)雜度要低很多.此外,RLS-WOJAm算法只涉及到矩陣的加、乘和簡(jiǎn)單求逆操作,因此實(shí)施較為容易.

3 算法的全局收斂性分析

文獻(xiàn)[13]只是對(duì)OJAm算法進(jìn)行了收斂性分析,并未給出算法的收斂域;本節(jié)將通過李雅普諾夫函數(shù)法對(duì)所提算法的收斂性進(jìn)行分析,確定出算法的收斂域.借鑒現(xiàn)有文獻(xiàn)[19]分析結(jié)論可得:所提WOJAm算法和RLS-WOJAm在本質(zhì)上是相同的,因此兩個(gè)算法具有相同的全局收斂域.假定輸入信號(hào)x(k)是一個(gè)零均值的平穩(wěn)隨機(jī)過程,當(dāng)學(xué)習(xí)因子η非常小時(shí),根據(jù)隨機(jī)近似理論[20],則式(4)所描述的離散時(shí)間方程可以轉(zhuǎn)化為相對(duì)應(yīng)的一階常微分方程

其中,t=μk.通過對(duì)式(13)的收斂性分析就可以間接獲得所提算法的全局收斂性.事實(shí)上,算法的全局收斂性主要是回答以下兩個(gè)問題[21]:

1)式(13)所描述的動(dòng)態(tài)系統(tǒng)能否全局收斂到自相關(guān)矩陣的多維次成分?

2)算法對(duì)于次成分的吸引域是多少?或者說確保算法全局收斂的初始條件是什么?

為了回答上述問題,這里構(gòu)造如下函數(shù):

其中,Rr=UnΛnUTn.所提算法的收斂性可以通過定理1來完成.

定理1.L(W)是常微分方程(13)所對(duì)應(yīng)的李雅普諾夫函數(shù),通過該函數(shù)可以獲得神經(jīng)網(wǎng)絡(luò)狀態(tài)矩陣W在平穩(wěn)點(diǎn)處的吸引域?yàn)?/p>

證明.由于L(W)是一個(gè)連續(xù)函數(shù),則其是連續(xù)可微的:

通過鏈?zhǔn)椒▌t,可以獲得L(W)對(duì)于時(shí)間t的導(dǎo)數(shù)

為了方便起見,上式中省略了時(shí)間變量t.根據(jù)李雅普諾夫第二定律,需要證明如下結(jié)論:在域,而在域內(nèi)(dL(W)/dt)=0.為了完成上述證明,這里將R=代入式(17),并進(jìn)行適當(dāng)化簡(jiǎn)可得:

其中,Z1=UT1W和Z2=UTnW.由于WTRrW0,則矩陣Z2是可逆的.因此,必定存在一矩陣B∈R(n?r)×r使得Z1=BZ2成立.將式(18)中的Z1用Z2來表示,則有:

其中,C=(Z2TZ2)?1A?1(Z2TZ2)?1.當(dāng)W接近平穩(wěn)點(diǎn)處時(shí),矩陣C可以近似為一個(gè)對(duì)角矩陣,即C≈C′=diag{c1,c2,···,cr}.此時(shí),式(19)就可以化簡(jiǎn)為:

接下來,考慮矩陣Z10的情況.根據(jù)矩陣?yán)碚撚?

令D=ZT2(I+BTB)Z2,則其特征值分解可以表示為:

其中,Ψ=diag{μ1,μ2,···,μr}是一對(duì)角矩陣,μi(i=1,2,···,r)是矩陣D的特征值,Φ是由特征向量組成的矩陣.將式(22)代入式(21)可得:

接下來考慮Z1=0的情況,此時(shí)式(19)可簡(jiǎn)化為:

其中,E= Λ2Z2(ZT2Λ2Z2)?1?Z2A(ZT2Z2A)?2.

從式(24)可得:當(dāng)且僅當(dāng)E=0時(shí),有dL(Z)/dt=0成立.此時(shí),即.從式(23)和式(24)可得:對(duì)于任意的W∈??均有d(L(Z))/dt<0成立.因此,在域?內(nèi)平穩(wěn)點(diǎn)是漸近穩(wěn)定的,即只要初始化狀態(tài)矩陣W在域?以內(nèi),則算法(13)全局漸近收斂到自相關(guān)矩陣矩陣R的前r個(gè)次成分.

4 仿真實(shí)驗(yàn)

本節(jié)將通過兩個(gè)數(shù)值仿真實(shí)驗(yàn)來驗(yàn)證所提算法的性能.第一個(gè)實(shí)驗(yàn)是考察所提算法提取多維次成分的能力,第二個(gè)實(shí)驗(yàn)將所提算法與一些現(xiàn)有算法進(jìn)行對(duì)比.在仿真實(shí)驗(yàn)過程中,為了衡量算法的性能,這里采取兩個(gè)評(píng)價(jià)函數(shù),第一個(gè)是方向余弦(Direction cosine,DC):

其中,Wi(k)表示在k時(shí)刻神經(jīng)網(wǎng)絡(luò)狀態(tài)矩陣的第i列,而vi則是代表著自相關(guān)矩陣R的第i個(gè)次成分.顯然,如果Wi(k)能夠收斂到次成分vi的方向,則方向余弦的值應(yīng)該收斂到1.

方向余弦只能評(píng)價(jià)狀態(tài)矩陣的收斂方向,而狀態(tài)矩陣模值也是一個(gè)非常重要的評(píng)價(jià)函數(shù):

當(dāng)神經(jīng)網(wǎng)絡(luò)狀態(tài)矩陣收斂到次成分的方向(此時(shí)方向余弦等于1)時(shí),如果狀態(tài)矩陣模值能夠收斂到一個(gè)常值,則算法是收斂的.

4.1 多維次成分提取實(shí)驗(yàn)

本實(shí)驗(yàn)考察所提算法提取多維次成分的能力.實(shí)驗(yàn)中,輸入信號(hào)由式x(k)=T z(k)產(chǎn)生,其中,T=randn(10,10)/10是一個(gè)隨機(jī)產(chǎn)生的10×10維矩陣,而z(k)∈R10×1是一個(gè)均值為零方差為σ2=1的高斯白噪聲序列.這里分別采用WOJAm算法和RLS-WOJAm算法對(duì)信號(hào)的前3個(gè)次成分進(jìn)行提取(即r=3).兩種算法的初始化參數(shù)設(shè)置如下:根據(jù)加權(quán)矩陣ar>ar?1>···>a1>0的要求,這里取加權(quán)矩陣A=diag{3,2,1};根據(jù)0<η≤1要求,同時(shí)也要保證算法的收斂性能,這里取學(xué)習(xí)因子η=0.1;由于輸入信號(hào)是一個(gè)近似平穩(wěn)的隨機(jī)過程,所以這里取遺忘因子α=0.998;此外RLS-WOJAm算法中初始化逆矩陣P(0)=0.001×I3,其中I3是一個(gè)3×3的單位矩陣.兩個(gè)算法的采取相同的初始化狀態(tài)矩陣,且該矩陣是隨機(jī)產(chǎn)生的.仿真結(jié)果如圖1～圖4所示,該結(jié)果是100次獨(dú)立實(shí)驗(yàn)的平均值.

圖1 WOJAm算法的DC曲線Fig.1DC curves of WOJAm algorithm

圖1和圖3分別是兩種算法狀態(tài)矩陣列向量與所求次成分之間的方向余弦曲線;圖2和圖4分別是狀態(tài)矩陣各列向量的模值,黑線則是整個(gè)狀態(tài)矩陣的F-范數(shù).從圖1和圖3中可以看出,經(jīng)歷若干次迭代后,WOJAm算法和RLS-WOJAm算法的方向余弦均收斂到1,即兩種算法均最終收斂到了信號(hào)次成分的方向.從圖2和圖3中可得:兩種算法在方向余弦收斂到1的同時(shí),狀態(tài)矩陣模值也已經(jīng)收到一個(gè)常值.綜合兩圖可以得出結(jié)論:本文所提兩種算法均能夠自適應(yīng)地提取信號(hào)的多維次成分,而且具有很好的收斂特性.

圖2 WOJAm算法的Norm曲線Fig.2 Norm curves of WOJAm algorithm

此外對(duì)比上述4圖可以得出結(jié)論:對(duì)于方向余弦曲線和狀態(tài)矩陣模值曲線,WOJAm算法和RLS-WOJAm算法的收斂情況近似相同,只是WOJAm算法的收斂速度略快于RLS-WOJAm算法.由于RLS-WOJAm算法是由WOJAm算法推導(dǎo)而來,兩者本質(zhì)上是相同的,所以上述現(xiàn)象很容易解釋.從第2.3節(jié)可得,RLS-WOJAm算法的計(jì)算復(fù)雜度遠(yuǎn)小于WOJAm算法,因此RLS-WOJAm算法更符合實(shí)際使用需要.在后續(xù)實(shí)驗(yàn)中,將重點(diǎn)對(duì)RLS-WOJAm算法的性能進(jìn)行考核.

圖3 RLS-WOJAm算法的DC曲線Fig.3 DC curves of RLS-WOJAm algorithm

4.2 算法性能對(duì)比實(shí)驗(yàn)

為了突出所提算法的性能,本實(shí)驗(yàn)將所提RLS-WOJAm算法與MCA-OOJAH算法[12]和AMMD算法[11]進(jìn)行比較.實(shí)驗(yàn)中輸入信號(hào)采用如下一階滑動(dòng)回歸模型來產(chǎn)生:

該模型由一個(gè)均值為零方差為1的高斯白噪聲e(k)作為模型驅(qū)動(dòng)輸入.取該模型的10個(gè)不連續(xù)的輸出構(gòu)成神經(jīng)網(wǎng)絡(luò)的輸入向量.然后利用上述三種算法對(duì)該輸入信號(hào)的前3個(gè)次成分進(jìn)行提取,即r=3.試驗(yàn)中三個(gè)算法采用相同的初始化狀態(tài)矩陣,學(xué)習(xí)因子也都設(shè)置為0.1,仿真結(jié)果如圖5～圖8所示.

圖5～圖7分別是所提次成分的方向余弦曲線,圖8是在迭代過程中三種算法的狀態(tài)矩陣模值曲線.從圖8中可以看出,由于MCA-OOJAH算法在迭代過程中存在模值歸一化操作,所以其模值始終為一常值,而RLS-WOJAm算法和AMMD算法雖然沒有歸一化操作,但狀態(tài)矩陣模值仍能收斂到一個(gè)固定值.從圖5～圖7中可以發(fā)現(xiàn):在所有次成分的提取過程中,RLS-WOJAm算法的收斂速度均快于其他兩種算法.

圖4 RLS-WOJAm算法的Norm曲線Fig.4 Norm curves of RLS-WOJAm algorithm

圖5 第一個(gè)次成分的DC曲線Fig.5 DC curves of the 1st MC

圖6 第二個(gè)次成分的DC曲線Fig.6 DC curves of the 2nd MC

圖7 第三個(gè)次成分的DC曲線Fig.7 DC curves of the 3rd MC

圖8 三種算法的Norm曲線Fig.8 Norm curves of the three algorithms

5 結(jié)論

本文對(duì)多維次成分并行提取算法進(jìn)行了研究.首先,通過對(duì)OJAm次子空間跟蹤算法進(jìn)行加權(quán)改造,提出了一種多維次成分并行提取算法;然后,為了降低該的計(jì)算復(fù)雜度的,采用遞歸最小二乘技術(shù)導(dǎo)出了一種新型算法—RLS-WOJAm算法;相比現(xiàn)有算法,所提算法對(duì)信號(hào)自相關(guān)矩陣的特征值大小沒有要求,也沒有模值歸一化措施;最后,通過李雅普諾夫函數(shù)法確定了所提算法的全局收斂域.仿真實(shí)驗(yàn)表明:相比現(xiàn)有一些同類型算法,所提算法具有較快的收斂速度.