李凱，李慧，王啟志

（1.華僑大學機電及自動化學院，福建廈門361021；

2.中國人民解放軍理工大學通信工程學院，江蘇南京210007）

公平神經(jīng)網(wǎng)絡的未知信源數(shù)盲分離算法

李凱1，李慧2，王啟志1

（1.華僑大學機電及自動化學院，福建廈門361021；

2.中國人民解放軍理工大學通信工程學院，江蘇南京210007）

提出一種基于公平神經(jīng)網(wǎng)絡的學習算法.設置一個合理的信源數(shù)初始值，通過構造的一個穩(wěn)定性判決器，能夠自適應調整神經(jīng)網(wǎng)絡的維數(shù)，并估計出信源數(shù)真實值，從而使信源得以成功分離.理論分析表明，在其數(shù)學統(tǒng)計意義上縮減了訓練時間；而計算機仿真結果表明，在其不同信源數(shù)條件下均能快速收斂.

超定盲分離；信源數(shù)；自適應神經(jīng)網(wǎng)絡；穩(wěn)定性判決器

盲源分離（BSS）是指源信號和傳輸信道參數(shù)均未知的情況下，根據(jù)源信號的統(tǒng)計特性，僅由觀測信號來恢復或分離出源信號的過程.近年來，BSS已成為信號處理和神經(jīng)網(wǎng)絡領域的研究熱點，在數(shù)據(jù)通信［1］、語音識別、圖像恢復、生物醫(yī)學和故障檢測［2］等諸多領域都有廣泛應用.雖然BSS的研究成果已經(jīng)相當豐碩，但大多數(shù)相關文獻都假定信源數(shù)已知，然而實際應用中信源數(shù)通常是未知的，所以研究未知信源數(shù)條件下的盲分離更具現(xiàn)實意義.獨立源數(shù)目未知的盲分離，主要研究的是超定條件下（接收天線數(shù)M大于信源數(shù)N）基于神經(jīng)網(wǎng)絡的學習算法［3－8］.1999年，Cichocki等［3］采用自然梯度算法和M× N維解混矩陣仿真實驗表明：在收斂階段，網(wǎng)絡輸出由N個源信號的拷貝和M－N個冗余分量構成，容易導致算法發(fā)散.冶繼民等［］分析認為，解混矩陣在某一等價類中的冗余移動是算法不能穩(wěn)定收斂的原因，并提出利用正交投影來消除引起冗余移動的冗余分量.然而，Sun等［］卻巧妙地利用這種冗余分量造成的權值矩陣梯度振蕩來構造一個穩(wěn)定性判決器，從而在分離算法的學習過程中，不斷地調整神經(jīng)網(wǎng)絡維數(shù)（即信源數(shù)估計值），使其逼近真實值，最終~N＝N.文獻［5－6］分別假定初始化階段的取值為最大值和最小值，即~N＝M和~N＝2，然而從數(shù)學角度來看，這種初始值的設置并不合理.基于此，本文提出一個更加公平的算法，即將神經(jīng)網(wǎng)絡維數(shù)的初始值設置為~N＝M／2（一般地，假設M為偶數(shù)），這樣兼顧了不同信源數(shù)條件下算法的收斂速度，并給出了基于穩(wěn)定性判決器的神經(jīng)網(wǎng)絡維數(shù)的調整方案.

1 基于神經(jīng)網(wǎng)絡的BSS原理

考慮無噪的線性瞬時混合模型：N個相互統(tǒng)計獨立的未知源信號s（t）＝［s1（t），…，sN（t）］T經(jīng)未知混合矩陣A＝［ai，j］∈RM×N的傳輸后，由M個接收天線觀測到混合信號x（t）＝［x1（t），…，xM（t）］T.BSS的任務是將觀測信號通過解混矩陣W＝［wi，j］∈RN×M后，使得輸出y（t）＝［y1（t），…，yN（t）］T是源信號s（t）的一個拷貝或估計.用矩陣形式表示為

基于神經(jīng)網(wǎng)絡的學習算法能夠實時分離混合信號，解混矩陣W（t）可視為神經(jīng)網(wǎng)絡的權值矩陣（即wi，j為各網(wǎng)絡節(jié)點在t時刻的權重），通過網(wǎng)絡的無監(jiān)督自適應學習，使網(wǎng)絡輸出盡可能相互獨立.最早地，Herault和Jutten基于線性反饋網(wǎng)絡，取得了先驅性的工作成果［9－10］.之后，文獻［11］基于前饋網(wǎng)絡，提出了一種更為穩(wěn)健的Cichocki－Unbehauen算法，即

式（3）～（4）中：μ＞0為學習步長（通常是一個比較小的數(shù)值）；激勵函數(shù)f（·）和g（·）為不同的非線性奇函數(shù)（典型的有f（y）＝y(tǒng)2sign（y），g（y）＝tanh（10y））；Λ＝［λi，j］為對角陣（一般取Λ＝I）.

2 信源數(shù)未知的BSS

2.1 穩(wěn)定性判決器

定義神經(jīng)網(wǎng)絡的權值矩陣（即解混矩陣）的梯度方差V為

那么，平均梯度方差U的計算式為

式（6）中：k＝1，2，…是U的時間索引.

根據(jù)信源數(shù)的估計值~N與真實值N之間的大小關系，描繪了3種不同狀態(tài)下值的變化曲線，如圖1所示.從圖1中可以看出：當~N≤N時，U值在經(jīng)歷一段時間的增長之后，將穩(wěn)定并保持在某一門限值之下；當~N＞N時，U值將一直保持單調增長趨勢、趨于無窮.依此，可以構造一個穩(wěn)定性判決器.即觀測U值能否穩(wěn)定收斂，若不能收斂，則說明當前的估計值大于真實值；若能收斂，則說明當前的估計值小于或等于真實值.

圖1 3種狀態(tài)下U的變化曲線Fig.1 Curves of Uin three states

2.2 基于公平神經(jīng)網(wǎng)絡的學習算法

由于信源數(shù)未知，因此在分離算法的初始化階段應為神經(jīng)網(wǎng)絡維數(shù)設置一個初始值.不同的初始值決定了不同的網(wǎng)絡維數(shù)調整方案，也影響了算法的收斂速度（即訓練時間長短）.從數(shù)學統(tǒng)計意義的角度考慮，令＝M／2，這比單純令＝M和＝2要更為公平.

文中提出的算法框架，如圖2所示.首先，定義一個門限經(jīng)驗值ζ，以及一個觀測時間經(jīng)驗值Tg.一旦初始值選定，將觀測Tg時間長度內平均梯度方差U隨時間的變化情況.若U（Tg）＞ζ（即U值無法收斂），可認為＞N，因此需要逐步降低神經(jīng)網(wǎng)絡維數(shù)，然后令＝－1，再進行新一輪Tg時間長度內的觀測過程，直至U值趨于穩(wěn)定；反之，若U（Tg）≤ζ（即U值收斂），可認為≤N.為了進一步判斷究竟是＜N還是＝N，需要增加神經(jīng)網(wǎng)絡維數(shù)，令＝＋1，再進行新一輪Tg時間長度內的觀測過程，直至U值發(fā)散.在觀測階段，為了保證收斂速度，賦予學習步長一個較大值，即k≤Tg時，μ＝0.05；觀測階段之后，為了保證收斂精度，賦予學習步長一個較小值，即k＞Tg時，μ＝0.005.

圖2 本文所提出的算法框架圖Fig.2 Framework of the proposed algorithm

3 仿真結果和分析

為檢驗該算法分離未知數(shù)目獨立源的性能，采用下面6個平穩(wěn)的、零均值的、獨立的亞高斯信號作為源信號［5］，即

當采樣頻率為1kHz，采樣點數(shù)為6 000，其時域波形如圖3所示.混合矩陣A列滿秩，矩陣元素是分布在［0，1］上的隨機數(shù).其他仿真參數(shù)為：接收天線數(shù)M＝8；信源數(shù)的初始估計值為4；門限值ζ＝30；觀測時間Tg＝300個采樣點.

將串音誤差PI作為算法分離性能的衡量指標，即

圖3 6個源信號的時域波形圖Fig.3 Waveforms of six source signals

式（8）中：｛cpq｝＝WA，PI越小說明分離效果越好.

仿真包含2部分：一個是較大信源數(shù)N＝6，取式（7）中的全部6個信號；另一個是較小信源數(shù)N＝2，取式（7）中的前2個信號.

在上述兩種信源數(shù)條件下，一次典型仿真過程中算法對信源數(shù)的估計曲線，如圖4所示.由圖4可知：經(jīng)歷一段短的訓練時間后信源數(shù)均能被準確地估計出來.

本文算法分離出的信號的時域波形圖（為了顯示清晰，僅給出了最后500個采樣點），如圖5所示.由圖5可知：輸出信號與源信號相比，雖然順序和幅度上存在不確定性，但是時域波形是一致的，因此分離是成功的.

本文算法與文獻［5］算法的PI曲線（取100次獨立仿真結果的平均），如圖6所示.兩種算法都是基于穩(wěn)定性判決器來逐步修正信源數(shù)估計值的.因此，對于令＝M的文獻［5］算法來說，其收斂所需的訓練時間與（M－N）成正比例關系；相應地，本文算法的訓練時間與絕對值｜M／2－N｜成正比例關系.不難看出，本文算法更為公平，且對于比較小的信源數(shù)N，它在縮短訓練時間方面的優(yōu)勢更加突出.圖6結果也印證了上述分析：當N＝6時，兩種算法幾乎同時到達收斂狀態(tài)；當N＝2時，本文算法的收斂速度顯著快于文獻［5］中算法，在收斂時PI值接近于0.

圖4 本文算法對信源數(shù)的估計曲線Fig.4 Curves of estimated source number by the proposed algorithm

圖5 本文算法分離出的信號的時域波形圖Fig.5 Time domain waveforms of separated signals by the proposed algorithm

圖6 兩種算法的PI性能曲線Fig.6 PI curves of the two algorithms

4 結束語

針對更符合實際的信源數(shù)未知的情況，探討了基于神經(jīng)網(wǎng)絡的超定盲信號分離.在Cichocki，Sun等研究的基礎上，通過賦予信源數(shù)合理的初始估計值、構造穩(wěn)定性判決器，提出了一種基于公平神經(jīng)網(wǎng)絡的分離算法.該算法通過逐步修正信源數(shù)估計值，能夠準確估計出信源數(shù)真實值；兼顧了不同信源數(shù)條件下算法的收斂速度，在數(shù)學統(tǒng)計意義上顯著縮減了訓練時間，且無需預白化和數(shù)據(jù)降維，分離效果理想.因此，該算法優(yōu)勢突出，具有實用價值.

參考文獻：

［1］ ROUTTENBERG T，TABRIKIAN J.Blind MIMO－AR system identification and source separation with finite－alphabet［J］.IEEE Transactions on Signal Processing，2010，58（3）：990－1000.

［2］ 楊彥龍，程偉，常洪振.基于FSS－kernel BSS方法的機械故障診斷［J］.北京航空航天大學學報，2012，38（11）：1557－1561.

［3］ CICHOCKI A，KARHUNEN J，KASPRZAK W，et al.Neural networks for blind separation with unknown number of sources［J］.Neurocomputing，1999，24（1）：55－93.

［4］ YE Ji－min，ZHU Xiao－long，ZHANG Xian－da.Adaptive blind separation with an unknown number of sources［J］.Neural Computation，2004，16（8）：1641－1660.

［5］ LIU Chan－cheng，SUN T Y，LIN Chun－ling，et al.A self－organized neural network for blind separation process with unobservable sources［C］∥Intelligent Signal Processing and Communication Systems.Hong Kong：IEEE，2005：177－180.

［6］ SUN T Y，LIU Chan－cheng，HSIEH S T，et al.Blind separation with unknown number of sources based on autotrimmed neural network［J］.Neurocomputing，2008，71（10）：2271－2280.

［7］ SUN T Y，LIU Chan－cheng，TSAI S J，et al.Blind source separation with dynamic source number using adaptive neural algorithm［J］.Expert Systems with Applications，2009，36（5）：8855－8861.

［8］ LI Hui，SHEN Yue－h(huán)ong，XU Kun.Neural network with momentum for dynamic source separation and its convergence analysis［J］.Journal of Networks，2011，6（5）：791－798.

［9］ HERAULT J，JUTTEN C.Space or time adaptive signal processing by neural network models［C］∥AIP Conference Proceedings on Neural Network for Computing.New York：American Institute of Physics Inc，1986，151：206.

［10］ JUTTEN C，HERAULT J.Blind separation of sources，part（Ⅰ）：An adaptive algorithm based on neuromimetic architecture［J］.Signal Processing，1991，24（1）：1－10.

［11］ CICHOCKI A，UNBEHAUEN R.Robust neural networks with on－line learning for blind identification and blind separation of sources［J］.IEEE Trans on Circuits and Systems（Ⅰ）：Foudamental Theory and Applications，1996，43（11）：894－906.

Blind Separation Algorithm with Unknown Source Number Based on a Fair Neural Network

LI Kai1，LI Hui2，WANG Qi－zhi1
（1.College of Mechanical Engineering and Automation，Huaqiao University，Xiamen 361021，China；2.Institute of Communication Engineering，PLA University of Science and Technology，Nanjing 210007，China）

This paper proposes a fair neural－network－based algorithm.It initiates the estimatied source number to be a proper value，and constructs a stability discriminator，which can adjust dimensions of the nerual network and estimate the actual source number.Hence the algortihm is capable of separating sources sucessfully.Theoretical analysis indicates that it reduces the training time in mathematical statistical sense，and simulation results proves that it can converge quickly under different source number cases.

over－determined blind separation；source number；adaptive neural network；stability discriminator

TN 911.23

A

（責任編輯：黃曉楠 英文審校：楊建紅）

1000－5013（2014）01－0011－05

10.11830／ISSN.1000－5013.2014.01.0011

2013－04－11

王啟志（1971－），男，副研究員，主要從事復雜過程控制和智能控制的研究.E－mail：wangqz＠hqu.edu.cn.

福建省自然科學基金資助項目（A0640004）；華僑大學科研啟動費資助項目（13BS305）；華僑大學橫向科研資助項目（43201142）