王世元 史春芬 錢國兵 王萬里

1)(西南大學電子信息工程學院,重慶 400715)

2)(非線性電路與智能信息處理重慶市重點實驗室,重慶 400715)

1 引 言

混沌系統(tǒng)對初始值敏感的特性使輸入信號的微小變化均能快速體現(xiàn)在輸出信號中,所以混沌模型更能反映現(xiàn)實世界的真實情況,即混沌理論提供了一種符合現(xiàn)實世界的非線性建模方法.隨著混沌理論和應用技術研究的不斷深入,混沌時間序列的建模和預測已成為近年來混沌信號處理領域的一個重要熱點[1?5].然而,混沌系統(tǒng)對初始值敏感的特性使得混沌時間序列不能長期預測.但混沌時間序列是由確定性非線性系統(tǒng)產(chǎn)生的,其內(nèi)部存在確定性規(guī)律,所以混沌時間序列是短期可預測[6].由此可見,混沌時間序列預測是一個極具挑戰(zhàn)性的工作.高效的預測模型可廣泛應用于混沌去噪,混沌加密以及混沌通信等領域中.Takens的嵌入定理[7]提供了預測混沌時間序列的理論依據(jù).基于Takens的嵌入定理和相空間重構思想,混沌時間序列預測方法可分為全局預測方法[3]、局域預測法[4]和自適應預測法[5]三大類.全局預測法采用全部已知數(shù)據(jù)擬合非線性函數(shù),但當非線性函數(shù)關系較復雜時,這種方法不能精確擬合非線性函數(shù).局域預測法僅利用相空間中部分數(shù)據(jù)擬合非線性函數(shù),即利用當前數(shù)據(jù)最近鄰域點的演化軌跡加權預測未來數(shù)據(jù),因只采用了部分數(shù)據(jù),所以局域預測法可提供較快的運算速度,但對未知數(shù)據(jù)區(qū)間的預測精度較差.自適應預測法是近年來興起的混沌時間序列預測方法,在預測過程中只需較少的訓練樣本就能對混沌序列做出較好的預測結(jié)果.

自適應濾波算法是一類經(jīng)典的自適應算法,現(xiàn)已被廣泛應用于噪聲消除、信道均衡和系統(tǒng)識別等領域中[8].根據(jù)不同的誤差準則可以生成不同的自適應濾波算法,包括最小化均方算法(least mean square,LMS)[9]、仿射投影算法(affine projection algorithm,APA)[10]和遞歸最小二乘(recursive least squares,RLS)[11]算法.LMS算法因采用當前瞬時平方誤差作為誤差準則,其計算最為簡單,是廣泛應用于實際的經(jīng)典自適應濾波算法.盡管LMS算法具有低復雜度和易實現(xiàn)的特點,但其收斂速度較慢.APA算法利用過去一段時間和當前時刻的數(shù)據(jù)更新權重，因此相對于LMS算法,APA算法以增加一定的計算復雜度為代價提高了濾波器的預測速度和精度.基于最小二乘(least squares,LS)[12]的RLS算法利用所有輸入數(shù)據(jù)更新濾波系統(tǒng),因此具有更好的濾波性能,但其計算復雜度也更高.以上三種經(jīng)典的自適應濾波算法均采用最小均方誤差(minimum mean square error,MMSE)準則.因此,在非高斯噪聲環(huán)境下它們不能獲得較理想的濾波性能.然而,實際環(huán)境中的大多數(shù)噪聲具有顯著的脈沖性特點.因此,提出了適應非高斯噪聲的誤差準則及其相應的自適應濾波器,例如,基于最小誤差熵(minimum error entropy,MEE)[13]的自適應濾波器.MEE是一種非凸的代價函數(shù),需要Parzen窗去估計每一個時刻的誤差分布[14],因此,基于MEE準則的自適應濾波器具有較高的計算復雜度.為了減小其計算復雜度,提出了另一種基于最大相關熵準則(maximum correntropy criterion,MCC)[15]的自適應濾波器.MCC因其計算效率高和處理非高斯信號能力較強，已被廣泛應用于信號處理和機器學習等領域[15?17].與基于MMSE準則的自適應濾波算法相比,當系統(tǒng)噪聲為非高斯噪聲或者輸入數(shù)據(jù)有較大的奇異值時,基于MCC準則的自適應濾波算法具有較好的魯棒性.

隨著分數(shù)階微積分的不斷發(fā)展,作為分數(shù)維動力學基礎的分數(shù)階取得了極大的進展.整數(shù)階微積分僅僅決定函數(shù)的局部特征,而分數(shù)階微積分以加權的形式考慮了函數(shù)的整體信息,因此可以更準確地描述實際系統(tǒng)的動態(tài)響應,最終可實現(xiàn)預期的魯棒性、穩(wěn)定性、良好的動態(tài)性能和濾波精度[18].目前,分數(shù)階已被廣泛應用在控制和信號處理等領域[19?21].在一個分數(shù)階系統(tǒng)中,輸入和輸出是根據(jù)一個非整數(shù)階的微分方程聯(lián)系,這里的非整數(shù)階數(shù)可以是正的、負的甚至是復數(shù).

受基于MCC準則的自適應濾波算法的魯棒性以及分數(shù)階微積分的普適性的啟發(fā),本文根據(jù)混沌時間序列的短期可預測性在MCC準則的基礎上引入分數(shù)階,提出一種新的自適應濾波算法——分數(shù)階最大相關熵(fractional-order maximum correntropy criterion,FMCC)算法,在增加一定計算量的前提下,FMCC算法能夠在混沌時間序列預測方面實現(xiàn)更快的收斂速度和更低的穩(wěn)態(tài)誤差,進而實現(xiàn)更好的預測結(jié)果.

2 背 景

2.1 最大相關熵算法

相關熵(correntropy)[22,23]是指兩個隨機變量X和Y相似度的非線性測量,定義為

其 中,k(·,·) 是 受 核 寬 度σ控 制 的Mercer核,PX,Y(x,y)表示X和Y的聯(lián)合概率密度函數(shù).由于高斯核[24,25]具有普適的逼近能力,因此通常將其作為相關熵的核函數(shù).高斯核的定義為

其中,e=x?y,且σ＞0.

然而,在實際應用中,聯(lián)合概率密度函數(shù)PX,Y(x,y)總是未知的,且可使用的數(shù)據(jù)是有限的.因此,通常用樣本的估計量去近似表示(1)式中的期望,即

結(jié)合隨機梯度方法[11],MCC算法的權重更新方式為

其中,μMCC是MCC算法的學習步長.

結(jié)合(4)式和(5)式可以看出,當外界所加噪聲為脈沖噪聲時,(4)式代價函數(shù)的導數(shù)趨于零,即(5)式中的權重不更新.因此,MCC算法能夠有效抑制脈沖噪聲的影響,具有較好的魯棒性.

2.2 分數(shù)階微積分

分數(shù)階微積分理論幾乎與整數(shù)階微積分理論具有同樣長的發(fā)展歷史.因采用分數(shù)階微積分描述的系統(tǒng)能夠更接近實際系統(tǒng),所以近年來引起人們的廣泛興趣和深入研究.在分數(shù)階微積分的研究過程中,對分數(shù)階微分有多種定義,如Grunwald-Letnikov定義、Riemann-Liouville(RL)定義和Caputo定義[26,27].本文所用的是RL定義[27],包括積分和微分.

對于函數(shù)f(t),RL分數(shù)階積分的定義如下:

其中,Iv是指v階積分,實數(shù)v∈(0,1)表示階數(shù);Γ表示伽馬函數(shù).對于z?v+1＞0,伽馬函數(shù)?？杀硎緸?/p>

且

同樣,v階RL微分的定義可描述為

其中,Dv表示v階微分,n為整數(shù).

將(6)式代入(9)式即為

以函數(shù)f(t)=(t?b)α為例,它的分數(shù)階導數(shù)具體表示為

其中,b和α為常數(shù).

3 分數(shù)階最大相關熵算法

在采用隨機梯度更新權重的自適應濾波器算法中,例如,LMS和MCC算法等,均需設置一個較小的學習步長用以保證算法收斂到一個較小的穩(wěn)態(tài)誤差.然而較小的學習步長同時會導致較慢的收斂速度,即增加算法收斂到最優(yōu)權重的迭代步數(shù).為解決這一問題，基于分數(shù)階的梯度更新方法能夠在增加一定計算復雜度的前提下提高濾波性能[19],目前,該方法已成功應用于LMS算法中提高了其濾波性能和收斂速度.因此,本文在MCC準則的基礎上采用基于分數(shù)階的梯度更新方法生成新的濾波算法,即FMCC算法.將代入(4)式,可得FMCC算法的代價函數(shù),即

基于分數(shù)階的梯度更新方法是在(5)式一階微分的基礎上增加一項分數(shù)階微分[19].因此,基于代價函數(shù)(12)式,FMCC算法的權重更新公式可以表示為

其中,μFMCC1和μFMCC2分別是FMCC算法中一階微分和分數(shù)階微分的學習步長.

類似于(5)式,(13)式中的一階微分部分為

采用(10)式中定義的RL微分運算,結(jié)合(11)式可將(13)式中的分數(shù)階微分更新部分表示為[19]

其中,⊙表示點積.

因為微分計算后的常系數(shù)可歸結(jié)到步長系數(shù)中,所以在梯度更新中通常忽略該常系數(shù).將(14)式和(15)式中等式右邊的第一個常系數(shù)1/σ2分別歸入到步長μFMCC1和μFMCC2中,代入(13)式可得FMCC算法的最終權重更新公式:

從(16)式可以看出,和傳統(tǒng)的MCC算法相比,FMCC算法更靈活,有更多的調(diào)節(jié)參數(shù).μFMCC2和v可以用不同的強度進一步縮放對權重向量更新的影響,因此,可以進一步提升收斂速度,降低預測誤差.FMCC算法可以總結(jié)如下.

初始化參數(shù)的選擇:μFMCC1,μFMCC2,v.

結(jié)合{ui,di}(i＞1)數(shù)據(jù)對按下列步驟計算:

步驟1計算實際輸出:

步驟2計算預測誤差:

步驟3更新權重向量:

因此,從 FMCC算法的描述中,可以發(fā)現(xiàn)該算法具有以下特點:1)FMCC算法更新是基于最大相關熵準則,因此與基于MMSE準則的算法相比,借助最大相關熵準則的魯棒性,FMCC算法可以有效抑制非高斯噪聲的影響;2)與MCC算法相比,FMCC算法在權重更新時增加了分數(shù)階微分部分,因此能夠更好地找到最優(yōu)解,在以增加一定計算復雜度的前提下提高預測精度.

4 仿 真

為了驗證本文所提的FMCC算法的有效性,將FMCC算法用于混沌時間序列的預測.選用具有代表性的Mackey-Glass(MG)混沌時間序列[28]和Lorenz混沌時間序列[29]作為實例.本實驗所用噪聲是alpha噪聲[30].對于所有的仿真,所用alpha噪聲是穩(wěn)定分布的,其參數(shù)設置為:特征指數(shù)a=1.3,分散系數(shù)γ=0.01,對稱參數(shù)β=0和位置參數(shù)δ=0.為了評價濾波器的精度,定義均方誤差(mean square error,MSE)為

其中,di是濾波器的期望輸出,yi是濾波器的實際輸出,N=100是測試數(shù)據(jù)的個數(shù).為了消除仿真中的隨機性,本文取100次蒙特卡羅仿真實驗的平均值來計算MSE.

為了全面地評價本文提出的FMCC算法的有效性和可靠性,選用LMS算法[9]、MCC算法[15]和分數(shù)階最小均方(fractional-order least mean square,FLMS)算法[19]作為比較算法.其中,LMS算法和MCC算法分別是MMSE準則和MCC準則的代表算法,FLMS算法是分數(shù)階算法的代表算法.

4.1 Mackey-Glass混沌時間序列的預測

自 Mackey和 Glass發(fā)現(xiàn)時滯系統(tǒng)中的混沌現(xiàn)象以來,時滯系統(tǒng)便引起人們的廣泛關注,并常常被用為檢驗非線性系統(tǒng)模型性能的標準.MG混沌時間序列由以下時滯微分方程產(chǎn)生[28]

其中,c1=0.1,c2=0.2,p=10,τ為時滯參數(shù).MG方程能夠體現(xiàn)周期和混沌的動力學特性,已被用于各種生理系統(tǒng)的建模,如血液中電解質(zhì)、葡萄糖、氧氣在各種器官中的物理模型[28].當τ＞17時系統(tǒng)呈現(xiàn)混沌特性,且其τ值越大,混沌程度越高.本文所用時滯參數(shù)τ=30.該微分方程采用6 s的采樣周期進行離散化得到混沌時間序列.選取該混沌時間序列穩(wěn)態(tài)中的20000個數(shù)據(jù)點作為訓練數(shù)據(jù),后100個作為測試數(shù)據(jù).圖1是一段MG混沌時間序列及被噪聲污染后的序列圖.

仿真中,ui=[xi?7,xi?6,·,xi?1]T作為輸入來預測當前時刻的期望值xi.首先,討論分數(shù)階階數(shù)v對FMCC預測混沌時間序列性能的影響.圖2顯示了不同分數(shù)階階數(shù)v下FMCC預測MG混沌時間序列的均方誤差曲線.由圖2可知,當分數(shù)階的階數(shù)v取0.25時,算法的均方誤差曲線達到最小.因此,在以下的仿真中,分數(shù)階的階數(shù)設置為0.25.

圖1 MG混沌時間序列的一個部分Fig.1.Segment of the MG chaotic time series.

圖2 不同分數(shù)階下FMCC的均方誤差Fig.2.MSEs of FMCC under different fractional orders.

表1 基于100次蒙特卡羅仿真的混沌時間序列預測性能比較Table 1.Performance comparison of chaotic time series predication over 100 Monte Carlo runs.

表1顯示了不同算法在本例仿真中的均方誤差和100次蒙特卡羅仿真消耗計算時間的結(jié)果.由表1可以看出,在MG混沌時間序列預測的結(jié)果中,FMCC的預測性能優(yōu)于其他濾波器算法.和MCC和LMS這兩種在權重更新的過程中僅僅具有一階微分的算法相比,FMCC在增加一定計算時間的前提下,降低了混沌時間序列預測的穩(wěn)態(tài)MSE,即FMCC以增加一定計算量為代價提高了對混沌時間序列的預測精度.

最后,圖3顯示了FMCC,MCC,LMS和FLMS算法對MG混沌時間序列預測的均方誤差曲線,其中,LMS和MCC的步長參數(shù)均設置為μLMS=μMCC=0.002,FLMS和FMCC的兩個步長分別設置為μFLMS1=μFMCC1=0.002和μFLMS2=μFMCC2=0.004,核參數(shù)設置為σ=0.6.從圖3中可以看出,由于FLMS和LMS算法是基于MMSE準則,因此在alpha脈沖噪聲的環(huán)境下性能有所下降.而FMCC和MCC算法是基于最大相關熵準則,因此具有較好的魯棒性,能夠?qū)lpha噪聲產(chǎn)生較好的抑制作用.在其他參數(shù)一致的情況下,FMCC算法對混沌時間序列的預測性能優(yōu)于MCC.

圖3 在MG混沌時間序列預測時不同算法的MSE學習曲線Fig.3. Mean-square error curves of different algorithms in Mackey-Glass chaotic time series.

4.2 Lorenz混沌時間序列的預測

作為一個最經(jīng)典的混沌模型,Lorenz系統(tǒng)的研究縱貫整個混沌科學的發(fā)展,幾乎與所有混沌科學的重要發(fā)展都密切相關[31].因此Lorenz系統(tǒng)的研究對整個非線性科學的發(fā)展具有重要的意義.

Lorenz系統(tǒng)[29]可由三元一階常微分方程組表示為:

其中,η1=16,η3=4,η2=45.92. 利用步長為0.01的四階Runge-Kutta方法求解方程(19)的數(shù)值解.在第1001到18000個數(shù)據(jù)集中選取前8000個作為訓練數(shù)據(jù),后100個數(shù)據(jù)點作為計算MSE的測試數(shù)據(jù).類似于實例一,首先,討論分數(shù)階對FMCC預測性能的影響.圖4顯示了不同分數(shù)階階數(shù)v下FMCC對Lorenz混沌時間序列預測的均方誤差曲線.由圖4可知,當分數(shù)階階數(shù)v=0.5時,FMCC算法對Lorenz混沌時間序列預測的穩(wěn)態(tài)誤差最小,因此,在以下的仿真中,分數(shù)階的階數(shù)v=0.5.

圖4 不同分數(shù)階下FMCC的均方誤差Fig.4.MSEs of FMCC under different fractional orders.

圖5 在 Lorenz混沌時間序列預測時不同算法的MSE學習曲線Fig.5. Mean-square error curves of different algorithms in Lorenz chaotic time series.

圖5顯示了FMCC,MCC,FLMS和LMS在alpha噪聲環(huán)境中預測Lorenz混沌時間序列時的均方誤差曲線. 此時訓練數(shù)據(jù)的個數(shù)是8000,算法參數(shù)配置為:LMS和MCC的步長均設置為μLMS=μMCC=0.006,FLMS和FMCC的兩個步長分別設置為μFLMS1=μFMCC1=0.006和μFLMS2=μFMCC2=0.006,核參數(shù)設置為σ=0.7.從圖5可以看出,與其他濾波算法相比,FMCC算法對Lorenz混沌時間序列的預測速度最快,穩(wěn)態(tài)誤差最小.由于系統(tǒng)所加噪聲是非高斯噪聲,FLMS算法和LMS算法在非高斯噪聲環(huán)境中性能均較差.綜合以上兩種混沌時間序列的仿真結(jié)果可以看出,本文提出的FMCC在非高斯環(huán)境下對混沌時間序列的預測具有較好的魯棒性和預測精度.由于Lorenz和MG序列是具有代表性的混沌時間序列,因此FMCC算法可有效地拓展到其他混沌時間序列的預測.

5 結(jié) 論

本文利用分數(shù)階微分改進了MCC算法的權重更新方式,進而提出了一種用于混沌時間序列預測的FMCC算法.在增加一定計算復雜度的前提下,通過選擇合適的分數(shù)階階數(shù)v,FMCC算法能夠提高對混沌時間序列的預測精度.作為算法中的關鍵參數(shù),分數(shù)階的階數(shù)與預測精度之間的關系呈非線性,且與所處理的實際非線性物理系統(tǒng)相關.因此,針對不同的非線性系統(tǒng),為達到最優(yōu)的預測精度可通過仿真實驗事先選定合適的分數(shù)階的階數(shù).仿真結(jié)果表明:與基于MMSE準則的LMS和FLMS算法相比,FMCC算法因采用最大相關熵準則,所以對非高斯噪聲具有較好的抑制作用和魯棒性,能夠在alpha噪聲中取得理想的預測結(jié)果;與MCC算法相比,FMCC算法因在傳統(tǒng)梯度更新方法中增加了分數(shù)階微分部分,能有效地提高預測精度.因此,FMCC算法可提高混沌時間序列的預測速度和預測精度,為混沌時間序列預測提供了一條有效的途徑.

[1]Tang Z J,Ren F,Peng T,Wang W B 2014Acta Phys.Sin.63 050505(in Chinese)[唐舟進,任峰,彭濤,王文博2014物理學報63 050505]

[2]Song T,Li H 2012Acta Phys.Sin.61 080506(in Chinese)[宋彤,李菡 2012物理學報 61 080506]

[3]Zhang J S,Xiao X C 2000Chin.Phys.Lett.17 88

[4]Farmer J D,Sidorowich J J 1987Phys.Rev.Lett.59 845

[5]Zheng Y F,Wang S Y,Feng J C,Tse C K 2016Digit.Signal Process.48 130

[6]Meng Q F,Zhang Q,Mou W Y 2006Acta Phys.Sin.55 1666(in Chinese)[孟慶芳,張強,牟文英 2006物理學報55 1666]

[7]Takens F 1981Lecture Notes Math.898 366

[8]Al-saggaf U M,Moinuddin M,Arif M,Zerguine A 2015Signal Process.111 50

[9]Gui G,Peng W,Adachi F 2014Int.J.Commun.Syst.27 2956

[10]Ozeki K,Umeda T 1984Electr.Commun.Jpn.67 19

[11]Van V S,Lazarogredilla M,Santamaria I 2012IEEE Trans.Neural Netw.Learn.Syst.23 1313

[12]Qiao B Q,Liu S M,Zeng H D,Li X,Dai B Z 2017Sci.China:Phys.Mech.60 040521

[13]Erdogmus D,Principe J C 2002IEEE Trans.Neural Netw.13 1035

[14]Hu T,Wu Q,Zhou D X 2016IEEE Trans.Signal Process64 6571

[15]Chen B D,Xing L,Liang J L,Zheng N N,Principe J C 2014Signal Process.Lett.21 880

[16]Shi L M,Lin Y 2014Signal Process.Lett.21 1385

[17]Chen B D,Principe J C 2012IEEE Trans.Process.Lett.19 491

[18]Chen Y,Li S G,Liu H 2016Acta Phys.Sin.65 170501(in Chinese)[陳曄,李生剛,劉恒 2016物理學報 65 170501]

[19]Shah S M,Samar R,Khan N M,Raja M A Z 2016Nonlinear Dyn.88 839

[20]Zhou Y,Ionescu C,Machado J A T 2015Nonlinear Dyn.80 1661

[21]Shah S M,Samar R,Raja M A Z,Chambers J A 2014Electron.Lett.50 973

[22]Santamaria I,Pokharel P P,Principe J C 2006IEEE Trans.Signal Process.54 2187

[23]Liu W,Pokharel P P,Principe J C 2007IEEE Trans.Signal Process.55 5286

[24]Aronszajn A 1950IEEE Trans.Am.Math.Soc.68 337

[25]Duan J W,Ding X,Liu T 2017Sci.China:Inf.Sci.60 1

[26]Huang S,Zhang R,Chen D 2016J.Computat.Nonlinear Dyn.11 031007

[27]Shoaib B,Qureshi I M 2014Chin.Phys.B23 050503

[28]Mackey M C,Glass L 1977Science197 87

[29]Lorenz E N 1963J.Atmos.Sci.20 130

[30]Li B B,Ma H S,Liu M Q 2014J.Electron.Inf.Technol.36 868(in Chinese)[李兵兵,馬洪帥,劉明騫2014電子與信息學報36 868]

[31]Stewart I 2000Nature406 948