嚴(yán)慧玲，肖 林，周文輝

(1.吉首大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，湖南 吉首 416000; 2.吉首大學(xué) 信息科學(xué)與工程學(xué)院，湖南 吉首 416000)

梯度神經(jīng)網(wǎng)絡(luò)在求解矩陣平方根中的應(yīng)用

嚴(yán)慧玲1，肖 林2，周文輝2

(1.吉首大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，湖南 吉首 416000; 2.吉首大學(xué) 信息科學(xué)與工程學(xué)院，湖南 吉首 416000)

矩陣的平方根問題是關(guān)于求解矩陣問題的一種特殊情況，在科學(xué)與工程領(lǐng)域中應(yīng)用是極其廣泛的。不同于用數(shù)值方法求解，采用梯度神經(jīng)網(wǎng)絡(luò)對矩陣平方根問題進(jìn)行求解。為了求解一般矩陣的平方根，定義了一個(gè)基于范數(shù)的標(biāo)量取值的能量函數(shù)，然后根據(jù)梯度下降法，設(shè)計(jì)了一個(gè)演化公式，從而推導(dǎo)出了求解矩陣平方根的梯度神經(jīng)網(wǎng)絡(luò)模型。借助MATLAB進(jìn)行計(jì)算機(jī)模擬仿真，仿真結(jié)果證實(shí)了梯度神經(jīng)網(wǎng)絡(luò)在求解矩陣平方根的可行性和有效性。而且，通過選取不同的設(shè)計(jì)參數(shù)取值，可以大大加快梯度神經(jīng)網(wǎng)絡(luò)求解矩陣平方根的收斂速度。結(jié)果說明，設(shè)計(jì)參數(shù)的取值在梯度神經(jīng)網(wǎng)絡(luò)求解矩陣平方根當(dāng)中有著至關(guān)重要的作用。

梯度神經(jīng)網(wǎng)絡(luò)；梯度下降法；矩陣平方根；MATLAB仿真

0 引 言

神經(jīng)網(wǎng)絡(luò)包括兩個(gè)主要方面,即人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)和由真正的生物神經(jīng)元組成的網(wǎng)絡(luò)(Biological Neural Network,BNN)[1]。人工神經(jīng)網(wǎng)絡(luò)由神經(jīng)元模型構(gòu)成,這種由許多神經(jīng)元組成的信息處理網(wǎng)絡(luò)具有并行分布結(jié)構(gòu)。每個(gè)神經(jīng)元具有單一輸出,并且能夠與其他神經(jīng)元連接;存在許多(多重)輸出連接方法,每種連接方法對應(yīng)一個(gè)權(quán)系數(shù)[2]。人工神經(jīng)網(wǎng)絡(luò)是由大量簡單的處理單元組成的非線性、自適應(yīng)、自組織系統(tǒng)，是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上，試圖通過模擬人類神經(jīng)系統(tǒng)對信息進(jìn)行加工、記憶和處理的方式，設(shè)計(jì)出的一種具有人腦風(fēng)格的信息處理系統(tǒng)[3-4]。當(dāng)前，神經(jīng)網(wǎng)絡(luò)已經(jīng)成為許多學(xué)科十分青睞的研究話題。

梯度下降法也叫最優(yōu)下降法，是一種最優(yōu)化算法，顧名思義，就是在計(jì)算過程中使目標(biāo)函數(shù)沿梯度下降速度最快或上升最快的方向進(jìn)行。最速下降法以負(fù)梯度方向?yàn)樗阉鞣较颍湓浇咏繕?biāo)值，步長越小，前進(jìn)越慢[4]。

矩陣是高等代數(shù)學(xué)中的常用工具，也常見于統(tǒng)計(jì)分析等應(yīng)用數(shù)學(xué)學(xué)科中。在物理學(xué)中，矩陣在電路學(xué)、力學(xué)、光學(xué)和量子物理學(xué)中都有應(yīng)用，在計(jì)算機(jī)科學(xué)、三維制作等領(lǐng)域也頻繁使用。顧傳青等提出了改進(jìn)的方法來計(jì)算矩陣A的平方根,也就是應(yīng)用一些牛頓法的變形來解決二次矩陣方程。研究表明,改進(jìn)的方法比牛頓算法和一些已有的牛頓算法的變形效果要好[5]。黃德超利用矩陣分塊逐次降階的方法,給出了一種快速算法,用來計(jì)算r循環(huán)矩陣的同型平方根矩陣(平方根矩陣也為r循環(huán)矩陣)[6]。楊雁等討論了布爾矩陣平方根問題及其與圖著色問題的關(guān)系，得到了有平方根的布爾矩陣具有的一些性質(zhì)[7]。Stewart等研究表明，運(yùn)用矩陣平方根算法實(shí)現(xiàn)的卡爾曼濾波器比不要求矩陣平方根的算法相對要快，也相對穩(wěn)定[8]。關(guān)于矩陣平方根的研究以及算法在各行各業(yè)的應(yīng)用，這里主要介紹怎樣運(yùn)用梯度下降法求解矩陣的平方根。假若給定一個(gè)矩陣A,有X2-A=0成立，則稱X為矩陣A的平方根。文中主要借助Matlab軟件和梯度神經(jīng)下降法求解矩陣平方根[9-14]。

設(shè)計(jì)了一個(gè)能量函數(shù)，利用梯度神經(jīng)的方法，結(jié)合MATLAB仿真軟件進(jìn)行建模、仿真并加以驗(yàn)證。給出不同參數(shù)，觀察函數(shù)的收斂速度。最后，通過對MATLAB得到的數(shù)據(jù)進(jìn)行分析，肯定了該神經(jīng)網(wǎng)絡(luò)在求解矩陣平方根中的可行性和準(zhǔn)確性。

1 梯度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

1.1 問題描述

首先，對于i行i列的矩陣可以用A∈Ri×i表示。通常，任何的矩陣方程求解都應(yīng)該有一個(gè)等式成立。為了不失一般性，設(shè)置一個(gè)一般的求解矩陣方程的方程式。

先考慮下面這個(gè)一般的等式問題：

X2(t)-A=0

(1)

其中，A就是要求解的矩陣X(t)的平方。

文中就是要找到一個(gè)確定的X(t)，使得方程(1)在t>0都能成立。因此，主要對式(1)進(jìn)行研究，設(shè)計(jì)出一個(gè)梯度神經(jīng)網(wǎng)絡(luò)：這個(gè)梯度神經(jīng)網(wǎng)絡(luò)可以求解任何時(shí)域X(t)∈R問題的解。

1.2 梯度神經(jīng)網(wǎng)絡(luò)模型

關(guān)于閱讀理念，《小學(xué)語文課程標(biāo)準(zhǔn)》中指出，教師在閱讀教學(xué)中使學(xué)生獲得一定的情感體驗(yàn)，即要求教師應(yīng)引導(dǎo)學(xué)生有感情地閱讀課文內(nèi)容。在閱讀中，教師不應(yīng)把自己的思維方式強(qiáng)加給學(xué)生，限制住學(xué)生的想象力，而應(yīng)該讓學(xué)生自由發(fā)揮想象，對課文的內(nèi)容形成獨(dú)特的理解和感悟。另外，應(yīng)教導(dǎo)學(xué)生注重積累，培養(yǎng)學(xué)生對語言文字的感知能力。并將多種閱讀方法教給學(xué)生，讓學(xué)生使用探究性的閱讀方式進(jìn)行閱讀，摒棄接受型閱讀方式，增強(qiáng)學(xué)生獨(dú)立閱讀的欲望。就本人的教學(xué)經(jīng)驗(yàn)，我歸納了一下幾點(diǎn)策略：

根據(jù)神經(jīng)網(wǎng)絡(luò)思維的設(shè)計(jì)方法，推理出具有一般性的梯度神經(jīng)網(wǎng)絡(luò)模型來解決像式(1)的問題，具體的設(shè)計(jì)流程如下：

(1)為了求解矩陣A的解，即求出方程(1)的解，可以自定義一個(gè)基于范數(shù)的標(biāo)準(zhǔn)取值的能量函數(shù)ε(X)，用于監(jiān)控式(1)的求解過程：

ε(X)=‖X2(t)-A‖/2

(2)

很明顯，求解的問題是要方程(1)成立，故當(dāng)方程(2)等于零時(shí)，相對應(yīng)的X就是所要求的理論解。那么，只要求出能量函數(shù)ε(X)=0時(shí)對應(yīng)的X就行了。

(2)為了使能量函數(shù)(2)能夠收斂到零，應(yīng)用梯度下降法的思想，可以使它沿著負(fù)梯度方向下降，于是對其求導(dǎo)：

(3)

(3)基于梯度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方法，根據(jù)負(fù)梯度方向，可以得到如下的求解矩陣平方根的梯度神經(jīng)網(wǎng)絡(luò)模型：

(4)

其中，設(shè)計(jì)參數(shù)λ>0，為自定義設(shè)計(jì)，主要作用是調(diào)節(jié)模型(4)的收斂速度；函數(shù)X(t)從初始值X(0)出發(fā)，對應(yīng)于一般等式方程(1)的解。

2 計(jì)算機(jī)仿真驗(yàn)證

該小節(jié)將挑選幾個(gè)不同階次的矩陣進(jìn)行驗(yàn)證。

例1：3階矩陣的平方根。

這里，取A=[6 -0.75 6.5;-7 5.25 -15.5;4 -3 11]，λ取20，得到的圖形如圖1和圖2所示。

圖1 梯度神經(jīng)網(wǎng)絡(luò)的狀態(tài)解(1)

由圖形可以看出，X(t)的取值隨著時(shí)間的增加，比較快地收斂到了一個(gè)定值，這個(gè)定值就是想要的X(t)的值。同時(shí)，從能量函數(shù)圖可以看出，能量函數(shù)在0.5s左右收斂到了0，這里λ的取值為20，如果λ取值更大些，收斂效果會更理想。

圖2 λ=20的能量函數(shù)收斂情況

在保證其他條件不變的情況下把λ的取值設(shè)為70，再來觀察其收斂性，如圖3和圖4所示。

圖3 梯度神經(jīng)網(wǎng)絡(luò)的狀態(tài)解(2)

圖4 λ=70的能量函數(shù)收斂情況

可以清楚地看出，當(dāng)λ=70時(shí)，即隨著λ的增大，能量函數(shù)收斂到0的時(shí)間縮短到0.2s以內(nèi)，由此可見λ取值對能量函數(shù)收斂速度的重要性。

例2：下面計(jì)算一下2階矩陣的平方根，這里取A=[5 2;6 8],λ=5,得到的圖形如圖5和圖6所示。

很顯然，無法手動計(jì)算該2階矩陣的平方根的理論解。圖6顯示了梯度神經(jīng)網(wǎng)絡(luò)求解該2階矩陣的平方根的能量函數(shù)收斂情況。可以從中看到,λ=5時(shí)誤差函數(shù)在1s內(nèi)就能收斂到零,同樣也說明了梯度神經(jīng)網(wǎng)絡(luò)的有效性。而且,也給出了該能量函數(shù)所對應(yīng)的狀態(tài)解，在[0,3]區(qū)域內(nèi)的神經(jīng)狀態(tài)解都收斂到某一特定值。這一仿真實(shí)例再次說明了提出的梯度神經(jīng)網(wǎng)絡(luò)的正確性和實(shí)用性。

圖5 梯度神經(jīng)網(wǎng)絡(luò)的狀態(tài)解(3)

圖6 λ=5的能量函數(shù)收斂情況

3 結(jié)束語

為了求解矩陣平方根，定義了一個(gè)基于平方的標(biāo)量取值的能量函數(shù)，并且基于該能量函數(shù)設(shè)計(jì)了一個(gè)演化公式，由此得到求解矩陣平方根的梯度神經(jīng)網(wǎng)絡(luò)模型。借助Matlab軟件進(jìn)行了計(jì)算機(jī)仿真模擬，仿真結(jié)果證實(shí)了梯度神經(jīng)網(wǎng)絡(luò)的有效性。并且可以通過設(shè)置不同的λ的值，來調(diào)節(jié)能量函數(shù)的收斂速度。

[1] 陳惟昌.生物神經(jīng)元網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)[J].科技導(dǎo)報(bào),1991(3):41-44.

[2] 湯素麗,羅宇鋒.人工神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展與應(yīng)用[J].電腦開發(fā)與應(yīng)用,2009,22(10):59-61.

[3] 蔣宗禮.人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論[M].北京:高等教育出版社，2001：10-13.

[4] 陳海波,呂咸青,喬彥松.梯度下降法在沉積物粒度分布擬合中的應(yīng)用[J].數(shù)學(xué)的實(shí)踐與認(rèn)識,2011,41(13):78-87.

[5] 顧傳青,劉 強(qiáng).一類變形的牛頓法求解矩陣平方根(英文)[J].應(yīng)用數(shù)學(xué)與計(jì)算數(shù)學(xué)學(xué)報(bào),2012,26(2):136-142.

[6] 黃德超.2k階r-循環(huán)矩陣開平方的快速算法[J].杭州師范學(xué)院學(xué)報(bào):自然科學(xué)版,2004,3(1):17-21.

[7] 楊 雁,賈堰林,王學(xué)平.布爾矩陣平方根問題及其與圖著色問題的關(guān)系[J].高校應(yīng)用數(shù)學(xué)學(xué)報(bào),2013,28(2):222-228.

[8] Larin V B,Aliev F A.Construction of square root factor for solution of the Lyapunov matrix equation[J].Systems & Control Letters,1993,20(2):109-112.

[9] 張雨濃,張禹珩,陳 軻,等.線性矩陣方程的梯度法神經(jīng)網(wǎng)絡(luò)求解及其仿真驗(yàn)證[J].中山大學(xué)學(xué)報(bào):自然科學(xué)版,2008,47(3):26-32.

[10] Xiao L,Zhang Y.Two new types of Zhang neural networks solving systems of time-varying nonlinear inequalities[J].IEEE Transactions on Circuits Systems I Regular Papers,2012,59(10):2363-2373.

[11] Xiao L,Zhang Y.From different Zhang functions to various ZNN models accelerated to finite-time convergence for time-varying linear matrix equation[J].Neural Processing Letters,2014,39(3):309-326.

[12] Xiao L.A finite-time convergent neural dynamics for online solution of time-varying linear complex matrix equation[J].Neurocomputing,2015,167:254-259.

[13] Xiao L.A nonlinearly-activated neurodynamic model and its finite-time solution to equality-constrained quadratic optimization with nonstationary coefficients[J].Applied Soft Computing,2016,40:252-259.

[14] Xiao L,Lu R.Finite-time solution to nonlinear equation using recurrent neural dynamics with a specially-constructed activation function[J].Neurocomputing,2015,151:246-251.

Application of Gradient Neural Network in Matrix Square Root Solving

YAN Hui-ling1,XIAO Lin2,ZHOU Wen-hui2

(1.College of Mathematics and Statistic,Jishou University,Jishou 416000,China; 2.College of Information Science and Engineering,Jishou University,Jishou 416000,China)

Matrix square root problem can be regarded as a special case of matrix problems,and has a wide application in scientific and engineering fields.Different from the conventional numerical methods,the gradient neural network is adopted to solve matrix square root problem.In order to solve the square root of a matrix,a norm-based scalar-valued energy function is defined.Then,according to the gradient descent method,an evolution formula is designed.Thus,the gradient neural network is derived for finding the square root of a matrix by expanding the evolution formula.With the aid of computer simulation based on MATLAB,the simulation results confirm the accuracy and validity of the gradient neural network for finding matrix square root.Furthermore,by choosing different values of the design parameter,the convergence speed of the gradient neural network for matrix square root solving has been improved greatly.The results show that design parameter plays an important role in the gradient neural network for solving matrix square root.

gradient neural network;gradient descent method;matrix square root;MATLAB simulation

2015-12-07

2016-04-20

時(shí)間：2017-01-10

國家自然科學(xué)基金資助項(xiàng)目(61503152)；湖南省自然科學(xué)基金(2016JJ2101)；湖南省教育廳優(yōu)秀青年項(xiàng)目(15B192)；吉首大學(xué)2015年實(shí)驗(yàn)教學(xué)改革研究項(xiàng)目(2015SYJG034)；吉首大學(xué)2016年研究生科研創(chuàng)新項(xiàng)目(JGY201643)；吉首大學(xué)2016年校級課題(Jdy2016009)；吉首大學(xué)2016年大學(xué)生研究性學(xué)習(xí)和創(chuàng)新性實(shí)驗(yàn)計(jì)劃項(xiàng)目資助(教通[2016]13號)

嚴(yán)慧玲(1995-)，女，研究方向?yàn)樯窠?jīng)網(wǎng)絡(luò)；肖 林，講師，博士，通訊作者，從事信息類課程教學(xué)和人工神經(jīng)網(wǎng)絡(luò)方面的科學(xué)研究工作。

http://www.cnki.net/kcms/detail/61.1450.TP.20170110.0941.008.html

TP39

A

1673-629X(2017)02-0155-03

10.3969/j.issn.1673-629X.2017.02.035