種倩倩 王定國(guó) 劉影影

摘要：本文介紹神經(jīng)網(wǎng)絡(luò)在信息工程領(lǐng)域中的應(yīng)用，尤其是具有不連續(xù)激勵(lì)函數(shù)神經(jīng)網(wǎng)絡(luò)的研究背景和應(yīng)用，不同于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)有限時(shí)間同步方案，設(shè)計(jì)了該類(lèi)神經(jīng)網(wǎng)絡(luò)有限時(shí)間同步方案，為相關(guān)領(lǐng)域科技工作者提供了參考。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；不連續(xù)激勵(lì)函數(shù)；有限時(shí)間；同步

中圖分類(lèi)號(hào)：TP13 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2019）05-0165-02

Design of Finite Time Synchronization Scheme for Neural Networks with Discontinuous Activations

CHONG Qian-qian， WANG Ding-guo， LIU Ying-ying

（School of Mathematics and Big Data， Anhui University of Science and Technology， Huainan 232001，China）

Abstract： This paper introduces the application of neural network in the field of information engineering， especially the research background and application of neural network with discontinuous activation functions. Different from the finite-time synchronization scheme of traditional neural networks， the finite-time synchronization scheme is designed for the considered neural networks， which provides a reference for scientific and technological workers in the related fields.

Key words： Neural networks； Discontinuous activations； Finite time； Synchronization

1 應(yīng)用背景簡(jiǎn)介

眾所周知，神經(jīng)網(wǎng)絡(luò)是以大腦的生理研究成果為基礎(chǔ)，通過(guò)對(duì)人腦和生物系統(tǒng)若干基本特征的抽象和模擬，由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的大規(guī)模神經(jīng)動(dòng)力系統(tǒng)；通過(guò)對(duì)連續(xù)或離散的輸入作狀態(tài)響應(yīng)，進(jìn)而實(shí)現(xiàn)信息處理功能，主要用于模擬大腦的一些原理與機(jī)制，實(shí)現(xiàn)某特定個(gè)方面的功能，同時(shí)根據(jù)人腦微小構(gòu)造及其智能行為，結(jié)合模擬人腦的工作特點(diǎn)和方式所產(chǎn)生的信息處理技術(shù)，是人工智能研究領(lǐng)域的一項(xiàng)迫切且重要的研究課題。為了實(shí)際需要，諸多類(lèi)型的神經(jīng)網(wǎng)絡(luò)模型如，Hopfield 神經(jīng)網(wǎng)絡(luò)，BAM 神經(jīng)網(wǎng)絡(luò)，Cohen-Grossberg神經(jīng)網(wǎng)絡(luò)，競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)模型等被廣泛提出并應(yīng)用于被廣泛應(yīng)用于聯(lián)想記憶、優(yōu)化計(jì)算、魯棒控制、模式識(shí)別等領(lǐng)域，因此關(guān)于其動(dòng)力學(xué)行為的研究成為神經(jīng)網(wǎng)絡(luò)應(yīng)用的前提條件[1]。神經(jīng)網(wǎng)絡(luò)最為突出的特性是其具有大規(guī)模的處理單元及其相互之間的結(jié)構(gòu)，其單元結(jié)構(gòu)雖然簡(jiǎn)單，但由于它的非線性特征，其集群行為可能非常復(fù)雜，并具有強(qiáng)大的并行和分布計(jì)算能力。

從動(dòng)力學(xué)的觀點(diǎn)來(lái)看，神經(jīng)網(wǎng)絡(luò)是一個(gè)具有高緯度的非線性動(dòng)力系統(tǒng)，其中，它的前向網(wǎng)的學(xué)習(xí)工程和反饋網(wǎng)的聯(lián)想記憶工程可由它的兩個(gè)動(dòng)力學(xué)子系統(tǒng)來(lái)運(yùn)行并實(shí)現(xiàn)。神經(jīng)網(wǎng)絡(luò)的記憶具有動(dòng)態(tài)特征，在其信息重現(xiàn)的過(guò)程中，為了處理新信息的接收，就需要修正其連接強(qiáng)度，進(jìn)而產(chǎn)生新的穩(wěn)定模式，聯(lián)想功能體現(xiàn)為在網(wǎng)絡(luò)演化中所產(chǎn)生的連續(xù)記憶。通過(guò)動(dòng)態(tài)地調(diào)整網(wǎng)絡(luò)單元連接的權(quán)值進(jìn)而實(shí)現(xiàn)學(xué)習(xí)功能，當(dāng)權(quán)值達(dá)到所需的特定要求后，就會(huì)轉(zhuǎn)入網(wǎng)絡(luò)的狀態(tài)動(dòng)力學(xué)過(guò)程。在神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)過(guò)程中，信息之間傳遞中普遍存在滯后現(xiàn)象，為了更好地模擬實(shí)際情況，人們進(jìn)一步提出了時(shí)滯神經(jīng)網(wǎng)絡(luò)，如混合時(shí)滯神經(jīng)網(wǎng)絡(luò)模型，

其中 [xi]表示神經(jīng)元的狀態(tài)變量，[di>0]第[i]個(gè)神經(jīng)元的自我抑制，[aij]表示第[j]個(gè)神經(jīng)元對(duì)第[i]個(gè)神經(jīng)元的連接長(zhǎng)度，[bij]和[cij]分別表示時(shí)變時(shí)滯反饋與分布時(shí)滯反饋，[τj（t）]是時(shí)變時(shí)滯，[pij（s）]是分布時(shí)滯的隨機(jī)核函數(shù)，[gi]表示激勵(lì)函數(shù)。記[D=diag（d1，...，dn）， A=（aij）， B=（bij）， C=（cij）， I=（I1，...，In）]，其網(wǎng)絡(luò)動(dòng)力學(xué)見(jiàn)方框圖1。

2 不連續(xù)神經(jīng)網(wǎng)絡(luò)及同步方案

神經(jīng)網(wǎng)絡(luò)在具體的工程應(yīng)用中，神經(jīng)元間的信號(hào)傳遞或神經(jīng)元的信息輸出通常表現(xiàn)出不連續(xù)的特點(diǎn)，實(shí)際上，神經(jīng)元可以依據(jù)其自身的活躍水平，對(duì)其他神經(jīng)元具有激勵(lì)、抑制兩種狀態(tài)，或激勵(lì)、抑制和無(wú)影響三種狀態(tài)的影響，但是在諸多神經(jīng)網(wǎng)絡(luò)中往往具有不連續(xù)的切換狀態(tài)，因而，在現(xiàn)實(shí)世界中，客觀存在著大量的具有不連續(xù)信號(hào)傳輸?shù)纳窠?jīng)網(wǎng)絡(luò)。從數(shù)學(xué)表達(dá)上看，模型中的激勵(lì)函數(shù)可能會(huì)表現(xiàn)出分段線性函數(shù)，所有其光滑性缺失，致使現(xiàn)有的動(dòng)力系統(tǒng)方法及理論不能夠直接應(yīng)用于不連續(xù)神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)研究，鑒于時(shí)滯影響的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)復(fù)雜性等，均給研究帶來(lái)了諸多困難。近些年來(lái)，基于Filippov微分包含理論，對(duì)具有不連續(xù)激勵(lì)函數(shù)的神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)行為結(jié)構(gòu)及特征的討論已經(jīng)引起大批學(xué)者注意，并取得了大量深入的研究成果。近幾十年，對(duì)于神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)定性和穩(wěn)定性的研究得到了廣泛關(guān)注[2]。但是，混沌控制這一概念自20世紀(jì)80 年代出現(xiàn)在控制系統(tǒng)的研究以來(lái)，其理論和現(xiàn)實(shí)世界中的實(shí)用性研究引起廣泛關(guān)注，比如保密通信和自動(dòng)控制領(lǐng)域等。在1990年，混沌耦合系統(tǒng)的同步被提出，使得在混沌同步系統(tǒng)的控制研究方面，出現(xiàn)反饋控制，自適應(yīng)控制，牽制控制等多種控制方法。同時(shí)，在含有混沌同步的保密通信中，混沌同步在保密方面提供了異常重要的理論基礎(chǔ)。保密通信的方式種類(lèi)繁多，而其原理大多又是相似的，即通過(guò)某種方式在發(fā)送端對(duì)傳送的信號(hào)進(jìn)行加密，在接收端需要掌握適合的密鑰，才能將收到的信號(hào)進(jìn)行解密，否則即使他人截取了信息，也不是那么容易破譯的[3]。由于混沌同步的處理速度與密鑰長(zhǎng)度沒(méi)有直接關(guān)系，所以其不僅效率高而且保密性也很強(qiáng)，因此，混沌同步在加密方式中的異常復(fù)雜。除此之外，眾多學(xué)者廣泛研究了時(shí)滯神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)以及醫(yī)學(xué)檢測(cè)和周期性等，而神經(jīng)網(wǎng)絡(luò)的功能與應(yīng)用還在不斷地進(jìn)行擴(kuò)大，網(wǎng)絡(luò)的穩(wěn)定性成為系統(tǒng)應(yīng)用的前提條件，值得注意的是，有限時(shí)間穩(wěn)定不同于通常意義下的穩(wěn)定性概念。相比于經(jīng)典的Lyapunov穩(wěn)定性，有限時(shí)間穩(wěn)定性有限時(shí)間下系統(tǒng)的狀態(tài)，要求系統(tǒng)狀態(tài)在固定的有限時(shí)間間隔內(nèi)不超過(guò)一定的界限。而Lyapunov穩(wěn)定指的是系統(tǒng)無(wú)窮時(shí)間下系統(tǒng)的狀態(tài)。值得提出的是，有限時(shí)間穩(wěn)定的系統(tǒng)與Lyapunov穩(wěn)定系統(tǒng)，不是同一概念，兩者之間沒(méi)有包含關(guān)系。而在許多實(shí)際應(yīng)用中，工程技術(shù)人員更加關(guān)注于有限時(shí)間穩(wěn)定的情形。而同步動(dòng)力學(xué)的研究也即是誤差系統(tǒng)的穩(wěn)定性研究，縱觀不連續(xù)神經(jīng)網(wǎng)絡(luò)同步問(wèn)題的研究結(jié)果，大多數(shù)研究結(jié)果都是基于無(wú)窮時(shí)間的漸近過(guò)程，如指數(shù)同步，漸近同步等[4，5]，這些類(lèi)型的同步是在時(shí)間趨于無(wú)窮大時(shí)，驅(qū)動(dòng)-反應(yīng)神經(jīng)網(wǎng)絡(luò)模型才會(huì)產(chǎn)生同步。但是，在實(shí)際的物理或工程技術(shù)領(lǐng)域中，更需要不連續(xù)時(shí)滯網(wǎng)絡(luò)在有限的時(shí)間內(nèi)達(dá)到同步狀態(tài)。一方面在現(xiàn)有文獻(xiàn)中鮮有對(duì)有限時(shí)間同步的研究。另一方面，有限時(shí)間同步在工業(yè)或者實(shí)際生活的應(yīng)用中顯得格外重要。因此，對(duì)于如何有效地設(shè)計(jì)控制器，實(shí)現(xiàn)對(duì)具有不連續(xù)激勵(lì)函數(shù)神經(jīng)網(wǎng)絡(luò)的有限時(shí)間同步成為亟待解決的問(wèn)題。

縱觀現(xiàn)有神經(jīng)網(wǎng)絡(luò)模型的同步動(dòng)力學(xué)研究文獻(xiàn)，諸多結(jié)果都是基于經(jīng)典的穩(wěn)定性理論和不等式技巧，在這些結(jié)果的影響下，對(duì)于處理神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)的不連續(xù)性方面，主要還是采取微分包含理論和Filippov正則化技術(shù)，在Filippov解意義和驅(qū)動(dòng)-反應(yīng)同步框架下，通過(guò)設(shè)計(jì)有效的控制器（甚至是不連續(xù)的），構(gòu)造合適的Lyapunov泛函，借助廣義導(dǎo)數(shù)概念和數(shù)學(xué)分析不等式技巧，利用已有非光滑版本有限時(shí)間穩(wěn)定性理論，便可實(shí)現(xiàn)不連續(xù)誤差系統(tǒng)的有限時(shí)間穩(wěn)定性，進(jìn)而實(shí)現(xiàn)驅(qū)動(dòng)-反應(yīng)系統(tǒng)的有限時(shí)間同步性。

3 結(jié)論

本文簡(jiǎn)要介紹神經(jīng)動(dòng)力網(wǎng)絡(luò)的研究背景和現(xiàn)狀，對(duì)激勵(lì)函數(shù)在不滿(mǎn)足連續(xù)性的條件下，借助微分包含理論和非光滑版本的有限時(shí)間穩(wěn)定性理論，給出了具有激勵(lì)函數(shù)神經(jīng)網(wǎng)絡(luò)有限時(shí)間同步的控制方案，為相關(guān)領(lǐng)域科技工作者提供了理論參考。

參考文獻(xiàn)：

[1]蒲浩，王來(lái)全，劉衍民，等.具有變時(shí)滯的高階BAM神經(jīng)網(wǎng)絡(luò)在有限時(shí)間內(nèi)的控制同步[J].中北大學(xué)學(xué)報(bào)（自然科學(xué)版），2017（38）：563-581.

[2]王占山，張化光，王智良，一類(lèi)混沌神經(jīng)網(wǎng)絡(luò)的全局同步[J].物理學(xué)報(bào)，2006（55）：2687-2693.

[3] 趙耿，鄭德玲，方錦清，混沌保密通信的最新進(jìn)展[J].自然雜志，2001（23）：97-106.

[4] 邱東強(qiáng)，涂亞慶，神經(jīng)網(wǎng)絡(luò)控制的現(xiàn)狀與展望[J].自動(dòng)化與儀器儀表，2001（5）：1-7.

[5] 焦李成，楊淑媛，劉芳，等.神經(jīng)網(wǎng)絡(luò)七十年：回顧與展望[J]，計(jì)算機(jī)學(xué)報(bào)，2016（39）：1697-1716.

【通聯(lián)編輯：唐一東】