祁威 許少華

摘 要：非線性復(fù)雜時(shí)變信號(hào)模式分類是信號(hào)處理和人工智能研究領(lǐng)域的重要課題。將稀疏自動(dòng)編碼器（SAE）與過(guò)程神經(jīng)網(wǎng)絡(luò)（PNN）棧式疊加，構(gòu)建了一種深度過(guò)程神經(jīng)網(wǎng)絡(luò)模型（DPNN）。在傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)無(wú)監(jiān)督逐層初始化與梯度下降相結(jié)合的算法基礎(chǔ)上，通過(guò)引入一種時(shí)變輸入信號(hào)和連接權(quán)函數(shù)，基于一組正交函數(shù)基，建立DPNN的綜合訓(xùn)練算法。DPNN模型可保持樣本特征的多樣性，有效提高對(duì)信號(hào)結(jié)構(gòu)特征的提取能力和不同類別樣本特征的區(qū)分度。將傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)在信息處理機(jī)制上擴(kuò)展為時(shí)間域，實(shí)現(xiàn)對(duì)時(shí)變信號(hào)直接分類處理，應(yīng)用于心腦血管疾病的預(yù)測(cè)分析和處理取得了良好結(jié)果。

關(guān)鍵詞：稀疏自動(dòng)編碼器；過(guò)程神經(jīng)網(wǎng)絡(luò)；深度過(guò)程神經(jīng)網(wǎng)絡(luò)；非線性時(shí)變信號(hào)；模式識(shí)別

DOI：10.11907/rjdk.173282

中圖分類號(hào)：TP301

Abstract：The classification of nonlinear complex time-varying signals is an important aspect of signal processing and artificial intelligence. Deep process neural network model is constructed by stacking sparse automatic encoders and process neural networks in this paper. We establish the depth process neural network integrated with training algorithm by introducing a time-varying input signal and connection weight function based on a set of orthogonal function base expansion algorithm. Based on the algorithm of unsupervised layer initialization of traditional depth neural network and gradient descent， DPNN model can maintain the diversity of sample characteristics and effectively improve the extraction of signal structure characteristics and different types of sample characteristics of the distinction.At the same time the traditional depth of neural network in the information processing mechanism is expanded into the time domain to achieve direct classification processing of time-varying signals， cardiovascular and cerebrovascular disease prediction， The cardiovascular and cerebrovascular disease prediction was analyzed and processed， and good results are obtained.

Key Words：sparse automatic encoder； process neural network； SAE depth process neural network； nonlinear time-varying signal； pattern recognition

0 引言

心腦血管疾病的發(fā)生與人的各項(xiàng)生理指標(biāo)息息相關(guān)，其發(fā)病原因復(fù)雜多樣，給心腦血管疾病的預(yù)測(cè)帶來(lái)了困難，許多學(xué)者對(duì)此進(jìn)行了研究。劉力生[1]研究表明，高血壓是心腦血管疾病的主要誘因之一，血壓升高會(huì)增加心腦血管疾病發(fā)病概率；謝華[2]提出血脂變化對(duì)心腦血管疾病發(fā)病有一定影響；吳碩琳等[3]研究發(fā)現(xiàn)，血糖是影響心腦血管病發(fā)病的風(fēng)險(xiǎn)因素之一。心腦血管疾病預(yù)測(cè)模型也經(jīng)歷了從統(tǒng)計(jì)分析模型到機(jī)器學(xué)習(xí)預(yù)測(cè)模型的發(fā)展過(guò)程，宋志剛[4]建立了基于LM算法的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，實(shí)驗(yàn)表明該模型對(duì)疾病的預(yù)測(cè)有一定效果；鄢華[5]通過(guò)對(duì)受限波茨曼機(jī)和深度置信神經(jīng)網(wǎng)絡(luò)的研究，提出了基于跳轉(zhuǎn)馬爾科夫鏈蒙特卡羅算法的模式集算法。

對(duì)心腦血管疾病預(yù)測(cè)時(shí)，時(shí)變信號(hào)常常受隨機(jī)因素、噪聲信號(hào)以及一些不確定因素影響，特別是多變量系統(tǒng)多個(gè)信號(hào)的組合過(guò)程特征呈現(xiàn)出高度的復(fù)雜性。深度自動(dòng)編碼器[6]具有優(yōu)異的特征學(xué)習(xí)能力，訓(xùn)練難度可通過(guò)基于無(wú)監(jiān)督學(xué)習(xí)的逐層初始化算法策略有效克服。但現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)模型中，在機(jī)制上無(wú)法實(shí)現(xiàn)對(duì)時(shí)變過(guò)程信號(hào)的直接分析處理。PNN模型[7]對(duì)連續(xù)時(shí)變系統(tǒng)的泛函逼近能力較強(qiáng)，具有連續(xù)性和解能力。本文將SAE與PNN結(jié)合，以SAE為網(wǎng)絡(luò)結(jié)構(gòu)深度單元，通過(guò)棧式疊加方式建立網(wǎng)絡(luò)各隱層之間的信息變換和傳遞關(guān)系，構(gòu)建一種DPNN預(yù)測(cè)和模式識(shí)別模型。

1 過(guò)程神經(jīng)網(wǎng)絡(luò)

1.1 過(guò)程神經(jīng)網(wǎng)絡(luò)原理

PNN具有時(shí)空二維信息處理能力，其輸入和連接權(quán)等都可以是時(shí)變函數(shù)，神經(jīng)元內(nèi)增加了一個(gè)時(shí)間效應(yīng)[8]的聚合算子，在機(jī)制上可同時(shí)表達(dá)為多種影響因素的共同作用和對(duì)時(shí)間效應(yīng)的累積。PNN一般由輸入層、過(guò)程神經(jīng)元隱層、非時(shí)變神經(jīng)元隱層和輸出層構(gòu)成。PNN拓?fù)浣Y(jié)構(gòu)如圖1所示。

1.2 過(guò)程神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí)算法

本文采用基于函數(shù)正交基展開(kāi)[9]的PNN學(xué)習(xí)算法。PNN輸入與輸出關(guān)系為：

2 稀疏自動(dòng)編碼器

2.1 稀疏自動(dòng)編碼器原理

深度神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的高層特征[10]學(xué)習(xí)能力，通過(guò)無(wú)監(jiān)督學(xué)習(xí)的逐層初始化算法克服訓(xùn)練難度，通過(guò)訓(xùn)練學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)對(duì)復(fù)雜函數(shù)的逼近。

SAE是深度神經(jīng)網(wǎng)絡(luò)模型的一種，SAE要求輸出盡可能等于輸入，并且它的隱藏層必須滿足一定的稀疏性，即隱藏層不能攜帶太多信息，所以隱藏層對(duì)輸入進(jìn)行了壓縮，并在輸出層中解壓縮。為了保證隱藏層的稀疏性，自動(dòng)編碼器的代價(jià)方程[11]加入了一個(gè)稀疏約束項(xiàng)：

3 基于SAE的深度過(guò)程神經(jīng)網(wǎng)絡(luò)

3.1 原理

在PNN深度結(jié)構(gòu)構(gòu)建中，以SAE為網(wǎng)絡(luò)結(jié)構(gòu)深度單元，通過(guò)棧式疊加[15]方式，構(gòu)成由時(shí)變過(guò)程信號(hào)輸入層、過(guò)程神經(jīng)元隱層、稀疏自編碼器深度結(jié)構(gòu)單元、分類器輸出單元組成的深度過(guò)程神經(jīng)網(wǎng)絡(luò)模型。

網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)如圖3所示。

3.2 學(xué)習(xí)算法

為訓(xùn)練DPNN，在學(xué)習(xí)算法設(shè)計(jì)中采用將時(shí)變輸入信號(hào)和連接權(quán)函數(shù)用一組正交函數(shù)基表示的方法，降低過(guò)程神經(jīng)元時(shí)空聚合運(yùn)算的復(fù)雜性。

對(duì)于DPNN的整體學(xué)習(xí)問(wèn)題，結(jié)合現(xiàn)有PNN訓(xùn)練方法，采用無(wú)監(jiān)督逐層初始化[6]與有教師示教相結(jié)合的算法策略，在訓(xùn)練機(jī)制上保證對(duì)各類樣本特征的提取和高層次組合能力，以及深度網(wǎng)絡(luò)的學(xué)習(xí)效率。

（3）SAE賦初值訓(xùn)練。

①將PNN模型的各個(gè)過(guò)程神經(jīng)元隱層節(jié)點(diǎn)的輸出作為稀疏自動(dòng)編碼器的輸入；

②依據(jù)式（8）計(jì)算誤差E和迭代次數(shù)M。如果E<ε或s>M則轉(zhuǎn)步驟（3）。

③依據(jù)式（9）和式（10），通過(guò)逐層初始化與梯度下降法[16]修正SAE權(quán)值與閾值，轉(zhuǎn)步驟（2）。

（4）BP分類器參數(shù)賦初值。

（5）采用BP算法進(jìn)行DPNN全體參數(shù)微調(diào)。

4 實(shí)驗(yàn)仿真及結(jié)果分析

4.1 數(shù)據(jù)集選取

心腦血管疾病的預(yù)測(cè)既重要又復(fù)雜，論文數(shù)據(jù)來(lái)源于Andras Janosi、William Steinbrunn、Matthias Pfisterer等在1998年收集的數(shù)據(jù)集文件（http：//archive.ics.uci.edu/ml/datasets/Heart+Disease）。

該數(shù)據(jù)集包括年齡、性別、血糖等計(jì)76項(xiàng)指標(biāo)，每條數(shù)據(jù)都有嚴(yán)格的數(shù)據(jù)格式。論文選取預(yù)測(cè)所需9項(xiàng)指標(biāo)：年齡、性別、靜息血壓、血脂、空腹血糖、靜息心電圖（正常的、有ST-T波異常）、最大心率、胸部疼痛類型（典型的心絞痛、不典型心絞痛、非心絞痛、無(wú)癥狀）、峰值運(yùn)動(dòng)ST段的斜率。設(shè)置模型的期望輸出為5：無(wú)風(fēng)險(xiǎn)、低危、中高危、高危和確診。按3∶1的比例劃分訓(xùn)練集和測(cè)試集，選取數(shù)據(jù)集中的8 501條數(shù)據(jù)作為DPNN模型的訓(xùn)練數(shù)據(jù)集，另外選取2 834條數(shù)據(jù)作為模型的測(cè)試數(shù)據(jù)集。

4.2 數(shù)據(jù)預(yù)處理

對(duì)于患者一月內(nèi)的靜息心電圖，采用OpenCV表示成HOG特征向量[17]形式；胸部疼痛類型分別用00、01、10、11表示。

4.2.1 數(shù)據(jù)集擴(kuò)展

由于DPNN模型層數(shù)較多，隨著學(xué)習(xí)能力增強(qiáng)，DPNN模型參數(shù)的個(gè)數(shù)也會(huì)增加。為避免因小樣本問(wèn)題而產(chǎn)生的過(guò)擬合現(xiàn)象，本文利用“加噪”方法[18]擴(kuò)充數(shù)據(jù)集，獲得大樣本數(shù)據(jù)，提高DPNN模型的泛化能力，增強(qiáng)模型算法的魯棒性。

4.2.2 數(shù)據(jù)集數(shù)據(jù)歸一化

原始數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)歸一化[19]處理后，數(shù)據(jù)映射到0-1范圍內(nèi)，消除了指標(biāo)的量綱影響。數(shù)據(jù)歸一化公式如下：

式（13）中，max為指標(biāo)數(shù)據(jù)的最大值，min為指標(biāo)數(shù)據(jù)的最小值。

4.2.3 數(shù)據(jù)集正交函數(shù)基表示

將患者一月內(nèi)的9項(xiàng)指標(biāo)分別用一組正交Legendre函數(shù)基表示，取正交函數(shù)基系數(shù)作為DPNN模型輸入。

4.3 模型建立與仿真

在構(gòu)建DPNN模型中，過(guò)程神經(jīng)元隱層的節(jié)點(diǎn)個(gè)數(shù)、SAE深度結(jié)構(gòu)的隱層數(shù)和節(jié)點(diǎn)數(shù)以及稀疏參數(shù)是重要的模型參數(shù)，對(duì)應(yīng)選取9項(xiàng)指標(biāo)確定模型的輸入層節(jié)點(diǎn)個(gè)數(shù)為9，對(duì)應(yīng)5個(gè)分類期望輸出確定模型的節(jié)點(diǎn)個(gè)數(shù)為5的softmax輸出層；輸入函數(shù)和權(quán)函數(shù)展開(kāi)為L(zhǎng)egendre基函數(shù)，基函數(shù)個(gè)數(shù)為60；神經(jīng)元的激勵(lì)函數(shù)為非線性映射能力很強(qiáng)的Sigmod函數(shù)；最大訓(xùn)練次數(shù)為10 000，訓(xùn)練誤差為0.001；設(shè)置非稀疏懲罰項(xiàng)為0.05以保證DPNN模型的稀疏性。

4.3.1 模型仿真與結(jié)果分析

分別設(shè)置不同過(guò)程神經(jīng)元隱層的節(jié)點(diǎn)個(gè)數(shù)、SAE深度結(jié)構(gòu)的隱層數(shù)和節(jié)點(diǎn)數(shù)，比較預(yù)測(cè)率，確定DPNN結(jié)構(gòu)，實(shí)驗(yàn)結(jié)果如表1所示。

由表1可知，PNN隱層節(jié)點(diǎn)數(shù)、基函數(shù)個(gè)數(shù)、SAE深度隱層層數(shù)、SAE深度隱層節(jié)點(diǎn)數(shù)增加到一定限度時(shí)，模型的預(yù)測(cè)率不再增加，反而減小。當(dāng)PNN隱層節(jié)點(diǎn)數(shù)為20、SAE隱層層數(shù)為15、SAE隱層節(jié)點(diǎn)數(shù)為200、非稀疏懲罰項(xiàng)和稀疏目標(biāo)為0.05時(shí)，模型的預(yù)測(cè)率最高。DPNN

模型訓(xùn)練誤差曲線如圖4所示。

DPNN模型經(jīng)過(guò)7 316次訓(xùn)練后，DPNN收斂準(zhǔn)確率達(dá)97.6%；相同樣本下與BP神經(jīng)網(wǎng)絡(luò)、PNN和SAE對(duì)比[20]，可知DPNN效果較好，對(duì)比結(jié)果如表2所示。

對(duì)表2分析發(fā)現(xiàn)，4種預(yù)測(cè)模型的預(yù)測(cè)率高低順序?yàn)椋築P模型

5 結(jié)語(yǔ)

建立以SAE為深度結(jié)構(gòu)單元的新型DPNN模型，提高了時(shí)變信號(hào)過(guò)程特征的提取、表示、高層次綜合能力和不同類別樣本特征之間的區(qū)分度，實(shí)現(xiàn)了對(duì)時(shí)變信號(hào)的直接分類處理。建立時(shí)變信號(hào)基于正交函數(shù)基展開(kāi)，融合無(wú)監(jiān)督算法與有教師示教算法的DPNN綜合訓(xùn)練方法，有效改善了因隨機(jī)賦初值使得訓(xùn)練目標(biāo)函數(shù)易陷入局部極值或產(chǎn)生梯度彌散的問(wèn)題，提高了網(wǎng)絡(luò)的泛化能力。改進(jìn)后的識(shí)別模型對(duì)模式識(shí)別有較好效果。

參考文獻(xiàn)：

[1] 劉力生，龔蘭生，王文，等.降壓治療對(duì)中國(guó)腦血管病患者腦卒中再發(fā)預(yù)防的多中心隨機(jī)雙盲對(duì)照臨床研究[J].中華心血管病雜志，2005（7）：613-617.

[2] 謝華，徐丹鳳，陳艷秋，等.亞麻籽油對(duì)高脂誘導(dǎo)肥胖小鼠血糖和胰升血糖素樣肽-1分泌影響的研究[J].中國(guó)糖尿病雜志，2015，23（4）：356-359.

[3] 吳碩琳，石玉芝，王春雪，等.高齡腦卒中患者糖代謝異常對(duì)不良預(yù)后的影響[J].中華老年心腦血管病雜志，2014，16（2）：163-166.

[4] 王炳萱.LM優(yōu)化算法和神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)控制在非線性系統(tǒng)中的研究[D].太原：太原理工大學(xué)，2016.

[5] 蘇寶星.基于深度學(xué)習(xí)的醫(yī)學(xué)圖像模式分類研究[D].金華：浙江師范大學(xué)，2016.

[6] 豐曉霞.基于深度學(xué)習(xí)的圖像識(shí)別算法研究[D].太原：太原理工大學(xué)，2015.

[7] 許少華，何新貴，劉坤，等.關(guān)于連續(xù)過(guò)程神經(jīng)元網(wǎng)絡(luò)的一些理論問(wèn)題[J].電子學(xué)報(bào)，2006（10）：1838-1841.

[8] 許少華，何新貴.基于函數(shù)正交基展開(kāi)的過(guò)程神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[J].計(jì)算機(jī)學(xué)報(bào)，2004（5）：645-650.

[9] 許少華，何新貴，尚福華.基于基函數(shù)展開(kāi)的雙隱層過(guò)程神經(jīng)元網(wǎng)絡(luò)及其應(yīng)用[J].控制與決策，2004（1）：36-39，48.

[10] 鄧俊鋒，張曉龍.基于自動(dòng)編碼器組合的深度學(xué)習(xí)優(yōu)化方法[J].計(jì)算機(jī)應(yīng)用，2016（3）：697-702.

[11] 李衛(wèi).深度學(xué)習(xí)在圖像識(shí)別中的研究及應(yīng)用[D].武漢：武漢理工大學(xué)，2014.

[12] CHENG LUNG HUANG，JIAN FAN DUN.A distributed PSO-SVM hybrid system with feature selection and parameter optimization[J]. Applied Soft Computing Journal，2007（6）：157-160.

[13] ELEANOR A CURRAN，MARIA J STOKES. Learning to control brain activity： a review of the production and control of EEG components for driving brain-computer interface （BCI） systems[J].Brain and Cognition，2003（3）：1524-1531.

[14] 尹征，唐春暉，張軒雄.基于改進(jìn)型稀疏自動(dòng)編碼器的圖像識(shí)別[J].電子科技，2016（1）：124-127.

[15] KARL SJOSTRAND，MICHAEL SASS HANSEN，HENRIK B LARSSON，et al. A path algorithm for the support vector domain description and its application to medical imaging[EB/OL]. http：//www.doc88.com/p-6731225518170.html.

[16] BINGHUANG CAI，XIA JIANG.A novel artificial neural network method for biomedical prediction based on matrix pseudo-inversion[J].Journal of Biomedical Informatics，2013（2）：68-72.

[17] YOUNG SUP HWANG，SUNG YANG BANG.An efficient method to construct a radial basis function neural network classifier[J]. Neural Networks，1997（8）：1154-1165.

[18] A HYVRINEN， E OJA.Independent component analysis： algorithms and applications[J]. Neural Networks，2000（6）：156-162.

[19] MUHAMMAD TAHIR AKHTAR，WATARU MITSUHASHI，CHRISTOPHER J. Employing spatially constrained ICA and wavelet denoising， for automatic removal of artifacts from multichannel EEG data[J]. James，Signal Processing，2011（2）：297-301.

[20] YOUNG SUP HWANG，SUNG YANG BANG.An efficient method to construct a radial basis function neural network classifier[J]. Neural Networks，1997（8）：86-90.

[21] 秦勝君.基于稀疏自動(dòng)編碼器的微博情感分類應(yīng)用研究[J].廣西科技大學(xué)學(xué)報(bào)，2015（3）：36-40.

（責(zé)任編輯：杜能鋼）