龍求青，廖柏林，印煜民，代建華

(1. 吉首大學(xué)信息科學(xué)與工程學(xué)院，湖南吉首，416000；2. 湖南師范大學(xué)信息科學(xué)與工程學(xué)院，湖南長沙，410081)

極限學(xué)習(xí)機(jī)(extreme learning machine,ELM)算法作為單隱含層前饋神經(jīng)網(wǎng)絡(luò)(single hidden layer feed forward neural network, SLFNs)中一種全新的學(xué)習(xí)算法，憑借其訓(xùn)練速度快、泛化性能優(yōu)[1]等特點(diǎn)，吸引了該領(lǐng)域大批學(xué)者的關(guān)注與研究。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法(如誤差反向傳播算法[2-3]等)不同，該算法的核心思想為：網(wǎng)絡(luò)的輸入權(quán)值和隱含層偏置隨機(jī)產(chǎn)生，且其數(shù)值在訓(xùn)練過程中保持不變，其輸出權(quán)值則是通過將平方損失函數(shù)最小化，再求解偽逆運(yùn)算得到最小范數(shù)最小二乘解[4]。整個訓(xùn)練過程不需迭代，僅需設(shè)定隱含層的神經(jīng)元個數(shù)和激活函數(shù)。目前，ELM在疾病(如乳腺癌等)診斷[5]、交通標(biāo)志識別[6]、智能決策[7]等方面獲得了廣泛應(yīng)用。

然而，ELM 算法的輸入權(quán)值、隱含層偏置和隱含層神經(jīng)元數(shù)的不確定性會對其預(yù)測性能和算法的穩(wěn)定性產(chǎn)生較大的影響[8-9]。張文博等[10]指出，當(dāng)完全隨機(jī)選擇輸入權(quán)值與隱含層偏置等參數(shù)時，ELM 的性能并不總是最優(yōu)的，同時，這也是導(dǎo)致ELM 算法隱含層神經(jīng)元數(shù)冗余的重要原因[11]。對此，學(xué)者們提出使用群智能優(yōu)化[12-14]、剪枝法[15-16]和自適應(yīng)[17-18]等算法對ELM 算法進(jìn)行優(yōu)化，以提高其整體性能。在實(shí)際應(yīng)用中，雖然這些算法確實(shí)能夠優(yōu)化隱含層神經(jīng)元數(shù)，但又引入了大量的超參數(shù)，并且這些參數(shù)通常需要進(jìn)行反復(fù)迭代尋優(yōu)才能得到，增加了算法的計算復(fù)雜度，導(dǎo)致其難以應(yīng)對實(shí)時性要求高的現(xiàn)實(shí)問題。為此，本文作者提出雙偽逆權(quán)值確定的極限學(xué)習(xí)機(jī)(double pseudo-inverse weight determination ELM, DPELM)算法，即首先采用偽逆法來確定ELM的輸入權(quán)值，隨后再次使用偽逆法確定輸出權(quán)值。最后，采用本文提出的DPELM對乳腺腫瘤進(jìn)行快速分類，以驗證該算法的分類識別準(zhǔn)確率。

1 改進(jìn)的極限學(xué)習(xí)機(jī)算法

1.1 極限學(xué)習(xí)機(jī)算法

設(shè)有N個任意不同的樣本集(xi,yi)，其中，xi=(xi1,xi2,…,xin)T∈Rn，為輸入向量(樣本的特征)；yi=(yi1,yi2, …,yim)T∈Rm，為對應(yīng)的樣本標(biāo)簽向量。在輸入神經(jīng)元個數(shù)為n、隱含層神經(jīng)元個數(shù)為L和輸出神經(jīng)元個數(shù)為m且激活函數(shù)為f(·)的ELM網(wǎng)絡(luò)中，ELM的運(yùn)算模型可以表示為如下形式：

式中：i=1，2，…，N；wj=(wj1,wj2,…,wjn)，為隱含層第j個神經(jīng)元與輸入層神經(jīng)元的權(quán)值向量；bj為第j個隱含層神經(jīng)元的偏置；βj=(βj1,βj2,…,βjm)，為隱含層第j個神經(jīng)元與輸出層神經(jīng)元的權(quán)值向量；yi為對應(yīng)于樣本xi的期望輸出向量。式(1)可以進(jìn)一步簡化整合為如下矩陣表達(dá)式：

式中：Y=[y1,y2,…,yN]T，為訓(xùn)練樣本期望輸出矩陣；β為輸出權(quán)值矩陣。

在ELM 中，H被稱為隨機(jī)特征映射矩陣[19]。當(dāng)隱含層神經(jīng)元參數(shù)(wi,bi)隨機(jī)生成并給出訓(xùn)練樣本之后，矩陣H即為已知，且在整個訓(xùn)練過程中其值都不會改變。此時，式(2)就轉(zhuǎn)化為求解其最小二乘解=H+Y，其中，H+為隱含層輸出矩陣H的偽逆。

1.2 改進(jìn)的極限學(xué)習(xí)機(jī)

雙偽逆權(quán)值確定的ELM 也由輸入層、隱含層和輸出層構(gòu)成。式(1)還可以寫為如下矩陣表達(dá)式：

式中：Y=[y1,y2,…,yN]T∈RN×m；X=[x1,x2,…,xN]T∈RN×n；B= [b1,b2,…,bL]T∈RL×1，為偏置矩陣；W為輸入權(quán)值矩陣，

隨著人類的生存與發(fā)展，水污染逐漸成為威脅人們健康的重要因素之一，泌尿系結(jié)石是水污染造成的較為常見疾病之一。由于年齡、性別、職業(yè)、飲食結(jié)構(gòu)、水分?jǐn)z入量、氣候、遺傳等因素的不同，我國1980年和2003年做過兩次的調(diào)查，泌尿系結(jié)石的發(fā)病情況大約是黃河以北為10%，長江以南為25%，其中男性患有泌尿系結(jié)石的比例明顯高于女性[5]。泌尿系結(jié)石是尿中形成的結(jié)石晶體呈超飽和狀態(tài)，是形成結(jié)石的主要原因。結(jié)石通?？沙霈F(xiàn)在膀胱、輸尿管等部位，臨床表現(xiàn)為一側(cè)腰部的劇烈疼痛，有腹脹、惡心、嘔吐、程度不同的血尿、排尿困難和排尿疼痛等癥狀，對患者的生活造成嚴(yán)重影響。根據(jù)結(jié)石的位置選擇適當(dāng)?shù)姆椒ǎ苡行е斡谀蛳到Y(jié)石。

定理1：假設(shè)激活函數(shù)f(·)為嚴(yán)格單調(diào)函數(shù)，輸出權(quán)值β和偏置矩陣B分別選自區(qū)間[a1，a2]和[a3，a4]，則最優(yōu)的輸入權(quán)值矩陣W=(f-1(β+Y)+B)X+，其中f-1(·)表示f(·)唯一的反函數(shù)。

證明：將式(3)兩邊同時乘以β+，得到

求解式(4)的反函數(shù)， 得到f-1(β+Y)=WX-B，即

將式(5)兩邊同時乘以X+，得到WXX+=(f-1(β+Y)+B)X+， 即W=(f-1(β+Y)+B)X+。證明完畢。

在得到最優(yōu)的W之后，再次使用偽逆法確定最優(yōu)的輸出權(quán)值?？梢酝ㄟ^下式求得：(f(WX-B))+。至此，輸入和輸出權(quán)值均為使用解析式計算而求得的最優(yōu)值。

1.3 雙偽逆權(quán)值確定的ELM算法訓(xùn)練過程

雙偽逆權(quán)值確定極限學(xué)習(xí)機(jī)的具體算法訓(xùn)練過程如下：

1)在某一特定的區(qū)間內(nèi)對輸出權(quán)值矩陣β和隱含層神經(jīng)元偏置矩陣B進(jìn)行隨機(jī)初始化；

2)在訓(xùn)練樣本確定的情況下，根據(jù)公式W=(f-1(β+Y)+B)X+，計算出最優(yōu)輸入權(quán)值W矩陣；

4)將最優(yōu)輸入權(quán)值矩陣W、最優(yōu)輸出權(quán)值矩陣以及偏置矩陣B用于測試集測試。

2 雙偽逆權(quán)值確定的極限學(xué)習(xí)機(jī)算法的性能評估

從UCI數(shù)據(jù)庫中隨機(jī)選擇6個數(shù)據(jù)集，對改進(jìn)后的極限學(xué)習(xí)機(jī)算法進(jìn)行分類性能評估。

2.1 實(shí)驗描述

為驗證改進(jìn)后算法的性能，本文通過Matlab平臺，從算法的預(yù)測精度、算法所需的隱含層神經(jīng)元個數(shù)以及算法輸出結(jié)果的穩(wěn)定性3個方面對原始ELM 和本文算法進(jìn)行比較。為證實(shí)算法的普遍適用性，本實(shí)驗從UCI 數(shù)據(jù)庫中選取6 個數(shù)據(jù)集(包含3 個二分類數(shù)據(jù)集和3 個多分類數(shù)據(jù)集)作為實(shí)驗數(shù)據(jù)集。各數(shù)據(jù)集的描述如表1所示。

表1 實(shí)驗數(shù)據(jù)描述Table 1 Description of experimental data

2.2 實(shí)驗結(jié)果及分析

通過實(shí)驗比較傳統(tǒng)ELM 和本文算法中隱含層神經(jīng)元個數(shù)對模型預(yù)測性能的影響。首先，隨機(jī)選取各數(shù)據(jù)集中70%的數(shù)據(jù)為訓(xùn)練樣本，30%的數(shù)據(jù)為測試樣本，訓(xùn)練和測試樣本劃分好后固定不變，采用生長法確定隱含層神經(jīng)元個數(shù)，即每次增加1個神經(jīng)元觀察準(zhǔn)確率的變化，當(dāng)準(zhǔn)確率不變或變化值小于所設(shè)定的閾值時，確定其為相應(yīng)算法最好的網(wǎng)絡(luò)結(jié)構(gòu)。然后，在各算法最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)下運(yùn)行ELM 算法和本文算法各100 次，計算其測試集的平均分類準(zhǔn)確率。本實(shí)驗選擇tan函數(shù)作為激活函數(shù)，其反函數(shù)為arctan函數(shù)。不同算法分類準(zhǔn)確率及隱含層神經(jīng)元個數(shù)對比及其達(dá)到最高分類準(zhǔn)確率時所需的隱含層神經(jīng)元個數(shù)對比如表2所示。

表2 不同算法分類準(zhǔn)確率及隱含層神經(jīng)元個數(shù)對比Table 2 Comparisons of classification accuracy and number of hidden layer neurons of different algorithms

由表2可以看出，無論是在二分類數(shù)據(jù)集還是在多分類數(shù)據(jù)集中，本文所提算法的分類性能均比傳統(tǒng)的極限學(xué)習(xí)機(jī)算法分類性能有所提升。本文所提算法達(dá)到最高分類準(zhǔn)確率時所需要的隱含層神經(jīng)元個數(shù)更少，網(wǎng)絡(luò)結(jié)構(gòu)更為簡單，由此可見本文采用的通過解析式確定輸入權(quán)值方式所得結(jié)果要優(yōu)于隨機(jī)確定輸入權(quán)值方式所得結(jié)果。同時，為進(jìn)一步分析算法參數(shù)對分類性能和算法穩(wěn)定性的影響，本文在二分類問題和多分類問題中各選取1個數(shù)據(jù)集，對其算法性能進(jìn)行比較。

選取多分類的SL 數(shù)據(jù)集和二分類的LD 數(shù)據(jù)集，其訓(xùn)練集與測試集依然按照7:3 的比例劃分，樣本劃分好后固定不變。設(shè)定隱含層神經(jīng)元數(shù)從1遞增至100 個，每增加1 個神經(jīng)元都執(zhí)行100 次ELM 算法和本文算法，觀察實(shí)驗結(jié)果的均值、方差、極差的變化趨勢，結(jié)果分別如圖1 和圖2 所示。圖1和圖2中，黑色五角形所示位置為各算法取得最高分類準(zhǔn)確率的位置。

從圖1(a)和圖2(a)可以看出，隨著隱含層神經(jīng)元個數(shù)不斷增加，傳統(tǒng)ELM 和本文算法的預(yù)測準(zhǔn)確率均先迅速上升，而后趨于平緩或下降。根據(jù)實(shí)驗結(jié)果及文獻(xiàn)[20]中的定理，可知本文算法和傳統(tǒng)的極限學(xué)習(xí)機(jī)算法有同樣的特性，即隨著隱含層神經(jīng)元個數(shù)增加，算法的擬合性能越來越好，但當(dāng)擬合性能達(dá)到某個極值點(diǎn)后，繼續(xù)增加隱含層神經(jīng)元個數(shù)，則會出現(xiàn)訓(xùn)練樣本過擬合的現(xiàn)象，而測試樣本的分類準(zhǔn)確率增速緩慢甚至開始下降。由圖1和圖2還可以看出，無論是在多分類的SL數(shù)據(jù)集還是在二分類的LD數(shù)據(jù)集中，隨著隱含層神經(jīng)元數(shù)的增加，本文所提算法的分類平均準(zhǔn)確率的上升速率均比傳統(tǒng)的極限學(xué)習(xí)機(jī)算法的快，且所需要的隱含層神經(jīng)元個數(shù)均要比傳統(tǒng)的極限學(xué)習(xí)機(jī)算法的少。從方差和極差結(jié)果可以看出，本文所提算法在SL 和LD 數(shù)據(jù)集中的方差和極差均要比傳統(tǒng)的極限學(xué)習(xí)機(jī)算法的小，說明本文算法的穩(wěn)定性優(yōu)于傳統(tǒng)極限學(xué)習(xí)機(jī)算法的穩(wěn)定性。

3 雙偽逆權(quán)值確定的極限學(xué)習(xí)機(jī)算法在乳腺腫瘤診斷中的應(yīng)用

為了進(jìn)一步驗證雙偽逆權(quán)值確定極限學(xué)習(xí)機(jī)算法的準(zhǔn)確性，本文將其應(yīng)用于乳腺腫瘤診斷的分類識別；采用多種不同的算法對同樣的乳腺腫瘤訓(xùn)練集、測試集分別進(jìn)行學(xué)習(xí)和識別，并與本文方法的性能進(jìn)行對比。

3.1 實(shí)驗環(huán)境

實(shí)驗用計算機(jī)CPU 型號為Intel i5-4200U(1.6 GHz)，內(nèi)存為4 GB，操作系統(tǒng)為Windows 7，實(shí)驗軟件為Matlab2012(b)。

3.2 實(shí)驗數(shù)據(jù)

本實(shí)驗數(shù)據(jù)來自美國威斯康星大學(xué)醫(yī)學(xué)院所發(fā)布的公開數(shù)據(jù)集(Wisconsin Breast Cancer Database)，包含有569個乳腺腫瘤病例，其中良性357 例，惡性212 例。本文隨機(jī)選取450 組腫瘤數(shù)據(jù)(良性病例數(shù)為282，惡性病例數(shù)為168)作為訓(xùn)練集，剩余的119 組腫瘤數(shù)據(jù)(良性病例數(shù)為75，惡性病例數(shù)為44)為測試集。每例樣本由從乳腺腫瘤樣本數(shù)據(jù)中提取的10 個特征值的均值、標(biāo)準(zhǔn)差和最大值共30個數(shù)據(jù)組成。

3.3 實(shí)驗結(jié)果與分析

選取各算法的良性腫瘤平均確診率(簡稱良性確診率)、惡性腫瘤平均確診率(簡稱惡性確診率)以及平均診斷準(zhǔn)確率這3個性能指標(biāo)進(jìn)行比較。為了增加比較的可靠性，對本文算法、改進(jìn)魚群算法優(yōu)化的ELM、人工魚群優(yōu)化的極限學(xué)習(xí)機(jī)算法(AFSA-ELM)、ELM、學(xué)習(xí)向量量化算法(LVQ)和誤差反向傳播算法(BP)等[21]分別進(jìn)行20 次獨(dú)立實(shí)驗，取其良性確診率、惡性確診率、平均準(zhǔn)確率、假陰性率的平均值進(jìn)行比較，其中改進(jìn)魚群算法優(yōu)化的ELM，AFSA-ELM，ELM，LVQ和BP等算法的實(shí)驗結(jié)果來自文獻(xiàn)[21]，比較結(jié)果如表3所示。

<1)，且各件產(chǎn)品是否為不合格品相互獨(dú)立．

由表3可見，本文所提算法的良性確診率、惡性確診率、平均準(zhǔn)確率均比其他算法的高，而假陰性率比其余算法的要低，說明本文所提算法可以快速準(zhǔn)確地識別惡性腫瘤，降低了由于誤診而導(dǎo)致的延誤治療、影響治療效果的風(fēng)險。

表3 多個算法的性能對比Table 3 Performance comparison of multiple algorithms

4 結(jié)論

1)在6個隨機(jī)選取的UCI數(shù)據(jù)集中，本文所提出的基于雙偽逆權(quán)值確定的極限學(xué)習(xí)機(jī)(DPELM)算法分類性能較傳統(tǒng)的極限學(xué)習(xí)機(jī)(ELM)算法分類性能都有不同程度提升，其中，SL 數(shù)據(jù)集的分類準(zhǔn)確率提升幅度最大，為4.77%；LD 數(shù)據(jù)集的分類準(zhǔn)確率提升幅度最小，僅提升了0.54%。

2)改進(jìn)后算法達(dá)到最佳分類準(zhǔn)確率時，所需隱含層神經(jīng)元個數(shù)比傳統(tǒng)ELM 算法的更少，網(wǎng)絡(luò)結(jié)構(gòu)更簡單。

3)改進(jìn)后算法在SL 數(shù)據(jù)集和LD 數(shù)據(jù)集測試實(shí)驗中的方差和極差更小，說明算法的穩(wěn)定性更優(yōu)。同時，其在乳腺腫瘤分類識別實(shí)驗中，診斷性能較改進(jìn)魚群算法優(yōu)化的ELM，AFSA-ELM，ELM，LVQ 和BP 等方法的診斷性能均有所提升，表明本文所提算法在乳腺腫瘤輔助診斷中具有分類準(zhǔn)確率高、假陰性率低的優(yōu)點(diǎn)，本文方法用于乳腺腫瘤輔助診斷是可行的。