陳 龍， 郄小美， 黃信靜， 林 虎

(杭州電子科技大學(xué) 電子信息學(xué)院， 杭州 310018)

手寫體數(shù)字字符識別算法仿真比較研究

陳 龍， 郄小美， 黃信靜， 林 虎

(杭州電子科技大學(xué) 電子信息學(xué)院， 杭州 310018)

采用BP神經(jīng)網(wǎng)絡(luò)、原始極限學(xué)習(xí)機、正則極限學(xué)習(xí)機和傅里葉變換優(yōu)化極限學(xué)習(xí)機算法分別進(jìn)行手寫體數(shù)字字符識別仿真實驗，通過MINIST數(shù)據(jù)庫中的10 000個手寫體數(shù)字樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)傳輸過程中的參數(shù)，用訓(xùn)練所得神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行手寫體數(shù)字識別仿真測試。比較4種算法的仿真效果，BP網(wǎng)絡(luò)識別效果最好、訓(xùn)練速度最慢，原始極限學(xué)習(xí)機訓(xùn)練速度最快，正則極限學(xué)習(xí)機和傅里葉變換極限學(xué)習(xí)機優(yōu)化算法識別正確率高于原始極限學(xué)習(xí)機，但增加了算法的時間復(fù)雜度。將該手寫體數(shù)字字符識別仿真實驗用于學(xué)生實驗教學(xué)，可加強學(xué)生對神經(jīng)網(wǎng)絡(luò)相關(guān)知識的學(xué)習(xí)和理解，提高學(xué)生編程和工程應(yīng)用能力。

神經(jīng)網(wǎng)絡(luò)； 極限學(xué)習(xí)機； 手寫數(shù)字識別； 實驗教學(xué)

0 引 言

神經(jīng)網(wǎng)絡(luò)是模仿人的大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能而建立的一種信息處理系統(tǒng)，具有高度的非線性特征。神經(jīng)網(wǎng)絡(luò)在神經(jīng)科學(xué)、人工智能和計算機科學(xué)等領(lǐng)域具有廣泛應(yīng)用，其中Back Propagation (BP)神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一[1-3]。BP神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，包括信號的正向傳播和誤差的反向傳播兩個過程。在多次信號的正向傳播和誤差的反向傳播過程中，神經(jīng)網(wǎng)絡(luò)各權(quán)值通過梯度下降法得到修正，使得網(wǎng)絡(luò)輸出誤差滿足要求，或達(dá)到設(shè)定的學(xué)習(xí)次數(shù)為止[4]。極限學(xué)習(xí)機是一種快速的單隱層前饋神經(jīng)網(wǎng)絡(luò)(Single-hidden Layer Feedforward Neural Network, SLFN)，在2004年由黃廣斌教授等人提出，該算法通過大量的樣本計算確定神經(jīng)網(wǎng)絡(luò)的傳輸參數(shù)，相對于BP神經(jīng)網(wǎng)絡(luò)因使用梯度下降法迭代計算傳輸參數(shù)耗費大量時間，極限學(xué)習(xí)機計算過程無需迭代，具有訓(xùn)練速度快的特點[5-7]。

手寫數(shù)字識別在郵件分類、車牌識別和銀行票據(jù)識別等方面的廣泛應(yīng)用使之成為了圖像處理和模式識別領(lǐng)域的一個研究熱點。目前已經(jīng)存在的手寫字符識別方法包括模板匹配法、支持向量機和決策樹等[8-12]。本文采用BP神經(jīng)網(wǎng)絡(luò)、原始極限學(xué)習(xí)機、正則極限學(xué)習(xí)機和傅里葉變換優(yōu)化極限學(xué)習(xí)機算法進(jìn)行手寫體數(shù)字字符識別仿真實驗，對4種算法的識別率和時間復(fù)雜度進(jìn)行了比較研究。該手寫體數(shù)字字符識別實驗用于本科生實驗教學(xué)可提高學(xué)生對神經(jīng)網(wǎng)絡(luò)的理解和認(rèn)識，讓學(xué)生掌握利用神經(jīng)網(wǎng)絡(luò)實現(xiàn)手寫體數(shù)字字符識別的方法，提高同學(xué)們綜合運用所學(xué)知識解決實際問題的能力[13]。

1 極限學(xué)習(xí)機

單隱含層前饋神經(jīng)網(wǎng)絡(luò)模型如圖1所示，包括輸入層、隱含層和輸出層，其中隱含層第i個神經(jīng)元的模型如圖2所示，隱含層第i個神經(jīng)元的輸入xj與對應(yīng)的權(quán)值wij相乘求和后加偏置b，經(jīng)激活函數(shù)g(x)限幅得隱含層神經(jīng)元輸出為

(1)

圖1 單隱含層前饋神經(jīng)網(wǎng)絡(luò)模型圖

圖2 隱含層第i個神經(jīng)元模型圖

(2)

為了使模型的實際輸出oj零誤差逼近于期望輸出tj，即

(3)

輸入權(quán)值矩陣W和偏置矩陣b可隨機設(shè)定[5-6]，根據(jù)Moore-Penrose廣義逆矩陣和最小范數(shù)最小二乘解[14]的相關(guān)定理，采用矩陣表達(dá)式得:

(4)

式中：H+為隱含層輸出矩陣H的Moore-Penrose廣義逆矩陣。

神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程即求傳輸參數(shù)的過程，對ELM而言即求輸出矩陣β的過程，根據(jù)式(1)～(4)完成ELM的參數(shù)訓(xùn)練過程，用所得輸出權(quán)值矩陣β進(jìn)行測試，對測試結(jié)果進(jìn)行對比和分析，測試結(jié)果若不滿足要求，可通過適當(dāng)增加訓(xùn)練樣本或增加隱含層神經(jīng)元個數(shù)改善測試結(jié)果。

2 極限學(xué)習(xí)機優(yōu)化算法

2.1 正則極限學(xué)習(xí)機

正則極限學(xué)習(xí)機是一種通過參數(shù)γ來調(diào)節(jié)原始極限學(xué)習(xí)機數(shù)學(xué)模型存在的經(jīng)驗和結(jié)構(gòu)風(fēng)險的比例，從而提高原始極限學(xué)習(xí)機泛化能力，防止原始極限學(xué)習(xí)機易導(dǎo)致過擬合問題的優(yōu)化算法[15]，其數(shù)學(xué)模型由下式表示，使J值達(dá)到最?。?/p>

(5)

用拉格朗日乘子法求解式(5)所示數(shù)學(xué)模型的最優(yōu)解，R-ELM的數(shù)學(xué)模型可用拉格朗日方程表示為：

L(β,ε,α)=

(6)

求得輸出權(quán)值矩陣

(7)

正則極限學(xué)習(xí)機通過優(yōu)化參數(shù)γ和矩陣D優(yōu)化輸出權(quán)值矩陣，通過式(7)計算所得輸出權(quán)值矩陣β進(jìn)行正則極限學(xué)習(xí)機的測試。

2.2 傅里葉變換優(yōu)化極限學(xué)習(xí)機算法

傅里葉變換是一種信號分析的方法，傅里葉變換優(yōu)化極限學(xué)習(xí)機算法[16]將隱含層神經(jīng)元的輸出做傅里葉變換，將圖像的特征轉(zhuǎn)換為特定的頻率信號，通過拉格朗日乘子法優(yōu)化原始極限學(xué)習(xí)機的輸入權(quán)值矩陣，具體模型如下式所示，使J取最小值：

(8)

(9)

用拉格朗日乘子法求解，列寫拉格朗日方程為：

(10)

對式(10)求梯度得：

(11)

求得優(yōu)化后的輸入權(quán)值矩陣為：

(12)

優(yōu)化輸出權(quán)值矩陣的數(shù)學(xué)模型為

(13)

式中，ε=O-T=Hβ-T。列寫優(yōu)化輸出矩陣的拉格朗日方程為：

(14)

與以上優(yōu)化輸入權(quán)值矩陣求解方式相同，解得優(yōu)化后的輸出權(quán)值矩陣為

(15)

傅里葉變換優(yōu)化極限學(xué)習(xí)機算法在對輸出權(quán)值矩陣β進(jìn)行優(yōu)化之前對輸入權(quán)值矩陣w也進(jìn)行了優(yōu)化。

3 手寫體數(shù)字字符識別仿真實驗

實驗采用BP、ELM、R-ELM和DFT-ELM 4種算法進(jìn)行手寫體數(shù)字字符識別仿真實驗，樣本選擇MINIST數(shù)據(jù)庫中的10 000個手寫體數(shù)字作為訓(xùn)練樣本，部分樣本圖片如圖3所示，各字符筆畫的粗細(xì)和形狀各不相同，具有代表性。神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練后，選擇1 000個樣本進(jìn)行測試，其中0～9各數(shù)字均為100個，最后對4種算法手寫體數(shù)字字符識別結(jié)果進(jìn)行對比和分析。

圖3 部分樣本圖片

3.1 手寫體數(shù)字字符樣本預(yù)處理

MINIST樣本庫中手寫體數(shù)字圖像均為28×28的灰度圖，黑色值為0，白色值為255。為減少運算量，降低數(shù)據(jù)維數(shù)，采用式(16)對樣本圖片進(jìn)行降維，其中r=c=2，圖4為數(shù)字樣本圖片5的降維結(jié)果，經(jīng)過降維后圖像像素為14×14。圖5為降維后的樣本圖片5的數(shù)據(jù)特征，橫坐標(biāo)為像素點順序，縱坐標(biāo)為灰度值。

(16)

圖5 樣本圖片5的灰度特征圖

3.2 手寫體數(shù)字字符識別仿真

(1) 基于BP神經(jīng)網(wǎng)絡(luò)的手寫體數(shù)字字符識別算法仿真。Matlab工具箱中為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練提供了大量的庫函數(shù)，本實驗中采用newff函數(shù)創(chuàng)建BP神經(jīng)網(wǎng)絡(luò)，train函數(shù)完成BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，圖6所示為隱含層神經(jīng)元個數(shù)為200時BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程。圖6顯示了該BP神經(jīng)網(wǎng)絡(luò)輸入層具有196個神經(jīng)元，隱含層具有200個神經(jīng)元，輸出層具有10個神經(jīng)元，最大迭代次數(shù)為1 000次，訓(xùn)練時間為24 s。

圖6 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程

(2) 基于ELM算法的手寫體數(shù)字字符識別算法仿真。經(jīng)過數(shù)據(jù)初始化后，通過對訓(xùn)練樣本的學(xué)習(xí)確定ELM傳輸過程中的傳輸參數(shù)，即輸出權(quán)值矩陣β，期望輸出T為一個1×10的矩陣，數(shù)字為0～9時對應(yīng)的期望輸出，如表1所示。

表1 各數(shù)字對應(yīng)的期望輸出T

當(dāng)隱含層神經(jīng)元個數(shù)為200時測試所得神經(jīng)網(wǎng)絡(luò)的輸出如圖7所示，圖7(a)～(j)分別表示測試樣本為0～9時ELM網(wǎng)絡(luò)輸出。

(3) R-ELM算法實現(xiàn)手寫體數(shù)字字符識別。R-ELM優(yōu)化算法的目標(biāo)是提高原始極限學(xué)習(xí)機的泛化能力，根據(jù)式(7)計算R-ELM算法的輸出權(quán)值矩陣，其中調(diào)節(jié)參數(shù)γ=0.25，矩陣D取單位對角矩陣，輸出方式與ELM相同。

(4) DFT-ELM算法實現(xiàn)手寫體數(shù)字字符識別。DFT-ELM根據(jù)式(12)計算輸入權(quán)值矩陣，式(15)計算輸出權(quán)值矩陣，其中d1=d2=0.01，γ1=γ2=0.5，輸出方式與ELM相同。

(a)數(shù)字0的識別結(jié)果(b)數(shù)字1的識別結(jié)果

(c)數(shù)字2的識別結(jié)果(d)數(shù)字3的識別結(jié)果

(e)數(shù)字4的識別結(jié)果(f)數(shù)字5的識別結(jié)果

(g)數(shù)字6的識別結(jié)果(h)數(shù)字7的識別結(jié)果

(i)數(shù)字8的識別結(jié)果(j)數(shù)字9的識別結(jié)果

圖7 神經(jīng)元個數(shù)為200時ELM算法識別結(jié)果

3.3 實驗結(jié)果分析與對比

為了比較BP、ELM、R-ELM和DFT-ELM 4種算法對手寫體數(shù)字字符的識別效果，統(tǒng)計各數(shù)字識別正確的個數(shù)，識別結(jié)果如圖8所示，橫坐標(biāo)為待識別的數(shù)字，縱坐標(biāo)為該數(shù)字識別正確的個數(shù)，其中圖8(a)、(b)、(c)、(d)為隱含層神經(jīng)元個數(shù)為50時各算法的識別結(jié)果，圖8(e)、(f)、(g)、(h)為隱含層神經(jīng)元個數(shù)為200時各算法的識別結(jié)果。

對圖8所示識別結(jié)果進(jìn)行統(tǒng)計，4種算法在隱含層神經(jīng)元個數(shù)分別為50和200時各數(shù)字字符識別正確的個數(shù)及平均識別率如表2各數(shù)字字符識別結(jié)果統(tǒng)計所示，各算法實現(xiàn)過程所需時間如表3所示。由表2各數(shù)字識別結(jié)果統(tǒng)計和表3各算法識別過程所需時

(a)BP網(wǎng)絡(luò)識別結(jié)果(N=50)(e)BP網(wǎng)絡(luò)識別結(jié)果(N=200)

(b)ELM識別結(jié)果(N=50)(f)ELM識別結(jié)果(N=200)

(c)R?ELM識別結(jié)果(N=50)(g)R?ELM識別結(jié)果(N=200)

(d)DFT?ELM識別結(jié)果(N=50)(h)DFT?ELM識別結(jié)果(N=200)

圖8 隱層神經(jīng)元個數(shù)為50和200時4種算法識別結(jié)果

間可知，各算法在隱含層神經(jīng)元個數(shù)為200時的平均識別率均高于隱含層神經(jīng)元個數(shù)為50時的平均識別率，且BP網(wǎng)絡(luò)的識別率遠(yuǎn)遠(yuǎn)高于ELM及ELM的優(yōu)化算法，但BP網(wǎng)絡(luò)的訓(xùn)練過程消耗大量時間。

表2 各數(shù)字識別結(jié)果統(tǒng)計

表3 各算法識別過程所需時間

4 結(jié) 語

該實驗以手寫體數(shù)字字符識別為例，驗證了BP神經(jīng)網(wǎng)絡(luò)、極限學(xué)習(xí)機及其優(yōu)化算法的性能，極限學(xué)習(xí)機及其優(yōu)化算法較傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)大大減少了算法的時間復(fù)雜度。BP神經(jīng)網(wǎng)絡(luò)已經(jīng)在各領(lǐng)域得到了廣泛應(yīng)用，極限學(xué)習(xí)機及其優(yōu)化算法除適用于手寫體數(shù)字字符的識別，也可用于其他字符和圖形符號的識別，同時為處理大批量數(shù)據(jù)時降低訓(xùn)練集規(guī)模、減少運算量和提高效率提供了新思路。將該手寫體數(shù)字字符識別實驗應(yīng)用于本科生實驗教學(xué)，通過Matlab軟件編程實現(xiàn)手寫體數(shù)字字符識別過程，讓學(xué)生對神經(jīng)網(wǎng)絡(luò)的實現(xiàn)過程更加明確，其中圖像降維和特征提取過程讓學(xué)生對模式識別有了一定了解，掌握了利用Matlab軟件進(jìn)行程序編寫和神經(jīng)網(wǎng)絡(luò)仿真實驗的技能。

[1] 曹旭帆,胡同森.基于BP神經(jīng)網(wǎng)絡(luò)的含噪字符識別系統(tǒng)及Matlab實現(xiàn)[J].實驗室研究與探索,2008(1):76-80.

[2] 蔣鼎國. 基于改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)PID控制器的溫室溫度控制技術(shù)[J].實驗室研究與探索,2015(1):9-13.

[3] 曹旭帆,葉 舟,萬 俊,等.基于BP神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近實驗及Matlab實現(xiàn)[J].實驗室研究與探索,2008(5):34-38.

[4] 周 品，Matlab神經(jīng)網(wǎng)絡(luò)設(shè)計與應(yīng)用[M].北京：清華大學(xué)出版社，2013，164-171.

[5] Huang Guangbin,Qin YuZhu, CheeK. Extreme learning machine:Theoryandapplications [J]. Neuroco-mputing，2006，70：489-501.

[6] Huang Guangbin,Wang Dianhui, Lan Yuan. Extreme learning machines: a survey [J]. Int.J. Mach. Learn. & Cyber.(2011)2:107-122.

[7] 趙文華,張文濤,杜欣慧. 形相似的ELM在電鐵短期負(fù)荷預(yù)測中應(yīng)用[J]. 實驗室研究與探索,2013(11):279-282,328.

[8] 潘煒深,金連文,馮子勇. 基于多尺度梯度及深度神經(jīng)網(wǎng)絡(luò)的漢字識別[J].北京航空航天大學(xué)學(xué)報,2015(4):751-756.

[9] 楊 怡,王江晴,朱宗曉. 基于仿射傳播聚類的自適應(yīng)手寫字符識別[J]. 計算機應(yīng)用,2015(3):807-810.

[10] 李 琢,王亞利,盧奇茂,等. 帶有格線邊框的手寫體數(shù)字串處理系統(tǒng)[J]. 清華大學(xué)學(xué)報(自然科學(xué)版),2002(3):387-390.

[11] 王 璇,薛 瑞.基于BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別的算法[J]. 自動化技術(shù)與應(yīng)用,2014(5):5-10.

[12] 王一木,潘 赟,龍彥辰,等.基于自組織映射的手寫數(shù)字識別的并行實現(xiàn)[J]. 浙江大學(xué)學(xué)報(工學(xué)版),2014(4):742-747.

[13] 王艷芬,叢瀟雨,王 剛,等. 基于Simulink的Chirp-UWB通信系統(tǒng)綜合實驗設(shè)計[J]. 實驗室研究與探索,2015(7):90-93，234.

[14] 張娟娟. 穩(wěn)健線性回歸中再生權(quán)最小二乘法的有效性研究[D].太原：太原理工大學(xué),2013.

[15] Deng W, Zheng Q, Chen L. Regularized Extreme Learn- ing Machine[C].Computational Intelligence and Data Mining, 2009. CIDM '09.IEEE Symposium on IEEE, 2009:389-395.

[16] Man ZhiHong,LeeK,WangDianhui,etal. A robust single-hidden layer feedforward network based pattern classifier[J].IEEE Transactions on Neural Networks and Learning Systems，2011，P-3489-R2.

A Comparative Study on Handwritten Digital Character Recognition Algorithm by Simulation

CHENLong，QIEXiao-mei，HUANGXin-jing，LINHu

(School of Electronic Information, Hangzhou Dianzi University, Hangzhou 310018,China)

In this paper, we use back propagation (BP) neural network, extreme learning machine (ELM), regularized extreme learning machine (R-ELM) and DFT extreme learning machine (DFT-ELM) to realize the recognition of handwritten digital characters. Ten thousands handwritten digital samples from MINIST database are used to train neural network parameters in the process of data transmission, use the trained neural network parameters to do handwritten digital recognition test. In the light of the simulation results, BP has the best recognition accuracy, regardless of the training speed. Compared with ELM, although R-ELM and DFT-ELM have higher recognition accuracy, both of them increase the time complexity. This handwritten digital recognition simulation experiment can use to strengthen student's studying and understanding of neural networks and improve students' ability in programming and engineering application.

neural networks; extreme learing machine(ELM); handwritten digital recognition; experiment teaching

2016-03-03

浙江省2013年高等教育課堂教學(xué)改革項目(kg2013125)；浙江省2015年度高等教育教學(xué)改革項目(jg2015060)

陳 龍(1979-)，男，山東寧陽人，碩士，副教授，研究方向為嵌入式系統(tǒng)設(shè)計與應(yīng)用、神經(jīng)網(wǎng)絡(luò)與機器學(xué)習(xí)。

Tel.：0571-86915094； E-mail:chenlong@hdu.edu.cn

G 642.423

A

1006-7167(2017)01-0093-05