葛明濤+王小麗+潘立武

摘 要： 聯(lián)機手寫識別在日常生產(chǎn)生活中有著廣闊的應用，模式識別也一直把其作為研究的重點。傳統(tǒng)的識別方法是利用普通卷積神經(jīng)網(wǎng)絡技術，該方法在對小規(guī)模字符集聯(lián)機手寫文字識別時有著較高識別率，總體性能高，但在對大規(guī)模字符集識別時，識別率則大大降低。提出一種基于多重卷積神經(jīng)網(wǎng)絡的識別方法，旨在克服以往方法對大規(guī)模字符集識別時識別效率不高的問題，提高大規(guī)模字符集聯(lián)機手寫文字的識別率。系統(tǒng)使用隨機對角Levenberg?Marquardt方法來優(yōu)化訓練，通過使用UNIPEN訓練集測試該方法識別準確率可達89%，是一個有良好前景的聯(lián)機手寫識別方法。

關鍵詞： 模式識別； 神經(jīng)網(wǎng)絡； 卷積； 文字識別

中圖分類號： TN711?34； TP391.4 文獻標識碼： A 文章編號： 1004?373X（2014）20?0019?03

Large pattern online handwriting character recognition based on multi?convolution neural network

GE Ming?tao1， WANG Xiao?li1， PAN Li?wu2

（1. SIAS International School， Zhengzhou University， Zhengzhou 451150， China；

2. Henan University of Animal Husbandry and Economy， Zhengzhou 450011， China）

Abstract： Online handwriting character recognition is an important field in the research of pattern recognition. The traditional recognition method is based on the common convolutional neural networks （CNNs） technology. It has an efficient recognition rate for the small pattern character set online handwriting characters， but has low recognition rate for the large pattern character set recognition. A recognition method based on multi?convolutional neural networks （MCNNs） is presented in this paper to overcome the situation that the previous methods have the low recognition rate for large pattern character set and improve the recognition rate for the large pattern handwriting character set recognition. The stochastic diagonal Levenbert?Marquardt method is used in the system for training optimization. The experimental results show that the proposed method has the recognition rate of 89% and has a good prospect for online handwriting character recognition for large scale pattern.

Keywords： pattern recognition； neural network； convolution； character recognition

0 引 言

隨著全球信息化的飛速發(fā)展和對自動化程度要求的不斷提高 ，手寫文字識別技術被廣泛地應用到許多方面。特別是近幾年擁有手寫功能的手機、平板電腦等智能電子產(chǎn)品的普及，聯(lián)機手寫文字識別研究已經(jīng)成為一個備受關注的主題。聯(lián)機手寫字符識別要求實時性較高，識別過程中要求特征空間的維數(shù)比較高，在進行特征樣本訓練時要求訓練的數(shù)目很大，要匹配的特征值或特征對象比較多 [1?2]。

卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNNs）的優(yōu)點在于圖像的識別過程中對視覺模式的獲得是直接從原始圖像中獲得的，所以在設計系統(tǒng)時圖像的預處理工作很少，與一般神經(jīng)網(wǎng)絡相比是一種高效的識別方法。卷積神經(jīng)網(wǎng)絡在模式識別的一些領域具有很好的魯棒性，如在識別有變化的模式和對幾何變形的識別方面。利用卷積神經(jīng)網(wǎng)絡的手寫識別方法具有如下一些優(yōu)點：對于要檢測的圖像可以與事先制定網(wǎng)絡拓撲結構之間有較高的匹配率；特征提取和模式分類同時進行；訓練參數(shù)往往是系統(tǒng)計算量的重要參數(shù)，而卷積神經(jīng)網(wǎng)絡中利用權值共享技術，這樣就可以大大降低該參數(shù)，在設計系統(tǒng)結構時使得結構變得更簡單，從而使得整個系統(tǒng)具有更好的適應性[3?5]。

目前，人機交互系統(tǒng)的手寫字符識別、汽車車牌號識別和信息安全中常用的人臉識別等領域都有卷積神經(jīng)網(wǎng)絡的成功應用。文獻[6]用一個4層的卷積神經(jīng)網(wǎng)絡LeNet?5對Mnist庫進行識別實驗，獲得了98.4%的識別率，用2層的BP網(wǎng)絡的識別率[4，6]是87%。許多學者對卷積神經(jīng)網(wǎng)絡在聯(lián)機手寫文字識別方面做了多方位的研究。 但是，這些成功的聯(lián)機手寫文字識別主要是針對小模式字符集，利用以往的這些方法對大規(guī)模模式分類的聯(lián)機手寫文字的識別依然有識別率不高的問題。本文介紹了卷積神經(jīng)網(wǎng)絡的基本概念和一種典型的卷積神經(jīng)網(wǎng)絡結構，給出了基于多重卷積神經(jīng)網(wǎng)絡的字符識別和詞語識別模型。通過使用大字符集的UNIPEN數(shù)據(jù)庫進行訓練和測試，本文提出的方法在大模式聯(lián)機手寫識別上，取得了較高的識別速度和滿意的識別率。

1 卷積神經(jīng)網(wǎng)絡

文獻[6?7]中詳細地描述了卷積神經(jīng)網(wǎng)絡如何保證圖像對位移、縮放、扭曲魯棒性能。典型的手寫字符卷積神經(jīng)網(wǎng)絡LeNET 5的結構圖如圖1所示[6?7]。

圖1 典型的卷積神經(jīng)網(wǎng)絡結構

在圖1中，輸入層接收要識別32×32的手寫字符圖像，經(jīng)過簡單的大小歸一化和圖像灰度處理，之后的結果作為一個采樣層的圖像；然后用一個可學習核進行卷積操作，卷積結果經(jīng)過激活函數(shù)的輸出形成這一層的神經(jīng)元，每個神經(jīng)元與輸入圖像的一個5×5的鄰域相連接，從而得到由6幅特征圖組成的第一個隱層（C1層）。每個特征圖有25個權值（如方向線段，端點、角點等），考慮到邊界效果，得到的特征圖的大小是28×28，小于輸入圖層[3?9]。卷積層的數(shù)學計算過程可表示為：

[xlj=fi∈Mjxl-1j*kernellij+blj] （1）

式中：[l] 代表層數(shù)；kernel是卷積核；[Mj]代表輸入特征圖的一個選擇。每個輸出圖有一個偏置[b]。

每個卷積層的結果作為下一個次采樣層的輸入，次采樣層的作用是對輸入信息進行抽樣操作。如果輸入的特征圖為n個，則經(jīng)過次采樣層后特征圖的個數(shù)仍然為n，但是輸出的特征圖要變小（例如，各維變?yōu)樵瓉淼?0%）。因此隱層S2是由6個大小為14×14的特征圖組成的次采樣層。次采樣層計算公式可以用式（2）表示：

[xlj=fβl-1jdown（xl-1j）+blj] （2）

式中down（·） 表示次采樣函數(shù)。次采樣函數(shù)一般是對該層輸入圖像的一個n×n大小的區(qū)域求和，因此，輸出圖像的大小是輸入圖像大小的[1n]。每一個輸出的特征圖有自己的β和b。

類似的，C3層有16個10×10的特征圖組成的卷積層，特征圖的每個神經(jīng)元與S2網(wǎng)絡層的若干個特征圖的5×5的鄰域連接。網(wǎng)絡層S4是由16個大小為5×5的特征圖組成的次采樣層。特征圖的每個神經(jīng)元與C3層的一個2×2大小的鄰域相連接。網(wǎng)絡層C5是由120個特征圖組成的卷積層。每個神經(jīng)元與S4網(wǎng)絡層的所有特征圖的5×5大小的鄰域相連接。網(wǎng)絡層F6，包括84個神經(jīng)元，與網(wǎng)絡層C5進行全連接。最后，輸出層有10個神經(jīng)元，是由徑向基函數(shù)單元（RBF）組成，輸出層的每個神經(jīng)元對應一個字符類別。RBF單元的輸出yi的計算方法如式（3）所示：

[yi=j（xj-wij）2] （3）

很多研究人員通過對字符集作彈性訓練，經(jīng)測試發(fā)現(xiàn)在MNIST字符集上的識別率可以高達99%以上[6?7] 。卷積神經(jīng)網(wǎng)絡的優(yōu)勢主要是對小模式集上，如對數(shù)字或26個英文字母組成的集合都有著較高的識別率。然而，對大模式集的識別仍然是一個挑戰(zhàn)，因為設計一個優(yōu)化的并足夠大的單一網(wǎng)絡是比較困難的，且訓練時間也較長。因此，本文的目的旨在通過組合多個對某一字符集有高識別率的卷積神經(jīng)網(wǎng)絡，從而構成多重卷積神經(jīng)網(wǎng)絡，進而提高卷積神經(jīng)網(wǎng)絡對大模式集手寫字符的識別率。

2 多重卷積神經(jīng)網(wǎng)絡

2.1 多重卷積神經(jīng)網(wǎng)絡字符識別

根據(jù)傳統(tǒng)卷積神經(jīng)網(wǎng)絡的運算過程以及其在處理大模式集手寫字符時存在的不足，本文提出一種多重卷積神經(jīng)網(wǎng)絡來改進傳統(tǒng)的卷積神經(jīng)網(wǎng)絡模型，用多個擁有高識別率的小卷積神經(jīng)網(wǎng)絡組成一個多重卷積神經(jīng)網(wǎng)絡。每一重小卷積神經(jīng)網(wǎng)絡對某一具體字符集有較高的識別率，另外，單重卷積神經(jīng)網(wǎng)絡除了有一個正式的輸出集之外，還產(chǎn)生一個未知的輸出（即難以識別的字符），即如果一個輸入字符沒有被正確識別，它將被輸出為一個未知字符，然后輸入模式轉到下一重卷積神經(jīng)網(wǎng)絡進行識別。最后，通過一個拼寫檢查模塊進行判斷，選擇最好的結果輸出。系統(tǒng)的流程如圖2所示。

其中CNN 1是識別手寫數(shù)字的卷積神經(jīng)網(wǎng)絡，CNN 2是識別手寫小寫英文字母的卷積神經(jīng)網(wǎng)絡，該模型具有極強的擴展性，可以添加多任意模式的卷積神經(jīng)網(wǎng)絡（如中文，日文等）。

圖2 多重卷積神經(jīng)網(wǎng)絡字符識別示意圖

2.2 隨機對角Levenberg?Marquardt訓練方法

傳統(tǒng)的結構比較簡單、單一的卷積神經(jīng)網(wǎng)絡多采用基本的Back Propagation（BP）規(guī)則訓練網(wǎng)絡，往往需要幾百次迭代，網(wǎng)絡的收斂速度較慢。本文采用LeCun博士提出的隨機對角Levenberg?Marquardt 算法對網(wǎng)絡作訓練，該算法需要的迭代次數(shù)明顯比基本的BP 算法少[4，9]。隨機對角Levenberg?Marquardt算法的公式為：

[ηki=ε?2E?w2ij+μ] （4）

式中[ε]是全局的學習率，一般取初始值0.01，太大會使網(wǎng)絡無法收斂，太小則會降低收斂速度，且使網(wǎng)絡更容易陷入局部極小值，訓練過程中可以用啟發(fā)式規(guī)則改變[ε]的值，本文取最下值為5e-005； [?2E?w2ij]是一個估計值，根據(jù)訓練集的大小可以調整樣本數(shù)量，文中隨機選取200個樣本估算它的值；[μ]用來避免[?2E?w2ij] 太小時[ηki]的變化過大 。

2.3 多重卷積神經(jīng)網(wǎng)絡詞句識別

本文提出的多重卷積神經(jīng)網(wǎng)絡對手寫詞語的識別方法可以簡單地描述為：首先對輸入的手寫圖像進行預處理和分割，然后通過多重卷積神經(jīng)網(wǎng)絡模塊分別進行識別，最后采用單詞識別模塊對識別結果進行判斷，選擇最好的結果輸出。其過程如圖3所示。

圖3 多重卷積神經(jīng)網(wǎng)絡聯(lián)機手寫詞句識別過程

本文提出的多重卷積神經(jīng)網(wǎng)絡聯(lián)機手寫文字識別方法克服了傳統(tǒng)卷積神經(jīng)網(wǎng)絡文字識別的對字符集的限制，每一重卷積神經(jīng)網(wǎng)絡是一個針對小模式的卷積神經(jīng)網(wǎng)絡，易于訓練和優(yōu)化，更重要的是此方案的靈活性非常好易于調節(jié)參數(shù)，可擴展性強。每一重卷積神經(jīng)網(wǎng)絡都具有可重用能力，可以根據(jù)需要加載一個或多個網(wǎng)絡，可以根據(jù)新的模式添加新的網(wǎng)絡而不需改變或重建原來的網(wǎng)絡。

3 訓練和實驗

為了評估多重卷積神經(jīng)網(wǎng)絡對基于大模式字符集的聯(lián)機手寫文字識別的性能，本系統(tǒng)采用MNIST和UNIPEN兩種不同的手寫字符訓練集進行測試。UNIPEN數(shù)據(jù)庫是在1992年舉行的IEEE IAPR會議上提出并建立的，其目的是創(chuàng)建一個大型的手寫體數(shù)據(jù)庫用于為在線手寫識別提供研究和開發(fā)的基礎，得到了多個知名公司或研究所的支持并完成了UNIPEN的規(guī)范設計。在進行數(shù)據(jù)比對實驗中，本文采用許多研究使用的MNIST手寫數(shù)字數(shù)據(jù)庫，該數(shù)據(jù)庫是NEC 研究中心設計的，是NIST（The National Institute of Standards and Technology）數(shù)據(jù)庫的一個子集，該訓練集中有大量訓練樣本和測試用例。本文默認用以下定義：

[識別率=正確識別數(shù)樣本總數(shù)×100%]

[失誤率誤識率=錯誤識別數(shù)樣本總數(shù)×100%]

實驗測試是在通用的臺式電腦上進行的。整個識別原型系統(tǒng)采用C#編寫，運行在.NetFrame 4.5平臺上。經(jīng)測試對MNIST訓練集識別正確率可達[9]99%，對UNIPEN數(shù)字識別正確率可達97%，對UNIPEN數(shù)字和大寫字母識別正確率可達89%（1a，1b） ，對UNIPEN小寫字母識別正確率可達89%（1c） 。圖4是對UNIPEN小寫字母3次訓練的均方誤差比較。

圖4 訓練的誤差數(shù)據(jù)

從圖4中可以看出，在開始的幾個訓練周期內，均方誤差（MSE）下降得很快，然后在第13個周期后神經(jīng)網(wǎng)絡達到一個穩(wěn)定的值，約為0.148 5。也就是說，網(wǎng)絡在第13個周期后，改善程度就很小。所以修改訓練錯誤率的值為0.000 45后重新進行18代的第二次訓練，均方誤差有所降低。經(jīng)過第三次的訓練后趨于穩(wěn)定，對UNIPEN小寫字母識別正確率可達89%。經(jīng)測試，通過使用隨機對角Levenberg?Marquardt方法，收斂速度比基本BP算法快了許多，經(jīng)過68代訓練后識別正確率可達89%。

4 結 語

本文提出了基于多重卷積神經(jīng)網(wǎng)絡的聯(lián)機手寫字符的識別方法，通過使用多個識別率高的卷積神經(jīng)網(wǎng)絡和隨機對角 Levenberg? Marquardt方法，可以適用于大模式聯(lián)機手寫識別。經(jīng)過實驗數(shù)據(jù)比較，該方法在大模式聯(lián)機手寫識別過程中具有很高的識別率，與此同時識別速度也很快，有很好的實時性，總體效果很好。在當今觸摸屏應用遍及生產(chǎn)生活的各個方面的趨勢下，該方法有著廣闊的應用前景。同時此方法為今后多手寫漢字識別的研究提供了很好的借鑒。

注：本文通訊作者為潘立武。

參考文獻

[1] 吳鳴銳，張鈸.一種用于大規(guī)模模式識別問題的神經(jīng)網(wǎng)絡算法[J].軟件學報，2001，12（6）：851?855.

[2] 張輝.大規(guī)模聯(lián)機手寫漢字識別數(shù)據(jù)庫整理、統(tǒng)計與實驗分析[D].廣州：華南理工大學，2012.

[3] 徐姍姍，劉應安，徐昇，等.基于卷積神經(jīng)網(wǎng)絡的木材缺陷識別[J].山東大學學報：工學版，2013，43（2）：23?28.

[4] 呂剛.基于卷積神經(jīng)網(wǎng)絡的多字體字符識別[J].浙江師范大學學報：自然科學版，2011，34（4）：425?428.

[5] PHAM D V. Online handwriting recognition using multi convolution neural networks [M]. Berlin Heidelberg： Springer， 2012： 310?319.

[6] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [C]// Proceeding of IEEE. USA： IEEE， 1998： 2278?2324.

[7] SIMARD P Y， STEINKRAUS Dave， PLATT John. Best practices for convolutional neural networks applied to visual document analysis [C]// International Conference on Document Analysis and Recognition （ICDAR）. Los Alamitos： IEEE Computer Society， 2003： 958?962.

[8] SERMANET P， CHINTALA S， LECUN Y. Convolutional neural networks applied to house numbers digit classification [C]// International Conference on Pattern Recognition. [S.l.]： IEEE， 2012： 3288?3291.

[9] LECUN Y， BOTTOU L， ORR G B， et al. Efficient BackProp in neural networks： tricks of the trade， LNCS [M]. Heidelberg： Springer， 1998， 1524： 9?50.

3 訓練和實驗

為了評估多重卷積神經(jīng)網(wǎng)絡對基于大模式字符集的聯(lián)機手寫文字識別的性能，本系統(tǒng)采用MNIST和UNIPEN兩種不同的手寫字符訓練集進行測試。UNIPEN數(shù)據(jù)庫是在1992年舉行的IEEE IAPR會議上提出并建立的，其目的是創(chuàng)建一個大型的手寫體數(shù)據(jù)庫用于為在線手寫識別提供研究和開發(fā)的基礎，得到了多個知名公司或研究所的支持并完成了UNIPEN的規(guī)范設計。在進行數(shù)據(jù)比對實驗中，本文采用許多研究使用的MNIST手寫數(shù)字數(shù)據(jù)庫，該數(shù)據(jù)庫是NEC 研究中心設計的，是NIST（The National Institute of Standards and Technology）數(shù)據(jù)庫的一個子集，該訓練集中有大量訓練樣本和測試用例。本文默認用以下定義：

[識別率=正確識別數(shù)樣本總數(shù)×100%]

[失誤率誤識率=錯誤識別數(shù)樣本總數(shù)×100%]

實驗測試是在通用的臺式電腦上進行的。整個識別原型系統(tǒng)采用C#編寫，運行在.NetFrame 4.5平臺上。經(jīng)測試對MNIST訓練集識別正確率可達[9]99%，對UNIPEN數(shù)字識別正確率可達97%，對UNIPEN數(shù)字和大寫字母識別正確率可達89%（1a，1b） ，對UNIPEN小寫字母識別正確率可達89%（1c） 。圖4是對UNIPEN小寫字母3次訓練的均方誤差比較。

圖4 訓練的誤差數(shù)據(jù)

從圖4中可以看出，在開始的幾個訓練周期內，均方誤差（MSE）下降得很快，然后在第13個周期后神經(jīng)網(wǎng)絡達到一個穩(wěn)定的值，約為0.148 5。也就是說，網(wǎng)絡在第13個周期后，改善程度就很小。所以修改訓練錯誤率的值為0.000 45后重新進行18代的第二次訓練，均方誤差有所降低。經(jīng)過第三次的訓練后趨于穩(wěn)定，對UNIPEN小寫字母識別正確率可達89%。經(jīng)測試，通過使用隨機對角Levenberg?Marquardt方法，收斂速度比基本BP算法快了許多，經(jīng)過68代訓練后識別正確率可達89%。

4 結 語

本文提出了基于多重卷積神經(jīng)網(wǎng)絡的聯(lián)機手寫字符的識別方法，通過使用多個識別率高的卷積神經(jīng)網(wǎng)絡和隨機對角 Levenberg? Marquardt方法，可以適用于大模式聯(lián)機手寫識別。經(jīng)過實驗數(shù)據(jù)比較，該方法在大模式聯(lián)機手寫識別過程中具有很高的識別率，與此同時識別速度也很快，有很好的實時性，總體效果很好。在當今觸摸屏應用遍及生產(chǎn)生活的各個方面的趨勢下，該方法有著廣闊的應用前景。同時此方法為今后多手寫漢字識別的研究提供了很好的借鑒。

注：本文通訊作者為潘立武。

參考文獻

[1] 吳鳴銳，張鈸.一種用于大規(guī)模模式識別問題的神經(jīng)網(wǎng)絡算法[J].軟件學報，2001，12（6）：851?855.

[2] 張輝.大規(guī)模聯(lián)機手寫漢字識別數(shù)據(jù)庫整理、統(tǒng)計與實驗分析[D].廣州：華南理工大學，2012.

[3] 徐姍姍，劉應安，徐昇，等.基于卷積神經(jīng)網(wǎng)絡的木材缺陷識別[J].山東大學學報：工學版，2013，43（2）：23?28.

[4] 呂剛.基于卷積神經(jīng)網(wǎng)絡的多字體字符識別[J].浙江師范大學學報：自然科學版，2011，34（4）：425?428.

[5] PHAM D V. Online handwriting recognition using multi convolution neural networks [M]. Berlin Heidelberg： Springer， 2012： 310?319.

[6] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [C]// Proceeding of IEEE. USA： IEEE， 1998： 2278?2324.

[7] SIMARD P Y， STEINKRAUS Dave， PLATT John. Best practices for convolutional neural networks applied to visual document analysis [C]// International Conference on Document Analysis and Recognition （ICDAR）. Los Alamitos： IEEE Computer Society， 2003： 958?962.

[8] SERMANET P， CHINTALA S， LECUN Y. Convolutional neural networks applied to house numbers digit classification [C]// International Conference on Pattern Recognition. [S.l.]： IEEE， 2012： 3288?3291.

[9] LECUN Y， BOTTOU L， ORR G B， et al. Efficient BackProp in neural networks： tricks of the trade， LNCS [M]. Heidelberg： Springer， 1998， 1524： 9?50.

3 訓練和實驗

為了評估多重卷積神經(jīng)網(wǎng)絡對基于大模式字符集的聯(lián)機手寫文字識別的性能，本系統(tǒng)采用MNIST和UNIPEN兩種不同的手寫字符訓練集進行測試。UNIPEN數(shù)據(jù)庫是在1992年舉行的IEEE IAPR會議上提出并建立的，其目的是創(chuàng)建一個大型的手寫體數(shù)據(jù)庫用于為在線手寫識別提供研究和開發(fā)的基礎，得到了多個知名公司或研究所的支持并完成了UNIPEN的規(guī)范設計。在進行數(shù)據(jù)比對實驗中，本文采用許多研究使用的MNIST手寫數(shù)字數(shù)據(jù)庫，該數(shù)據(jù)庫是NEC 研究中心設計的，是NIST（The National Institute of Standards and Technology）數(shù)據(jù)庫的一個子集，該訓練集中有大量訓練樣本和測試用例。本文默認用以下定義：

[識別率=正確識別數(shù)樣本總數(shù)×100%]

[失誤率誤識率=錯誤識別數(shù)樣本總數(shù)×100%]

實驗測試是在通用的臺式電腦上進行的。整個識別原型系統(tǒng)采用C#編寫，運行在.NetFrame 4.5平臺上。經(jīng)測試對MNIST訓練集識別正確率可達[9]99%，對UNIPEN數(shù)字識別正確率可達97%，對UNIPEN數(shù)字和大寫字母識別正確率可達89%（1a，1b） ，對UNIPEN小寫字母識別正確率可達89%（1c） 。圖4是對UNIPEN小寫字母3次訓練的均方誤差比較。

圖4 訓練的誤差數(shù)據(jù)

從圖4中可以看出，在開始的幾個訓練周期內，均方誤差（MSE）下降得很快，然后在第13個周期后神經(jīng)網(wǎng)絡達到一個穩(wěn)定的值，約為0.148 5。也就是說，網(wǎng)絡在第13個周期后，改善程度就很小。所以修改訓練錯誤率的值為0.000 45后重新進行18代的第二次訓練，均方誤差有所降低。經(jīng)過第三次的訓練后趨于穩(wěn)定，對UNIPEN小寫字母識別正確率可達89%。經(jīng)測試，通過使用隨機對角Levenberg?Marquardt方法，收斂速度比基本BP算法快了許多，經(jīng)過68代訓練后識別正確率可達89%。

4 結 語

本文提出了基于多重卷積神經(jīng)網(wǎng)絡的聯(lián)機手寫字符的識別方法，通過使用多個識別率高的卷積神經(jīng)網(wǎng)絡和隨機對角 Levenberg? Marquardt方法，可以適用于大模式聯(lián)機手寫識別。經(jīng)過實驗數(shù)據(jù)比較，該方法在大模式聯(lián)機手寫識別過程中具有很高的識別率，與此同時識別速度也很快，有很好的實時性，總體效果很好。在當今觸摸屏應用遍及生產(chǎn)生活的各個方面的趨勢下，該方法有著廣闊的應用前景。同時此方法為今后多手寫漢字識別的研究提供了很好的借鑒。

注：本文通訊作者為潘立武。

參考文獻

[1] 吳鳴銳，張鈸.一種用于大規(guī)模模式識別問題的神經(jīng)網(wǎng)絡算法[J].軟件學報，2001，12（6）：851?855.

[2] 張輝.大規(guī)模聯(lián)機手寫漢字識別數(shù)據(jù)庫整理、統(tǒng)計與實驗分析[D].廣州：華南理工大學，2012.

[3] 徐姍姍，劉應安，徐昇，等.基于卷積神經(jīng)網(wǎng)絡的木材缺陷識別[J].山東大學學報：工學版，2013，43（2）：23?28.

[4] 呂剛.基于卷積神經(jīng)網(wǎng)絡的多字體字符識別[J].浙江師范大學學報：自然科學版，2011，34（4）：425?428.

[5] PHAM D V. Online handwriting recognition using multi convolution neural networks [M]. Berlin Heidelberg： Springer， 2012： 310?319.

[6] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [C]// Proceeding of IEEE. USA： IEEE， 1998： 2278?2324.

[7] SIMARD P Y， STEINKRAUS Dave， PLATT John. Best practices for convolutional neural networks applied to visual document analysis [C]// International Conference on Document Analysis and Recognition （ICDAR）. Los Alamitos： IEEE Computer Society， 2003： 958?962.

[8] SERMANET P， CHINTALA S， LECUN Y. Convolutional neural networks applied to house numbers digit classification [C]// International Conference on Pattern Recognition. [S.l.]： IEEE， 2012： 3288?3291.

[9] LECUN Y， BOTTOU L， ORR G B， et al. Efficient BackProp in neural networks： tricks of the trade， LNCS [M]. Heidelberg： Springer， 1998， 1524： 9?50.