雙小川，張 克

（中國(guó)礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州221116）

0 引 言

手寫(xiě)數(shù)字識(shí)別是光學(xué)字符識(shí)別技術(shù)領(lǐng)域的重要研究方向，在郵政編碼、財(cái)務(wù)報(bào)表、銀行票據(jù)等方面有著廣泛應(yīng)用。由于手寫(xiě)數(shù)字隨意性大，經(jīng)常出現(xiàn)連筆、斷筆等現(xiàn)象，識(shí)別精度不高。近年來(lái)，國(guó)內(nèi)外研究者提出了一些識(shí)別方法，大致可分為兩類(lèi)［1］：基于統(tǒng)計(jì)特征和基于幾何結(jié)構(gòu)特征的方法。統(tǒng)計(jì)特征通常包括點(diǎn)密度、特征區(qū)域等，特點(diǎn)是易于訓(xùn)練；幾何結(jié)構(gòu)特征通常包括圓、端點(diǎn)、交叉點(diǎn)、輪廓和凹凸性等，特點(diǎn)是可以描述數(shù)字的結(jié)構(gòu)。兩種特征各有優(yōu)劣。幾何結(jié)構(gòu)特征因手寫(xiě)數(shù)字的隨意性而改變，因此需要進(jìn)行許多細(xì)節(jié)處理；統(tǒng)計(jì)特征可降低書(shū)寫(xiě)隨意性的干擾。

提高手寫(xiě)數(shù)字識(shí)別率的重要方法是提取數(shù)字的可靠特征和設(shè)計(jì)對(duì)應(yīng)的識(shí)別算法。目前的特征提取方法［2］有逐像素特征提取法［3］、骨架特征提取法［4］和垂直方向數(shù)據(jù)統(tǒng)計(jì)特征提取法［5］等。這些特征提取值因手寫(xiě)數(shù)字的隨意性而產(chǎn)生偏差，需要進(jìn)行細(xì)節(jié)處理，往往帶來(lái)較大的計(jì)算復(fù)雜度和識(shí)別精確度不高。這些方法適應(yīng)性不佳［6］。

針對(duì)特征提取方法不佳，本文提出了新的特征提取方法，從統(tǒng)計(jì)和結(jié)構(gòu)兩方面來(lái)提取特征。統(tǒng)計(jì)特征包括數(shù)字的空間，旋轉(zhuǎn)和層次特征。其中旋轉(zhuǎn)特征，改進(jìn)了以前單一向橫軸或縱軸投影的局限性。可以使手寫(xiě)數(shù)字沿任意直線投影，計(jì)算投影在在直線上各區(qū)間的像素比例。由于數(shù)字的形態(tài)不相同，不同數(shù)字投影的像素比例不同，從而實(shí)現(xiàn)手寫(xiě)數(shù)字的識(shí)別。提取手寫(xiě)數(shù)字的結(jié)構(gòu)特征，包括端點(diǎn)、分支點(diǎn)和交叉點(diǎn)。結(jié)合統(tǒng)計(jì)和結(jié)構(gòu)特征，降低了隨意性的干擾，利用LibSVM算法對(duì)提取的數(shù)字特征進(jìn)行訓(xùn)練識(shí)別，達(dá)到很高識(shí)別率。

1 基于組合統(tǒng)計(jì)特征的預(yù)處理

手寫(xiě)數(shù)字形變復(fù)雜，噪聲多。在提取特征之前，需要對(duì)手寫(xiě)數(shù)字進(jìn)行必要的預(yù)處理。本文預(yù)處理包括去除圖像噪聲、二值化圖像和提取數(shù)字的外界矩形框。

常用的圖像去噪聲方法有鄰域平均法、低通濾波法、中值濾波、小波變換等。小波變換去除噪聲是利用其時(shí)頻局部化及小波基選擇靈活性的特點(diǎn)，可以成功地去除信號(hào)中局部高頻化的噪聲。本文采用小波變換方法去除噪聲，從而降低了噪聲對(duì)特征的干擾。

利用OSTU算法對(duì)圖像二值化。OSTU是在判決分析最小二乘法原理的基礎(chǔ)上，推導(dǎo)得出的自動(dòng)選取閥值的二值化方法?；舅枷胧菍D像直方圖用某一灰度值分割成兩組，當(dāng)被分割成的兩組方差最大時(shí)，此灰度值就作為圖像二值化處理的閥值。圖像經(jīng)過(guò)二值化后方便計(jì)算特征值。

提取數(shù)字的外界矩形框。外界矩形框是指包含數(shù)字的最小矩形框，如圖1矩形ABCD所示。通過(guò)遍歷圖像數(shù)組，記錄數(shù)字圖像中最左、右、上、下黑點(diǎn)的位置坐標(biāo)。根據(jù)最左和最上黑色像素位置組成矩形框的左上頂點(diǎn)A，最右和最下黑色像素位置組成矩形框的右下頂點(diǎn)C，由此可得外界矩形框ABCD。提取外界矩形框后可以消除手寫(xiě)數(shù)字大小對(duì)特征值的影響。

圖1 手寫(xiě)數(shù)字0的外界矩形框

2 基于統(tǒng)計(jì)和結(jié)構(gòu)特征的特征提取

手寫(xiě)數(shù)字特征的選擇是決定識(shí)別率的關(guān)鍵。當(dāng)特征值過(guò)少時(shí)，由于決定性的分類(lèi)特征太少，使得分類(lèi)器無(wú)法發(fā)揮學(xué)習(xí)分類(lèi)的功能，造成系統(tǒng)無(wú)法辨識(shí)。當(dāng)特征值過(guò)多時(shí)，除了使系統(tǒng)存儲(chǔ)量變大之外，也會(huì)因特征值的某些部分與其他特征值沖突，從而造成系統(tǒng)辨識(shí)的誤差。

2.1 統(tǒng)計(jì)和結(jié)構(gòu)特征提取流程

在大量樣本情況下，每一個(gè)手寫(xiě)數(shù)字的統(tǒng)計(jì)量都趨于一個(gè)常數(shù)——概率。width和height分別表示外界矩形框的寬度和高度，M表示投影的區(qū)間數(shù)，dist表示區(qū)間的長(zhǎng)度。P（i，j）＝1表示數(shù)字圖像在位置 （i，j）的像素是黑色，P（i，j）＝0表示數(shù)字圖像在位置 （i，j）的像素是白色。d為歸一化空間，max（X）和min（X）分別表示特征值xk的最大和最小值。

（1）提取數(shù)字圖像的空間特征。將圖像分成m×n塊，統(tǒng)計(jì)每塊子圖中的黑色像素?cái)?shù)，該步驟產(chǎn)生m×n個(gè)特征值。countMN（i，j）表示第 （i，j）塊子圖中的黑色像素總數(shù)，max（X，Y），min（X，Y）分別表示countMN（i，j）的最大和最小值。特征值xi，j的計(jì)算公式為

（2）提取數(shù)字圖像沿橫軸投影的特征。將圖像沿橫軸投影，投影區(qū)間M等分，計(jì)算落在每等分區(qū)間內(nèi)黑色像素的總數(shù)，該步驟產(chǎn)生M個(gè)特征值。特征值xk的計(jì)算公式為

（3）提取數(shù)字圖像沿某一直線投影的特征。橫軸以一定角度θ逆時(shí)針旋轉(zhuǎn)，將圖像沿這條直線投影，投影區(qū)間M等分。計(jì)算投影在旋轉(zhuǎn)直線上的每等分區(qū)間內(nèi)黑色像素的總數(shù)，該步驟產(chǎn)生 M個(gè)特征值。count（k）為第k段投影區(qū)間內(nèi)的黑色像素總數(shù)，特征值xk的計(jì)算公式為

（4）提取數(shù)字圖像沿旋轉(zhuǎn)直線投影的特征。將步驟3中直線以角度θ繼續(xù)逆時(shí)針旋轉(zhuǎn)，圖像沿這條直線投影，投影區(qū)間M等分。計(jì)算投影在旋轉(zhuǎn)直線上的每等分區(qū)間內(nèi)黑色像素的總數(shù)。重復(fù)步驟4直到旋轉(zhuǎn)次數(shù)達(dá)到180／θ－1。該步驟產(chǎn)生 （180／θ－1）×M個(gè)特征值。特征值xk的計(jì)算公式同式 （4）。

（5）提取數(shù)字圖像的層次特征。將圖像從中心到邊框分成L層矩形框，即將圖像沿橫軸、縱軸等分成2L段，從圖像最內(nèi)層開(kāi)始統(tǒng)計(jì)每一層矩形框所包含的黑色像素總數(shù)，直到數(shù)字的外界矩形框?yàn)橹?。該步驟產(chǎn)生L個(gè)特征值。countL（k）為第k層內(nèi)黑色像素?cái)?shù)，特征值xk的計(jì)算公式為

（6）提取數(shù)字圖像的端點(diǎn)數(shù)、分支點(diǎn)數(shù)和交叉點(diǎn)數(shù)。圖像為二值化的八連接圖像。當(dāng)連接數(shù)為1時(shí)，為斷點(diǎn)或邊界點(diǎn)；當(dāng)連接數(shù)為2時(shí)，為連接點(diǎn)；當(dāng)連接數(shù)為3時(shí)，為分叉點(diǎn)；當(dāng)連接數(shù)為4時(shí)，為交叉點(diǎn)。共3個(gè)特征值。

通過(guò)以上步驟，提取了手寫(xiě)數(shù)字的空間、旋轉(zhuǎn)、層次和結(jié)構(gòu)四類(lèi)特征。空間、旋轉(zhuǎn)、層次和結(jié)構(gòu)特征分別對(duì)應(yīng)于特征提取流程的第1、2－4、5、6步。提取出的特征數(shù)有m×n＋ （180／θ）×M＋L＋3個(gè)。

圖2（a）將圖像分成2×2塊；2（b）將圖像沿橫軸分成4個(gè)投影區(qū)間；2（c）是將數(shù)字圖像向傾斜角度為θ的直線投影，投影區(qū)間分成7段；2（d）將數(shù)字圖像分為4層，從內(nèi)向外分別為第1，2，3，4層。

圖2 數(shù)字圖像6的特征提取

2.2 組合統(tǒng)計(jì)特征值分析

手寫(xiě)數(shù)字6（見(jiàn)圖2（a））的統(tǒng)計(jì)特征值，設(shè)歸一化參數(shù)d為20。圖3（a）是手寫(xiě)數(shù)字6在m＝4，n＝2（4×2＝8個(gè)特征值）時(shí)的特征值曲面圖；圖3（b）是在M＝10時(shí)向橫軸投影的特征值曲線圖；圖3（c）是在L＝4時(shí)，矩形框由內(nèi)向外包含黑色像素的特征值曲線圖。當(dāng)各參數(shù)確定時(shí)，手寫(xiě)數(shù)字有相對(duì)穩(wěn)定的特征值曲線和曲面圖。本文是通過(guò)這些特征值圖來(lái)研究手寫(xiě)數(shù)字的識(shí)別。

圖3 手寫(xiě)數(shù)字6對(duì)應(yīng)的統(tǒng)計(jì)特征值

3 基于組合統(tǒng)計(jì)特征的手寫(xiě)數(shù)字識(shí)別方法

目前常用的識(shí)別算法有貝葉斯算法［7］、人工神經(jīng)網(wǎng)絡(luò)算法［8］、多分類(lèi)器組合算法［9］、基于圖論的算法［10］、支持向量機(jī)［11］、決策樹(shù)和K近鄰算法等。

支持向量機(jī)最初于20世紀(jì)90年代由VaPnik提出，根據(jù)有限的樣本數(shù)據(jù)在學(xué)習(xí)能力和模型復(fù)雜性間尋求最佳效果，希望獲得最好的應(yīng)用能力。支持向量機(jī)通過(guò)非線性映射把樣本空間映射到一個(gè)高維甚至無(wú)窮維的特征空間中，把樣本空間中非線性可分的問(wèn)題轉(zhuǎn)化為在高維特征空間中線性可分的問(wèn)題。支持向量機(jī)主要有升維數(shù)和線性化兩步驟。升維數(shù)就是把樣本向高維空間映射，向高維空間映射一般會(huì)使計(jì)算復(fù)雜化，SVM應(yīng)用核函數(shù)的展開(kāi)定理［12］解決了這個(gè)問(wèn)題。線性化是在低維樣本空間中無(wú)法線性處理的樣本集，通過(guò)線性超平面來(lái)實(shí)現(xiàn)高維特征空間中的線性劃分。

選擇不同的核函數(shù)，可以生成不同的SVM，常用的核函數(shù)有以下4種：線性核函數(shù)、多項(xiàng)式核函數(shù)、徑向基函數(shù)、二層神經(jīng)網(wǎng)絡(luò)核函數(shù)。本文利用LibSVM對(duì)手寫(xiě)數(shù)字分類(lèi)識(shí)別。

4 實(shí) 驗(yàn)

手寫(xiě)數(shù)字選自MNIST字體庫(kù)，該字體庫(kù)包含60 000條訓(xùn)練數(shù)據(jù)和10 000條測(cè)試數(shù)據(jù)，圖像像素大小為28×28。實(shí)驗(yàn)選擇其中1500條訓(xùn)練數(shù)據(jù)和600條測(cè)試數(shù)據(jù)，部分選取的數(shù)據(jù)如圖4所示。本文實(shí)驗(yàn)環(huán)境：操作系統(tǒng)是Windows XP；CPU是Intel Core 2，主頻是1.66GHz×2；內(nèi)存是2G。

圖4 部分選取的手寫(xiě)數(shù)字

為驗(yàn)證組合特征的有效性，提取每類(lèi)特征后用LibSVM分類(lèi)算法進(jìn)行識(shí)別。識(shí)別率和統(tǒng)計(jì)參數(shù)的關(guān)系如圖5所示。本文為了確定圖像分塊數(shù)m×n、區(qū)間數(shù)M、旋轉(zhuǎn)角度θ和圖像空間層次L的值，利用LibSVM算法計(jì)算三類(lèi)組合特征的識(shí)別率。m，n取值范圍是 ［2，8］、旋轉(zhuǎn)角度是 （0，90］、區(qū)間數(shù)是 ［2，14］、層次數(shù)是 ［2，8］。LibSVM采用C－SVC分類(lèi)法并選擇線性核函數(shù)、cost＝64、eps＝0.01、gamma＝6.67×10－4。

手寫(xiě)數(shù)字端點(diǎn)數(shù)、分支點(diǎn)數(shù)和交叉點(diǎn)數(shù)不因統(tǒng)計(jì)特征而改變，因此沒(méi)有識(shí)別率與結(jié)構(gòu)特征的關(guān)系圖。觀察圖5，當(dāng)旋轉(zhuǎn)角度θ＝20度、區(qū)間數(shù)M＝7時(shí)，僅用旋轉(zhuǎn)特征和結(jié)構(gòu)特征，其識(shí)別率達(dá)到極大值98.5%；當(dāng)分塊數(shù)m＝5，n＝5時(shí)，利用旋轉(zhuǎn)、空間和結(jié)構(gòu)三類(lèi)組合特征，其識(shí)別率達(dá)到99.1667%；當(dāng)層次數(shù)L＝2時(shí)，運(yùn)用四類(lèi)特征，其識(shí)別率達(dá)到99.3333%。計(jì)算出組合特征的識(shí)別率如表1所示。

圖5 識(shí)別率和統(tǒng)計(jì)參數(shù)的關(guān)系

表1 特征組合后利用LibSVM算法的識(shí)別率

通過(guò)LibSVM計(jì)算不同特征的識(shí)別率，發(fā)現(xiàn)四類(lèi)組合特征效果明顯，提高了手寫(xiě)數(shù)字識(shí)別率。確定組合特征后，由于識(shí)別率由圖像分塊數(shù)m×n、區(qū)間數(shù)M、旋轉(zhuǎn)角度θ和分層數(shù)L共同影響。單一增長(zhǎng)每個(gè)因子的精度時(shí)，識(shí)別率上升，但到達(dá)一定程度后下降。這是因?yàn)楫?dāng)特征維數(shù)過(guò)少，分類(lèi)算法無(wú)法發(fā)揮學(xué)習(xí)分類(lèi)的功能，當(dāng)特征維數(shù)增加時(shí)，識(shí)別率上升。當(dāng)特征數(shù)達(dá)到一定維數(shù)后，特征值之間有冗余和無(wú)關(guān)屬性。同時(shí)特征的維數(shù)過(guò)高，即手寫(xiě)數(shù)字樣本含有大量的特征時(shí)，還會(huì)導(dǎo)致：①過(guò)多的特征使手寫(xiě)數(shù)字訓(xùn)練樣本集的數(shù)據(jù)量過(guò)大，分類(lèi)器構(gòu)造算法的訓(xùn)練時(shí)間過(guò)長(zhǎng)。②過(guò)多的特征使訓(xùn)練集的維數(shù)過(guò)高，經(jīng)訓(xùn)練后的分類(lèi)器數(shù)值不穩(wěn)定，因此分類(lèi)器的分類(lèi)準(zhǔn)確率會(huì)下降。③訓(xùn)練集特征過(guò)多，訓(xùn)練后的分類(lèi)器的分類(lèi)規(guī)則復(fù)雜，不容易理解。這些使識(shí)別率下降。

通過(guò)Weka［13］中的分類(lèi)算法對(duì)四類(lèi)組合特征進(jìn)行分類(lèi)識(shí)別，由實(shí)驗(yàn)得出各分類(lèi)算法的識(shí)別率和消耗時(shí)間如表2所示。表3是國(guó)內(nèi)外學(xué)者對(duì)MNIST數(shù)據(jù)庫(kù)進(jìn)行識(shí)別的研究成果。

表2 不同分類(lèi)算法的識(shí)別率與消耗時(shí)間

表3 現(xiàn)有部分方法對(duì)MNIST字體庫(kù)的識(shí)別率［14］

LibSVM比BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間、測(cè)試時(shí)間長(zhǎng)。其中BP神經(jīng)網(wǎng)絡(luò)算法的參數(shù)hiddenLayers＝12，learningRate＝0.3，momentum＝0.1，trainingTime＝10。根據(jù)表2可以選取適合需求的分類(lèi)算法。按最佳參數(shù)值提取四類(lèi)組合特征后，利用LibSVM分類(lèi)算法得到的識(shí)別矩陣如圖6所示。

圖6 LibSVM分類(lèi)算法的識(shí)別矩陣

本文在研究手寫(xiě)數(shù)字識(shí)別過(guò)程中，提出組合統(tǒng)計(jì)和結(jié)構(gòu)特征，參數(shù)m、n、M、θ、L取值依次為5、5、7、20、2時(shí)識(shí)別率達(dá)到最大值。LibSVM分類(lèi)算法的識(shí)別率高達(dá)99.3333%。

5 結(jié)束語(yǔ)

本文介紹了基于統(tǒng)計(jì)和結(jié)構(gòu)的手寫(xiě)數(shù)字特征提取理論。統(tǒng)計(jì)特征包括空間，旋轉(zhuǎn)和層次特征；結(jié)構(gòu)特征包括端點(diǎn)、分支點(diǎn)和交叉點(diǎn)特征，提出了旋轉(zhuǎn)統(tǒng)計(jì)特征和綜合了特征提取方法。提取的特征全面表達(dá)了數(shù)字特點(diǎn)，用以區(qū)分不同的手寫(xiě)數(shù)字。通過(guò)實(shí)驗(yàn)驗(yàn)證了特征提取方法的有效性和正確性。然后對(duì)組合特征值利用不同的分類(lèi)算法進(jìn)行識(shí)別，LibSVM算法的識(shí)別率最高，超越了以前論文的識(shí)別率。以后工作中在如何降低特征的維數(shù)和設(shè)置算法中最佳的參數(shù)值還需要進(jìn)一步研究。

［1］YANG Zhihua.Novel handwritten numeral recognition based on Radon transform ［J］.Computer Engineering and Application，2008，44 （30）：13－15 （in Chinese）.［楊志 華.利用Radon變換實(shí)現(xiàn)手寫(xiě)數(shù)字識(shí)別的新方法 ［J］.計(jì)算機(jī)工程與應(yīng)用，2008，44 （30）：13－15.］

［2］YANG Shuying.Pattern recognition and intelligent computing and Matlab technology ［M］.Beijing：Electronics Industry Press，2008：29－40 （in Chinese）.［楊淑瑩.模式識(shí)別與智能計(jì)算—Matlab技術(shù)實(shí)現(xiàn) ［M］.北京：電子工業(yè)出版社，2008：29－40.］

［3］CHEN Yanping，ZHAO Lei.Minutiae extraction in fingerprint images based on 8neighborhoods region coding pursue pixel［J］.Computer Knowledge and Technology，2008，4 （31）：932－934（in Chinese）.［陳艷平，趙磊.基于8鄰域編碼逐像素跟蹤法的指紋細(xì)節(jié)特征提取算法 ［J］.電腦知識(shí)與技術(shù)，2008，4 （31）：932－934.］

［4］LI Zhengguang，WU Liming.Study of skeleton extraction on machine vision recognition of failures for IC wafer ［J］.Semiconductor Technologys，2007，32 （4）：53－56 （in Chinese）.［李政廣，吳黎明.骨架提取在IC晶片缺陷機(jī)器視覺(jué)識(shí)別中的研究 ［J］.半導(dǎo)體技術(shù)，2007，32 （4）：53－56.］

［5］LIU Chunli，LV Shujing.Bangla handwritten numeral recognition based on blend features ［J］.Computer Engineering and Applications，2007，43 （20）：214－215 （in Chinese）.［劉春麗，呂淑靜.基于混合特征的孟加拉手寫(xiě)體數(shù)字識(shí)別 ［J］.計(jì)算機(jī)工程與應(yīng)用，2007，43 （20）：214－215.］

［6］ZHONG Lehai，HU Wei.A new feature extraction method on handwritten digits recognition system ［J］.Journal of Sichuan University，2007，44 （5）：1000－1004 （in Chinese）. ［鐘樂(lè)海，胡偉.手寫(xiě)體數(shù)字識(shí)別系統(tǒng)中一種新的特征提取方法［J］.四川大學(xué)學(xué)報(bào)，2007，44（5）：1000－1004.］

［7］WEN Shangqing，HAO Zhifeng，LIAO Qin，et al.Intelligent offline handwritten Chinese character recognition based on Bayesian network ［J］.Computer Aid Edengineering，2006，15 （3）：72－89 （in Chinese）.［溫尚清，郝志峰，廖芹，等.基于貝葉斯網(wǎng)絡(luò)的脫機(jī)手寫(xiě)體漢字智能識(shí)別 ［J］.計(jì)算機(jī)輔助工程，2006，15 （3）：72－89.］

［8］ZHANG Wei，WANG Kejian，QIN Zhen.The research of digital recognition based on artificial neural network ［J］.Microelectronics ＆Computer，2006，23 （8）：206－208 （in Chinese）.［張偉，王克儉，秦臻.基于神經(jīng)網(wǎng)絡(luò)的數(shù)字識(shí)別的研究 ［J］.微電子學(xué)與計(jì)算機(jī)，2006，23 （8）：206－208.］

［9］GUI Jie，LI Xiaofeng，TANG Lei，et al.Methods of combining multiple classifiers and applications to totally unconstrained handwritten numbers［J］.Computer Engineering and Design，2007，28 （11）：2633－2636 （in Chinese）. ［桂杰，李曉風(fēng)，唐磊，等.多分類(lèi)器組合及其應(yīng)用于手寫(xiě)體數(shù)字識(shí)別 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2007，28 （11）：2633－2636.］

［10］HONG Liurong， WANG Yaocai. Handwritten numeral recognition using graph theory and direction information ［J］.Computer Engineering，2006，32 （3）：34－36 （in Chinese）.［洪留榮，王耀才.應(yīng)用圖論和基元方向信息的手寫(xiě)數(shù)字識(shí)別［J］.計(jì)算機(jī)工程，2006，32 （3）：34－36.］

［11］SHANG Lei，LIU Fengjin.Handwritten number recognition based on support vector machine ［J］.Ordnance Industry Automation，2007，26 （3）：39－41 （in Chinese）. ［尚磊，劉風(fēng)進(jìn).基于支持向量機(jī)的手寫(xiě)體數(shù)字識(shí)別 ［J］.兵工自動(dòng)化，2007，26 （3）：39－41.］

［12］LI Wenqu.Application of SVM in handwritten numeral recognition［J］.Journal of Quanzhou Normal University，2010，28 （4）：18－21（in Chinese）.［李文趨.SVM在手寫(xiě)數(shù)字識(shí)別中的應(yīng)用［J］.泉州師范學(xué)院學(xué)報(bào)，2010，28 （4）：18－21.］

［13］Witten I H，F(xiàn)rank E.Data mining：Practical machine learning tools and techniques［M］.2nd ed.San Francisco：Morgan Kaufmann Publishers，2005.

［14］YANN Lecun.Courant institute NYU ［EB／OL］.http：／／yann.lecun.com／exdb／mnist／，2009.