王建仁　馬鑫　段剛龍　薛宏全

摘 要：隨著邊緣智能的快速發(fā)展，現(xiàn)有手寫數(shù)字識別卷積網(wǎng)絡(luò)模型的發(fā)展已越來越不適應(yīng)邊緣部署、算力下降的要求，且存在小樣本泛化能力較差和網(wǎng)絡(luò)訓(xùn)練成本較高等問題。借鑒卷積神經(jīng)網(wǎng)絡(luò)（CNN）經(jīng)典結(jié)構(gòu)、Leaky_ReLU算法、dropout算法和遺傳算法及自適應(yīng)和混合池化思想構(gòu)建了基于LeNet-DL改進(jìn)網(wǎng)絡(luò)的手寫數(shù)字識別模型，分別在大樣本數(shù)據(jù)集MNIST和小樣本真實(shí)數(shù)據(jù)集REAL上與LeNet、LeNet+sigmoid、AlexNet等算法進(jìn)行對比實(shí)驗(yàn)。改進(jìn)網(wǎng)絡(luò)的大樣本識別精度可達(dá)99.34%，性能提升約0.83%;小樣本識別精度可達(dá)78.89%，性能提升約8.34%。實(shí)驗(yàn)結(jié)果表明，LeNet-DL網(wǎng)絡(luò)相較于傳統(tǒng)CNN在大樣本和小樣本數(shù)據(jù)集上的訓(xùn)練成本更低、性能更優(yōu)且模型泛化能力更強(qiáng)。

關(guān)鍵詞：邊緣智能;卷積網(wǎng)絡(luò);手寫數(shù)字識別;Leaky_ReLU;混合池化;自適應(yīng);dropout;遺傳算法

中圖分類號： TP30文獻(xiàn)標(biāo)志碼：A

Handwritten numeral recognition under edge intelligence background

WANG Jianren， MA Xin*， DUAN Ganglong， XUE Hongquan

（College of Economics and Management， Xian University of Technology， Xian Shaanxi 710054， China）

Abstract： With the rapid development of edge intelligence， the development of existing handwritten numeral recognition convolutional network models has become less and less suitable for the requirements of edge deployment and computing power declining， and there are problems such as poor generalization ability of small samples and high network training costs. Drawing on the classic structure of Convolutional Neural Network （CNN）， Leaky_ReLU algorithm， dropout algorithm， genetic algorithm and adaptive and mixed pooling ideas， a handwritten numeral recognition model based on LeNet-DL improved convolutional neural network was constructed. The proposed model was compared on large sample MNIST dataset and small sample REAL dataset with LeNet， LeNet+sigmoid， AlexNet and other algorithms. The improved network has the large sample identification accuracy up to 99.34%， with the performance improvement of about 0.83%， and the small sample recognition accuracy up to 78.89%， with the performance improvement of about 8.34%. The experimental results show that compared with traditional CNN， LeNet-DL network has lower training cost， better performance and stronger model generalization ability on large sample and small sample datasets.

Key words： edge intelligence; Convolutional Neural Network （CNN）; handwritten numeral recognition; Leaky_ReLU; mixing pooling; adaptive; dropout; genetic algorithm

0 引言

隨著經(jīng)濟(jì)社會的不斷發(fā)展，日常生活中與數(shù)字相關(guān)的應(yīng)用越來越廣泛，使用場景也越來越豐富，對應(yīng)的手寫數(shù)字識別需求也顯著提升[1]，例如：大規(guī)模紙質(zhì)手寫數(shù)據(jù)的統(tǒng)計(jì)、會計(jì)報(bào)表的掃描和識別、銀行開戶單身份證信息的識別、高校試卷分?jǐn)?shù)掃描識別并累加等[2]。手寫數(shù)字識別作為光學(xué)符號識別的一個重要分支，國內(nèi)外眾多學(xué)者對其識別方法進(jìn)行了廣泛而深入的研究，概括起來可分為基于模板匹配、基于機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)的識別方法三類。在基于模板匹配的識別方法研究方面，已有大量文獻(xiàn)探討了如何利用手寫數(shù)字本身的特征進(jìn)行識別，典型的研究有董延華等[3]基于模式識別技術(shù)提出了改進(jìn)特征匹配算法對手寫數(shù)字進(jìn)行識別;陸靖濱等[4]提出了改進(jìn)最大類間方差法對儀表外顯圖像進(jìn)行自適應(yīng)提取，并通過穿線法對數(shù)字進(jìn)行識別;凌翔等[5]提出了基于改進(jìn)的頂帽重構(gòu)和模板匹配的車牌識別算法對自然場景下的車牌進(jìn)行自動采集與識別; Saha等[6]提出了一種基于計(jì)算幾何特征的方法對小樣本手寫數(shù)字圖像進(jìn)行識別;Jiao等[7]提出了一種基于主方向差異特征的快速模板匹配算法，對視頻圖像進(jìn)行自適應(yīng)獲取并識別。此類研究方法雖具有簡單、高效及可對手寫數(shù)字進(jìn)行較好的識別與分類等優(yōu)點(diǎn)，但由于是對數(shù)字圖像本身特征的提取與歸納，因此對圖像質(zhì)量要求較高，方法易受圖像自身亮度、背景、角度等因素的影響，識別精度較低。在基于機(jī)器學(xué)習(xí)的識別方法研究方面，針對模板匹配方法中存在的識別精度低、易受圖像采集質(zhì)量影響等問題，郭偉林等[8]在圓形鄰域局部二進(jìn)制模式基礎(chǔ)上，提取各圖像分割子區(qū)域二進(jìn)制模式直方圖，并訓(xùn)練支持向量機(jī)（Support Vector Machine， SVM）分類模型對手寫數(shù)字進(jìn)行識別;甘勝江等[9]基于K近鄰和隨機(jī)森林算法提出了一種融合機(jī)器學(xué)習(xí)方法，該方法在手寫數(shù)字目標(biāo)分類中的準(zhǔn)確率高于K近鄰、Adaboost、SVM和隨機(jī)森林算法模型;潘虎等[10]運(yùn)用一種快速弱分類器訓(xùn)練算法和高速緩存策略來加速Adaboost算法訓(xùn)練對紙幣號碼進(jìn)行識別;Khan等[11]提出一種基于熵的SVM特征選擇方法，通過多特征的提取與融合對車輛牌照進(jìn)行識別;Kulkarni等[12]提出了一種基于尖峰觸發(fā)歸一化近似下降算法對手寫數(shù)字進(jìn)行識別，并就MNIST數(shù)據(jù)集進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果證明算法精度較高。此類方法比傳統(tǒng)的模板匹配方法準(zhǔn)確率更高、性能更佳，但需要人工提取圖像特征，導(dǎo)致特征提取的優(yōu)劣將對最終的識別結(jié)果產(chǎn)生較大影響，并且，不同數(shù)據(jù)集的識別效果可能存在較大差異?；谏疃葘W(xué)習(xí)的識別方法，比基于模板匹配和機(jī)器學(xué)習(xí)的手寫數(shù)字識別方法，它不僅不受圖像質(zhì)量的影響且無需人工提取圖像特征，而且圖像識別精度更高，性能更優(yōu)，如Yun等[13]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）特征提取和極限學(xué)習(xí)機(jī)（Extreme Learning Machine， ELM）目標(biāo)分類提出了一種車牌識別算法;Qiao等[14]提出了一種自適應(yīng)深度Q學(xué)習(xí)策略，進(jìn)一步提高手寫數(shù)字識別精度和縮短運(yùn)行時間;Trivedi等[15]基于遺傳算法與L-BFGS（Large Broy-den-Fletcher-Goldforb-Shanno）方法提出了一種混合深度學(xué)習(xí)模型對梵文手寫體數(shù)字進(jìn)行識別;茹曉青等[16]在卷積神經(jīng)網(wǎng)絡(luò)中引入形變卷積模塊，提出了一種改進(jìn)的形變卷積神經(jīng)網(wǎng)絡(luò)對手寫體數(shù)字進(jìn)行識別;馬義超等[17]針對CNN卷積核隨機(jī)初始化情況下收斂速度慢和識別率低等問題，提出一種主成分分析（Principal Component Analysis，PCA）初始化卷積核的CNN識別算法對手寫數(shù)字進(jìn)行識別。在實(shí)際的應(yīng)用場景中，此類方法特別是卷積神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用于手寫數(shù)字識別，將預(yù)處理后圖像數(shù)據(jù)送入卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，模型最終的結(jié)果為softmax函數(shù)輸出的包含10個元素的向量，通過與原始標(biāo)簽進(jìn)行比較，便可得最終的預(yù)測結(jié)果。然而，針對手寫數(shù)字識別卷積網(wǎng)絡(luò)的一系列改進(jìn)，如增加網(wǎng)絡(luò)深度、增強(qiáng)卷積模塊功能及增加新模塊功能等，使得網(wǎng)絡(luò)模型越來越臃腫，在精度提升的同時，訓(xùn)練成本也越來越高。

綜上所述，經(jīng)多年研究，無需人工特征提取、精度較高且性能更優(yōu)的基于深度學(xué)習(xí)特別是卷積神經(jīng)網(wǎng)絡(luò)模型的手寫數(shù)字識別逐漸成為各學(xué)者研究的主要方向。然而，隨著物聯(lián)網(wǎng)技術(shù)（Internet of Things， IoT）的進(jìn)一步發(fā)展，人工智能（Artificial Intelligence， AI）與IoT的融合越發(fā)緊密，AI模型逐漸偏向IoT終端側(cè)部署，傳統(tǒng)的依賴于遠(yuǎn)端高性能服務(wù)器或云實(shí)現(xiàn)的基于CNN的手寫數(shù)字識別網(wǎng)絡(luò)模型訓(xùn)練成本較高且小樣本泛化能力較差，不適應(yīng)IoT終端算力低、數(shù)據(jù)量小等特點(diǎn)。因此，本文在邊緣智能背景下，提出了一種基于LeNet-DL改進(jìn)網(wǎng)絡(luò)的手寫數(shù)字識別模型，并分別于大樣本標(biāo)準(zhǔn)數(shù)據(jù)集MNIST和小樣本真實(shí)數(shù)據(jù)集REAL上與常用LeNet、LeNet+sigmoid、AlexNet等手寫數(shù)字識別算法進(jìn)行對比實(shí)驗(yàn)，以此來驗(yàn)證模型性能。

1 相關(guān)工作

1.1 邊緣智能

邊緣計(jì)算指在靠近網(wǎng)絡(luò)邊緣側(cè)，融合計(jì)算、存儲、應(yīng)用核心能力等的分布式開放平臺，就近提供智能服務(wù)，能有效滿足行業(yè)數(shù)字化相關(guān)需求[18]，邊緣智能（Edge Intelligence， EI）則為AI、IoT與邊緣計(jì)算深度融合的產(chǎn)物[19]。隨著傳統(tǒng)的依賴于云的AI模型因云端個人數(shù)據(jù)泄露、能耗較高以及模型延時性較高等問題為人所詬病，邊緣智能作為一種滿足某些實(shí)時物聯(lián)終端需求的技術(shù)越來越為人們所重視。

在商業(yè)領(lǐng)域，EI的相關(guān)研究特別是AI智能芯片的研究異?；馃?。如國內(nèi)通信領(lǐng)域霸主華為相繼發(fā)布搭載專門神經(jīng)網(wǎng)絡(luò)的AI核心處理器麒麟970等產(chǎn)品，電商巨頭阿里發(fā)布AI芯片Ali-NPU，中科院計(jì)算所推出寒武紀(jì)芯片等，國外智能手機(jī)領(lǐng)跑者Apple發(fā)布A11仿生處理器，NVIDIA發(fā)布專用于AI的GPU，谷歌推出TPU，IBM推出“真北”等。而學(xué)術(shù)領(lǐng)域?qū)I的研究卻不溫不火。以題名、關(guān)鍵字或摘要（邊緣計(jì)算、邊緣智能）在CNKI和Elsevier不完全統(tǒng)計(jì)2009年到2019年相關(guān)文獻(xiàn)，邊緣計(jì)算共208008篇，邊緣智能共17447篇，其中中文期刊文章分別占比0.2%和0.1%，理論研究較為欠缺，因此，對邊緣智能的相關(guān)理論研究具有較高價(jià)值。該領(lǐng)域典型研究多集中于計(jì)算網(wǎng)絡(luò)服務(wù)性能提升方面，主要包括：施巍松等[18]在對EI研究現(xiàn)狀充分分析的基礎(chǔ)之上，總結(jié)了推動EI發(fā)展的7項(xiàng)關(guān)鍵技術(shù)和6類需迫切解決的問題，為EI研究指明了方向;袁培燕等[20]為降低骨干網(wǎng)絡(luò)流量壓力并提升終端用戶體驗(yàn)，基于移動邊緣計(jì)算的內(nèi)容卸載技術(shù)提出了一種貪心策略內(nèi)容卸載方案;Xu等[21]為改善網(wǎng)絡(luò)擁堵，將移動邊緣計(jì)算網(wǎng)絡(luò)服務(wù)器與區(qū)塊鏈智能合約相結(jié)合，提出了一種無信任混合人機(jī)群智能平臺; Tan等[22]為實(shí)現(xiàn)車載網(wǎng)絡(luò)的低成本高效率目標(biāo)，提出了一種聯(lián)合通信、緩存與邊緣計(jì)算的策略;Huang等[23]提出了一種用于構(gòu)建智能物聯(lián)網(wǎng)應(yīng)用的邊緣智能框架。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

CNN是一大類特殊的反饋神經(jīng)網(wǎng)絡(luò)，主要由卷積層和池化層交替連接，并最終由全連接層實(shí)現(xiàn)圖像分類。CNN對圖像特征的提取及分類均是基于卷積層與池化層進(jìn)行的，因此對卷積層、池化層及層級的優(yōu)化調(diào)整能有效提高特征提取性能并優(yōu)化分類結(jié)果，典型的研究如：LeCun等[24]提出的用于手寫數(shù)字識別的卷積神經(jīng)網(wǎng)絡(luò)LeNet，該網(wǎng)絡(luò)共包含8層，主要由輸入層、卷積層、池化層、全連接層、輸出層組成，是目前為止最為經(jīng)典的手寫數(shù)字識別網(wǎng)絡(luò)算法;Krizhevsky等[25]基于LeNet網(wǎng)絡(luò)，進(jìn)一步提升網(wǎng)絡(luò)深度并引入激活函數(shù)、Dropout函數(shù)等新功能模塊提出了一種新的深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet對圖像進(jìn)行識別;以及在此基礎(chǔ)之上發(fā)展起來的VGG網(wǎng)絡(luò)、NIS網(wǎng)絡(luò)、ResNet網(wǎng)絡(luò)和GoogleNet網(wǎng)絡(luò)等。卷積神經(jīng)網(wǎng)絡(luò)的普遍結(jié)構(gòu)如圖1所示，圖中共包括2層卷積C1和C3，2層池化S2和S4，2層全連接F5和F6，當(dāng)目標(biāo)圖像以二維數(shù)組形式輸入網(wǎng)絡(luò)，通過網(wǎng)絡(luò)層層處理，最終輸出圖像分類結(jié)果，分類的個數(shù)通常由實(shí)際的任務(wù)所決定。

1.3 遺傳算法

遺傳算法（Genetic Algorithm， GA）是一種仿生式的啟發(fā)算法，可有效搜索問題的龐大解空間，主要步驟包括：1）隨機(jī)生成初始種群即搜索空間，計(jì)算種群適應(yīng)性，從最適合環(huán)境的原始種群生成候選解。2）對該候選種群進(jìn)行交叉，經(jīng)突變后，再從該群體中選擇較低分類成本的候選者。3）將較低分類成本候選者傳遞給交叉和突變。因此，在特定數(shù)量的交叉，突變和選擇解決方案之后，GA終止并返回最佳結(jié)果。該過程類似于物種自然選擇過程，且整體搜索策略優(yōu)化搜索方法對輔助信息的依賴較小，為求解復(fù)雜系統(tǒng)問題提供了一種高魯棒性的通用框架，因此被廣泛應(yīng)用于求解問題的近似最優(yōu)解。

2 改進(jìn)的手寫數(shù)字識別網(wǎng)絡(luò)模型

本文借鑒經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合IoT邊緣設(shè)備算力低和數(shù)據(jù)量小等特點(diǎn)，分別就激活函數(shù)、模型參數(shù)優(yōu)化、網(wǎng)絡(luò)泛化能力優(yōu)化、全連接層隨機(jī)權(quán)重優(yōu)化和學(xué)習(xí)速率優(yōu)化5個方面對經(jīng)典手寫數(shù)字CNN識別模型進(jìn)行改進(jìn)，提出了一種用于手寫數(shù)字識別的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)（LeNet-DL），該網(wǎng)絡(luò)共7層，依次為輸入層、卷積層1、池化層1、卷積層2、池化層2、全連接層和輸出層。

2.1 激活函數(shù)改進(jìn)

設(shè)淺層輸出為v，深層輸入為h，權(quán)重矩陣為w，偏置項(xiàng)為b，兩層之間能量函數(shù)為E（v，h），則可得v與h的聯(lián)合概率分布P（v，h）及條件分布P（h|v）：

P（v，h）=e-E（v，h）∑v，he-E（v，h）（1）

P（h|v）=1P（v）e-E（v，h）∑v，he-E（v，h）（2）

由于同一層神經(jīng)元之間相互獨(dú)立，由極大似然梯度估計(jì)可得在給定v的條件下深層的完全條件概率P（hj|v）：

P（hj|v）=11+e-（bj+wvj）（3）

由式（3）結(jié)果可見，淺層與深層之間存在某種變換關(guān)系即激活函數(shù)f（wv+b）。同時，由于CNN是一種反饋神經(jīng)網(wǎng)絡(luò)，在誤差ε反向傳播更新權(quán)重wij的過程中需要對f（wv+b）求導(dǎo)，因此還需滿足計(jì)算簡單、非線性、可微性、單調(diào)性、有限的輸出值范圍、非飽和以及部分接近恒等變換等性質(zhì)。常用激活函數(shù)對比如圖2所示，ReLU作為較常用的激活函數(shù)，相比于sigmoid和Tanh在x>0區(qū)間內(nèi)不存在“梯度消失”問題，且ReLU為非0中心的線性分段函數(shù)，運(yùn)行效率遠(yuǎn)高于sigmoid及Tanh等非0中心的冪指數(shù)系激活函數(shù)。ReLU具體公式如下：

f（x）=x， x>0

0，x≤0 （4）

但ReLU算法存在一個比較致命的問題，即當(dāng)神經(jīng)元輸入值為負(fù)時，激活函數(shù)的輸出值為0，神經(jīng)元無法激活，或當(dāng)學(xué)習(xí)速率η過大時，由權(quán)重迭代公式（5）可知wij同樣可能取負(fù)值，激活函數(shù)輸出值為0，導(dǎo)致神經(jīng)元無法激活。

wij=wij-ηCwij（5）

式中：wij為淺層第i個神經(jīng)元與深層第j個神經(jīng)元之間的連接權(quán)重;C為網(wǎng)絡(luò)激活函數(shù)。若發(fā)生大量神經(jīng)元死亡，網(wǎng)絡(luò)最終將無法收斂，如圖3所示。圖3情況下，參數(shù)設(shè)置為：網(wǎng)絡(luò)LeNet，函數(shù)ReLU，lr=0.01，batch_size=200，T=1000。Leaky_ReLU為ReLU基礎(chǔ)之上演化而來的0中心線性分段激活函數(shù)，它通過線性函數(shù)αx替換原x<0時的負(fù)值表示，具備了原ReLU全部優(yōu)點(diǎn)，同時解決了x<0區(qū)間上神經(jīng)元死亡問題，緩解了ReLU非0中心的問題，因此，本文將Leaky_ReLU作為改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)激活函數(shù)，Leaky_ReLU具體公式如下：

f（x）=x， x>0

αx，x≤0; α∈（0，1）（6）

式（6）中α為負(fù)半軸線性函數(shù)系數(shù)，通常為大于0小于1的較小浮點(diǎn)數(shù)，由先驗(yàn)經(jīng)驗(yàn)進(jìn)行判定。

2.2 模型參數(shù)優(yōu)化

卷積神經(jīng)網(wǎng)絡(luò)中的參數(shù)調(diào)整是模型優(yōu)化中的一個重要方面。因此，本文在LeNet-DL網(wǎng)絡(luò)中進(jìn)行如下參數(shù)調(diào)整：1）增大卷積層（c1、c2和c3）通道數(shù)。卷積層通道數(shù)即卷積層卷積核數(shù)量，理論上來說，卷積核個數(shù)越多，網(wǎng)絡(luò)的特征提取能力越強(qiáng)，所能提取的圖像特征就越多，網(wǎng)絡(luò)的性能則更優(yōu);2）將最大池化修改為混合池化。池化即將卷積所得特征矩陣劃分為若干子矩陣，從每個子矩陣中選取某個值表征其特征，起到壓縮特征矩陣、簡化計(jì)算的作用，主要包括均值池化（mean-pooling）和最大池化（max-pooling）兩種。由于卷積層通道數(shù)的增大會進(jìn)一步提升卷積參數(shù)誤差所造成的估計(jì)均值偏移程度，故將池化層1（p1）的池化方式調(diào)整為max-pooling，盡可能減小估計(jì)均值偏移程度;同時，為更好保留各特征矩陣的背景信息，縮小鄰域大小受限造成的估計(jì)值方差，池化層2（p2）則采用mean-pooling，即將子矩陣內(nèi)像素點(diǎn)均值作為該子矩陣的表征。具體參數(shù)如表1所示。

2.3 網(wǎng)絡(luò)泛化能力優(yōu)化

考慮到物聯(lián)網(wǎng)終端側(cè)數(shù)據(jù)量較小，訓(xùn)練數(shù)據(jù)無法反映數(shù)據(jù)整體特征，模型無法充分理解總體特征，極易出現(xiàn)“訓(xùn)練集優(yōu)，測試集差”的過擬合現(xiàn)象，致使模型泛化能力較差，且傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的全連接層通常位于網(wǎng)絡(luò)后端，與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)連接方式基本一致，并未考慮網(wǎng)絡(luò)對過擬合數(shù)據(jù)的泛化能力，本文借鑒AlexNet網(wǎng)絡(luò)過擬合處理思路，在LeNet-DL網(wǎng)絡(luò)全連接層引入dropout函數(shù)，進(jìn)一步提升網(wǎng)絡(luò)泛化能力。

dropout的主要流程如下：

1）訓(xùn)練階段：網(wǎng)絡(luò)前向傳播過程中，為降低節(jié)點(diǎn)間相互作用，借鑒模型集成思想，以概率p激活某些神經(jīng)元、概率（1-p）終止某些神經(jīng)元，通過集成n次模型訓(xùn)練所得不同模型結(jié)果，提升模型泛化能力;

2）測試階段：由于訓(xùn)練階段某神經(jīng)元在dropout前的輸出為x，dropout后期望輸出為E=px+（1-p）×0=px，且測試中各神經(jīng)元均處于激活狀態(tài)，因此為使期望不變，測試階段權(quán)重w′=pw。

另外，為進(jìn)一步提升測試性能，降低模型測試時間，LeNet-DL將權(quán)值縮放轉(zhuǎn)移至訓(xùn)練階段，即以概率p保留下來的神經(jīng)元對應(yīng)權(quán)重w調(diào)整為w′=w/p，測試階段不進(jìn)行任何處理。dropout計(jì)算過程對比示意圖如圖4所示。

2.4 全連接層隨機(jī)權(quán)重優(yōu)化

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型大多采用隨機(jī)梯度下降算法對模型進(jìn)行訓(xùn)練，為加快網(wǎng)絡(luò)收斂，則需激活函數(shù)導(dǎo)數(shù)值盡可能地大，而某個神經(jīng)元j的輸入是由上層一系列神經(jīng)元i的輸出加權(quán)求和并經(jīng)激活函數(shù)f變換后所得，即可表示為xj=f（∑ixi wij+b），因此，只需將∑ixi wij+b控制在某一初始值范圍內(nèi)，更進(jìn)一步，即將權(quán)重wij的初始值控制在某一范圍內(nèi)，使得激活函數(shù)導(dǎo)數(shù)值落入取值較大的范圍內(nèi)即可。

實(shí)際應(yīng)用中，卷積神經(jīng)網(wǎng)絡(luò)模型權(quán)重的初始化方式主要有三種：標(biāo)準(zhǔn)正態(tài)分布初始化、方差遞減正態(tài)分布初始化和截?cái)嗾龖B(tài)分布初始化，均通過生成一系列服從正態(tài)分布的隨機(jī)數(shù)作為網(wǎng)絡(luò)初始權(quán)重，操作簡單，但會降低梯度下降算法效率，影響網(wǎng)絡(luò)收斂。以標(biāo)準(zhǔn)正態(tài)分布隨機(jī)數(shù)為例，假設(shè)存在有n個輸入神經(jīng)元的CNN，且連接下一層的權(quán)重wij已初始化為標(biāo)準(zhǔn)正態(tài)分布隨機(jī)數(shù)，為簡化計(jì)算，設(shè)定輸入層輸出為x，則一定概率存在n/2的權(quán)重為0剩余神經(jīng)元權(quán)重為1的情況，此時，下層第j個神經(jīng)元的輸入值為zj=f（∑ni=1wijxi+b），因?yàn)楦鳘?dú)立隨機(jī)變量和的方差等價(jià)于各獨(dú)立隨機(jī)變量方差的和，因此（∑ni=1wijxi+b）～N（0，n2），n越大，（∑ni=1wij xi+b）服從的正態(tài)分布方差越大，|∑ni=1wij xi+b|值的變動幅度越小，激活函數(shù)導(dǎo)數(shù)值變動較小，最終導(dǎo)致權(quán)值的更新速度較慢，模型收斂速率低。而無論是隨著網(wǎng)絡(luò)模型深度的增加權(quán)值初始化的正態(tài)分布標(biāo)準(zhǔn)差逐漸縮小的方差遞減正態(tài)分布初始化還是所產(chǎn)生隨機(jī)數(shù)滿足條件（xij-μ）<2σ的截?cái)嗾龖B(tài)分布初始化，均不同程度地存在上述問題。

本文鑒于遺傳算法具有高效搜索局部或全局最優(yōu)解的特點(diǎn)，將種群個數(shù)為10，染色體長度等于softmax分類器中權(quán)重?cái)?shù)的遺傳算法生成值作為全連接層的初始化權(quán)重。全連接層計(jì)算方式如圖5所示

2.5 學(xué)習(xí)速率優(yōu)化

諸如LeNet、AlexNet等傳統(tǒng)網(wǎng)絡(luò)模型學(xué)習(xí)速率（learning rate， lr）的設(shè)定主要有兩種方式：依靠先驗(yàn)經(jīng)驗(yàn)設(shè)定和逐一測試挑選最優(yōu)lr。此種方式對于深度網(wǎng)絡(luò)來說是災(zāi)難性的，模型訓(xùn)練成本極高，會耗費(fèi)大量計(jì)算資源和時間。此外，lr過大，理論上可認(rèn)為算法模型更易接近局部最優(yōu)或全局最優(yōu)，但實(shí)際情況下模型損失后期存在較大波動，始終難以達(dá)到最優(yōu);lr過小，雖可有效緩解模型訓(xùn)練后期損失波動較大問題，但會延長模型收斂時間，降低模型性能。

鑒于現(xiàn)有CNN學(xué)習(xí)速率設(shè)定存在上述問題，改進(jìn)的LeNet-DL算法采用非線性自迭代方式對lr進(jìn)行自適應(yīng)調(diào)整。非線性自迭代的基本思想為模型訓(xùn)練初期使用較大lr尋優(yōu)，隨著迭代次數(shù)的增加，lr逐漸縮小，確保后期訓(xùn)練損失不會出現(xiàn)較大波動。具體公式如下：

lr_ri=TL×br_r+e-i1+e-i， 10000≤L

LT×br_r+e-i1+e-i， 0

其中：lr_ri為模型迭代第i次的學(xué)習(xí)速率;br_r為初始迭代速率;T為模型總迭代次數(shù);L為總樣本量。從圖6中可見，在L為60000的條件下，迭代次數(shù)越小，模型學(xué)習(xí)速率曲線趨近x軸的速率越快;在迭代次數(shù)不變的條件下，樣本量減小，模型學(xué)習(xí)速率曲線趨近x軸的速率越快。

3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

本部分模型訓(xùn)練單機(jī)硬件配置為Intel Core i7-8550U @1.80GHz 2.00GHz核心處理器，8.00GB RAM，218GB固態(tài)硬盤，Intel UHD Graphics 620和Radeon RX 550雙顯卡，軟件平臺為PyCharm集成開發(fā)環(huán)境，TensorFlow深度學(xué)習(xí)框架、opencv圖像處理、Numpy科學(xué)計(jì)算、time時間操作、matplotlib2D繪圖和sklearn機(jī)器學(xué)習(xí)等庫，操作系統(tǒng)為Windows 10 家庭中文版。

3.1 手寫圖像數(shù)據(jù)預(yù)處理

本節(jié)選取數(shù)據(jù)集共兩部分：MNIST標(biāo)準(zhǔn)手寫體數(shù)字?jǐn)?shù)據(jù)集和西安理工大學(xué)30名在校學(xué)生真實(shí)手寫數(shù)字?jǐn)?shù)據(jù)集。

第一部分?jǐn)?shù)據(jù)集為美國國家標(biāo)準(zhǔn)與技術(shù)研究所（National Institute of Standards and Technology， NIST）構(gòu)建，共70000幅手寫體數(shù)字圖像，由250人手寫，其中1/2為高中生，1/2為人口普查局工作人員，圖片按照字節(jié)形式存儲，所有圖像數(shù)據(jù)均經(jīng)過相關(guān)預(yù)處理，部分手寫體圖片如圖7所示。

第二部分?jǐn)?shù)據(jù)集為本實(shí)驗(yàn)人工搜集數(shù)據(jù)集，共300幅手寫數(shù)字圖片，年齡范圍為18～28歲，其中年級分布上1/2為本科生，1/2為研究生;性別分布上1/2為男性，1/2為女性。文章為進(jìn)一步減少圖像噪聲、類間和類內(nèi)變換，強(qiáng)化模型提取圖像特征的能力以及提高模型分類精度，對圖像進(jìn)行相關(guān)預(yù)處理，具體的預(yù)處理過程如下：

1）BGR圖像轉(zhuǎn)換為Greyscale灰度圖，采用單通道表征圖像特征;

2）手寫圖像為智能手機(jī)終端采集的白底黑字圖像，為降低因拍攝角度、亮度和噪聲等環(huán)境差異對圖像識別造成的干擾，文章將各像素點(diǎn)大于115的像素值替換為255;

3）各像素點(diǎn)像素值翻倍后減35，進(jìn)一步提高手寫數(shù)字與背景對比度;

4）圖像重構(gòu)為LeNet-DL網(wǎng)絡(luò)輸入層圖像大小28×28。圖像預(yù)處理過程及最終處理結(jié)果如圖8所示。

3.2 模型檢驗(yàn)

3.2.1 MNIST數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文提出的LeNet-DL網(wǎng)絡(luò)在大數(shù)據(jù)集中的分類性能，在MNIST數(shù)據(jù)集上構(gòu)建LeNet、S_LeNet、AlexNet以及LeNet-DL手寫體數(shù)字識別模型進(jìn)行對比實(shí)驗(yàn)，并設(shè)定輸入圖像大小為28×28，灰度圖，初始迭代速率br_r=0.001，訓(xùn)練批量batch_size=200，總迭代次數(shù)T=60000，dropout概率p=0.5，采用交叉熵定義損失函數(shù)，梯度下降算法訓(xùn)練樣本數(shù)據(jù)，同時，為提高實(shí)驗(yàn)結(jié)果的普適性，分別在相同實(shí)驗(yàn)條件下進(jìn)行重復(fù)實(shí)驗(yàn)，所得數(shù)據(jù)均為各實(shí)驗(yàn)結(jié)果平均值。實(shí)驗(yàn)結(jié)果對比如表2所示。

從表2中數(shù)據(jù)可知，LeNet-DL具有較好的模型泛化能力，在多分類大數(shù)據(jù)集MNIST中性能更優(yōu)，訓(xùn)練集精度與測試集精度、召回率和F1-score均優(yōu)于傳統(tǒng)網(wǎng)絡(luò)模型，分類準(zhǔn)確率達(dá)99.34%，性能提升約0.83%;同時，LeNet-DL網(wǎng)絡(luò)模型的訓(xùn)練成本要遠(yuǎn)低于AlexNet及基于AlexNet網(wǎng)絡(luò)演化而來的深層卷積神經(jīng)網(wǎng)絡(luò)（GoogleNet、VGG16和ResNet等），單次訓(xùn)練耗時為0.347s，性能提升約79.72%。在收斂速度方面，LeNet網(wǎng)絡(luò)由于深度較淺且卷積層與池化層間無非線性變換，導(dǎo)致模型收斂速度極慢;S_LeNet網(wǎng)絡(luò)由于在LeNet基礎(chǔ)之上增添了非線性變換激活函數(shù)sigmoid，網(wǎng)絡(luò)模型得以收斂，但整體效果不佳，收斂速度較慢;AlexNet網(wǎng)絡(luò)深度較深，有6000萬個參數(shù)和650000個神經(jīng)元，模型訓(xùn)練往往需要百萬級甚至更大量級的圖像數(shù)據(jù)，模型訓(xùn)練成本高，收斂速度慢，因此在60000張MNIST手寫數(shù)字圖像下以batch_size=200訓(xùn)練60000次模型并未收斂。

圖9為選取LeNet-DL模型60000次迭代的訓(xùn)練集精確度和損失值的對比，從圖中可見，模型訓(xùn)練前期損失值loss下降較快，同時精確度也快速上升，迭代至27600次左右時loss和accuracy已基本趨于穩(wěn)定，中間過程雖稍有波動，但總體呈穩(wěn)定趨勢，最終模型精度可達(dá)99.6%。圖10所示為LeNet-DL模型預(yù)測集單數(shù)字預(yù)測精度，從具體結(jié)果數(shù)據(jù)對比可見，模型對0～9手寫數(shù)字的預(yù)測精度均高于傳統(tǒng)卷積網(wǎng)絡(luò)算法，整體識別率較高，LeNet-DL網(wǎng)絡(luò)具有較好的魯棒性。綜上分析，LeNet-DL網(wǎng)絡(luò)的性能更優(yōu)，收斂速度更快。

3.2.2 REAL真實(shí)數(shù)據(jù)集實(shí)驗(yàn)結(jié)果分析

網(wǎng)絡(luò)模型的泛化能力越強(qiáng)，表明模型的普適性越強(qiáng)，對未知數(shù)據(jù)集的處理能力就越強(qiáng);否則，網(wǎng)絡(luò)模型的泛化能力越差。本文為進(jìn)一步驗(yàn)證LeNet-DL網(wǎng)絡(luò)在物聯(lián)網(wǎng)終端設(shè)備小樣本條件下的泛化能力，基于真實(shí)手寫數(shù)據(jù)集構(gòu)建模型對比實(shí)驗(yàn)。數(shù)據(jù)集共包括300張手寫數(shù)字，訓(xùn)練集與測試集劃分比例為7∶3，圖像大小為28×28，灰度圖，br_r=0.001， batch_size=210，總迭代次數(shù)T=10000，dropout概率p=0.71，采用交叉熵定義損失函數(shù)，梯度下降算法訓(xùn)練樣本數(shù)據(jù)，所得實(shí)驗(yàn)數(shù)據(jù)均為多次重復(fù)實(shí)驗(yàn)結(jié)果的平均值。具體實(shí)驗(yàn)結(jié)果如表3所示。

從表3實(shí)驗(yàn)數(shù)據(jù)中可見，LeNet和S_LeNet網(wǎng)絡(luò)模型的收斂速度較快，模型訓(xùn)練精確度可達(dá)100%，但測試集中的精確度卻僅有70%左右，遠(yuǎn)低于訓(xùn)練集中的精確度，模型出現(xiàn)嚴(yán)重過擬合現(xiàn)象，不足以應(yīng)對小樣本條件下的精確分類;以AlexNet為代表的一系列深度卷積神經(jīng)網(wǎng)絡(luò)，雖針對可能出現(xiàn)的過擬合問題進(jìn)行了相關(guān)改進(jìn)，但網(wǎng)絡(luò)深度較大且數(shù)據(jù)集較小，模型無法有效收斂;從圖11和圖12可知，本文提出的LeNet-DL相比于傳統(tǒng)網(wǎng)絡(luò)模型泛化能力較強(qiáng)，性能較優(yōu)，收斂速度較快，但同樣出現(xiàn)了較小程度的過擬合現(xiàn)象，文章分析主要有以下三點(diǎn)原因：

1）訓(xùn)練數(shù)據(jù)過少：由于數(shù)據(jù)量與數(shù)據(jù)噪聲量呈反比，少量數(shù)據(jù)便可導(dǎo)致較大的噪聲。

2）測試集與訓(xùn)練集分布差異較大：本實(shí)驗(yàn)所收集數(shù)據(jù)雖然在年級、性別和年齡等方面較為均衡，但在訓(xùn)練集和測試集劃分過程中采用的是機(jī)器學(xué)習(xí)庫sklearn中cross_validation模塊train_test_split函數(shù)隨機(jī)劃分的，很難保證訓(xùn)練集中年級、性別和年齡等方面與測試集中保持一致，影響模型對數(shù)據(jù)分布的有效分析。

3）采集數(shù)據(jù)集存在“霍桑效應(yīng)”：霍桑效應(yīng)是指當(dāng)被試者察覺到自己正在被他人關(guān)注或者察覺時，會刻意改變某些行為或言語表達(dá)的傾向。本實(shí)驗(yàn)手寫圖像均由實(shí)驗(yàn)人員人工采集，在采集過程中明確告知被采集者采集數(shù)據(jù)供科研使用，并多次強(qiáng)調(diào)被采集者應(yīng)按自己平時的書寫習(xí)慣進(jìn)行書寫，但該種方式仍然與自然狀態(tài)下被采集者的書寫習(xí)慣有所區(qū)別，實(shí)驗(yàn)所用的數(shù)據(jù)存在一定誤差。

4 結(jié)語

數(shù)字圖像識別在實(shí)際場景中有著十分廣泛的應(yīng)用，而隨著IoT與AI的進(jìn)一步融合，現(xiàn)有的數(shù)字圖像識別已不滿足邊緣部署、算力下降和數(shù)據(jù)量小的要求，因此，研究下一代既高效又精確的識別網(wǎng)絡(luò)模型對促進(jìn)邊緣智能部署和數(shù)字識別應(yīng)用具有十分重要的意義。

本文針對邊緣智能背景下現(xiàn)有數(shù)字識別網(wǎng)絡(luò)模型存在的泛化能力較差和訓(xùn)練成本較高等問題，提出了一種改進(jìn)的數(shù)字識別卷積網(wǎng)絡(luò)模型LeNet-DL。該網(wǎng)絡(luò)模型共7層，使用Leaky_ReLU激活函數(shù)替換原sigmoid或ReLU激活函數(shù)，在一定程度上解決了因原有激活函數(shù)所引起的“梯度消失”和“神經(jīng)元死亡”問題，并進(jìn)一步提升卷積核卷積能力，采用混合池化方式對卷積層輸出Feature Map進(jìn)行下采樣，繼而通過遺傳算法優(yōu)化卷積網(wǎng)絡(luò)全連接層權(quán)重并引入dropout函數(shù)，提高了模型的泛化能力，并提出一種依據(jù)總迭代次數(shù)、當(dāng)前迭代次數(shù)與訓(xùn)練樣本總量的非線性自適應(yīng)模型學(xué)習(xí)速率迭代算法，有效縮減了模型速率的人工調(diào)試過程，降低了模型訓(xùn)練成本。

基于大樣本標(biāo)準(zhǔn)數(shù)據(jù)集MNIST和小樣本真實(shí)數(shù)據(jù)集REAL，將LeNet、sigmoid+LeNet、AlexNet和本文算法LeNet-DL進(jìn)行對比實(shí)驗(yàn)，分別就模型的單次訓(xùn)練耗時、訓(xùn)練集精度、測試集精度、測試集召回率、測試集F1-score、模型收斂迭代次數(shù)和精度損失對比進(jìn)行比較分析。本文所提的LeNet-DL網(wǎng)絡(luò)模型在兼顧模型識別精度、泛化能力和訓(xùn)練成本的基礎(chǔ)之上，大樣本識別精度可達(dá)99.34%，性能提升約0.83%;小樣本識別精度可達(dá)78.89%，性能提升8.34%。實(shí)驗(yàn)結(jié)果表明，本文所提的手寫數(shù)字識別卷積網(wǎng)絡(luò)模型是有效的，其預(yù)測精度、模型泛化能力及網(wǎng)絡(luò)訓(xùn)練成本較傳統(tǒng)模型更優(yōu)。但由于邊緣智能本身較為復(fù)雜，本文對手寫數(shù)字識別模型邊緣部署研究仍處于探索嘗試階段，有待于進(jìn)一步提高網(wǎng)絡(luò)模型的精度和泛化能力，降低模型訓(xùn)練成本。

參考文獻(xiàn) （References）

[1]卜令正，王洪棟，朱美強(qiáng)，等.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的多源數(shù)字識別算法[J].計(jì)算機(jī)應(yīng)用，2018，38（12）：3403-3408.（BU L Z， WANG H D， ZHU M Q， et al. Multi-source digital recognition algorithm based on improved convolutional neural network [J]. Journal of Computer Applications， 2018， 38（12）： 3403-3408.）

[2]AKHAND M A H， AHMED M， RAHMAN M M H， et al. Convolutional neural network training incorporating rotation-based generated patterns and handwritten numeral recognition of major Indian scripts [J]. IETE Journal of Research， 2018， 64（2）： 176-194.

[3]董延華，陳中華，宋和燁，等.改進(jìn)特征匹配算法在銀行卡號識別中的應(yīng)用[J].吉林大學(xué)學(xué)報(bào)（理學(xué)版），2018，56（1）：126-129.（DONG Y H， CHEN Z H， SONG H Y， et al. Application of improved feature matching algorithm in bank card number identification [J]. Journal of Jilin University （Science Edition）， 2018， 56（1）： 126-129.）

[4]陸靖濱，許麗.基于自適應(yīng)特征提取的數(shù)顯儀表識別系統(tǒng)[J].現(xiàn)代電子技術(shù)，2017，40（24）：147-150.（LU J B， XU L. Digital-display instrument recognition system based on adaptive feature extraction [J]. Modern Electronic Technique， 2017， 40（24）： 147-150.）

[5]凌翔，賴錕，王昔鵬.基于模板匹配方法的不均勻照度車牌圖像識別[J].重慶交通大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，37（8）：102-106.（LING X， LAI K， WANG X P. Uneven illumination license plate image recognition base on template matching method [J]. Journal of Chongqing Jiaotong University （Natural Science）， 2018， 37（8）： 102-106.）

[6]SAHA S， SAHA S， CHATTERJEE S K， et al. A machine learning framework for recognizing handwritten digits using convexity-based feature vector encoding [C]// Proceedings of International Ethical Hacking Conference 2018， AISC 811. Singapore： Springer， 2018： 369-380.

[7]JIAO J， WANG X， DENG Z， et al. A fast template matching algorithm based on principal orientation difference [J]. International Journal of Advanced Robotic Systems， 2018， 15（3）：1-9.

[8]郭偉林，鄧洪敏，石雨鑫.基于局部二進(jìn)制和支持向量機(jī)的手寫體數(shù)字識別[J].計(jì)算機(jī)應(yīng)用，2018，38（S2）：282-285， 289.（GUO W L， DENG H M， SHI Y X. Handwritten digit recognition based on local binary and support vector machine [J]. Journal of Computer Applications， 2018， 38（S2）： 282-285， 289.）

[9]甘勝江，白艷宇，孫連海，等.融合改進(jìn)K近鄰和隨機(jī)森林的機(jī)器學(xué)習(xí)方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2017，38（8）：2251-2255，2275.（GAN S J， BAI Y Y， SUN L H， et al. Machine learning method fusing improved K-nearest neighbors and random forest [J]. Computer Engineering and Design， 2017， 38（8）： 2251-2255， 2275.）

[10]潘虎，陳斌，李全文.基于二叉樹和Adaboost算法的紙幣號碼識別[J].計(jì)算機(jī)應(yīng)用，2011，31（2）：396-398.（PAN H， CHEN B， LI Q W. Paper currency number recognition based on binary tree and Adaboost algorithm [J]. Journal of Computer Applications， 2011， 31（2）： 396-398.）

[11]KHAN M A， SHARIF M， JAVED M Y， et al. License number plate recognition system using entropy-based features selection approach with SVM [J]. IET Image Processing， 2018， 12（2）： 200-209.

[12]KULKARNI S R， RAJENDRAN B. Spiking neural networks for handwritten digit recognition — supervised learning and network optimization [J]. Neural Networks， 2018， 103： 118-127.

[13]YUN Y， LI D， DUAN Z. Chinese vehicle license plate recognition using kernel-based extreme learning machine with deep convolutional features [J]. IET Intelligent Transport Systems， 2018， 12（3）： 213-219.

[14]QIAO J， WANG G， LI W， et al. An adaptive deep Q-learning strategy for handwritten digit recognition [J]. Neural Networks， 2018，107： 61-71.

[15]TRIVEDI A， SRIVASTAVA S， MISHRA A， et al. Hybrid evolutionary approach for Devanagari handwritten numeral recognition using convolutional neural network [J]. Procedia Computer Science， 2018， 125： 525-532.

[16]茹曉青，華國光，李麗宏，等.基于形變卷積神經(jīng)網(wǎng)絡(luò)的手寫體數(shù)字識別研究[J].微電子學(xué)與計(jì)算機(jī)，2019，36（4）：47-51.（RU X Q， HUA G G， LI L H， et al. Handwritten digit recognition based on deformable convolutional neural network [J]. Microelectronics and Computer， 2019， 36（4）： 47-51.）

[17]馬義超，趙運(yùn)基，張新良.基于PCA初始化卷積核的CNN手寫數(shù)字識別算法[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（13）：134-139.（MA Y C， ZHAO Y J， ZHANG X L. CNN handwritten digit recognition algorithm based on PCA initialization convolution kernel [J]. Computer Engineering and Applications， 2019， 55（13）： 134-139.）

[18]施巍松，孫輝，曹杰，等.邊緣計(jì)算：萬物互聯(lián)時代新型計(jì)算模型[J].計(jì)算機(jī)研究與發(fā)展，2017，54（5）：907-924.（SHI W S， SUN H， CAO J， et al. Edge computing — an emerging computing model for the Internet of everything era [J]. Journal of Computer Research and Development， 2017， 54（5）： 907-924.）

[19]李肯立，劉楚波.邊緣智能：現(xiàn)狀和展望[J].大數(shù)據(jù)，2019，5（3）：69-75.（LI K L， LIU C B. Edge intelligence： state-of-the-art and expectations [J]. Big Data， 2019， 5（3）： 69-75.）

[20]袁培燕，蔡云云.移動邊緣計(jì)算中一種貪心策略的內(nèi)容卸載方案[J].計(jì)算機(jī)應(yīng)用，2019，39（9）：2664-2668.（YUAN P Y， CAI Y Y. Content offloading scheme of greedy strategy in mobile edge computing system [J]. Journal of Computer Applications， 2019， 39（9）： 2664-2668.）

[21]XU J， WANG S， BHARGAVA B K， et al. A blockchain-enabled trustless crowd-intelligence ecosystem on mobile edge computing [J]. IEEE Transactions on Industrial Informatics， 2019， 15（6）：3538-3547.

[22]TAN L T， HU R Q， HANZO L. Twin-timescale artificial intelligence aided mobility-aware edge caching and computing in vehicular networks [J]. IEEE Transactions on Vehicular Technology， 2019， 68（4）： 3086-3099.

[23]HUANG Z Q， LIN K J， TSAI B L， et al. Building edge intelligence for online activity recognition in service-oriented IoT systems [J]. Future Generation Computer Systems， 2018， 87： 557-567.

[24]LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[25]KRIZHEVSKY A， SUTSKEVER I， HINTON G. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. New York： Curran Associates Inc.， 2012： 1097-1105.

This work is partially supported by the Shaanxi Provincial Key Discipline Project （107-00X901）.

WANG Jianren， born in 1961， M. S.， associate professor. His research interests include data mining， business intelligence， decision support.

MA Xin， born in 1995， M. S. candidate. His research interests include machine learning， deep learning， recommender system.

DUAN Ganglong， born in 1977， Ph. D.， associate professor. His research interests include data mining， business intelligence， decision support.

XUE Hongquan， born in 1978， Ph. D.， lecturer. His research interests include computing intelligence， advanced manufacturing management.≡『』（）¤==¤欄目網(wǎng)絡(luò)空間安全¤==¤◎

收稿日期： 2019-05-22;修回日期：2019-07-02;錄用日期：2019-07-04。基金項(xiàng)目：陜西省重點(diǎn)學(xué)科資助項(xiàng)目（107-00X901）。

作者簡介：王建仁（1961—），男，陜西西安人，副教授，碩士，主要研究方向：數(shù)據(jù)挖掘、商務(wù)智能、決策支持; 馬鑫（1995—），男，山東濰坊人，碩士研究生，主要研究方向：機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、推薦系統(tǒng); 段剛龍（1977—），男，陜西西安人，副教授，博士，主要研究方向：數(shù)據(jù)挖掘、商務(wù)智能、決策支持; 薛宏全（1978—），男，陜西西安人，講師，博士，主要研究方向：計(jì)算智能、先進(jìn)制造管理。

文章編號：1001-9081（2019）12-3548-08DOI：10.11772/j.issn.1001-9081.2019050869