周 楠，歐陽鑫玉

（遼寧科技大學(xué) 電子與信息工程學(xué)院，遼寧 鞍山 114051）

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks，CNN）與傳統(tǒng)識別方法相比，具有識別速度快、分類準(zhǔn)確度高、所需特征少、可以自訓(xùn)練等優(yōu)點(diǎn)，已被廣泛應(yīng)用于計(jì)算機(jī)視覺、智能控制、模式識別和信號處理等領(lǐng)域，并在圖像目標(biāo)識別、自然語言處理、語音信號識別等方面取得了極大的成功，成為深度學(xué)習(xí)的代表算法之一［1-2］，推動著人工智能的快速發(fā)展。

1 卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展階段

1.1 萌芽階段

卷積神經(jīng)網(wǎng)絡(luò)的雛形最早出現(xiàn)于1962年，Hubel和Wiesel［3］對貓大腦中的視覺進(jìn)行系統(tǒng)研究，整理了貓腦中各個(gè)神經(jīng)元的電活動，首次提出感受野的概念，激發(fā)人們對神經(jīng)網(wǎng)絡(luò)進(jìn)一步思考，并在圖像識別等領(lǐng)域引入感受野的思想，促進(jìn)了神經(jīng)網(wǎng)絡(luò)的快速發(fā)展。1980年，F(xiàn)ukushima等［4］提出一個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)包含卷積層和池化層，并給出神經(jīng)認(rèn)知機(jī)（Neocognitron）算法。這是CNN中卷積層和池化層的設(shè)計(jì)來源。

1.2 發(fā)展階段

在此基礎(chǔ)上，Lecun等［5］于1998年提出LeNet-5網(wǎng)絡(luò)，構(gòu)建基于梯度的反向傳播（Back propagation，BP）算法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，采用有監(jiān)督的方法，形成卷積神經(jīng)網(wǎng)絡(luò)的雛形。LeNet-5使用兩個(gè)卷積層和兩個(gè)全連接層，首次提出“卷積”的概念。自此以后，卷積神經(jīng)網(wǎng)絡(luò)吸引了學(xué)術(shù)界的廣泛關(guān)注。LeNet-5在物體檢測、人臉識別、目標(biāo)檢測、語音識別等方面逐漸開始被應(yīng)用。但在一般的任務(wù)中，LeNet-5不如k-近鄰（k-nearest neighbor，KNN）、支持向量機(jī)（Support vector machine，SVM）等算法應(yīng)用廣泛，發(fā)展緩慢，處于學(xué)術(shù)邊緣。

2006年，Hinton等［6］提出一種具有多層神經(jīng)元的深度置信網(wǎng)絡(luò)（Deep belief networks，DBN），它是一種生成模型，通過訓(xùn)練各個(gè)神經(jīng)元的權(quán)重，生成訓(xùn)練數(shù)據(jù)，訓(xùn)練效果特別好，大大提高了神經(jīng)網(wǎng)絡(luò)的魯棒性。

1.3 快速發(fā)展階段

在2012年的Imagenet圖像識別大賽中，Hinton組提出深層結(jié)構(gòu)的AlexNet［7］，引入Dropout方法。與LeNet-5網(wǎng)絡(luò)相比，AlexNet的網(wǎng)絡(luò)更深，將識別錯(cuò)誤率從25%降低到15%。特別是AlexNet使用圖形處理器（Graphics processing unit，GPU）運(yùn)算，促進(jìn)了圖像識別領(lǐng)域的發(fā)展。

2013年，Zeiler等［8］提出ZFNet，獲得ILSVRC（Imagenet large scale visual recognition challenge）冠軍。ZFNet采用反卷積技術(shù)對CNN進(jìn)行可視化分析，使用更小的卷積核，保留更多的特征，加強(qiáng)了CNN的分層抽象學(xué)習(xí)的能力。

2015年，He等［9］提出ResNet算法，在Top-5上的錯(cuò)誤率僅為3.75%，緩解梯度消失問題。之后，He等優(yōu)化Fast R-CNN［10］和Mask R-CNN［11］等算法，在識別大量信息的基礎(chǔ)上，還能完成目標(biāo)檢測、實(shí)例分割等任務(wù)，使圖像識別技術(shù)迅猛發(fā)展。

此后，新的卷積神經(jīng)網(wǎng)絡(luò)不斷產(chǎn)生。如VGGNet（Visual geometry group network）［12］和Goog-LeNet［13］等卷積神經(jīng)網(wǎng)絡(luò)具有良好的識別效果。2016年以后，殘差注意力網(wǎng)絡(luò)（Residual attention network）［14］、Xception［15］、MobileNet［16］、Mobile-NetV2［17］和Efficient Net［18］等網(wǎng)絡(luò)在識別精度、運(yùn)行速度、網(wǎng)絡(luò)輕量性和適用范圍等方面，較之前的網(wǎng)絡(luò)又有進(jìn)一步提升。

2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)包含4種核心模塊。

2.1 卷積層

卷積是一種提取圖像特征的有效方法。用卷積核按照設(shè)定好的步長在特征圖上滑動，遍歷所有像素點(diǎn)。

卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心層，包含大量的計(jì)算。在處理高維度圖像輸入時(shí)，無法讓每個(gè)神經(jīng)元均與所有神經(jīng)元一一連接，只能讓每個(gè)神經(jīng)元進(jìn)行局部連接，這種連接的空間大小稱為神經(jīng)元的感受野。為了控制參數(shù)的數(shù)量，需要用到權(quán)值共享。權(quán)值共享使用同一個(gè)卷積核卷積整個(gè)圖像，參數(shù)量大大減少。

卷積層參數(shù)包含卷積核（filter）、步長（stride）和填充（padding）。為了防止邊緣信息丟失，可采取填充方法多次計(jì)算邊緣，使得卷積之后圖片跟原來一樣大。

2.2 池化

在卷積神經(jīng)網(wǎng)絡(luò)中，需要大量的圖片輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。為了減輕網(wǎng)絡(luò)負(fù)擔(dān)，在為圖片保留顯著特征基礎(chǔ)上，降低特征維度，則必須進(jìn)行池化。池化利用圖片的下采樣不變性減少像素信息，只保留圖片重要信息，且變小后仍能看出所表達(dá)的內(nèi)容。池化后的圖片大大提高了網(wǎng)絡(luò)計(jì)算效率。池化的方法有多種，如最大池化、均值池化等，而最大值池化是卷積神經(jīng)網(wǎng)絡(luò)中常用的方法。池化過程如圖1所示。

圖1 池化過程Fig.1 Pooling process

采用2×2的池化核，步長為2，使用全0填充。均值池化是將每一個(gè)2×2區(qū)域中的平均值作為輸出結(jié)果；最大池化是將2×2區(qū)域中的最大值作為輸出結(jié)果，從而找到圖像特征。池化操作容易丟失圖片信息，需要增加網(wǎng)絡(luò)深度解決。

2.3 激活函數(shù)

卷積神經(jīng)網(wǎng)絡(luò)提取到的圖像特征是線性的，非線性變換可以增加模型表達(dá)能力。激活函數(shù)可以對提取到的特征進(jìn)行非線性變換，起到特征組合的作用。

早期卷積神經(jīng)網(wǎng)絡(luò)主要采用Sigmoid函數(shù)或tanh函數(shù)。隨著網(wǎng)絡(luò)的擴(kuò)展以及數(shù)據(jù)的增多，近幾年ReLU（Rectified linear unit）在多層神經(jīng)網(wǎng)絡(luò)中應(yīng)用較為廣泛。ReLU的改進(jìn)型函數(shù)，如Leaky-ReLU、P-ReLU、R-ReLU等也在使用。除此之外，ELU（Exponential linear units）函數(shù)、MaxOut函數(shù)等也經(jīng)常被使用。

常用的Sigmoid函數(shù)的表達(dá)式為

tanh函數(shù)的表達(dá)式為

ReLU函數(shù)表達(dá)式為

上述三種常用函數(shù)的圖像如圖2所示。Sigmoid函數(shù)存在梯度彌散，且函數(shù)不是關(guān)于原點(diǎn)對稱，計(jì)算指數(shù)函數(shù)比較耗時(shí)，在反向傳播時(shí)，易出現(xiàn)梯度消失，無法完成深層網(wǎng)絡(luò)的訓(xùn)練。tanh函數(shù)原點(diǎn)對稱，計(jì)算指數(shù)函數(shù)速度快，但仍存在梯度彌散問題。ReLU函數(shù)解決部分梯度彌散問題，收斂速度更快，但在x取負(fù)數(shù)時(shí)，部分神經(jīng)元死亡且不會復(fù)活。Leaky-ReLU函數(shù)解決了神經(jīng)死亡問題。

2.4 全連接層

全連接層是卷積神經(jīng)網(wǎng)絡(luò)的分類器，通常位于網(wǎng)絡(luò)的最后。卷積操作可以實(shí)現(xiàn)全連接層。矩陣向量乘積是全連接網(wǎng)絡(luò)的核心操作，即

式中：x是全連接層的輸入；W為權(quán)重；b為偏置。

圖2 三種激活函數(shù)的圖像Fig.2 Images of three activation functions

全連接層的每個(gè)節(jié)點(diǎn)都需要和上一層每個(gè)節(jié)點(diǎn)彼此相接，學(xué)習(xí)模型參數(shù)，進(jìn)行特征擬合，把前一層的輸出特征綜合起來，故該層的權(quán)值參數(shù)在網(wǎng)絡(luò)中最多。參數(shù)過多，導(dǎo)致網(wǎng)絡(luò)運(yùn)算速度降低，所以近年來常用全局平均池化（Global average pooling，GAP）來替換全連接層，很大程度上加快了網(wǎng)絡(luò)的運(yùn)行速度。全連接層結(jié)構(gòu)如圖3所示。在池化后輸出的20個(gè)12×12的圖像，經(jīng)過全連接層變成1×100向量，實(shí)現(xiàn)預(yù)測分類功能。

圖3 全連接層示意圖Fig.3 Schematic diagram of full connection layer

3 幾種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)

3.1 LeNet

LeNet即LeNet-5，是公認(rèn)最早的卷積神經(jīng)網(wǎng)絡(luò)之一，是很多神經(jīng)網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。LeNet-5共有7層網(wǎng)絡(luò)，每層都包含可訓(xùn)練參數(shù)；每層都有多個(gè)特征圖（Feature Map），每個(gè)特征圖輸入的特征通過卷積濾波器進(jìn)行提取，每個(gè)特征圖有多個(gè)神經(jīng)元。卷積層的局部連接和權(quán)重共享，卷積層的參數(shù)較少。

圖4 LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Lenet-5 network structure

LeNet-5是一種用于手寫體字符識別的非常高效的卷積神經(jīng)網(wǎng)絡(luò)。Ahranjany等［19］提出一種將卷積神經(jīng)網(wǎng)絡(luò)與梯度下降訓(xùn)練算法相結(jié)合的手寫波斯語/阿拉伯語數(shù)字識別方法，識別率達(dá)到99.17%；如果剔除10%的“難識別”樣本，識別率達(dá)到99.98%。Liu等［20］改進(jìn)LeNet-5的卷積神經(jīng)網(wǎng)絡(luò)模型，應(yīng)用于脫機(jī)手寫英文字符識別，對每一層的神經(jīng)元數(shù)量和某些層之間的連接方式進(jìn)行特殊設(shè)置，在UNIPEN的小寫和大寫數(shù)據(jù)集上進(jìn)行測試，對大寫和小寫的識別率分別為93.7%和90.2%。Ying等［21］在LeNet-5上提出一種新的激活函數(shù)——整流指數(shù)單元（Rectified exponential units，REU），該函數(shù)輸出的均值接近0，改進(jìn)了ReLU函數(shù)中神經(jīng)元假死現(xiàn)象，使激活函數(shù)的選擇更加多樣化。Liu等［22］利用LeNet-5檢測診斷制造設(shè)備中的內(nèi)圈磨損、外圈磨損和軸承滾子磨損等故障，在電機(jī)軸承數(shù)據(jù)集上進(jìn)行驗(yàn)證，提高了診斷精度，收斂速度更快。傳統(tǒng)的表情識別方法通常只利用一個(gè)或幾個(gè)特征處理正面人臉圖像，導(dǎo)致有用信息丟失嚴(yán)重，對噪聲和人臉姿態(tài)過于敏感。Ma等［23］將LeNet-5和SVM（Support vector machine，SVM）結(jié)合，在MTFL數(shù)據(jù)庫和GENKI-4K數(shù)據(jù)庫上的識別準(zhǔn)確率分別達(dá)到87.81%和86.80%。

LeNet-5網(wǎng)絡(luò)的缺點(diǎn)有：（1）網(wǎng)絡(luò)規(guī)模較小，在大量數(shù)據(jù)集上表現(xiàn)不盡人意；（2）容易過擬合；（3）神經(jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜。

3.2 AlexNet

2012年，AlexNet在ILSVRC中奪得冠軍，Top-5測試的誤差率為15.3%，但是第二名誤差率卻達(dá)到26.2%。

AlexNet網(wǎng)絡(luò)結(jié)構(gòu)類似于LeNet，均采用先卷積后進(jìn)行全連接的方式。但AlexNet更為復(fù)雜。AlexNet有6.5萬個(gè)神經(jīng)元，600萬個(gè)參數(shù)，5層卷積，3層全連接網(wǎng)絡(luò)，輸出層是有1 000通道的softmax函數(shù)。AlexNet的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 AlexNet的網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 AlexNet network structure

呂鴻蒙等［24］在2017年把增強(qiáng)的AlexNet應(yīng)用在阿爾茨海默病的早期診斷中，取得較好的測試效果。張雪芹等［25］將AlexNet網(wǎng)絡(luò)模型進(jìn)行優(yōu)化處理，應(yīng)用于206類植物圖像識別，識別精度達(dá)到86.7%。Liu等［26］在AlexNet的基礎(chǔ)上設(shè)計(jì)一個(gè)殘差網(wǎng)絡(luò)，在煙霧識別上精度達(dá)到98.56%。

AlexNet的優(yōu)點(diǎn)：（1）AlexNet將Sigmoid激活函數(shù)改為ReLU激活函數(shù)，使得運(yùn)算更加簡單，更易訓(xùn)練；（2）AlexNet采用丟棄法控制全連接層的模型復(fù)雜度；（3）AlexNet將局部響應(yīng)歸一化處理（Local response normalization，LRN）后加在激活函數(shù)ReLU的后面，大大增加網(wǎng)絡(luò)的泛化能力，提高訓(xùn)練準(zhǔn)確度；（4）使用兩塊GPU進(jìn)行計(jì)算，運(yùn)算效率大大提高；（5）使用Dropout方法防止過擬合。

3.3 VGGNet

VGGNet是2014年由牛津大學(xué)Visual Geometry Group與Google DeepMind公司共同研發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò)，獲得2014年ILSVRC比賽的亞軍和定位項(xiàng)目的冠軍，在Top5上的錯(cuò)誤率僅為7.5%。VGGNet探索了卷積神經(jīng)網(wǎng)絡(luò)的深度和其性能之間的關(guān)系。VGGNet在整個(gè)網(wǎng)絡(luò)中全部采用3×3的卷積核和2×2的池化核，通過加深網(wǎng)絡(luò)結(jié)構(gòu)來提升性能。網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 VGGNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 VGGNet network structure

Liu等［27］提出一種基于VGGNet算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方案，層和不重要的通道可以自動生成。相比AlexNet網(wǎng)絡(luò)，VGGNet模型尺寸是AlexNet網(wǎng)絡(luò)1/20，計(jì)算機(jī)操作是AlexNet網(wǎng)絡(luò)1/5，減少運(yùn)行時(shí)內(nèi)存，不需要高性能的硬件支持。Sun等［28］提出一種基于VGGNet網(wǎng)絡(luò)模型的深度學(xué)習(xí)智能調(diào)制識別算法，提高數(shù)字信號在低信噪比下的識別性能。Yang［29］改進(jìn)VGGNet算法，提出一種名為MicroFace的人臉識別方法，減少對高性能計(jì)算機(jī)的依賴，識別率達(dá)到了96%，具有良好的識別性能和很高的實(shí)用性。

VGGNet優(yōu)點(diǎn)：（1）AlexNet采用3×3的池化核，而VGGNet全部采用2×2的池化核和多個(gè)較小卷積核，AlexNet更有利于增加網(wǎng)絡(luò)的擬合或表達(dá)能力；（2）為了提取更多信息，VGGNet采用多通道，網(wǎng)絡(luò)第一層通道數(shù)為64，后面逐層翻倍，至512個(gè)通道；（3）由于卷積層可替代全連接層，故網(wǎng)絡(luò)可以適應(yīng)不同尺寸的圖片，增加了通用性，但由于VGGNet使用3個(gè)全連接層，使得計(jì)算機(jī)資源耗費(fèi)嚴(yán)重；（4）VGGNet在增加網(wǎng)絡(luò)深度方面起著舉足輕重的作用。

3.4 GoogLeNet

GoogLeNet在2014年的ILSVRC比賽中奪得冠軍。GoogLeNet是基于Inception模塊的深度神經(jīng)網(wǎng)絡(luò)模型。經(jīng)過兩年的不斷改進(jìn)，逐漸形成了Inception V2、Inception V3、Inception V4等版本。GoogleNet有500萬個(gè)參數(shù)，是2012年的AlexNet參數(shù)的1/12，且準(zhǔn)確度更高。GoogLeNet增加網(wǎng)絡(luò)的深度和寬度，網(wǎng)絡(luò)深度達(dá)到22層（不包括池化層和輸入層），但沒有增加計(jì)算代價(jià)。GoogLeNet模塊結(jié)構(gòu)如圖7所示。

圖7 GoogLeNet模塊結(jié)構(gòu)圖Fig.7 Diagram of GoogLeNet module structure

Zhong等［30］基于GoogLeNet網(wǎng)絡(luò)提出單一和集合HCCR-GoogLeNet模型，在手寫漢字識別上達(dá)到了新的技術(shù)水平。HCCR-GoogLeNet有19層，只涉及到726萬個(gè)參數(shù)，在離線HCCR競爭數(shù)據(jù)集上的識別準(zhǔn)確率分別為96.35%和96.74%，超過以往的最佳成績。Zhu等［31］利用改進(jìn)的GoogLeNet進(jìn)行極端天氣識別，在ILSVRC-2012數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，與原始GoogLeNet相比，該方法的識別正確率從94.74%提高到95.46%，在CPU和GPU上識別速度快1.39倍和2.44倍。Li等［32］提出一種基于深度卷積生成對抗網(wǎng)絡(luò)（Unsupervised representation learning with deep convolutional generative adversarial networks，DCGAN）和 改 進(jìn) 的GoogLeNet脫機(jī)手寫漢字識別方法，能夠修復(fù)和識別被遮擋的字符，在擴(kuò)展的CASIA-HWDB1.1數(shù)據(jù)集測試效果很好。

GoogLeNet的優(yōu)點(diǎn)：（1）網(wǎng)絡(luò)架構(gòu)的改變，充分提升網(wǎng)絡(luò)內(nèi)部資源的利用率；（2）將網(wǎng)絡(luò)深度改為22層，在增加網(wǎng)絡(luò)深度和寬度的基礎(chǔ)上，未增加計(jì)算代價(jià)；（3）采用平均池化（average pooling）代替全連接層，將準(zhǔn)確率提升0.6%；（4）網(wǎng)絡(luò)增加2個(gè)softmax用作輔助分類器，減少梯度消失問題。

3.5 ResNet

ResNet于2015年發(fā)布，獲得ILSVRC比賽的冠軍，取得5項(xiàng)第一。ResNet解決了深度卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練難的問題。

一般來說，深度學(xué)習(xí)表達(dá)能力的增強(qiáng)需要更多的參數(shù)和網(wǎng)絡(luò)層數(shù)，所以從AlexNet的7層網(wǎng)絡(luò)到VGGNet的16層乃至19層，直到GoogLeNet的22層網(wǎng)絡(luò)。但網(wǎng)絡(luò)層數(shù)的增加會導(dǎo)致網(wǎng)絡(luò)收斂慢，分類性能和準(zhǔn)確率并不能明顯提升。為了解決這些問題，ResNet使用152層的網(wǎng)絡(luò)結(jié)構(gòu)，并采用跳躍結(jié)構(gòu)，使Top 5錯(cuò)誤率僅為3.57%。

ResNet結(jié)構(gòu)如圖8所示。在網(wǎng)絡(luò)結(jié)構(gòu)中，采用捷徑連接（shortcut connections），把輸入a直接傳到最后的輸出作為初始結(jié)果，輸出結(jié)果為S(a)=K(a)+a，當(dāng)K(a)=0時(shí)，S(a)=a。故ResNet學(xué)習(xí)目標(biāo)從S(a)變?yōu)镾(a)-a，殘差K(a)=S(a)-a。因此，殘差結(jié)果逼近于0成為后面的訓(xùn)練目標(biāo)，且隨著網(wǎng)絡(luò)加深，準(zhǔn)確率不再下降。

圖8 ResNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.8 ResNet network structure

Lu等［33］提出深耦合ResNet模型，稱為DCR（Deep coupled ResNet），用于低分辨率的人臉識別，性能明顯優(yōu)于現(xiàn)有技術(shù)水平。Wen等［34］提出一種新的TCNN（Transfer convolutional neural network）方法，該方法結(jié)合遷移學(xué)習(xí)，在電機(jī)軸承數(shù)據(jù)集和自吸離心泵數(shù)據(jù)集上預(yù)測精度均優(yōu)于其他傳統(tǒng)方法與深度學(xué)習(xí)模型。

ResNet與VGGNet相比，復(fù)雜度降低，參數(shù)減少，深度更深，一定程度上減少梯度彌散或梯度爆炸問題的發(fā)生；更利于優(yōu)化，能有效解決深度網(wǎng)絡(luò)退化問題。

4 結(jié)論

本文梳理了卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程，介紹卷積神經(jīng)網(wǎng)絡(luò)的三個(gè)階段。對卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行總結(jié)，介紹卷積層、池化層、常見激活函數(shù)的優(yōu)缺點(diǎn)和全連接層。闡述了幾個(gè)經(jīng)典的、具有代表性的卷積神經(jīng)網(wǎng)絡(luò)（LeNet，AlexNet，VGGNet，GoogLeNet，ResNet）的發(fā)展和演變。

隨著人工智能的發(fā)展，人機(jī)交互的需要，卷積神經(jīng)網(wǎng)絡(luò)有著不可替代的優(yōu)勢，但也需要不斷改進(jìn)：繼續(xù)增加網(wǎng)絡(luò)的自學(xué)習(xí)能力，使網(wǎng)絡(luò)更易搭建和解決實(shí)際問題；網(wǎng)絡(luò)層數(shù)的增加會導(dǎo)致訓(xùn)練速度降低；在數(shù)據(jù)不足的情況下，增加網(wǎng)絡(luò)學(xué)習(xí)準(zhǔn)確率等。隨著CNN對于目標(biāo)檢測技術(shù)日趨成熟，向無人駕駛、教育、醫(yī)療和智能家居等領(lǐng)域迅速邁進(jìn)。CNN研究還有很多關(guān)鍵問題需要解決，通過努力，定會將CNN的發(fā)展提升新的高度。