李尤豐

(金陵科技學(xué)院軟件工程學(xué)院,江蘇 南京 211169)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)通過多個(gè)不同層次的感受野(receptive field)將視覺信息從視網(wǎng)膜傳遞到大腦,是一種通過模擬實(shí)驗(yàn)來實(shí)現(xiàn)視覺系統(tǒng)功能的生物策略算法。1998年卷積神經(jīng)網(wǎng)絡(luò)模型LeNet-5[1]在識(shí)別支票手寫數(shù)字方面得到了成功應(yīng)用,引起了研究者們對(duì)卷積神經(jīng)網(wǎng)絡(luò)圖像分類性能的廣泛關(guān)注。然而由于LeNet-5的參數(shù)量大、網(wǎng)絡(luò)開銷大、泛化能力差,使得卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖形分類的應(yīng)用停滯不前。直到2012年,針對(duì)LeNet-5的缺陷Krizhevsky等[2]提出了AlexNet模型,并在大型圖像數(shù)據(jù)庫ImageNet[3]的分類競賽中奪得冠軍,其分類準(zhǔn)確度超過第二名11%。這一成功使得卷積神經(jīng)網(wǎng)絡(luò)的圖像分類應(yīng)用成為關(guān)注的新焦點(diǎn)。同年,用于圖像分類的新卷積神經(jīng)網(wǎng)絡(luò)模型如VGG[4]、GoogLeNet[5]、NIN[6]等被相繼提出。隨著ResNet[7]的殘差學(xué)習(xí)能力被廣泛認(rèn)可,圖像分類卷積神經(jīng)網(wǎng)絡(luò)模型如RiR[8]、Dense ResNet[9]、Wide ResNet[10]、Stochastic Depth[11]、ResNeXt[12]、Inception-ResNet[13-14]等如雨后春筍般地應(yīng)運(yùn)而生。

隨著卷積神經(jīng)網(wǎng)絡(luò)模型的迅猛發(fā)展，研究者們對(duì)已有模型的缺陷進(jìn)行了相應(yīng)改進(jìn)，從而使得圖像分類性能得到了提高。AlexNet用兩塊GPU改進(jìn)網(wǎng)絡(luò)開銷,用隨機(jī)失活技術(shù)改進(jìn)網(wǎng)絡(luò)適應(yīng)性;VGG用小卷積核改進(jìn)參數(shù)量大的問題,加深了網(wǎng)絡(luò)深度；GoogLeNet用Inception模塊改進(jìn)參數(shù)量和網(wǎng)絡(luò)開銷,大大降低了深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜度；ResNet用恒等映射進(jìn)行殘差學(xué)習(xí)改善深度網(wǎng)絡(luò)的退化。由此看出,要想針對(duì)網(wǎng)絡(luò)的某種缺陷找到相應(yīng)的改進(jìn)方法,就需要研究卷積神經(jīng)網(wǎng)絡(luò)的哪些優(yōu)化因素對(duì)網(wǎng)絡(luò)的哪部分性能有影響。本文以最基本的卷積神經(jīng)網(wǎng)絡(luò)模型為例,用數(shù)據(jù)實(shí)驗(yàn)驗(yàn)證卷積神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化因素對(duì)模型圖像分類性能的影響。

1 傳統(tǒng)CNN的基本結(jié)構(gòu)

傳統(tǒng)CNN的基本結(jié)構(gòu)分為輸入層、卷積層、池化層、全連接層和輸出層等,每一層的功能與作用不同,因此CNN模型是一種層網(wǎng)絡(luò)模型。CNN的工作過程大致為:把圖像信息作為輸入,與卷積層的多個(gè)卷積核進(jìn)行卷積計(jì)算并加上偏置,得到相應(yīng)的一系列特征面；然后將該結(jié)果傳遞給非線性激活函數(shù),通過與激活函數(shù)的閾值比較得到卷積層的輸出；最后傳遞給池化層進(jìn)行池化操作,得到輸入圖像顯著特征的簡化模型。經(jīng)過多個(gè)卷積層和池化層后,輸入圖像的特征逐步從低層的具體特征轉(zhuǎn)化為高層的抽象特征,再經(jīng)過全連接層的映射和輸出層的分類運(yùn)算得到輸出向量。輸出層的向量并不是一個(gè)確切的類別向量,而是一個(gè)特征分類概率向量,用于判斷輸入圖像的類別。

2 實(shí)驗(yàn)設(shè)計(jì)

模型對(duì)數(shù)據(jù)集的擬合程度是評(píng)價(jià)CNN圖像分類性能的一個(gè)重要指標(biāo),具體表現(xiàn)在訓(xùn)練集的擬合準(zhǔn)確度fit(X)與測試集的預(yù)測準(zhǔn)確度Acc(X)上。fit(X)越高而Acc(X)越低,說明網(wǎng)絡(luò)存在過擬合,分類方差較大;fit(X)越低,說明網(wǎng)絡(luò)欠擬合越嚴(yán)重。為找到fit(X)、Acc(X)與卷積神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化因素之間的關(guān)系,設(shè)計(jì)如下實(shí)驗(yàn):

1)改變數(shù)據(jù)集。在圖像問題的分類中,有時(shí)可獲取的有效數(shù)據(jù)量往往有限,比如醫(yī)學(xué)圖像數(shù)據(jù)。為測試圖像數(shù)據(jù)量對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的分類效率(fit(X)、Acc(X))影響,從比較同一數(shù)據(jù)集數(shù)據(jù)量改變前后的網(wǎng)絡(luò)分類準(zhǔn)確度來看,當(dāng)數(shù)據(jù)量有限時(shí),改變數(shù)據(jù)量的一種常用方式就是增強(qiáng)標(biāo)準(zhǔn)數(shù)據(jù)。它利用已有的有限圖像數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行拉伸、翻折、裁剪等預(yù)處理,提高數(shù)據(jù)集的規(guī)模和多樣性,進(jìn)而提高訓(xùn)練數(shù)據(jù)的效率。

2)改變隱藏神經(jīng)元數(shù)目。為測試卷積神經(jīng)網(wǎng)絡(luò)模型的規(guī)模對(duì)模型分類的準(zhǔn)確度影響,在數(shù)據(jù)集不變的情況下,比較隱藏神經(jīng)元數(shù)目在改變前后，模型分類準(zhǔn)確度的變化。隱藏神經(jīng)元數(shù)目的改變方式分為兩種:①改變每層的隱藏神經(jīng)元數(shù)目，即改變網(wǎng)絡(luò)的寬度。表1給出了4種不同層規(guī)模的卷積神經(jīng)網(wǎng)絡(luò)模型,每一層的隱藏神經(jīng)元數(shù)目逐步增加,但網(wǎng)絡(luò)層數(shù)不變,以便于對(duì)比不同層規(guī)模對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型分類準(zhǔn)確度的影響。②改變隱藏神經(jīng)元所屬的層數(shù)，即改變網(wǎng)絡(luò)的深度。在上述4種不同層規(guī)模的卷積神經(jīng)網(wǎng)絡(luò)模型上分別增加卷積層進(jìn)行實(shí)驗(yàn),具體網(wǎng)絡(luò)結(jié)構(gòu)和配置如表2所示。其中“層模型1+”表示在表1的“層規(guī)模1”的網(wǎng)絡(luò)上增加了卷積層,其他依此類推。

表1 卷積神經(jīng)網(wǎng)絡(luò)的4種不同層規(guī)模

3)改變訓(xùn)練方法。當(dāng)數(shù)據(jù)集和網(wǎng)絡(luò)規(guī)模確定時(shí),考慮不同的優(yōu)化訓(xùn)練方法對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型圖像分類準(zhǔn)確度的影響?？紤]自適應(yīng)矩估計(jì)法、隨機(jī)梯度下降法、自適應(yīng)梯度算法、柯西-牛頓法這4種常用訓(xùn)練算法對(duì)分類準(zhǔn)確度的影響。

表2 增加網(wǎng)絡(luò)深度后的不同層規(guī)模

3 實(shí)驗(yàn)數(shù)據(jù)設(shè)置

3.1 數(shù)據(jù)集設(shè)置

由于圖像數(shù)據(jù)集CIFAR-10相對(duì)比較簡單,常被用于很多圖像分類卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)驗(yàn),且比較契合于實(shí)驗(yàn)選用的傳統(tǒng)CNN模型,因此被選作實(shí)驗(yàn)數(shù)據(jù)集。CIFAR-10共有60 000張彩色圖像,共包含10個(gè)類別,每個(gè)類別6 000張；用于訓(xùn)練集的圖像50 000張,構(gòu)成5個(gè)訓(xùn)練批,每個(gè)訓(xùn)練批有10 000張,剩下的10 000張圖像用于測試批。訓(xùn)練批和測試批的組成方式為:先在每一類中隨機(jī)抽取1 000張圖像構(gòu)成測試批,然后把剩下的50 000張圖像隨機(jī)分成5個(gè)訓(xùn)練批。由于訓(xùn)練批中的圖像是隨機(jī)劃分的,因此其中的圖像各自獨(dú)立、不會(huì)重疊,使得每個(gè)訓(xùn)練批中的各類圖像數(shù)量并不一定相同,每次實(shí)驗(yàn)時(shí)訓(xùn)練批和測試批的圖像也很有可能不同。

3.2 實(shí)驗(yàn)環(huán)境設(shè)置

實(shí)驗(yàn)的學(xué)習(xí)框架為TensorFlow[15],并用cuDNN[16]對(duì)學(xué)習(xí)框架進(jìn)行優(yōu)化。單塊GPU的型號(hào)為NVIDIA Tesla K40C,使用的軟件為 MATLAB R2014a,實(shí)驗(yàn)的訓(xùn)練算法為隨機(jī)梯度下降法,動(dòng)量系數(shù)為0.9,采用數(shù)據(jù)批為32的小批量數(shù)據(jù)輸入方式訓(xùn)練10 000次。模型的初始學(xué)習(xí)率為0.01,當(dāng)驗(yàn)證誤差不再提高時(shí),新學(xué)習(xí)率衰減1/10,共衰減3次。權(quán)重初始化采用文獻(xiàn)[17]的方法，權(quán)重衰減系數(shù)為0.000 1,每層權(quán)重的學(xué)習(xí)率相同。為提高實(shí)驗(yàn)數(shù)據(jù)的穩(wěn)定性,實(shí)驗(yàn)過程重復(fù)10次，并取最優(yōu)值作為最終的分類準(zhǔn)確度。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集對(duì)分類準(zhǔn)確度的影響

數(shù)據(jù)增強(qiáng)前后的實(shí)驗(yàn)結(jié)果如圖1所示。由圖1可以看出:1)當(dāng)數(shù)據(jù)經(jīng)過標(biāo)準(zhǔn)數(shù)據(jù)增強(qiáng)后,整個(gè)測試過程的收斂速度變得很慢,但是測試準(zhǔn)確度Acc(X)有較大幅度的提高,這說明經(jīng)過標(biāo)準(zhǔn)數(shù)據(jù)增強(qiáng)后,訓(xùn)練集的數(shù)據(jù)量和多樣性都得到了顯著提升,訓(xùn)練所得模型的泛化能力得到了提高。2)訓(xùn)練集和測試集分類準(zhǔn)確度的差異fit(X)-Acc(X)大大縮小,基本實(shí)現(xiàn)了兩者同步提升,這表明有效的數(shù)據(jù)處理可以很好地解決模型的過擬合問題。3)經(jīng)過標(biāo)準(zhǔn)數(shù)據(jù)增強(qiáng)后,圖像數(shù)據(jù)更加多樣化,模型看不到完全相同的圖像,有效抑制了模型的過擬合,有效提升了卷積神經(jīng)網(wǎng)絡(luò)模型的分類準(zhǔn)確度。因此，適當(dāng)增加數(shù)據(jù)集的數(shù)據(jù)量和多樣性,能有效提高模型的泛化能力。

4.2 隱藏神經(jīng)元數(shù)目對(duì)分類準(zhǔn)確度的影響

1)改變隱藏神經(jīng)元的層規(guī)模時(shí),實(shí)驗(yàn)結(jié)果如圖2所示。在迭代次數(shù)2 000～5 000次范圍內(nèi)，模型在不同層規(guī)模間測試集的分類準(zhǔn)確度差異較為明顯，且隨著層規(guī)模的增加，分類準(zhǔn)確度也增加；但當(dāng)?shù)螖?shù)大于5 000次后，模型在不同層規(guī)模間測試集的分類準(zhǔn)確度差異均越來越小。這是由于層規(guī)模增加時(shí),需要訓(xùn)練的參數(shù)量大大增加,而參數(shù)量和計(jì)算量過于龐大會(huì)導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練時(shí)給計(jì)算機(jī)硬件帶來巨大負(fù)擔(dān),從而致使模型的學(xué)習(xí)訓(xùn)練效率降低,有時(shí)甚至無法實(shí)現(xiàn)整個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)訓(xùn)練。因此在運(yùn)行時(shí)間和計(jì)算量等允許的條件下,適當(dāng)擴(kuò)大層規(guī)?？梢蕴岣叻诸悳?zhǔn)確度；但當(dāng)層規(guī)模達(dá)到一定程度后,增加層規(guī)模并未明顯增加分類準(zhǔn)確度的提高量,此時(shí)應(yīng)考慮從其他方面改進(jìn)模型的運(yùn)行效率。

圖1 數(shù)據(jù)增強(qiáng)前后的實(shí)驗(yàn)結(jié)果

圖2 不同層規(guī)模的實(shí)驗(yàn)結(jié)果

圖3 不同網(wǎng)絡(luò)深度的實(shí)驗(yàn)結(jié)果

2)改變隱藏神經(jīng)元所屬的卷積層數(shù)時(shí),實(shí)驗(yàn)結(jié)果如圖3所示。卷積神經(jīng)網(wǎng)絡(luò)模型需迭代6 000次后才逐漸趨于穩(wěn)定。究其原因,增加卷積層的同時(shí)增加了待訓(xùn)練的神經(jīng)元數(shù)目和計(jì)算量,一定程度上增加了網(wǎng)絡(luò)訓(xùn)練難度。在迭代次數(shù)2 000～5 000次內(nèi)，層規(guī)模4+測試集的分類準(zhǔn)確度明顯高于其他3種層規(guī)模，但當(dāng)?shù)螖?shù)大于5 000次后，層規(guī)模4+測試集的分類準(zhǔn)確度與其他3種層規(guī)模無明顯差異。原因是增加卷積層數(shù)便增加了卷積神經(jīng)網(wǎng)絡(luò)模型的深度,較深的模型能夠提取更抽象的圖像特征,有助于模型理解更深層次的內(nèi)容,在一定程度上能有效提高卷積神經(jīng)網(wǎng)絡(luò)模型的分類性能。但是當(dāng)模型深度達(dá)到一定程度后，卷積神經(jīng)網(wǎng)絡(luò)模型的分類準(zhǔn)確度不再提高，甚至有所下降，這是由于模型訓(xùn)練的難度、分類效率提升的有限性、模型本身的局限性等因素影響了模型的分類效率。

綜合圖2、圖3可以看出，在較小的迭代次數(shù)范圍內(nèi)，訓(xùn)練集和測試集的分類準(zhǔn)確度曲線幾乎重疊在一起，說明較小迭代次數(shù)范圍內(nèi)的卷積神經(jīng)網(wǎng)絡(luò)更易擬合。圖2中訓(xùn)練曲線在不同層規(guī)模間的分類準(zhǔn)確度差異較大，圖3中訓(xùn)練曲線在不同層規(guī)模間的分類準(zhǔn)確度差異較小，說明當(dāng)層規(guī)模固定時(shí)增加一定的卷積層數(shù)有助于模型性能穩(wěn)定。

3)隨著隱藏神經(jīng)元數(shù)目的增多,模型的參數(shù)量、運(yùn)行時(shí)間和分類準(zhǔn)確度的變化趨勢如圖4所示。由圖4可以看出,隨著隱藏神經(jīng)元數(shù)目的增加,模型的參數(shù)量、運(yùn)行時(shí)間和分類準(zhǔn)確度越來越大,當(dāng)隱藏神經(jīng)元數(shù)目達(dá)到一定規(guī)模時(shí),參數(shù)量和運(yùn)行時(shí)間陡增,而分類準(zhǔn)確度越來越平緩,說明增加隱藏神經(jīng)元數(shù)目獲得的收益越來越少。這與1)和2)中層規(guī)模達(dá)到一定程度后分類準(zhǔn)確度不再提高的結(jié)果一致。因此通過增加隱藏神經(jīng)元數(shù)目獲得更高的分類準(zhǔn)確度是否合適，得看具體情況。

4.3 訓(xùn)練方法對(duì)分類準(zhǔn)確度的影響

以均方誤差為代價(jià)函數(shù),通過常規(guī)正則化項(xiàng)構(gòu)造目標(biāo)損失函數(shù),然后基于4種不同的梯度優(yōu)化算法進(jìn)行實(shí)驗(yàn)。為更好地比較訓(xùn)練方法,基于基本模型和層規(guī)模4+基本模型進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖5所示。由圖5可以看出,不同梯度優(yōu)化算法的收斂速度存在明顯差異。圖5(a)中,不同的訓(xùn)練算法很快收斂到平穩(wěn)狀態(tài)，圖5(b)中,不同訓(xùn)練算法收斂時(shí)均有明顯振幅，說明模型復(fù)雜度提高時(shí)訓(xùn)練難度增加,這與前文隱藏神經(jīng)元數(shù)目增加時(shí)模型訓(xùn)練難度增加的結(jié)論一致。綜合圖5(a)和5(b)可以看出,層規(guī)模4+模型上自適應(yīng)曲線仍有上升趨勢，未明顯平穩(wěn)收斂，且分類準(zhǔn)確度比基于基本模型的自適應(yīng)曲線有所降低。原因是自適應(yīng)算法涉及方差計(jì)算,在模型復(fù)雜時(shí)計(jì)算量明顯增大,模型達(dá)到平穩(wěn)狀態(tài)的速度變慢，分類準(zhǔn)確度降低說明在簡單的基本模型上自適應(yīng)算法存在過擬合。4種訓(xùn)練算法中,矩估計(jì)算法快速達(dá)到較高準(zhǔn)確度,隨機(jī)梯度算法收斂到較高準(zhǔn)確度的速度較慢,柯西-牛頓算法的速度適中,自適應(yīng)梯度算法表現(xiàn)良好，原因是自適應(yīng)梯度算法具有一定的自我調(diào)整能力,對(duì)噪聲、模型、數(shù)據(jù)和超參數(shù)表現(xiàn)出魯棒性,適應(yīng)能力較好。但是,自適應(yīng)梯度算法的學(xué)習(xí)率依賴人工設(shè)置,特別在訓(xùn)練的后階段,當(dāng)約束項(xiàng)的分母越來越大時(shí),梯度越來越小,且趨于零,很容易使訓(xùn)練提前結(jié)束。因此,要縮短訓(xùn)練時(shí)間,提高卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的學(xué)習(xí)效率,需要根據(jù)具體情況選取合適的梯度下降算法。

(a)隱藏神經(jīng)元數(shù)目與參數(shù)量擬合曲線

(b)隱藏神經(jīng)元數(shù)目與運(yùn)行時(shí)間擬合曲線

(c)隱藏神經(jīng)元數(shù)目與分類準(zhǔn)確度擬合曲線

(a)基于基本模型

(b)基于層規(guī)模4+模型

5 結(jié) 語

本文在數(shù)據(jù)集CIFAR-10上進(jìn)行了一系列實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,改變數(shù)據(jù)集、隱藏神經(jīng)元數(shù)目和訓(xùn)練方法對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的圖像分類準(zhǔn)確度有一定的影響。增加數(shù)據(jù)量和數(shù)據(jù)多樣性,不僅能提高數(shù)據(jù)利用效率,而且能提高卷積神經(jīng)網(wǎng)絡(luò)模型的圖像分類準(zhǔn)確度。當(dāng)數(shù)據(jù)集固定時(shí),通過增加隱藏神經(jīng)元數(shù)目使網(wǎng)絡(luò)寬度或者網(wǎng)絡(luò)深度增加,也有助于提高卷積神經(jīng)網(wǎng)絡(luò)模型的圖像分類準(zhǔn)確度，當(dāng)隱藏神經(jīng)元數(shù)目增加到一定程度時(shí),網(wǎng)絡(luò)的參數(shù)量和計(jì)算量雖然迅速增加,但此時(shí)網(wǎng)絡(luò)的增益相對(duì)較少。當(dāng)數(shù)據(jù)集和網(wǎng)絡(luò)規(guī)模固定時(shí),采用適當(dāng)?shù)挠?xùn)練算法有助于提高網(wǎng)絡(luò)模型的泛化能力,使訓(xùn)練準(zhǔn)確度與測試準(zhǔn)確度更接近,使模型運(yùn)用于其他圖像數(shù)據(jù)集的分類時(shí)具有較好的適應(yīng)能力。

除了這幾個(gè)因素外,改變模型的學(xué)習(xí)率、初始化權(quán)值等也對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的分類準(zhǔn)確度有一定的影響。應(yīng)用時(shí)要多調(diào)試,盡量找到最適合的參數(shù)和方案。