李國(guó)強(qiáng)，陳文華，高 欣

(燕山大學(xué) 智能控制系統(tǒng)與智能裝備教育部工程研究中心，河北 秦皇島 066004) (燕山大學(xué) 河北省工業(yè)計(jì)算機(jī)控制工程重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004)

1 引 言

近年來(lái)，隨著眾多學(xué)者對(duì)人工智能(AI)的不斷研究，基于深度學(xué)習(xí)[1]的人工智能技術(shù)已成功地應(yīng)用于語(yǔ)音識(shí)別[2]，自然語(yǔ)言處理[3]，計(jì)算機(jī)視覺(jué)等領(lǐng)域.在許多視覺(jué)識(shí)別任務(wù)中，深度卷積神經(jīng)網(wǎng)絡(luò)都具有良好的效果，如圖像分類[4]，圖像檢索[5]、目標(biāo)檢測(cè)[6]和語(yǔ)義分割[7]等.經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)從VGG[8]，Inception[9-11]，ResNet[12]發(fā)展到DenseNet[13]，其間也涌現(xiàn)出很多其他卷積神經(jīng)網(wǎng)絡(luò).

2012年的ImageNet競(jìng)賽中，AlexNet[14]網(wǎng)絡(luò)獲得冠軍，也是卷積神經(jīng)網(wǎng)絡(luò)第一次被嘗試應(yīng)用在圖像處理上并獲得廣泛關(guān)注.2014年的ImageNet競(jìng)賽中，VGG網(wǎng)絡(luò)作為定位任務(wù)中的基礎(chǔ)框架獲得冠軍，當(dāng)時(shí)網(wǎng)絡(luò)深度(卷積層層數(shù))被認(rèn)為是VGG網(wǎng)絡(luò)取得良好效果的重要因素.Network-In-Network(NIN)利用多層感知機(jī)(Multilayer Perceptron)來(lái)提高圖像分類的準(zhǔn)確率，多層感知機(jī)由全連接層和非線性函數(shù)組成.上述表明卷積神經(jīng)網(wǎng)絡(luò)的深度和寬度是改善網(wǎng)絡(luò)性能的兩個(gè)關(guān)鍵因素，但是隨著網(wǎng)絡(luò)越來(lái)越深，訓(xùn)練會(huì)變得困難并且會(huì)出現(xiàn)過(guò)擬合問(wèn)題.為了解決這個(gè)問(wèn)題，Srivastava等人提出了Highway Networks，它使用一種學(xué)習(xí)門機(jī)制(a learned gating mechanism)讓信息在幾個(gè)卷積層之間有效傳遞.隨后，He等人提出ResNet，應(yīng)用恒等映射來(lái)實(shí)現(xiàn)殘差學(xué)習(xí)，它使不同卷積層間有規(guī)律連接起來(lái).不久后，密集網(wǎng)絡(luò)(DenseNet)的作者將這種方法的作用發(fā)揮到極致，使每一層都和之前的層相連接.

隨著ResNet變得越來(lái)越受歡迎，許多改進(jìn)版逐漸出現(xiàn).Wide Residual Network(WRN)[15]網(wǎng)絡(luò)通過(guò)增加通道數(shù)來(lái)加寬網(wǎng)絡(luò).ResNeXt[16]提出的基數(shù)(cardinality)超參數(shù)為調(diào)整模型容量提供了一種新方法.Huang等人提出了Stochastic Depth residual networks(SD ResNets)[17]，極大降低了模型訓(xùn)練時(shí)間，SD ResNets在訓(xùn)練過(guò)程中隨機(jī)去掉(drop)一些卷積層，但是在測(cè)試的時(shí)候不會(huì)這樣做，同時(shí)說(shuō)明一些卷積層可能是冗余的.

當(dāng)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用跨層連接時(shí)，它的性能可以得到很大的提升，變得更加準(zhǔn)確和高效，訓(xùn)練也會(huì)變得容易.在殘差網(wǎng)絡(luò)(ResNet)的啟發(fā)下，文章設(shè)計(jì)了兩種新型卷積神經(jīng)網(wǎng)絡(luò)框架(C-FnetO和C-FnetT)，它們采用了全新的交叉跨層連接布局方式并具有較少的卷積層層數(shù).C-FnetO網(wǎng)絡(luò)和C-FnetT網(wǎng)絡(luò)中不僅相鄰模塊間具有連接線，在模塊內(nèi)部還設(shè)有跨層連接線，有利于充分保留圖像特征信息.不同分支處的特征融合采用DenseNet網(wǎng)絡(luò)中通道拼接方式(concatenation).同時(shí)，對(duì)兩種新型網(wǎng)絡(luò)模塊中采用的跨層連接布局方式的有效性進(jìn)行理論上的證明.C-FnetO和C-FnetT兩種網(wǎng)絡(luò)分別在4個(gè)公開(kāi)的權(quán)威數(shù)據(jù)集(MNIST，CIFAR-10，CIFAR-100和SVHN)上進(jìn)行訓(xùn)練和測(cè)試，并與最先進(jìn)的殘差和密集網(wǎng)絡(luò)模型(ResNet和DenseNet)等進(jìn)行對(duì)比實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明，文章設(shè)計(jì)的網(wǎng)絡(luò)模型在4種數(shù)據(jù)集上都取得了相對(duì)更好的效果，其中C-FnetT網(wǎng)絡(luò)的效果最佳，在4種數(shù)據(jù)集上均取得了最高的圖像識(shí)別準(zhǔn)確率.所以，在后面的文章中，以C-FnetT卷積神經(jīng)網(wǎng)絡(luò)為主要對(duì)象進(jìn)行介紹.

2 C-FnetO和C-FnetT網(wǎng)絡(luò)模塊化設(shè)計(jì)

2.1 網(wǎng)絡(luò)布局

在C-FnetO和C-FnetT兩個(gè)網(wǎng)絡(luò)中，分別有n個(gè)模塊，每個(gè)模塊主要由3層卷積層組成，最后一個(gè)模塊由2層卷積層組成.鑒于兩種網(wǎng)絡(luò)框架區(qū)別很小，以相對(duì)復(fù)雜的C-FnetT網(wǎng)絡(luò)為例進(jìn)行展示，如圖1所示，除了相鄰模塊間具有連接線外，在每個(gè)模塊內(nèi)部也具有連接線，兩條連接線成交叉狀態(tài)，也是與殘差模型的不同之處.而C-FnetO只是減少了每個(gè)模塊的內(nèi)部連接線(即圖1中的虛線線條)，其他均與C-FnetT一致.

圖1 C-FnetT的布局圖Fig.1 C-FnetT with n blocks

2.2 網(wǎng)絡(luò)模塊

對(duì)于C-FnetO網(wǎng)絡(luò)的模塊，如圖2左圖所示，x0表示輸入圖像信息，x1，x2和x3分別表示第1層，第2層和第3層的輸出.fL(*)表示非線性變換，可以為批正則化(Batch Normalization)[18],激活線性單元(Rectified linear units)[19]，或卷積(Convolution)，其中下標(biāo)L表示卷積層，取值為0,1,2,3.則C-FnetO模塊可以建模如公式：

x1=[f1(x0),x0]

(1)

x2=f2([f1(x0),x0])=f2(x1)

(2)

x3=f3(f2([f1(x0),x0]))=f3(x2)

(3)

其中[*,*]表示通道拼接操作(concatenation)，如：[f1(x0),x0]代表f1(x0)與x0在第三維度，即通道上的拼接.

圖2 3種網(wǎng)絡(luò)的模塊Fig.2 Model of three networks

假設(shè)δ為模塊中最后一層輸出的loss值，可以根據(jù)反向傳播理論得到梯度值，如公式(4)所示：

(4)

對(duì)于C-FnetT網(wǎng)絡(luò)的模塊，如圖2中間所示，它比C-FnetO模塊多了一條跨層連接線，建模公式如式(5)、式(6)和式(7)：

x1=[f1(x0),x0]

(5)

x2=[f1(x0),f2([f1(x0),x0])]=[f1(x0),f2(x1)]

(6)

x3=f3([f1(x0),f2([f1(x0),x0])])=f3(x2)

(7)

依然假設(shè)δ為模塊中最后一層輸出的loss值，可以根據(jù)反向傳播理論得到梯度值，如公式(8)所示：

(8)

由于網(wǎng)絡(luò)采用模塊化設(shè)計(jì)方法，整體網(wǎng)絡(luò)框架由每一個(gè)模塊組成，以C-FnetT為例，下標(biāo)b表示網(wǎng)絡(luò)的模塊數(shù)，則C-FnetT網(wǎng)絡(luò)的整體建模公式如式(9)(近似復(fù)合函數(shù))所示：

(9)

整個(gè)網(wǎng)絡(luò)的梯度計(jì)算類似單個(gè)模塊的計(jì)算方法，文章不再贅述.

2.3 殘差模塊

應(yīng)用殘差連接方式時(shí)，如圖2右圖所示，建模公式為式(10)、式(11)和式(12)：

x1=[f1(x0),x0]

(10)

x2=[[f1(x0),x0],f2(x1)]=[f2(x1),x1]

(11)

x3=f3([[f1(x0),x0],f2(x1)])=f3([f2(x1),x1])=f3(x2)

(12)

同樣設(shè)δ為模塊中最后一層輸出的loss值，可以根據(jù)反向傳播理論得到梯度值，如公式(13)所示：

(13)

2.4 理論分析

文章設(shè)計(jì)的網(wǎng)絡(luò)模塊采用了交叉連接方式，為了證明它的有效性，圖3直觀地展示了3種模塊的示意圖，可以觀察到，C-FnetO比C-FnetT少一個(gè)②通路，比殘差模塊少②和③通路，而C-FnetT比殘差模塊少一個(gè)③通路，通路①是它們共有的，C-FnetO和C-FnetT均在殘差模塊的基礎(chǔ)上進(jìn)行了優(yōu)化.在2.2和2.3節(jié)中，給出了每種網(wǎng)絡(luò)的單個(gè)模塊的梯度傳播公式，由公式(4)、公式(8)和公式(13)可知，C-FnetO相比C-FnetT和殘差連接模塊，在梯度公式中包含更少的信息，而C-FnetT與殘差連接模塊擁有同等的信息量，但是C-FnetT的梯度值更偏小一些，可以獲得更加豐富和細(xì)膩的圖片特征信息，提高圖像識(shí)別準(zhǔn)確率.

圖3 3種網(wǎng)絡(luò)的模塊拆解圖Fig.3 Model of three networks

在卷積神經(jīng)網(wǎng)絡(luò)中，無(wú)論淺層網(wǎng)絡(luò)還是深層網(wǎng)絡(luò)，對(duì)圖像識(shí)別任務(wù)都具有重要作用.淺層的網(wǎng)絡(luò)可以提取低水平的圖像特征信息，而深層網(wǎng)絡(luò)可以提供高水平的圖像特征信息，為了更好融合兩者的信息，C-FnetT網(wǎng)絡(luò)采用了交叉連接方式.一方面，C-FnetT網(wǎng)絡(luò)可以實(shí)現(xiàn)端到端的訓(xùn)練模式，實(shí)現(xiàn)梯度的反向傳播.另一方面，C-FnetT可以避免過(guò)擬合和梯度消失問(wèn)題，縮短學(xué)習(xí)周期并避免網(wǎng)絡(luò)飽和問(wèn)題.

3 實(shí) 驗(yàn)

將C-FnetO和C-FnetT兩個(gè)網(wǎng)絡(luò)在4種公開(kāi)數(shù)據(jù)集(MNIST，CIFAR-10，CIFAR-100和SVHN)上進(jìn)行訓(xùn)練和測(cè)試，為了對(duì)比模型效果，還增設(shè)了無(wú)連接網(wǎng)絡(luò)(Plain-net)，經(jīng)過(guò)一系列實(shí)驗(yàn)，取n=5(此時(shí)效果最好)的3種網(wǎng)絡(luò)模型與其它典型網(wǎng)絡(luò)進(jìn)行對(duì)比，它們的框架結(jié)構(gòu)如圖4所示.

為了保證實(shí)驗(yàn)的公平性，在每個(gè)實(shí)驗(yàn)中，對(duì)4種數(shù)據(jù)集采取相同的圖像處理方法，超參數(shù)的設(shè)置也遵循公平對(duì)比原則.

3.1 數(shù)據(jù)集

MNIST：手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)[20]來(lái)自NIST的專用數(shù)據(jù)庫(kù)3(SD-3)和專用數(shù)據(jù)庫(kù)1(SD-1)[21]，其中包含從0-9的二進(jìn)制手寫數(shù)字圖像.它們由高等學(xué)校學(xué)生和美國(guó)人口普查局工作人員收集.訓(xùn)練集共有60000個(gè)樣本，SD-3和SD-1分別提供30000個(gè).測(cè)試集共有10000個(gè)樣本，SD-3和SD-1分別提供5000個(gè).MNIST數(shù)據(jù)集由28×28的灰度圖像組成.

CIFAR-10：該數(shù)據(jù)集[22]由32×32像素的彩色自然圖像組成，共10個(gè)類別，訓(xùn)練集有50000張圖片，測(cè)試集有10000張圖片.我們還采用了廣泛用于該數(shù)據(jù)集的標(biāo)準(zhǔn)數(shù)據(jù)增強(qiáng)方案[12](鏡像/移位).

CIFAR-100：該數(shù)據(jù)集[22]的尺寸和格式與CIFAR-10數(shù)據(jù)集一樣，不同的是CIFAR-100數(shù)據(jù)集包含100種類別.

Street View House Numbers：SVHN[23]數(shù)據(jù)集由Google Street View收集的32×32像素的彩色房屋編號(hào)圖像組成.數(shù)據(jù)集中有兩種格式，我們考慮第2種格式，73257張圖像作為訓(xùn)練集，26032張圖像作為測(cè)試集，531131張圖像作為額外的一組數(shù)據(jù)集.這個(gè)數(shù)據(jù)集的任務(wù)是對(duì)位于圖像中心的數(shù)字進(jìn)行分類，其他出現(xiàn)在背景中的數(shù)字不作為檢測(cè)目標(biāo).

3.2 訓(xùn) 練

實(shí)驗(yàn)平臺(tái)是單個(gè)GPU，參數(shù)是Nvidia TITAN Xp，采用的深度學(xué)習(xí)框架是Tensorflow，目前它非常受歡迎.

在CIFAR-10數(shù)據(jù)集上，模型在訓(xùn)練時(shí)采用帶有動(dòng)量的隨機(jī)梯度優(yōu)化算法，借鑒文獻(xiàn)[24]中的方法，設(shè)置權(quán)重衰減(weight decay)大小為10-4，Nesterov momentum大小為0.99，權(quán)重初始化引用文獻(xiàn)[16]中的方法.每次訓(xùn)練處理的圖片(batch size)為64張，迭代批次為200.初始學(xué)習(xí)率設(shè)為0.001，當(dāng)訓(xùn)練批次達(dá)到總批次數(shù)的50%和75%時(shí)，學(xué)習(xí)率除以10.

在CIFAR-100數(shù)據(jù)集上，每次訓(xùn)練處理的圖片為128張，迭代批次為160.初始學(xué)習(xí)率設(shè)為0.1，當(dāng)訓(xùn)練批次達(dá)到總批次數(shù)的50%和75%時(shí)，學(xué)習(xí)率除以10.其它設(shè)置與CIFAR-10相同.

在手寫數(shù)字?jǐn)?shù)據(jù)集(MNIST)上，每次訓(xùn)練處理的圖片為128張，迭代批次為50.初始學(xué)習(xí)率設(shè)為10-4，當(dāng)訓(xùn)練批次達(dá)到總批次數(shù)的50%和75%時(shí)，學(xué)習(xí)率除以10.權(quán)重衰減和Nesterov momentum參數(shù)及優(yōu)化算法設(shè)置和數(shù)據(jù)集CIFAR-10相同.

對(duì)于SVHN數(shù)據(jù)集，訓(xùn)練網(wǎng)絡(luò)時(shí)采用Adam優(yōu)化

算法，每次訓(xùn)練處理的圖片為40張，迭代批次為25.初始學(xué)習(xí)率設(shè)為10-4，此外，還將局部對(duì)比歸一化[25](local contrast normalization)方法應(yīng)用于該數(shù)據(jù)集的預(yù)處理.

然而，文章的目標(biāo)不是實(shí)現(xiàn)最優(yōu)的圖像識(shí)別效果，其中需要利用其他技術(shù)，如集成(ensemble)，隨機(jī)化輸入順序(randomized input order)和抽樣方法(sampling methodologies)等.因此，并沒(méi)有采用這些輔助技術(shù)，而是僅僅使用一個(gè)簡(jiǎn)單的模型框架進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證提出網(wǎng)絡(luò)的有效性.

3.3 C-FnetO，C-FnetT和Plain-net

C-FNetO，C-FnetT和Plain-net共3種網(wǎng)絡(luò)的具體參數(shù)和框架細(xì)節(jié)在表1和圖4中展示，由于采用n=5，所以網(wǎng)絡(luò)的卷積層層數(shù)共15層，圖4中從左至右依次是Plain-net，C-FnetO和C-FnetT，它們的基礎(chǔ)框架相同，只是在跨層連接線的設(shè)置上存在區(qū)別，并呈現(xiàn)由簡(jiǎn)單到復(fù)雜的趨勢(shì).

表1 3種網(wǎng)絡(luò)模型框架Table 1 Architecture for three networks

圖4 3種網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.4 Architecture for three networks

圖5記錄了3種網(wǎng)絡(luò)在不同數(shù)據(jù)集上的準(zhǔn)確率，可以觀察到，C-FnetO比Plain-net的測(cè)試準(zhǔn)確率高一些，而C-FnetT的測(cè)試準(zhǔn)確率比C-FnetO高一些，即C-FnetT表現(xiàn)最佳，同時(shí)證明引入交叉跨層連接可以提高網(wǎng)絡(luò)性能.

3.4 實(shí)驗(yàn)結(jié)果與分析

文章分別在4個(gè)公開(kāi)數(shù)據(jù)集上對(duì)各種網(wǎng)絡(luò)模型進(jìn)行測(cè)試，其中，MNIST數(shù)據(jù)集比較簡(jiǎn)單，采用很淺的網(wǎng)絡(luò)就可以實(shí)

圖5 3種網(wǎng)絡(luò)的測(cè)試準(zhǔn)確率Fig.5 Test accuracy of three networks

現(xiàn)不錯(cuò)的圖像識(shí)別準(zhǔn)確率，當(dāng)采用復(fù)雜網(wǎng)絡(luò)時(shí)，很容易出現(xiàn)過(guò)擬合現(xiàn)象，但是在實(shí)驗(yàn)中，通過(guò)dropout方法避免了過(guò)擬合的出現(xiàn).在MNIST數(shù)據(jù)集上的測(cè)試準(zhǔn)確率如表2所示，最好的測(cè)試結(jié)果以加粗黑體標(biāo)注，可以觀察到C-FnetT網(wǎng)絡(luò)的準(zhǔn)確率為99.54%，在所有的模型中表現(xiàn)最好，雖然結(jié)果和ResNet接近，但是C-FnetT的卷積層層數(shù)卻很少.

在CIFAR-10數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表3所示，C-FnetT的層數(shù)最少，但是取得了相對(duì)最高的識(shí)別準(zhǔn)確率，比ResNet，DenseNet，Inception-ResNet-v2和Xception分別提高了0.41%，9.63%，6.66%和7.24%.這是相當(dāng)不錯(cuò)的測(cè)試結(jié)果，較少的層數(shù)獲得了更高的準(zhǔn)確率，證明了交叉連接方式的有效性和殘差模塊中跨層連接的部分冗余性.

在CIFAR-100數(shù)據(jù)集上的測(cè)試準(zhǔn)確率如表4所示，C-FnetT依然是表現(xiàn)最好的網(wǎng)絡(luò)，比ResNet和DenseNet分別提高3%和34%.為了更充分證明C-FnetT優(yōu)化方法的正確性，圖6展示了C-FnetT和ResNet訓(xùn)練誤差對(duì)比圖，由于C-FnetT是在殘差模塊的基礎(chǔ)上進(jìn)行改進(jìn)，所以主要和殘差網(wǎng)絡(luò)對(duì)比.由圖6可以明顯發(fā)現(xiàn)在104次迭代訓(xùn)練后，C-FnetT的訓(xùn)練誤差遠(yuǎn)遠(yuǎn)低于ResNet，并保持下去，大大提高了模型收斂速度.

表2 MNIST上的圖像識(shí)別測(cè)試準(zhǔn)確率(%)Table 2 Test accuracy(%)on MNIST dataset

表3 CIFAR-10上的圖像識(shí)別測(cè)試準(zhǔn)確率(%)Table 3 Test accuracy(%)on CIFAR-10 dataset

表4 CIFAR-100上圖像識(shí)別測(cè)試準(zhǔn)確率(%)Table 4 Test accuracy(%)on CIFAR-100 dataset

圖6 兩種網(wǎng)絡(luò)在CIFAR-100上的訓(xùn)練誤差 (其中ResNet有32層，C-FnetT為15層)Fig.6 Train loss of two networks on CIFAR-100

表5記錄了模型在SVHN數(shù)據(jù)集上的準(zhǔn)確率，C-FnetT的結(jié)果為92.27%，相比其它網(wǎng)絡(luò)獲得了最好的圖像識(shí)別效果.同時(shí)圖7繪制了C-FnetT和ResNet訓(xùn)練誤差對(duì)比圖，在3×104次迭代訓(xùn)練后，C-FnetT的訓(xùn)練誤差開(kāi)始明顯低于ResNet網(wǎng)絡(luò)，這樣的狀態(tài)一直保持到訓(xùn)練結(jié)束，極大證明了C-FnetT模型的有效性.

表5 SVHN上的圖像識(shí)別測(cè)試準(zhǔn)確率(%)Table 5 Test accuracy(%)on SVHN dataset

圖7 兩種網(wǎng)絡(luò)在SVHN上的訓(xùn)練誤差 (其中ResNet有32層，C-FnetT為15層)Fig.7 Train loss of two networks on SVHN

4 總 結(jié)

文章提出兩種新型的網(wǎng)絡(luò)結(jié)構(gòu)(C-FnetO和C-FnetT)，它們?cè)谒姆N公開(kāi)數(shù)據(jù)集(MNIST，CIFAR-10，CIFAR-100和 SVHN)上顯著提高了圖像分類準(zhǔn)確率，尤其C-FnetT.首先，C-FnetT在殘差模塊基礎(chǔ)上進(jìn)行優(yōu)化，采用交叉連接方式，并以較少的層數(shù)獲得了比很多先進(jìn)模型更高的準(zhǔn)確率.此外，實(shí)驗(yàn)結(jié)果表明，與其它方法相比，C-FnetT不僅具有更好的測(cè)試精度和泛化能力，而且加快了模型收斂速度.在未來(lái)的工作中，將文章提出的模型在ImageNet數(shù)據(jù)集上進(jìn)行檢驗(yàn)將成為主要任務(wù).