于長(zhǎng)永， 何 鑫， 祁 欣， 馬海濤

(東北大學(xué)秦皇島分校 計(jì)算機(jī)與通信工程學(xué)院， 河北 秦皇島 066004)

卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用在計(jì)算機(jī)視覺領(lǐng)域中，并在多種任務(wù)場(chǎng)景中取得了優(yōu)異的結(jié)果，如圖像識(shí)別[1]、目標(biāo)檢測(cè)[2]、場(chǎng)景分割[3]等.在視覺識(shí)別任務(wù)中，自從AlexNet[4]在ImageNet挑戰(zhàn)賽中取得了驚人的成績(jī)后，卷積神經(jīng)網(wǎng)絡(luò)模型在取得越來(lái)越好性能的同時(shí)，模型的復(fù)雜度也越來(lái)越高，大多數(shù)取得好的準(zhǔn)確率的卷積神經(jīng)網(wǎng)絡(luò)模型都需要龐大的參數(shù)和計(jì)算花費(fèi)，如ImageNet和COCO挑戰(zhàn)賽的優(yōu)勝者在設(shè)計(jì)模型時(shí)多數(shù)忽略了模型使用的計(jì)算資源的限制.舉個(gè)例子，在ImageNet12挑戰(zhàn)賽中獲得冠軍的VGG16[5]模型，其分類一張圖片需要高達(dá)1.28億參數(shù)以及153億浮點(diǎn)運(yùn)算數(shù)(floating point operations，F(xiàn)LOPs)的計(jì)算資源花費(fèi)，這在許多需要實(shí)時(shí)但計(jì)算資源有限的應(yīng)用中，如自動(dòng)駕駛、移動(dòng)電話、嵌入式設(shè)備等，是很難部署的.

近年來(lái)，越來(lái)越多的工作關(guān)注到這個(gè)問題上，解決方案總的來(lái)說分為三種策略，分別是修剪掉模型結(jié)構(gòu)中冗余的參數(shù)、使用低秩或更具質(zhì)量的過濾器、設(shè)計(jì)更有效的模型結(jié)構(gòu).對(duì)于第一種策略，現(xiàn)有的工作展示了在卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)中存在許多冗余參數(shù)，這種策略通常是加載預(yù)訓(xùn)練模型，通過某種規(guī)則或者約束來(lái)對(duì)模型結(jié)構(gòu)進(jìn)行剪枝，丟棄掉不滿足規(guī)則或者約束的連接，之后對(duì)剪枝后的模型進(jìn)行微調(diào).剪枝中常用的規(guī)則或約束包括連接中權(quán)重低于某一閾值、神經(jīng)元傳播重要分?jǐn)?shù)等.剪枝策略在逐層連接模型結(jié)構(gòu)上展現(xiàn)出好的性能，但文獻(xiàn)[6]指出在諸如Resnet[7]和DenseNet[8]網(wǎng)絡(luò)結(jié)構(gòu)上剪枝的效果不如從頭開始訓(xùn)練原始網(wǎng)絡(luò)的小版本好.第二種策略大多數(shù)是基于傳統(tǒng)的壓縮技術(shù)，如量化和二進(jìn)制化、哈夫曼編碼等.這些在數(shù)據(jù)科學(xué)中有良好表現(xiàn)的技術(shù)成功應(yīng)用在卷積神經(jīng)網(wǎng)絡(luò)中，并取得了不錯(cuò)的性能.然而文獻(xiàn)[9]認(rèn)為這類策略可能存在過度損失精度或者在運(yùn)算速度上無(wú)明顯壓縮.第三種策略通常使用更加緊湊的過濾器以及更加有效的拓?fù)浣Y(jié)構(gòu)來(lái)組建輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)以降低計(jì)算成本和模型參數(shù)，使用的技術(shù)包括將大的過濾器尺寸變?yōu)樾〉倪^濾器尺寸(11×11或7×7的卷積核由3×3或1×1卷積核代替)、卷積結(jié)構(gòu)使用深度可分離卷積替換正常卷積、拓?fù)浣Y(jié)構(gòu)由逐層連接發(fā)展為跳躍連接等.

DenseNet所采用的為第三種策略來(lái)構(gòu)建拓?fù)浣Y(jié)構(gòu)，提出了一種有效的密集連接拓?fù)浣Y(jié)構(gòu).雖然該模型使用的FLOPs和模型參數(shù)已經(jīng)較其他模型有了很大程度的降低，但是仍有降低參數(shù)冗余以及減少FLOPs的可能性.為了優(yōu)化這些問題，本文采用第三種策略提出了一個(gè)簡(jiǎn)單且有效的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型，命名為GMSDenseNet，該拓?fù)浣Y(jié)構(gòu)將輸入的特征圖基于通道層面隨機(jī)分割為成比例的兩部分，這兩部分分別做深度可分離卷積和組卷積，形成組多結(jié)構(gòu)卷積單元，并采用密集連接將所有的組多結(jié)構(gòu)卷積單元連接起來(lái)，構(gòu)成卷積神經(jīng)網(wǎng)絡(luò).該網(wǎng)絡(luò)可以有效地在GPUs上訓(xùn)練并使用較少的計(jì)算資源，實(shí)驗(yàn)結(jié)果表明，GMSDenseNet模型在使用了DenseNet-40模型約18.8%的FLOPs以及28.4%的模型參數(shù)的情況下，準(zhǔn)確率僅下降≤0.4%.

1 GMSDenseNet

DenseNet雖然在圖像識(shí)別任務(wù)中有著良好的性能，但是該網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)使用高額的FLOPs以及龐大的參數(shù)，其原始結(jié)構(gòu)的各構(gòu)成組件如圖1中A部分所示.本文將其DenseBlock中的正常卷積用由深度可分離卷積和組卷積構(gòu)成的組多結(jié)構(gòu)卷積單元替代，以降低其計(jì)算資源.

1.1 組多結(jié)構(gòu)卷積單元

深度可分離卷積和組卷積在許多深度卷積神經(jīng)網(wǎng)絡(luò)中有著很好的適應(yīng)性.這兩種卷積均可以有效地降低計(jì)算花銷.本文采用將這兩種卷積以一定比例組成多結(jié)構(gòu)卷積單元來(lái)替換正常卷積，同時(shí)對(duì)輸入的特征圖在進(jìn)入到組多結(jié)構(gòu)卷積單元前進(jìn)行通道混洗[10](channel shuffle)，該操作采用的是將權(quán)重矩陣轉(zhuǎn)置后做平滑處理，再重構(gòu)為與原權(quán)重矩陣維度相同的重排權(quán)重矩陣，這一操作是可微的并且沒有引入任何參數(shù)，所帶來(lái)的FLOPs與卷積操作龐大的FLOPs相比是微不足道的；隨后將混洗后的特征圖按比例分成兩部分，分別做深度可分離卷積以及組卷積，其中，深度卷積使用的過濾器尺寸大小為3×3，組卷積采用1×1瓶頸層與3×3組卷積的組合.將兩部分得到的輸出特征圖進(jìn)行通道層面的合并操作，這構(gòu)成了一個(gè)組多結(jié)構(gòu)卷積單元.組多結(jié)構(gòu)卷積單元首先要進(jìn)行通道混洗，因?yàn)槿魶]有這一操作，隨后的組多結(jié)構(gòu)卷積單元總會(huì)有一部分過濾器是在學(xué)習(xí)相同的特征，并有可能放大組卷積間無(wú)共享信息的不足，這會(huì)極大地影響特征的表征.將輸入的特征圖混洗，會(huì)很大程度上避免這一問題.組多結(jié)構(gòu)卷積單元的拓?fù)浣Y(jié)構(gòu)如圖2所示.

1.2 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

除了1.1節(jié)中所提到的組多結(jié)構(gòu)卷積單元，GMSDenseNet還包括轉(zhuǎn)換層以及混合鏈路連接.轉(zhuǎn)換層的本質(zhì)是為了改變特征圖的尺寸，所采用的技術(shù)為下采樣，同時(shí)也將網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)劃分為不同的GMSDenseNet Block.該層中的操作包括一個(gè)1×1的組卷積層以及一個(gè)2×2的平均池化層，這一設(shè)計(jì)也促使了在進(jìn)入到組多結(jié)構(gòu)卷積單元的特征圖需要進(jìn)行混洗.混合鏈路連接類似于文獻(xiàn)[11]中所提出的連接方式，但不同的是本文所使用的混合鏈路連接是由不同卷積在各自卷積輸出的特征進(jìn)行的元素層面加操作，之后再進(jìn)行通道層面合并操作，這樣可以在增加特征圖所表征的同時(shí)激勵(lì)圖像信息的重用，GMSDenseNet結(jié)構(gòu)的各構(gòu)成組件如圖1中B部分所示.

1.3 復(fù)雜度分析

為了直觀地闡述GMSDenseNet模型較DenseNet模型使用更少的參數(shù)和FLOPs，假設(shè)卷積操作的輸入為M張大小為H×W的特征圖，經(jīng)過kH×kW大小的過濾器逐像素計(jì)算，得到N張具有適當(dāng)填充的與輸入特征圖尺寸相同的輸出特征圖.因此，DenseNet的一個(gè)卷積層所使用的參數(shù)數(shù)量為kH×kW×M×N,所使用的FLOPs為kH×kW×M×N×H×W.而GMSDenseNet模型的組多結(jié)構(gòu)卷積單元是采用組卷積與深度可分離卷積相結(jié)合來(lái)構(gòu)成的“卷積層”，采用能被輸入特征圖張數(shù)M整除的m和n作為比例配置來(lái)分配M張輸入特征圖分別進(jìn)入到組卷積和深度可分離卷積，則深度可分離卷積所使用的參數(shù)數(shù)量為

所使用的FLOPs為

組多結(jié)構(gòu)卷積單元中的深度可分離卷積在深度卷積之后之所以不適用逐點(diǎn)卷積，是由于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)采用的是密集連接，這使得網(wǎng)絡(luò)中的深層會(huì)出現(xiàn)M是N的幾十倍，逐點(diǎn)卷積本質(zhì)是通道的線性組合變化，這將會(huì)放大有限的通道間的約束，而采用小尺寸的過濾器，將使通道間的組合變化更多元化，降低約束以使得通道所表征的特征信息更豐富.

而組卷積中每一個(gè)分組的正常卷積之前均有一個(gè)1×1卷積的瓶頸層，其目的是為了降低維度，其輸出的特征圖的張數(shù)固定為組卷積輸出特征圖張數(shù)的K倍(本文采用與文獻(xiàn)[12]的bottleneck相同的數(shù)值,K=4).那么在瓶頸層之前的分組數(shù)取為g1，之后的分組數(shù)取為g2，因此組卷積使用的參數(shù)數(shù)量為

因此組多結(jié)構(gòu)卷積單元的復(fù)雜度為兩者之和.根據(jù)DenseNet-40的配置，取其dense block1首層卷積及dense block3末層卷積的輸入輸出特征圖數(shù)量，兩種結(jié)構(gòu)/單元所使用的具體參數(shù)數(shù)量和FLOPs如表1所示.

表1 卷積層/單元參數(shù)及FLOPs

其中首層的配置為{M=36,N=12,H=32,W=32,kH=3,kW=3}，末層的配置為{M=456,N=12,H=8,W=8,kH=3,kW=3}，對(duì)于GMSDenseNet模型，具體配置為{m=1,n=2,g1=2,g2=3}.由表1的結(jié)果可以看出，隨著網(wǎng)絡(luò)的加深，多結(jié)構(gòu)卷積單元所使用的參數(shù)數(shù)量及FLOPs由首層卷積操作的66.2%降低到末層卷積操作的36.8%，呈下降趨勢(shì).

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

在Cifar-10數(shù)據(jù)集上的圖像分類任務(wù)中評(píng)估本文提出的GMSDenseNet模型結(jié)構(gòu).所有的實(shí)驗(yàn)均在具有160 GB RAM的Intel XeonE5-2640服務(wù)器的單CPU核心(2.40 GHz)上實(shí)現(xiàn)，操作系統(tǒng)為CentOS 7.4.1708.兩塊NVIDIA K40 GPU用于CNN計(jì)算.

Cifar-10數(shù)據(jù)集[13]是由10種尺寸大小為32像素×32像素的彩色自然圖片組成的，該數(shù)據(jù)集的訓(xùn)練子集以及測(cè)試子集分別由50 000張圖片和10 000張圖片構(gòu)成.本文采用標(biāo)準(zhǔn)數(shù)據(jù)增強(qiáng)方案(鏡像/位移)來(lái)對(duì)這兩種數(shù)據(jù)集進(jìn)行預(yù)處理，同時(shí)使用圖像通道層面的均值和方差對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化.

2.2 實(shí)驗(yàn)結(jié)果與分析

2.2.1 模型配置

GMSDsenetNet每層增加的特征圖數(shù)量與DenseNet所使用的增長(zhǎng)率k=12是一致的，將進(jìn)入到組多結(jié)構(gòu)卷積單元的輸入特征圖以不同的比例配置分配給組卷積和深度可分離卷積.發(fā)現(xiàn)組多結(jié)構(gòu)卷積單元中組卷積的比例高于深度可分離卷積單元，如圖3中比例配置為2∶1的情況下，模型不但使用較少的參數(shù)數(shù)量并且有較高的準(zhǔn)確率.

而且由圖4所得到的結(jié)果表明，當(dāng)模型使用的組卷積比例高于深度可分離卷積時(shí)，模型在每次訓(xùn)練的迭代過程中以及測(cè)試過程中所花費(fèi)的時(shí)間也相應(yīng)降低，這是由于深度可分離卷積中深度卷積部分的計(jì)算較為零散，現(xiàn)有的計(jì)算硬件對(duì)其計(jì)算效率不高.因此在設(shè)計(jì)模型結(jié)構(gòu)時(shí)采用的組卷積比例高于深度可分離卷積.

對(duì)于組卷積部分，為了增加所學(xué)習(xí)到的特征中包含的圖像信息，使用兩個(gè)組卷積來(lái)進(jìn)行特征學(xué)習(xí)，每個(gè)組卷積使用3個(gè)分組.對(duì)于組多結(jié)構(gòu)卷積單元，除了瓶頸層使用BN-ReLU轉(zhuǎn)換和1×1卷積尺寸，其余層均使用BN-ReLU轉(zhuǎn)換和3×3卷積尺寸.GMSDenseNet共有3個(gè)Block，每個(gè)Block中有16個(gè)組多結(jié)構(gòu)卷積單元，轉(zhuǎn)換層所使用的組卷積分組個(gè)數(shù)為增長(zhǎng)率因數(shù)子集中的中位數(shù)，即Gt=4.同時(shí)為了避免轉(zhuǎn)換層的輸出特征圖通道數(shù)量在進(jìn)入到下一個(gè)Block中的組多結(jié)構(gòu)卷積單元不匹配問題，本文對(duì)轉(zhuǎn)換層的輸出通道數(shù)量作出如下約束：當(dāng)輸入通道數(shù)量的一半仍可以被分配比例配置整除時(shí)，輸出通道數(shù)量就為輸入通道數(shù)量的一半，當(dāng)不能被整除時(shí)，輸出通道數(shù)量為輸入通道數(shù)量的一半與余數(shù)的差.組卷積的引入會(huì)大量減少模型參數(shù)的使用并顯著降低通道間的計(jì)算約束，但文獻(xiàn)[14]指出由于特征分組會(huì)產(chǎn)生大量的組卷積堆疊，這會(huì)導(dǎo)致特征信息丟失，且通道間的特征信息交互流動(dòng)也將受阻，嚴(yán)重影響特征表征能力.本文將文獻(xiàn)[10]中提出的通道混洗策略引入到所提出的模型中，對(duì)比了未加入混洗操作的相同模型，表2的實(shí)驗(yàn)結(jié)果說明了模型加入混洗操作未產(chǎn)生額外的花銷，并且對(duì)于組卷積所得到的特征信息進(jìn)行交互有著積極的作用.

表2 有無(wú)混洗對(duì)模型的影響

2.2.2 訓(xùn)練細(xì)節(jié)

使用帶有Nesterov動(dòng)量的隨機(jī)梯度下降來(lái)訓(xùn)練所提出的模型，動(dòng)量值設(shè)置為0.9并且沒有阻尼，權(quán)重衰減設(shè)置為0.000 1.采用64大小的批次數(shù)量來(lái)訓(xùn)練300輪，學(xué)習(xí)率采用從0.1開始以類似余弦波逐漸減少到0的策略.

根據(jù)表3實(shí)驗(yàn)結(jié)果可以得出，所提出的GMSDenseNet模型與其他最新的CNN模型相比，如ResNet-110等，使用了20%甚至更少的模型參數(shù)，達(dá)到了相近的準(zhǔn)確率.GMSDenseNet模型使用了DenseNet-40模型約18.8%的FLOPs以及28.4%的模型參數(shù)，準(zhǔn)確率下降≤0.4%.該模型與在DenseNet模型上應(yīng)用先進(jìn)有效的剪枝技術(shù)的模型相比，如DenseNet-40-P，使用了其44.0%的參數(shù)和26.2%的FLOPs，準(zhǔn)確率下降≤0.4%.

表3 分類準(zhǔn)確率比較

3 結(jié) 語(yǔ)

本文提出一種高效簡(jiǎn)單的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)GMSDenseNet，該網(wǎng)絡(luò)使用組多結(jié)構(gòu)卷積單元來(lái)代替正常卷積，使得該網(wǎng)絡(luò)能在使用DenseNet-40模型約18.8%的FLOPs以及28.4%的模型參數(shù)的情況下，準(zhǔn)確率僅下降≤0.4%.是否能夠在訓(xùn)練階段自動(dòng)地進(jìn)行輸入特征圖分組組數(shù)，以及如何保持或進(jìn)一步提高分類圖像準(zhǔn)確率，是未來(lái)工作方向之一.