劉 俊，姜 濤，徐小康，田 勝，李亞輝

(杭州電子科技大學(xué) 通信與傳輸信息融合國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室，浙江 杭州 310018)

0 引言

作為一個(gè)海洋大國(guó)，我國(guó)的海洋環(huán)境極為復(fù)雜，周邊國(guó)家對(duì)我國(guó)設(shè)置了三大包圍島鏈，領(lǐng)海糾紛時(shí)有發(fā)生。在復(fù)雜海戰(zhàn)場(chǎng)環(huán)境下，如何能快速檢測(cè)并識(shí)別出目標(biāo)艦船地位置和類(lèi)別，極大的關(guān)系著戰(zhàn)爭(zhēng)的成敗。同時(shí)，在建設(shè)海洋強(qiáng)國(guó)，海上絲綢之路等一系列海洋政策的推動(dòng)下，民事領(lǐng)域的海洋監(jiān)管顯得愈發(fā)重要，提升艦船目標(biāo)自動(dòng)化感知能力和水平在保護(hù)海洋漁場(chǎng)、海上能源運(yùn)輸及港口貿(mào)易監(jiān)管等領(lǐng)域有著重大意義?？紤]海上部署平臺(tái)的空間與能源受限性，輕量化與自動(dòng)化的檢測(cè)目標(biāo)識(shí)別系統(tǒng)顯得尤為重要。

海上艦船目標(biāo)自動(dòng)檢測(cè)是一種利用多種傳感器，獲取相關(guān)目標(biāo)的信息并對(duì)其進(jìn)行處理的技術(shù)。傳統(tǒng)目標(biāo)識(shí)別方法是基于圖像處理及模式識(shí)別等相關(guān)技術(shù)構(gòu)建的目標(biāo)識(shí)別方法。隨著大數(shù)據(jù)及云計(jì)算等關(guān)鍵技術(shù)的發(fā)展基于強(qiáng)大特征提取和語(yǔ)義表達(dá)的深度學(xué)習(xí)技術(shù)在目標(biāo)檢測(cè)領(lǐng)域得以應(yīng)用。其采用在權(quán)值迭代更新過(guò)程中實(shí)現(xiàn)對(duì)圖像空間域信息的提取和表達(dá)，從而能夠自動(dòng)提取出目標(biāo)特征。

傳統(tǒng)的艦船目標(biāo)檢測(cè)識(shí)別是基于經(jīng)典的數(shù)字圖像處理方法進(jìn)行的，通過(guò)利用設(shè)計(jì)的相關(guān)特征提取算子實(shí)現(xiàn)特征目標(biāo)的模板匹配[1]，其泛化能力極差，識(shí)別準(zhǔn)備率不高。艦船目標(biāo)檢測(cè)領(lǐng)域發(fā)展緩慢。

隨著2012年AlexNet[2]為首的深度網(wǎng)絡(luò)的出現(xiàn)，艦船目標(biāo)識(shí)別領(lǐng)域也開(kāi)始從傳統(tǒng)方法轉(zhuǎn)向深度學(xué)習(xí)方法。自深度殘差網(wǎng)絡(luò)之后，VGG[3]，GoogleNet[4]等一大批性能卓越的深度網(wǎng)絡(luò)，帶了了性能的極大提升，同時(shí)計(jì)算量也大大增長(zhǎng)，大規(guī)模的密集運(yùn)算使得深度模型的部署平臺(tái)大大受限，限制了相關(guān)技術(shù)的應(yīng)用。

MIT韓松博士在2016年發(fā)表了一篇關(guān)于對(duì)深度網(wǎng)絡(luò)模型結(jié)構(gòu)裁剪、量化及編碼的方法，在保證原有網(wǎng)絡(luò)性能的前提下，大幅壓縮了模型大小，并由此引發(fā)了一系列對(duì)壓縮網(wǎng)絡(luò)模型大小的改進(jìn)，包括MoblieNet[5]，GoogleNet等一系列優(yōu)化網(wǎng)絡(luò)，使得在海洋多平臺(tái)部署艦船目標(biāo)識(shí)別網(wǎng)絡(luò)成為可能。

1 算法總體框架

深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在現(xiàn)階段大致可分為one-stage和two-stage檢測(cè)算法。前者通過(guò)深度網(wǎng)絡(luò)特征提取后直接輸出物體的類(lèi)別概率和位置坐標(biāo)預(yù)測(cè)，具有較快的檢測(cè)速度；后者則通過(guò)選好候選區(qū)域和目標(biāo)樣本類(lèi)別與位置，具有較高的準(zhǔn)確率。

R-CNN[6]是首個(gè)目標(biāo)檢測(cè)領(lǐng)域的two-stage算法，通過(guò)不斷地卷積池化，將輸入圖像信息轉(zhuǎn)化為單層感興趣區(qū)域，采用softmax多分類(lèi)器同步類(lèi)別預(yù)測(cè)與位置預(yù)測(cè)，實(shí)現(xiàn)特征提取到類(lèi)別輸出一體化。

而本文選用one-stage算法中的SSD(Single-Shot-Detector)算法作為基礎(chǔ)算法框架[7]，并在此基礎(chǔ)上進(jìn)行優(yōu)化改進(jìn)，基礎(chǔ)SSD算法基本框架如圖1所示。

圖1 基礎(chǔ)SSD算法基本框架

原生的SSD算法由特征提取網(wǎng)絡(luò)、多尺度候選區(qū)域和檢測(cè)輸出處理3部分組成，通過(guò)在特征提取網(wǎng)絡(luò)部份提取的高質(zhì)量圖像特征信息，完成不同尺度的特征圖默認(rèn)框生成，采用基于回歸和多類(lèi)別分類(lèi)器對(duì)所生成的感興趣候選區(qū)域進(jìn)行類(lèi)別和坐標(biāo)的預(yù)測(cè)，通過(guò)非極大值抑制篩選置信度最高的目標(biāo)位置和對(duì)應(yīng)位置類(lèi)別[7]。在艦船目標(biāo)識(shí)別多平臺(tái)應(yīng)用上，SSD算法存在默認(rèn)框所使用的特征圖信息單一，候選框比例不適合艦船目標(biāo)識(shí)別應(yīng)用，軍船民船樣本數(shù)據(jù)集失衡等問(wèn)題。

針對(duì)以上諸多問(wèn)題，在海洋多平臺(tái)部署應(yīng)用背景下，本文借鑒了基礎(chǔ)SSD算法，開(kāi)展了輕量化深度網(wǎng)絡(luò)模型壓縮研究，為海上艦船目標(biāo)自動(dòng)識(shí)別提供支持。

面向艦船目標(biāo)識(shí)別應(yīng)用，借鑒one-stage中的SSD算法，本文提出了一種新的網(wǎng)絡(luò)框架DRSSD。實(shí)現(xiàn)海上資源受限情況下的多平臺(tái)自動(dòng)化部署。輕量化檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)整體示意如圖2所示。

由圖2可以看出，本文所提出的在資源受限情況下面向艦船目標(biāo)識(shí)別應(yīng)用的深度學(xué)習(xí)框架，通過(guò)將輸入圖片進(jìn)行輕量化的特征提取，用較少的算力和模型復(fù)雜度提取出相關(guān)特征信息，隨后送入多尺度目標(biāo)檢測(cè)附加層。通過(guò)對(duì)高底層級(jí)語(yǔ)義特征圖的信息融合，得到較強(qiáng)的富語(yǔ)義信息圖，結(jié)合原有的面向艦船目標(biāo)改進(jìn)后的尺寸參數(shù)，生成對(duì)應(yīng)的多種候選區(qū)域，最后通過(guò)篩選分類(lèi)，選擇出最合適的候選框區(qū)域和置信類(lèi)別。

新網(wǎng)絡(luò)有以下3大改進(jìn)點(diǎn)：

① 輕量化特征提取網(wǎng)絡(luò)；

② 基于信息融合的多尺度特征語(yǔ)義金字塔網(wǎng)絡(luò)；

③ 面向艦船目標(biāo)的候選框生成比例優(yōu)化。

圖2 輕量化檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)整體示意

1.1 輕量化特征提取結(jié)構(gòu)優(yōu)化

作為目標(biāo)檢測(cè)與識(shí)別的基礎(chǔ)，特征提取的質(zhì)量極大地關(guān)乎著整個(gè)模型效果，同時(shí)，特征提取中的一系列卷積池化操作和相關(guān)存儲(chǔ)的模型參數(shù)，占用了極大的算力和存儲(chǔ)量[8]。本文將從以下3個(gè)部分對(duì)特征提取部分進(jìn)行輕量化優(yōu)化。

1.1.1 卷積優(yōu)化

卷積是深度學(xué)習(xí)領(lǐng)域最重要的操作，通過(guò)對(duì)輸入的濾波進(jìn)行整合輸出，得到所需要的特征，但是傳統(tǒng)的卷積操作通常將輸入的所有特征圖與卷積核進(jìn)行逐點(diǎn)求和累加，消耗大量的算力和存儲(chǔ)空間，極大地影響著資源受限情況下的平臺(tái)部署，本文用深度可分離卷積替代傳統(tǒng)卷積[12]。

標(biāo)準(zhǔn)卷積核如圖3左側(cè)所示，而右側(cè)為拆分后的可分離卷積核。由圖3可以看出，通過(guò)將一個(gè)標(biāo)準(zhǔn)的卷積核簡(jiǎn)化為一個(gè)深度卷積核和一個(gè)逐點(diǎn)卷積核，從而實(shí)現(xiàn)標(biāo)準(zhǔn)卷積操作的拆分，避免了輸入特征圖數(shù)量與卷積核參數(shù)量之間的耦合作用，大幅度減少卷積核的參數(shù)。

圖3 深度可分離卷積原理示意

在標(biāo)準(zhǔn)的卷積操作中，假設(shè)卷積核的尺寸為Cin×kw×kh，其中，Cin為卷積核的數(shù)量；kw×kh為輸入特征圖的尺寸。輸出特征圖的尺寸為Cout×Ow×Oh，其中，Cout為輸出特征圖的數(shù)量，Ow×Oh為輸出特征圖的尺寸。則標(biāo)準(zhǔn)卷積操作所需的計(jì)算量為：

Cfs=Cin×kw×kh×Cout×Ow×Oh。

(1)

參數(shù)量為：

Cws=Cin×Cout×kw×kh。

(2)

而通過(guò)深度可分離卷積操作之后，輸入和輸出特征圖的尺寸均相同的情況下，其計(jì)算量可以分為2部分：深度卷積計(jì)算量和逐點(diǎn)卷積計(jì)算量。其中所需計(jì)算量為：

Cfd=kw×kh×Cin×Ow×Oh+Cin×Cout×Ow×Oh。

(3)

參數(shù)量為：

Cws=Cin×kw×kh+Cin×Cout。

(4)

通過(guò)將標(biāo)準(zhǔn)卷積和深度可分離卷積進(jìn)行比較可以發(fā)現(xiàn)，深度可分離卷積在模型計(jì)算量的減少方面，較原始標(biāo)準(zhǔn)卷積減少比例為：

(5)

1.1.2 模型參數(shù)壓縮

針對(duì)特征圖感受野缺乏豐富性問(wèn)題，本文參考并改進(jìn)了Googlenet網(wǎng)絡(luò)的想法，通過(guò)利用Bottleneck[10]思想將輸入特征通道進(jìn)行預(yù)處理[10]，并對(duì)擴(kuò)充后的輸入通道進(jìn)行過(guò)隨機(jī)比例切分之后輸入到之后的不同尺寸的卷積核進(jìn)行卷積操作，從而實(shí)現(xiàn)在增加感受野的同時(shí)減少模型中參數(shù)的使用。

1.2 基于信息融合的多尺度特征語(yǔ)義金字塔網(wǎng)絡(luò)

原生SSD算法在單感受特征圖基礎(chǔ)上生成多尺度候選框區(qū)域，在某個(gè)像素點(diǎn)生成九種長(zhǎng)寬比例和不同面積的候選區(qū)域，這種方法強(qiáng)調(diào)了單感受野對(duì)于目標(biāo)識(shí)別的重要性，但忽略了局部感受野之間的關(guān)聯(lián)性，而淺層輸出通道則具有豐富的語(yǔ)義信息，如果將深層與淺層信息先融合，圖像信息特征表達(dá)會(huì)更加全面，所產(chǎn)生的候選區(qū)域也將更高質(zhì)量[11]。多尺度特征語(yǔ)義金字塔網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 多尺度特征語(yǔ)義金字塔網(wǎng)絡(luò)結(jié)構(gòu)

由圖4可以看出，通過(guò)將相鄰層級(jí)的特征數(shù)據(jù)歸一化后，用矩陣相加的方法進(jìn)行高底層信息融合，形成多尺度特征語(yǔ)義金字塔網(wǎng)絡(luò)。同時(shí)，利用輕量化網(wǎng)絡(luò)思想，將金字塔型網(wǎng)絡(luò)形成時(shí)的標(biāo)準(zhǔn)卷積用深度可分離卷積來(lái)替換，進(jìn)一步壓縮檢測(cè)網(wǎng)絡(luò)的不必要參數(shù)和計(jì)算量。

1.3 面向艦船目標(biāo)的候選框生成比例優(yōu)化

一般的深度學(xué)習(xí)算法在生成多尺度候選區(qū)域時(shí)的默認(rèn)框比例是固定的，但這并不適用于艦船目標(biāo)識(shí)別的目標(biāo)框，盲目運(yùn)用會(huì)導(dǎo)致模型發(fā)散和訓(xùn)練效率低下等問(wèn)題。本文利用基于改進(jìn)型聚類(lèi)的候選框比例優(yōu)化方法，在自建艦船目標(biāo)數(shù)據(jù)集上提取大量標(biāo)注樣本長(zhǎng)寬比信息。在k-means++[12]聚類(lèi)操作之后，得到適用于艦船目標(biāo)識(shí)別的長(zhǎng)寬比例，并由此作為默認(rèn)候選框生產(chǎn)的參數(shù)設(shè)定，具體算法如下所示。

圖5 K-means++算法流程

2 實(shí)驗(yàn)結(jié)果與分析

基于嵌入式平臺(tái)計(jì)算和存儲(chǔ)能力的有限性，采用在服務(wù)器端訓(xùn)練，嵌入式端部署測(cè)試相結(jié)合地辦法。實(shí)驗(yàn)環(huán)境配置如表1所示。

表1 實(shí)驗(yàn)環(huán)境配置

類(lèi)型硬件環(huán)境軟件環(huán)境CPUGPU內(nèi)存系統(tǒng)框架高性能服務(wù)器Xeon E5-2450@2.00 GHZTITAN X(12GB)16 GBDDR4Ubuntu14.04Caffe嵌入式平臺(tái)Tegra K1GeForce Kepler2GB(GPU共享)Ubuntu14.04定制版Caffe

根據(jù)上文所提出的改進(jìn)型輕量化分類(lèi)網(wǎng)絡(luò)結(jié)構(gòu)圖，將各個(gè)模塊連接，最終得到分類(lèi)網(wǎng)絡(luò)模型結(jié)構(gòu)，相關(guān)網(wǎng)絡(luò)參數(shù)設(shè)計(jì)如表2所示。

表2 輕量化分類(lèi)網(wǎng)絡(luò)模型參數(shù)配置

層名稱(chēng)輸出維度卷積核步長(zhǎng)重復(fù)次數(shù)深度可分離卷積Image224×224----Conv1112×1127×721×Pool157×573×321-Match_Block157×573×311√DRes_Block157×573×311√Match_Block229×293×321√DRes_Bolck229×293×311√Match_Block315×153×321√DRes_Bolck315×153×312√Match_Block48×83×321√DRes_Bolck48×83×312√Pool21×1-global_pooling1-

2.1 輕量化網(wǎng)模型性能對(duì)比

面對(duì)資源受限平臺(tái)情況下的相關(guān)計(jì)算存儲(chǔ)需求，本文將提出的輕量化分類(lèi)網(wǎng)絡(luò)結(jié)構(gòu)DRSSD與業(yè)內(nèi)公開(kāi)的MoblieNet，ShuffleNet[13]，MobilieNetV2[14]等輕量化模型在相關(guān)準(zhǔn)確率和模型復(fù)雜度方面進(jìn)行了實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)結(jié)果如表3和表4所示。

表3 ImageNet-67數(shù)據(jù)集上模型性能對(duì)比

模型名稱(chēng)模型大小/MBTop-1準(zhǔn)確率/%Top-5準(zhǔn)確率/%單幀耗時(shí)/msMobileNet16.270.892.813.3ResNet-1844.670.892.114.3ShuffleNet7.369.990.123.6DRSSD7.871.493.516.3MobileNetv214.271.693.628.9

表4 模型復(fù)雜度對(duì)比實(shí)驗(yàn)數(shù)據(jù)

模型名稱(chēng)參數(shù)數(shù)量浮點(diǎn)算量復(fù)雜指數(shù)分類(lèi)準(zhǔn)確率/%VGG-16138 344 12815 470 264 3200.089 4393.0ResNet-5025 556 0323 857 973 2480.066 2494.4ResNet-1811 692 7361 826 918 4000.064 0092.1ShuffleNet_1g31 812 734127 061 3040.142 6790.1MobileNet1 330 592149 497 0880.089 0092.8MobileNet v23 504 960429 111 9360.081 6893.6DResNet(Our’s)2 287 392407 326 7200.056 1693.5

通過(guò)對(duì)模型大小、準(zhǔn)確率和速度3個(gè)方面的分析，DRSSD有著較小的模型大小(7.8 MB)和較高的準(zhǔn)確率(top5準(zhǔn)確率達(dá)到93.5%)。

2.2 改進(jìn)點(diǎn)性能對(duì)比分析

為了對(duì)比各個(gè)改進(jìn)點(diǎn)對(duì)模型性能的提升幅度，本文采用了控制變量法對(duì)各個(gè)改進(jìn)點(diǎn)進(jìn)行了單獨(dú)實(shí)驗(yàn)作為艦船目標(biāo)網(wǎng)絡(luò)，本節(jié)的所有實(shí)驗(yàn)都是基于自建艦船目標(biāo)數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果如下。

不同于其他物體，艦船目標(biāo)有著其獨(dú)特的長(zhǎng)寬比和模型大小特征。一般算法中，生成的默認(rèn)錨框長(zhǎng)寬比特征未能針對(duì)艦船目標(biāo)進(jìn)行特殊化配置。本文使用傳統(tǒng)機(jī)器學(xué)習(xí)中的聚類(lèi)方法來(lái)提取艦船目標(biāo)長(zhǎng)寬比例數(shù)據(jù)的獲取，基于自建數(shù)據(jù)集標(biāo)注目標(biāo)尺寸聚類(lèi)結(jié)果及可視化如圖6和圖7所示。

圖6 不同聚類(lèi)中心數(shù)量艦船目標(biāo)尺寸比例聚類(lèi)效果

為證明不同數(shù)量的尺寸比例都最終結(jié)果的影響，本文使用初始化聚類(lèi)中心數(shù)量k∈[4，9]。從聚類(lèi)結(jié)果上可以看出，隨著聚類(lèi)中心數(shù)量的增加，目標(biāo)尺寸比例數(shù)據(jù)近似在一定范圍內(nèi)波動(dòng)。但在目標(biāo)檢測(cè)過(guò)程中，默認(rèn)框的數(shù)量將直接影響算法推理過(guò)程中的計(jì)算量，因此在此選擇k=6作為每個(gè)位置生成的默認(rèn)框的尺寸，也即每個(gè)位置生成6種不同尺寸的默認(rèn)框。k=6時(shí)目標(biāo)尺寸比例效果如圖7所示。其中圓內(nèi)標(biāo)注數(shù)據(jù)為目標(biāo)的長(zhǎng)寬比例結(jié)果。

圖7 目標(biāo)形狀尺寸比例聚類(lèi)可視化

為了便于后續(xù)實(shí)驗(yàn)的使用，在此本文將聚類(lèi)中心數(shù)量為k=6時(shí)的聚類(lèi)數(shù)據(jù)進(jìn)行了整理，艦船目標(biāo)形狀聚類(lèi)詳細(xì)數(shù)據(jù)如表5所示。

表5 數(shù)據(jù)集艦船目標(biāo)長(zhǎng)寬比聚類(lèi)結(jié)果

序號(hào)123456長(zhǎng)寬[0.14,0.40][0.05,0.06][0.12,0.10][0.69,0.58][0.25,0.17][0.49,0.33]長(zhǎng)寬比0.350.781.141.181.471.48

由表5可以看出，聚類(lèi)數(shù)據(jù)的面積部分為真實(shí)目標(biāo)框相對(duì)于原始圖像所占的比例，例如[0.25，0.17]表示標(biāo)注框相對(duì)于原始圖像，寬度為原始圖像的0.25，而高度為原始圖像的0.17。此外，從長(zhǎng)寬比聚類(lèi)結(jié)果可以看出，采用6個(gè)聚類(lèi)中心進(jìn)行聚類(lèi)，最終聚類(lèi)出的長(zhǎng)寬比僅有4類(lèi)，分別為0.35，0.78，1.14和1.47。本文檢測(cè)算法部分也均是基于該聚類(lèi)數(shù)據(jù)對(duì)默認(rèn)錨點(diǎn)框進(jìn)行初始化形狀參數(shù)設(shè)置。

分類(lèi)網(wǎng)絡(luò)切割改進(jìn)方法網(wǎng)絡(luò)模型性能變化如表6所示。

表6 分類(lèi)網(wǎng)絡(luò)切割改進(jìn)方法網(wǎng)絡(luò)模型性能變化

模型名稱(chēng)DRSSDDepthwise convolution√√√√Squeeze expand√√√Squeeze excitation√√ImageNet-67 Accuracy94.487.388.791.593.5

由表6可以看出，通過(guò)建立多尺度語(yǔ)義特征金字塔來(lái)增加網(wǎng)絡(luò)模型中感受野的特征信息與語(yǔ)義信息，能夠有效提升艦船目標(biāo)識(shí)別準(zhǔn)確率提升了1.4個(gè)百分點(diǎn)。

3 結(jié)束語(yǔ)

本文針對(duì)資源受限情況下的艦船目標(biāo)檢測(cè)識(shí)別技術(shù)進(jìn)行了研究。在已有輕量化SSD算法模型的基礎(chǔ)上進(jìn)行了諸多改進(jìn)，提出了改進(jìn)型的DRSSD輕量化檢測(cè)模型。經(jīng)過(guò)大量實(shí)驗(yàn)表明，該算法結(jié)構(gòu)大量削減了非必要模型參數(shù)，在保證原有檢測(cè)精度和檢測(cè)速度不大規(guī)模降低的情況下，通過(guò)本文提出的諸多改進(jìn)點(diǎn)與現(xiàn)有深度網(wǎng)絡(luò)在公開(kāi)和自建艦船目標(biāo)數(shù)據(jù)集上進(jìn)行了比較，證明改進(jìn)點(diǎn)有效地提高了艦船目標(biāo)識(shí)別的準(zhǔn)確率。實(shí)現(xiàn)了計(jì)算量和參數(shù)量的削減，該方法具有資源損耗低、準(zhǔn)確率和實(shí)時(shí)性高等諸多特點(diǎn)。能夠有效地實(shí)現(xiàn)海上多平臺(tái)部署，對(duì)海洋漁業(yè)及國(guó)防等諸多方面都有著重大意義。但本文所設(shè)計(jì)的網(wǎng)絡(luò)模型仍具有很大的改進(jìn)空間，如何在保持準(zhǔn)確率的情況下，更好地壓縮網(wǎng)絡(luò)的大小，將傳統(tǒng)目標(biāo)檢測(cè)方法和深度網(wǎng)絡(luò)相結(jié)合，是我們以后研究的重點(diǎn)方向[15]。