張 曼，葉 曦，李 杰，沈 霽

(上海航天電子技術(shù)研究所，上海 201109)

1 引言

衛(wèi)星影像中目標(biāo)自動檢測是遙感圖像智能分析領(lǐng)域的重要研究方向[1]，它要求對包含多目標(biāo)衛(wèi)星影像自動定位標(biāo)記，并判別該目標(biāo)所屬類別，對船只、飛機、油罐等軍事目標(biāo)信息采集具有重要作用[2]。

傳統(tǒng)衛(wèi)星影像目標(biāo)檢測算法主要利用滑動窗口搜索策略切割整幅遙感圖像，然后依據(jù)目標(biāo)固有特征(如幾何、紋理、顏色等)定位標(biāo)記[3-5]。這種方法無法同時對多種類別目標(biāo)同時定位區(qū)分，且易受光照、拍攝角度等外界環(huán)境變化，魯棒性差。自2012年AlexNet[6]在ImageNet競賽[7]上大獲成功，卷積神經(jīng)網(wǎng)絡(luò)技術(shù)在目標(biāo)檢測領(lǐng)域獲得廣泛應(yīng)用。2014年Ross B.Girshick提出RCNN[8]算法，檢測圖像通過選擇性搜索法(selective search)[9]進行圖像分塊，分割后的候選區(qū)域通過多層卷積網(wǎng)絡(luò)提取特征，最后進行分類與位置回歸。該算法中候選區(qū)域的大量重合導(dǎo)致運算速度低，檢測過程中需保存大量特征信息，內(nèi)存消耗大。針對這一情況，Ross B.Girshick一年后提出了Fast-RCNN[10]算法，算法通過對整張圖像卷積得到特征圖像，利用分類與邊框回歸結(jié)合的多任務(wù)損失函數(shù)迭代優(yōu)化，由于候選區(qū)域提取同樣依賴selective search方法，檢測速度較慢。2015年提出的Faster-RCNN[11]算法舍棄以往候選區(qū)域提取策略，候選區(qū)域由可訓(xùn)練優(yōu)化的RPN網(wǎng)絡(luò)提取，有效減少候選區(qū)域數(shù)量，提高了檢測效率。由此可見，基于區(qū)域建議框的R-CNN系列算法檢測過程主要分為兩步：第一步提取候選區(qū)域，第二步檢測分類，具有網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、檢測效率低、工程實現(xiàn)困難等缺陷。2016年，端對端檢測策略的YOLO[12]被提出，該算法將目標(biāo)定位檢測問題轉(zhuǎn)化為回歸問題處理，通過一個卷積神經(jīng)網(wǎng)絡(luò)直接所有候選區(qū)域進行回歸，對其預(yù)測相應(yīng)的類別的概率，解決候選區(qū)域重疊問題，實現(xiàn)實時目標(biāo)檢測。2017年提出YOLO-V2[13]算法，在YOLO的基礎(chǔ)上進行多方面改進，進一步提高定位精度。Tiny-Yolo-V2為YOLO-V2算法的簡化版本，通過減少卷積層數(shù)，提高檢測效率，便于工程實現(xiàn)。

在航天對地觀測領(lǐng)域，衛(wèi)星影像分辨率隨技術(shù)的發(fā)展不斷提升，地物目標(biāo)信息的也逐漸豐富，采用深度學(xué)習(xí)技術(shù)進行目標(biāo)檢測成為研究趨勢。端對端類型的Tiny-Yolo-V2算法通在保證一定檢測精度的情況下，具有模型規(guī)模小、檢測效率高的優(yōu)勢，節(jié)約了計算資源，便于硬件部署。本文提出的基于深度可分離卷積神經(jīng)網(wǎng)絡(luò)衛(wèi)星影像檢測算法基于Tiny-Yolo-V2算法進行優(yōu)化，利用深度可分離卷積方法優(yōu)化Tiny-Yolo-V2卷積層，減小算法計算量，提高檢測效率，同時針對衛(wèi)星影像地物目標(biāo)大小差異較大問題，結(jié)合特征金字塔(FPN)[14]思想，利用多種尺度特征圖融合技術(shù)，提高目標(biāo)檢測精度。

2 深度可分離卷積

卷積層的主要作用是特征提取。標(biāo)準卷積將輸入特征圖通過卷積核卷積過程中，需要同時學(xué)習(xí)空間特征與通道特征，而于2017年Andrew G.Howard提出的深度可分離卷積[15]通過將卷積層空間相關(guān)性與通道相關(guān)性解藕，在標(biāo)準卷積過程中添加一層過渡層，將其分解為深度卷積(depthwise convolution)與逐點卷積(pointwise convolution)，分別考慮空間相關(guān)性與通道相關(guān)性。相對標(biāo)準卷積，深度可分離卷積可以在保證精度損失不多情況下，大幅降低參數(shù)量與計算量[16]。

假設(shè)輸入為DF×DF×M的特征圖，與DK×DK×M×N大小的卷積核卷積，標(biāo)準卷積操作過程如圖1所示，每張輸入特征圖分別與N類中M個DK×DK卷積核卷積后求和加上偏置得到一個輸出，最后輸出為DF×DF×N大小。深度可分離操作過程如圖2所示，圖2(a)為深度卷積過程，圖2(b)為逐點卷積過程。深度卷積時，每張輸入特征圖只與對應(yīng)卷積核卷積加偏置，輸出大小為DF×DF×M。逐點卷積時，DF×DF×M的特征圖與N個1×1的卷積核做標(biāo)準卷積，改變通道個數(shù)，最后輸出特征圖大小為DF×DF×N。

圖1 標(biāo)準卷積操作示意圖

圖2 深度可分離卷積操作示意圖

標(biāo)準卷積卷積過程計算量如下式所示

DF×DF×M×N×DK×DK

(1)

深度可分離卷積中，深度卷積過程計算量如下式所示

DF×DF×M×DK×DK

(2)

逐點卷積過程計算量如下式所示

DF×DF×M×N

(3)

深度可分離卷積相當(dāng)于標(biāo)準卷積的n倍，n的表達式如下所示

(4)

3 基于深度可分離卷積的衛(wèi)星影像檢測算法

3.1 基于特征金字塔的目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)

深度學(xué)習(xí)算法Tiny-Yolo-V2是一種端到端的目標(biāo)檢測算法，算法的網(wǎng)絡(luò)結(jié)構(gòu)簡單，參數(shù)量少，工程化實現(xiàn)相對容易，本論文選擇此算法為基礎(chǔ)算法進行優(yōu)化。Tiny-Yolo-V2算法具體網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示，包括9個卷積層和6個池化層。卷積層使用3×3大小的卷積核操作，最后1層卷積層卷積核大小為1×1，池化層為最大池化方式，池化大小為2×2，步長為2。每次池化操作相當(dāng)于做一次下采樣，特征圖縮小1倍。前12層，卷積層后做池化操作，池化后，卷積層卷積核個數(shù)擴增1倍，卷積層提取特征，池化層做特征壓縮。除最后1層卷積層外，每層卷積層引入BatchNormal算法穩(wěn)定訓(xùn)練過程，加快收斂。

表1 Tiny-Yolo-V2算法網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

衛(wèi)星影像中地物信息豐富，能同時存在車輛、飛機、港口等差異較大的地物目標(biāo)，單一尺度的目標(biāo)檢測算法無法很好地對不同類別不同大小的目標(biāo)進行預(yù)測，本文希望通過添加一個維度的尺度特征圖預(yù)測，改善這一問題。在深度學(xué)習(xí)領(lǐng)域，增加預(yù)測尺度方式有多種，本論文結(jié)合特征金字塔(FPN)結(jié)構(gòu)進行優(yōu)化。

在目標(biāo)檢測算法中，由于池化層進行了特征壓縮，網(wǎng)絡(luò)中不同卷積層輸出特征圖尺寸不同。淺層輸出的特征圖尺寸更大，保留更多的細節(jié)信息，更有利于目標(biāo)位置信息的預(yù)測，同時由于經(jīng)過的卷積層數(shù)少，提取的信息不夠精煉，不利于進行目標(biāo)類別的預(yù)測。深層的特征圖尺寸小，在多次卷積后，特征圖提取的信息更加抽象，進行目標(biāo)分類準確度更高，相對地，多次卷積池化信息提煉過程中丟失了很多細節(jié)信息，易出現(xiàn)目標(biāo)位置信息預(yù)測不精準現(xiàn)象。特征金字塔結(jié)構(gòu)將深層特征與淺層特征結(jié)合，提高目標(biāo)檢測算法預(yù)測的類別正確率和定位準確度。

改進算法是基于Tiny-Yolo-V2算法進行優(yōu)化實現(xiàn)的，記為FD-Tiny-Yolo-V2算法，在原有13×13大小的預(yù)測尺度上，增加26×26大小的預(yù)測尺度，提高小目標(biāo)、多目標(biāo)的檢測精度。FD-Tiny-Yolo-V2算法網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，包括7個卷積層、5個深度可分離卷積層、6個池化層、1個上采樣層和1個特征融合層。輸入圖像尺寸為3通道416×416的衛(wèi)星影像，經(jīng)過4個卷積層與4個池化層特征提取與壓縮后，得到128維26×26大小特診圖。得到的特征度經(jīng)歷兩種操作最后得到不同尺度的預(yù)測信息。26×26大小特診圖通過圖中上通道一系列卷積層、深度卷積層和池化層作用，最后得到的特征圖大小為13×13，是第一種預(yù)測尺度。輸入圖像經(jīng)過5個卷積層、5個池化層與2個深度可分離卷積層操作后，得到256維13×13大小特征圖，這256維13×13大小特征圖包含高維特征信息，上采樣后與上述128維26×26大小特征圖相融合，得到的384維26×26大小特征圖，經(jīng)過卷積層操作后得到特征圖大小為26×26，是第二種預(yù)測尺度。FD-Tiny-Yolo-V2將高語義信息的深層特征與高細節(jié)信息的淺層特征相互融合的方式，課得到多種尺度的信息，提高目標(biāo)檢測的定位精度于類別預(yù)測正確率。卷積層操作如圖3中模塊1所示，包括標(biāo)準卷積、批量歸一化(BN)和非線性變換三種操作，深度可分離卷積層包括3×3深度卷積、BN、非線性變換、1×1標(biāo)準卷積、BN和非線性變換六種操作。

圖3 FD-Tiny-Yolo-V2算的的多尺度網(wǎng)絡(luò)結(jié)構(gòu)

FD-Tiny-Yolo-V2算法最后做兩種尺度預(yù)測，分別為13×13和26×26。假設(shè)每個珊格預(yù)測B個框，訓(xùn)練圖像包含C個類別，最后特征圖輸出結(jié)果為

S×S×B×(5+C)

(5)

此處，5表示每個預(yù)測邊框的坐標(biāo)信息(邊框中心點坐標(biāo)與邊框長寬共4個值)加預(yù)測表框置信度信息。這里選擇的數(shù)據(jù)集包括15個類別，根據(jù)K-means[17]聚類算法可知，當(dāng)一個珊格預(yù)測5個邊框時。因此，最后兩種特診圖輸出為13×13×100與26×26×100大小。

3.2 算法訓(xùn)練框架

衛(wèi)星影像開源數(shù)據(jù)量少，寬幅影像無法直接用于深度學(xué)習(xí)目標(biāo)檢測算法處理，因此，訓(xùn)練前需進行數(shù)據(jù)集増廣與切塊操作。如圖4所示為FD-Tiny-Yolo-V2算法訓(xùn)練框架，具體分為三步，第一步増廣數(shù)據(jù)集，第二步進行數(shù)據(jù)集切塊，第三步開展模型訓(xùn)練工作。數(shù)據(jù)集増廣時，采用旋轉(zhuǎn)、顏色抖動、模糊處理及縮放操作擴充衛(wèi)星影像與對應(yīng)標(biāo)簽。數(shù)據(jù)集切塊時，利用滑動窗口將大小不一的衛(wèi)星影像切塊處理，對應(yīng)標(biāo)簽隨之變化，切塊后剔除不包含目標(biāo)信息的圖像切塊與標(biāo)簽。網(wǎng)絡(luò)模型訓(xùn)練過程中，將訓(xùn)練圖像分批次輸入FD-Tiny-Yolo-V2網(wǎng)絡(luò)模型中，將模型輸出的預(yù)測值與實際標(biāo)簽比較，利用二值的誤差值優(yōu)化模型參數(shù)，多次迭代后，保存網(wǎng)絡(luò)模型。訓(xùn)練過程中，誤差為預(yù)測坐標(biāo)誤差、預(yù)測類別誤差與預(yù)測置信度誤差之和，具體計算公式如下式所示

圖4 算法訓(xùn)練框架

(6)

4 實驗結(jié)果與分析

4.1 數(shù)據(jù)集及評價指標(biāo)

本文實驗采用DOTA[18]作為實驗的數(shù)據(jù)集。衛(wèi)星影像數(shù)據(jù)集DOTA是由武漢大學(xué)和華中科技大學(xué)聯(lián)合團隊標(biāo)注完成的，共標(biāo)注了包含飛機、船只、小轎車、油罐等在內(nèi)的15種目標(biāo)類別，圖像大部分來自谷歌地球。DOTA數(shù)據(jù)集中尺寸不一的寬幅衛(wèi)星影像數(shù)據(jù)集經(jīng)過滑動窗口切塊與數(shù)據(jù)集増廣操作后，得到160000張圖像切塊，做訓(xùn)練測試使用的數(shù)據(jù)集，具體數(shù)據(jù)集示例如圖5所示。

圖5 數(shù)據(jù)集示例

本文選擇精準率、召回率和平均精準率(Average Precision，AP)為目標(biāo)檢測算法評價指標(biāo)。精準率為預(yù)測正確邊框數(shù)量與所有預(yù)測邊框數(shù)量之比，召回率為預(yù)測正確邊框數(shù)量與標(biāo)注為該類別邊框數(shù)量之比，AP值為精確率隨召回率變化曲線在從0到1上的積分。精準率、召回率與AP值越大，代表檢測效果越好。

4.2 實驗平臺與參數(shù)設(shè)置

實驗由CPU為i8、內(nèi)存為32G、GPU為2片NVIDIA的1080Ti 的臺式計算機完成。程序設(shè)計平臺為Visual Studio2015，操作系統(tǒng)為ubuntu16.0.4。

訓(xùn)練時，最大迭代次數(shù)為50020次，每次訓(xùn)練8個批次，每個批次訓(xùn)練32張圖片，初始學(xué)習(xí)率為0.0001。訓(xùn)練時IOU閾值為0.3，測試時IOU閾值為0.5。

4.3 實驗結(jié)果分析

本文算法是基于Tiny-Yolo-V2進行優(yōu)化改進的，表2為兩種算法性能評估結(jié)果表?？梢园l(fā)現(xiàn)，大體來說，F(xiàn)D-Tiny-Yolo-V2算法在精準率、召回率與AP值上優(yōu)于Tiny-Yolo-V2算法。對于籃球場、田徑場、足球場、游泳池等中型、大型目標(biāo)，兩種算法精準率、召回率與AP值差別不大；對于小汽車、橋梁等小型目標(biāo)來說，本文提出的FD-Tiny-Yolo-V2算法目標(biāo)檢測評估結(jié)果更好。說明FD-Tiny-Yolo-V2算法通過增加預(yù)測尺度，達到了提高小目標(biāo)檢測的精準率效果，驗證了結(jié)合特征金字塔優(yōu)化Tiny-Yolo-V2方案的有效性。

表2 目標(biāo)檢測算法性能評估結(jié)果

表3為YOLO-V1、YOLO-V2、Tiny-Yolo-V2與本文提出的FD-Tiny-Yolo-V2四種不同目標(biāo)檢測算法性能對比表，mAP為AP的平均值?？梢园l(fā)現(xiàn)，本文提出的FD-Tiny-Yolo-V2算法mAP值為0.427，比Tiny-Yolo-V2算法高了0.084，排四種算法的第三位置。FD-Tiny-Yolo-V2算法在檢測時間與參數(shù)量方面表現(xiàn)更好，一張圖像切塊僅需1.44ms，參數(shù)量為21.5M，排四種算法中第一位置。驗證了結(jié)合深度可分離卷積優(yōu)化檢測算法方案的有效性。本文提出算法工程化實現(xiàn)更容易。

表3 目標(biāo)檢測算法檢測性能對比

圖6為FD-Tiny-Yolo-V2算法在寬幅衛(wèi)星影像上的檢測結(jié)果。圖6(a)圖像主要為飛機目標(biāo)，圖6(b)圖像主要為車輛目標(biāo)?？梢园l(fā)現(xiàn)FD-Tiny-Yolo-V2算法在不同衛(wèi)星影像種，目標(biāo)基本檢出，檢測效果良好。

圖6 寬幅衛(wèi)星影像檢測結(jié)果

圖7為Tiny-Yolo-V2和FD-Tiny-Yolo-V2兩種算法在同一張寬幅衛(wèi)星影像上的檢測結(jié)果。上幅為Tiny-Yolo-V2算法目標(biāo)檢測結(jié)果，下幅為FD-Tiny-Yolo-V2檢測結(jié)果，右邊圖像為圖中邊框內(nèi)細節(jié)放大圖?？梢园l(fā)現(xiàn)，Tiny-Yolo-V2算法小型目標(biāo)更容易漏檢，F(xiàn)D-Tiny-Yolo-V2算法目標(biāo)基本檢出。如圖中所示車輛目標(biāo)中FD-Tiny-Yolo-V2算法檢測效果更好。

圖7 圖像切塊檢測結(jié)果

5 結(jié)束語

本文提出一種基于Tiny-Yolo-V2的優(yōu)化算法用于衛(wèi)星影像目標(biāo)的自動定位與檢測。針對Tiny-Yolo-V2算法目標(biāo)檢測精準度低問題，本文提出的FD-Tiny-Yolo-V2算法結(jié)合特征金字塔概念，在單一13×13預(yù)測尺度基礎(chǔ)上增加了26×26尺度進行預(yù)測，融合深層語義特征與淺層細節(jié)特征，提高目標(biāo)檢測精度。同時，利用深度可分離卷積思想，優(yōu)化標(biāo)準卷積層，減小模型參數(shù)量，提升算法檢測效率。在衛(wèi)星影像數(shù)據(jù)集DOTA上驗證了兩種優(yōu)化策略的有效性。相對Tiny-Yolo-V2算法，mAP值提高了0.084，模型參數(shù)量減小了49%，檢測效率提高了48%。下一步將探究深度學(xué)習(xí)模型量化、剪紙等優(yōu)化方法，進一步提升算法檢測效率，為工程化部署做鋪墊。