王 君，張德育，康鑫英

(沈陽(yáng)理工大學(xué) 信息科學(xué)與工程學(xué)院，沈陽(yáng) 110159)

隨著我國(guó)低空空域逐漸開放，各類低空飛行器的使用人群不斷擴(kuò)大，弱小目標(biāo)將成為未來(lái)低空空域監(jiān)視的難點(diǎn)與重點(diǎn)[1]。常見的低空小飛行物，如無(wú)人機(jī)，因其紋理特征弱、數(shù)量多，且在檢測(cè)識(shí)別過(guò)程中容易受到復(fù)雜云層、光線和人工建筑等多種因素的影響，使得現(xiàn)有的模型對(duì)此類目標(biāo)的檢測(cè)準(zhǔn)確率普遍偏低[2]，因此準(zhǔn)確提取小型無(wú)人機(jī)的紋理信息、避免漏檢成為解決這一類問(wèn)題的技術(shù)關(guān)鍵[3]。目前目標(biāo)檢測(cè)領(lǐng)域的深度學(xué)習(xí)算法主要分為一階段算法和兩階段算法。Girshick R等[4]提出的R-CNN(Regions with Convolutinal Neural Network Features)系列算法是基于兩階段的最優(yōu)秀的經(jīng)典算法，其精度較高，但檢測(cè)速度慢，達(dá)不到實(shí)時(shí)檢測(cè)的要求，其特征提取網(wǎng)絡(luò)層數(shù)過(guò)深，對(duì)小目標(biāo)的特征提取較差?；谝浑A段的優(yōu)洛(you only look once，YOLO)[5]系列算法和單脈沖多盒檢測(cè)器(single shot multibox detector，SSD)算法[6]的網(wǎng)絡(luò)框架更簡(jiǎn)易，其檢測(cè)速度提升，但檢測(cè)精度降低，同樣由于網(wǎng)絡(luò)深度較高，其對(duì)底層的空間特征表達(dá)較差，對(duì)小目標(biāo)檢測(cè)性較差。

雖然Faster-RCNN為基于兩階段的目標(biāo)檢測(cè)方法，但其區(qū)域提名網(wǎng)絡(luò)(Region Proposal Networks，RPN)服務(wù)于整體的檢測(cè)網(wǎng)絡(luò)，使整個(gè)網(wǎng)絡(luò)統(tǒng)一、簡(jiǎn)單、實(shí)現(xiàn)端到端訓(xùn)練，故本文選擇Faster-RCNN作為檢測(cè)模型的基礎(chǔ)框架；此外，利用ResNet50網(wǎng)絡(luò)[7]替換初始的VGG16網(wǎng)絡(luò)[8]，設(shè)置更加深層的網(wǎng)絡(luò)結(jié)構(gòu)，獲得更加豐富的語(yǔ)義信息，并參考特征金字塔(Feature Pyramid Networks，F(xiàn)PN)[9]的特點(diǎn)提出一種基于雙線性差值的多尺度融合的檢測(cè)方法，使輸出的特征圖融合更多底層的語(yǔ)義信息，提高模型對(duì)小目標(biāo)的敏感程度；在感興趣區(qū)域?qū)?，利用soft-nms算法[10]對(duì)錨框的處理進(jìn)行優(yōu)化，引入一個(gè)置信函數(shù)，降低非最大值錨框的置信度，調(diào)整待檢測(cè)物的位置信息，改善對(duì)多個(gè)目標(biāo)重疊的預(yù)測(cè)情況。

1 Faster-RCNN模型

Faster-RCNN將卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)完整地融入到目標(biāo)檢測(cè)整體過(guò)程中，利用 RPN 在骨干網(wǎng)絡(luò)得到的特征圖上生成檢測(cè)框，極大地提升檢測(cè)框的生成速度。Faster-RCNN的整體結(jié)構(gòu)如圖1所示。

圖1 Faster-RCNN的結(jié)構(gòu)圖

Faster-RCNN對(duì)所有輸入的圖片尺寸重新調(diào)整為一個(gè)固定值，再輸入特征提取網(wǎng)絡(luò)計(jì)算特征圖；得到的特征圖較初始圖片縮小 16 倍，再輸入到 RPN 網(wǎng)絡(luò)；通過(guò)兩條支路對(duì)前景目標(biāo)和背景目標(biāo)進(jìn)行區(qū)域提名，并結(jié)合提名的位置，在特征圖上對(duì)應(yīng)找到預(yù)測(cè)目標(biāo)的大概位置；最后通過(guò)末尾的幾個(gè)卷積層和全連接層進(jìn)行最終預(yù)測(cè)位置框的回歸和框內(nèi)目標(biāo)的分類。

2 模型的優(yōu)化

2.1 特征提取網(wǎng)絡(luò)的改進(jìn)

Faster-RCNN模型的骨干網(wǎng)絡(luò)用于圖像的特征語(yǔ)義提取。一般來(lái)說(shuō)，卷積網(wǎng)絡(luò)的淺層網(wǎng)絡(luò)主要用于提取待檢測(cè)物的形狀、大小等幾何信息，網(wǎng)絡(luò)層數(shù)的加深有助于更好地提取到待檢測(cè)目標(biāo)的語(yǔ)義信息，但可能出現(xiàn)“網(wǎng)絡(luò)退化”、“梯度爆炸”等問(wèn)題。傳統(tǒng)Faster-RCNN的骨干網(wǎng)絡(luò)一般使用VGGNet，本文則選擇ResNet，因其獨(dú)特的殘差結(jié)構(gòu)增加了臨近網(wǎng)絡(luò)層之間的信息傳遞，在不影響檢測(cè)速度的前提下，能夠盡可能地提升骨干網(wǎng)絡(luò)的可設(shè)置深度，使其學(xué)習(xí)到更加復(fù)雜和準(zhǔn)確的語(yǔ)義信息。但ResNet殘差網(wǎng)絡(luò)結(jié)構(gòu)在提取小目標(biāo)上仍存在不足，如大部分骨干網(wǎng)絡(luò)均利用卷積層得到一個(gè)最高層特征圖，再去進(jìn)行后續(xù)的處理，該方法的缺點(diǎn)是小物體本身具有的像素信息較少，在下采樣的過(guò)程中極易丟失，影響網(wǎng)絡(luò)檢測(cè)的精度。為解決該問(wèn)題，將卷積過(guò)程中得到的蘊(yùn)含不同語(yǔ)義特征與空間信息的特征圖進(jìn)行融合，在融合的過(guò)程中利用雙線性差值法進(jìn)行上采樣，提出一種基于雙線性差值的多尺度融合的預(yù)測(cè)結(jié)構(gòu)。通過(guò)橫向連接和反向連接將相鄰的特征圖有效融合，提高模型預(yù)測(cè)小目標(biāo)位置和類別信息的精度。雙線性差值的多尺度預(yù)測(cè)結(jié)構(gòu)如圖2所示。

圖2 基于雙線性差值的多尺度預(yù)測(cè)結(jié)構(gòu)圖

本文提出的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于輸入的數(shù)據(jù)樣本采用自下向上的路徑進(jìn)行卷積，得到4個(gè)語(yǔ)義信息不同的特征圖，因深層卷積層輸出的特征圖尺寸比淺層輸出的特征圖尺寸小一倍，故下一層輸入由上一層的2倍上采樣得到。由于原特征金字塔結(jié)構(gòu)中上采樣僅是對(duì)特征圖的簡(jiǎn)單擴(kuò)充，對(duì)特征的逆向表達(dá)性能較差，導(dǎo)致部分小目標(biāo)信息丟失，因此提出采用雙線性差值的方法進(jìn)行上采樣。雙線性差值法計(jì)算量較大，但可避免灰度不連續(xù)，在灰度變化處無(wú)明顯鋸齒狀。雙線性差值原理如圖3所示。

圖3 雙線性插值原理圖

已知函數(shù)f在四個(gè)點(diǎn)Q11=(x1，y1)、Q12=(x1，y2)、Q21=(x2，y1)及Q22=(x2，y2)的值。在x方向進(jìn)行插值得到

(1)

(2)

在y方向進(jìn)行插值得到

(3)

將式(1)、式(2)代入式(3)得到f(x，y)為

(4)

傳統(tǒng)目標(biāo)檢測(cè)模型直接在特征圖上生成9種不同比例大小的錨框，本文提出的網(wǎng)絡(luò)結(jié)構(gòu)則可以針對(duì)不同預(yù)測(cè)特征層生成不同尺寸的錨框，如P2為最底層的預(yù)測(cè)特征層，適合檢測(cè)小目標(biāo)，可設(shè)置錨框的面積為322，設(shè)置比例為{1∶2，1∶1，2∶1}，其余各層的檢測(cè)框面積大小分別設(shè)置為 642、1282、2562、5122。

2.2 對(duì)目標(biāo)邊界框預(yù)測(cè)的優(yōu)化

RPN網(wǎng)絡(luò)將任意大小的原圖輸入骨干網(wǎng)絡(luò)，輸出基礎(chǔ)特征圖，對(duì)基礎(chǔ)特征圖進(jìn)行3×3 卷積得到預(yù)測(cè)特征圖，并以基礎(chǔ)特征圖上的每一個(gè)像素點(diǎn)為中心映射到原圖上得到不同比例大小的錨框。將大量的錨框篩選并反映射回預(yù)測(cè)特征圖后，在原圖上會(huì)生成近 2 萬(wàn)個(gè)錨框。去除多余錨框的主要篩選方法是進(jìn)行非極大值抑制(non maxi-mum suppression，NMS)。NMS通過(guò)迭代的形式，不斷以最大得分的框與其他框做交并比操作，刪除交并比(Intersection Over Union，IOU)較大的框，此過(guò)程中大量無(wú)用錨框被刪除，會(huì)導(dǎo)致漏檢目標(biāo)，對(duì)檢測(cè)精度產(chǎn)生影響。soft-nms算法可對(duì)錨框的置信度進(jìn)行優(yōu)化，每次選取置信度最高的錨框，同時(shí)引入一個(gè)高斯函數(shù)，抑制其周圍錨框置信度，減少漏檢情況，高斯函數(shù)公式為

(5)

式中：M為當(dāng)前得分最高框，為待處理框；bi為第i個(gè)檢測(cè)框；si為第i個(gè)檢測(cè)框的得分；σ為超參數(shù)，一般取0.5。

利用soft-nms算法對(duì)錨框置信度優(yōu)化后，在多個(gè)小目標(biāo)重疊的情況下可以提高模型預(yù)測(cè)的準(zhǔn)確率，減少漏檢情況發(fā)生。

3 實(shí)驗(yàn)結(jié)果和分析

3.1 實(shí)驗(yàn)環(huán)境

為驗(yàn)證本文改進(jìn)算法在小目標(biāo)檢測(cè)中的有效性，在PC機(jī)上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境為：操作系統(tǒng)采用Ubuntu18.04；CPU采用Intel(R)Core(TM)i7-10875H@2.30GHz八核；GPU采用NVIDIA GeForce RTX 2060；顯存6GB；深度學(xué)習(xí)的框架采用pytorch1.8、python3.6。

實(shí)驗(yàn)使用自主采集的數(shù)據(jù)集。自主采集的數(shù)據(jù)集對(duì)象主要為中小型無(wú)人機(jī)，采集地點(diǎn)在校園內(nèi)和野外無(wú)人區(qū)。篩選出3000張尺寸不固定的圖片，利用labellmg軟件按照VOC數(shù)據(jù)集格式手動(dòng)進(jìn)行標(biāo)注，按照8∶1∶1劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。訓(xùn)練采用隨機(jī)梯度下降法進(jìn)行，初始學(xué)習(xí)率為 0.0001，批尺寸為 32，訓(xùn)練次數(shù)為1000。

3.2 評(píng)價(jià)指標(biāo)

本文主要采用查準(zhǔn)率(Average Precision，AP)和查全率(Average Recall，AR)來(lái)衡量網(wǎng)絡(luò)對(duì)無(wú)人機(jī)目標(biāo)的檢測(cè)性能。首先計(jì)算出精確率(Precision)以及召回率(Recall)，計(jì)算公式為

(6)

(7)

式中：TP是將正類預(yù)測(cè)為正類數(shù)，即IOU>0.5的檢測(cè)框數(shù)量；FP是將負(fù)類預(yù)測(cè)為正類數(shù)，即IOU≤0.5的檢測(cè)框數(shù)量，或?yàn)闄z測(cè)到同一個(gè)真實(shí)框的多余檢測(cè)框數(shù)量；FN是將正類預(yù)測(cè)為負(fù)類數(shù)。

每一個(gè)類別都可以根據(jù)Recall和Precision繪制Precision-Recall曲線，AP即為曲線所覆蓋的面積，AR為 圖片中每一類錨框Recall的均值。

3.3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證優(yōu)化后的模型對(duì)小目標(biāo)的檢測(cè)能力有否提升，本文按照待檢測(cè)目標(biāo)的尺寸對(duì)數(shù)據(jù)集中的無(wú)人機(jī)進(jìn)行劃分。劃分標(biāo)準(zhǔn)如表1所示(單位：像素)。

表1 無(wú)人機(jī)的劃分標(biāo)準(zhǔn)

分別采用優(yōu)化前后的Faster-RCNN模型對(duì)無(wú)人機(jī)檢測(cè)效果進(jìn)行對(duì)比，結(jié)果如圖3所示。

對(duì)比圖3a和圖3b可以看出，優(yōu)化前的Faster-RCNN模型無(wú)法檢測(cè)小型無(wú)人機(jī)目標(biāo)，優(yōu)化后則可實(shí)現(xiàn)對(duì)小目標(biāo)的有效檢測(cè)。對(duì)比圖3c和圖3d 可以看出，優(yōu)化前的Faster-RCNN模型對(duì)大型無(wú)人機(jī)目標(biāo)的檢測(cè)效果較好，可達(dá)到一定的精度，但在多個(gè)目標(biāo)重疊密集排布的情況下仍存在漏檢的情況，優(yōu)化后Faster-RCNN模型的漏檢情況得到明顯改善。

優(yōu)化前后的Faster-RCNN模型在自主采集數(shù)據(jù)集上檢測(cè)的AP值如表2所示(IOU=0.5)。

圖4 優(yōu)化前后Faster-RCNN模型對(duì)無(wú)人機(jī)檢測(cè)結(jié)果對(duì)比

表2 優(yōu)化前后的模型在自主采集數(shù)據(jù)集上檢測(cè)的AP值

由表2可知，優(yōu)化后的模型在檢測(cè)大目標(biāo)和小目標(biāo)上的AP值均高于優(yōu)化前的Faster-RCNN模型；優(yōu)化后的模型對(duì)大型目標(biāo)檢測(cè)的AP值僅提高了0.8%，原因是Faster-RCNN作為經(jīng)典的兩階段目標(biāo)檢測(cè)算法，自身精度較高；優(yōu)化后的模型對(duì)小型目標(biāo)檢測(cè)的AP值增加了11.2%，提高比較明顯；說(shuō)明在不影響其他尺度目標(biāo)的精度下，基于雙線性差值的多尺度預(yù)測(cè)結(jié)構(gòu)能提高Faster-RCNN模型對(duì)小目標(biāo)檢測(cè)的準(zhǔn)確率。

優(yōu)化前后的模型在自主采集數(shù)據(jù)集上檢測(cè)的AR值如表3所示(IOU=0.5)。

表3 優(yōu)化前后的模型在自主采集數(shù)據(jù)集上檢測(cè)的AR值

由表3可知，優(yōu)化后的模型在檢測(cè)大目標(biāo)和小目標(biāo)上的AR值均明顯高于優(yōu)化前的Faster-RCNN模型；優(yōu)化后的模型對(duì)大型目標(biāo)檢測(cè)的AR值提高了7.5%，對(duì)小型目標(biāo)檢測(cè)的AR值增加了27.9%；說(shuō)明本文提出的基于雙線性差值的多尺度預(yù)測(cè)結(jié)構(gòu)及soft-nms的優(yōu)化方法不僅能提高Faster-RCNN模型對(duì)小目標(biāo)檢測(cè)的準(zhǔn)確度，也能減少模型錯(cuò)檢、漏檢的情況。

4 結(jié)論

提出改進(jìn)的Faster-RCNN深度學(xué)習(xí)模型，在特征提取網(wǎng)絡(luò)中加入基于雙線性插值的多尺度融合結(jié)構(gòu)，盡可能多地保留小目標(biāo)的特征語(yǔ)義，在不同層的特征圖中生成尺寸不同的錨框，提高對(duì)小目標(biāo)的檢測(cè)精度，利用soft-nms算法計(jì)算錨框的置信度，減少模型錯(cuò)檢、漏檢情況。實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的模型對(duì)大目標(biāo)、中小型的弱紋理目標(biāo)或重疊在一起的目標(biāo)，均可實(shí)現(xiàn)較為準(zhǔn)確的檢測(cè)。