劉智嘉,汪 璇,趙金博,夏寅輝,高旭輝

(1.北京波譜華光科技有限公司,北京 100015;2.湖北大學(xué)知行學(xué)院 計(jì)算機(jī)與信息工程學(xué)院,湖北 武漢 430011)

1 引 言

紅外熱成像指利用光電技術(shù)捕捉和檢測(cè)物體熱輻射的信號(hào),并將這些信號(hào)轉(zhuǎn)換成為人類視覺(jué)可感知和接收的圖形或圖像,因此,紅外熱像儀可以在完全黑暗、強(qiáng)光照射、濃煙、霧霾以及不大于中雨的條件下對(duì)周圍環(huán)境及探測(cè)目標(biāo)成像,能夠極大地彌補(bǔ)可見(jiàn)光成像受光照條件制約的不足,滿足全時(shí)段、全天候觀測(cè)的需要。國(guó)防及安全應(yīng)用中對(duì)紅外圖像中出現(xiàn)的特定目標(biāo)進(jìn)行監(jiān)測(cè)是核心任務(wù)之一,如對(duì)機(jī)場(chǎng)、監(jiān)獄、以及軍事管制區(qū)域進(jìn)行24 h監(jiān)控；邊境檢查站和巡邏監(jiān)控；車輛輔助駕駛系統(tǒng)中的行人監(jiān)測(cè)等。紅外熱成像能夠滿足上述領(lǐng)域?qū)θ旌?、全時(shí)段成像的需求。傳統(tǒng)的紅外圖像目標(biāo)檢測(cè)算法是利用人工設(shè)計(jì)行人比例模板,通過(guò)人工設(shè)計(jì)的目標(biāo)輪廓提取方法對(duì)圖像中目標(biāo)輪廓進(jìn)行特征提取并與比例模板進(jìn)行比對(duì),對(duì)圖像中的目標(biāo)進(jìn)行判斷和定位,主要的傳統(tǒng)檢測(cè)方法有:梯度直方圖(Histogram of Oriented Gradient,HOG[1])算法、局部二值模式(Local Binary Patterns,LBP[2])特征算法、尺度不變特征(Scale Invariant Feature Transform,SIFT[3-4])檢測(cè)算法及哈爾特征(Haar-like Features[5])算法等。特征提取方法和比例模板的設(shè)計(jì)對(duì)設(shè)計(jì)人員的經(jīng)驗(yàn)和專業(yè)知識(shí)要求較高,且應(yīng)用場(chǎng)景單一,泛化能力較弱。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法的基本原理是利用大量卷積運(yùn)算實(shí)現(xiàn)檢測(cè)算法自主對(duì)圖像中目標(biāo)的特征進(jìn)行抽象和提取,并對(duì)提取到的特征進(jìn)行拼接和總結(jié)來(lái)獲得更多特征,提升對(duì)目標(biāo)檢測(cè)準(zhǔn)確率。得益于人工智能及相關(guān)技術(shù)近些年的高速發(fā)展,深度學(xué)習(xí)目標(biāo)檢測(cè)算法進(jìn)步迅速,并在可見(jiàn)光圖像中已經(jīng)獲得了非常優(yōu)秀的檢測(cè)效果。深度學(xué)習(xí)檢測(cè)算法主要分為兩類:兩步檢測(cè)算法和單步檢測(cè)算法,兩步檢測(cè)算法將檢測(cè)過(guò)程分為兩個(gè)階段,第一階段任務(wù)主要是對(duì)圖像備選區(qū)域進(jìn)行劃分,第二階段任務(wù)是對(duì)備選區(qū)域內(nèi)的可能目標(biāo)進(jìn)行判斷,該類方法的主要代表為基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Region-based Convolution Neural Networks,R-CNN[6])算法及后續(xù)的改進(jìn)算法如Fast R-CNN[7]和了Faster R-CNN[8]。單步檢測(cè)算法是將區(qū)域選擇和檢測(cè)判斷結(jié)合在一起構(gòu)成一體化的檢測(cè)網(wǎng)絡(luò),此類算法的主要代表為:SSD[9-10](Single Shot multibox Detector)算法和(You Only Look Once,YOLO)YOLO檢測(cè)算法[11-12]。為彌補(bǔ)傳統(tǒng)紅外圖像目標(biāo)檢測(cè)方法對(duì)設(shè)計(jì)者要求高、提取特征少以及遷移能力差的不足,利用深度學(xué)習(xí)目標(biāo)檢測(cè)算法對(duì)紅外圖像中目標(biāo)進(jìn)行檢測(cè),能夠取得更高的準(zhǔn)確率和更強(qiáng)的泛化能力。

由于深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜且運(yùn)算量巨大,檢測(cè)效率一直都是影響深度學(xué)習(xí)目標(biāo)檢測(cè)實(shí)現(xiàn)大規(guī)模實(shí)際應(yīng)用的瓶頸。因此,研究者們也逐漸將研究重點(diǎn)轉(zhuǎn)移到在保證必要檢測(cè)準(zhǔn)確率的前提下如何盡可能提高檢測(cè)效率的問(wèn)題上。兩步檢測(cè)算法結(jié)構(gòu)相對(duì)復(fù)雜,網(wǎng)絡(luò)結(jié)構(gòu)中獨(dú)立部分需單獨(dú)訓(xùn)練,大大增加了整體優(yōu)化難度且運(yùn)行速度較慢,對(duì)于實(shí)際應(yīng)用的終端部署也較單步檢測(cè)算法更難實(shí)現(xiàn)。

SSD算法創(chuàng)新性地提出了多尺度預(yù)測(cè)結(jié)構(gòu)并且具有較快的檢測(cè)速度,但SSD仍被YOLO的后續(xù)改進(jìn)算法YOLOv2和YOLOv3超越,并且由于SSD在網(wǎng)絡(luò)中一些參數(shù)值需要人工預(yù)設(shè)定,調(diào)試過(guò)程對(duì)調(diào)試經(jīng)驗(yàn)依賴性很大,所以YOLO算法特別是最新的YOLOv3在各方面均有更佳的表現(xiàn)。對(duì)于嵌入式平臺(tái)或者FPGA平臺(tái)的終端部署,YOLOv3的實(shí)際應(yīng)用仍有些緩慢,為了改善YOLOv3終端應(yīng)用的表現(xiàn),本文提出一種基于YOLOv3的改進(jìn)算法——Darknet-19-yolo-3,在檢測(cè)準(zhǔn)確率基本一致的情況下檢測(cè)速度可以明顯提升。

2 YOLOv3系列算法原理及網(wǎng)絡(luò)結(jié)構(gòu)

YOLO系列算法的基本思想一脈相承:首先將輸入圖像等分成S×S個(gè)網(wǎng)格(如圖1所示),若待檢目標(biāo)的坐標(biāo)中心落入前述某個(gè)網(wǎng)格中,那么這個(gè)網(wǎng)格單元就負(fù)責(zé)對(duì)該目標(biāo)檢測(cè)。所有網(wǎng)格在檢測(cè)過(guò)程中都需要預(yù)測(cè)B個(gè)目標(biāo)邊界框、待檢目標(biāo)的置信度以及類別信息,其中置信度表示算法模型認(rèn)為邊界框中包含目標(biāo)的概率值和預(yù)測(cè)邊界框的準(zhǔn)確率。

圖1 YOLO算法圖像分割示意圖Fig.1 Diagram of image segmentation based on YOLO algorithm

YOLOv3(架構(gòu)圖如圖2所示)算法改進(jìn)了YOLOv1和YOLOv2將原圖像僅提取13×13單層特征圖輸出的結(jié)構(gòu),而是引入多尺度結(jié)構(gòu):將輸入圖像分為13×13、26×26和52×52三層特征圖輸出,圖中Resn部分即為YOLOv3的殘差結(jié)構(gòu),用于加深學(xué)習(xí)網(wǎng)絡(luò)的深度。

圖2 YOLOv3架構(gòu)圖Fig.2 Architecture diagram of YOLOv3

YOLO算法的前兩個(gè)版本——YOLO和YOLOv2對(duì)圖像僅做13×13的單尺度分割提取特征,這導(dǎo)致上述檢測(cè)模型對(duì)小目標(biāo)檢測(cè)的效果不太理想。YOLOv3算法經(jīng)過(guò)對(duì)多尺度預(yù)測(cè)方面進(jìn)行改進(jìn),可令網(wǎng)絡(luò)在學(xué)習(xí)到圖像中層、深層特征的同時(shí)也學(xué)習(xí)到淺層特征,并利用將淺層特征圖特征疊加至相鄰?fù)ǖ赖姆绞?將26×26×512的特征圖與13×13×256的特征圖相疊加。由于分割尺度越大,單位格子的面積就越小,感受野也隨之變小,這使YOLOv3具備了提取細(xì)粒度特征的能力。另外,在骨干網(wǎng)絡(luò)后端的檢測(cè)部分的每條支路上都加入了5個(gè)DBL結(jié)構(gòu),DBL結(jié)構(gòu)即該網(wǎng)絡(luò)的卷積層結(jié)構(gòu),由卷積、正則化和Leaky ReLU函數(shù)構(gòu)成,這樣的結(jié)構(gòu)加深了網(wǎng)絡(luò)深度,提升了對(duì)小目標(biāo)的檢測(cè)性能。

雖然YOLOv3在速度上已經(jīng)進(jìn)行了優(yōu)化,但是其運(yùn)行速度對(duì)于實(shí)際應(yīng)用來(lái)說(shuō)仍然不夠快,只有使用Titan XP及性能更佳的顯卡作為硬件基礎(chǔ)才能實(shí)現(xiàn)實(shí)時(shí)檢測(cè),所以作者同時(shí)也提出了一種即為精簡(jiǎn)的模型——YOLOv3-tiny。為節(jié)省運(yùn)算資源,該模型骨干網(wǎng)絡(luò)結(jié)構(gòu)不使用殘差層,僅使用7層卷積層和最大池化層組合,并將YOLOv3中三尺度預(yù)測(cè)結(jié)構(gòu)改為兩個(gè),5個(gè)DBL構(gòu)成的卷積結(jié)構(gòu)刪除至僅剩一個(gè)(如圖3)。雖然速度上有明顯提升,但是損失了極大的準(zhǔn)確率。

3 改進(jìn)模型Darknet-19-yolo-3

YOLO系列算法是利用回歸的方法進(jìn)行深度學(xué)習(xí)的檢測(cè)算法,經(jīng)過(guò)不斷改進(jìn),性能逐步提高,特別是YOLOv3算法保留了YOLO前兩個(gè)版本和其他算法的一些優(yōu)點(diǎn),利用自身端到端訓(xùn)練和檢測(cè)的優(yōu)勢(shì),其在整體性能上有不錯(cuò)的表現(xiàn)。表1顯示了YOLOv2,YOLOv3以及YOLOv3-tiny在COCO測(cè)試集上利用Titan X GPU進(jìn)行測(cè)試的結(jié)果,其中YOLOv3在檢測(cè)準(zhǔn)確率方面表現(xiàn)最優(yōu),YOLOv3-tiny則在速度上占有絕對(duì)優(yōu)勢(shì)。

雖然YOLOv3算法檢測(cè)精度最高,但是由于其較深的網(wǎng)絡(luò)層數(shù),導(dǎo)致檢測(cè)速度較慢而不適合實(shí)際使用終端部署。YOLOv3-tiny速度較快但其檢測(cè)準(zhǔn)確率較差,使用相同數(shù)據(jù)集進(jìn)行測(cè)試,其檢測(cè)準(zhǔn)確率僅有其他算法準(zhǔn)確率的一半左右。YOLOv2性能表現(xiàn)相對(duì)平衡,但其檢測(cè)結(jié)構(gòu)尺度單一,對(duì)小目標(biāo)檢測(cè)效果不佳。

圖3 YOLOv3-tiny架構(gòu)圖Fig.3 Architecture diagram of YOLOv3-tiny

表1 YOLO算法性能對(duì)比Tab.1 Performance comparison of the YOLO algorithm

YOLOv3的骨干網(wǎng)絡(luò)Darknet-53借鑒了ResNet-101和ResNet-102的殘差結(jié)構(gòu),并且設(shè)計(jì)了大量的卷積層,所以在檢測(cè)精度上得到了明顯提升,但是因?yàn)闅埐罹W(wǎng)絡(luò)具有高精度低速度的特點(diǎn),所以檢測(cè)效率上受到了影響。如表2顯示,Darknet-53的檢測(cè)準(zhǔn)確率已經(jīng)超過(guò)ResNet-101并接近ResNet-152,但在檢測(cè)速度方面較YOLOv2的骨干網(wǎng)絡(luò)——Darknet-19差距明顯。

表2 主流骨干網(wǎng)絡(luò)性能對(duì)比[13]Tab.2 Performance comparison of mainstream backbone networks[13]

由于檢測(cè)圖像為相對(duì)可見(jiàn)光圖像分辨率普遍較低的紅外圖像,同時(shí)待檢目標(biāo)特征也較可見(jiàn)光圖像中樣本特征減少很多,所以使用較深卷積結(jié)構(gòu)的YOLOv3并不適合紅外圖像檢測(cè)應(yīng)用。YOLOv2算法僅輸出13×13的特征圖,該特征圖所包含語(yǔ)義信息較為高級(jí)和抽象,屬于判斷較大目標(biāo)的深層網(wǎng)絡(luò)特征,而檢測(cè)小尺寸目標(biāo)需要輪廓和位移特征,這些特征屬于由淺層網(wǎng)絡(luò)提取的較低級(jí)別特征,所以YOLOv2對(duì)小目標(biāo)識(shí)別的表現(xiàn)較差,容易出現(xiàn)漏檢或誤檢。

針對(duì)以上問(wèn)題,本文基于YOLOv2和YOLOv3系列算法的優(yōu)點(diǎn)提出了一種改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)算法模型Darknet-19-yolo-3,該算法模型使用Darknet-19骨干網(wǎng)絡(luò)進(jìn)行圖像特征提取,結(jié)合YOLOv3具有3個(gè)尺度特征提取的yolo層,并根據(jù)YOLOv3-tiny在yolo層中減少了大量卷積運(yùn)算的思路減少卷積結(jié)構(gòu),使整體網(wǎng)絡(luò)結(jié)構(gòu)在保持適度深度的同時(shí)具備多尺度檢測(cè)的能力,以更適合紅外圖像的目標(biāo)檢測(cè)。

Darknet-19-yolo-3網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4所示，Darknet-19-yolo-3將Darknet-19骨干網(wǎng)絡(luò)與改進(jìn)的yolo層相結(jié)合,通過(guò)對(duì)不同卷積層的進(jìn)行檢測(cè)并將各層特征進(jìn)行融合達(dá)到多尺度檢測(cè)的效果,使改進(jìn)網(wǎng)絡(luò)同時(shí)具備Darknet-19較為準(zhǔn)確和高效的特征提取,又具備YOLOv3系列算法檢測(cè)網(wǎng)絡(luò)的多尺度檢測(cè)結(jié)構(gòu)對(duì)不同尺寸目標(biāo)檢測(cè)的適應(yīng)性。預(yù)測(cè)結(jié)構(gòu)由三路yolo層構(gòu)成:

1) yolo1(小尺度特征圖):13×9尺寸特征圖負(fù)責(zé)檢測(cè)小尺度目標(biāo)。若小尺度特征圖接收一張416×288的圖像,經(jīng)過(guò)步長(zhǎng)為2的5次最大池化,即416/25=13和288/25=9,輸出特征圖為13×9×512。隨后經(jīng)過(guò)圖中的卷積結(jié)構(gòu),卷積結(jié)構(gòu)共有3層,由1×1、3×3和1×1的卷積層依次構(gòu)成。卷積結(jié)構(gòu)輸出的特征圖在進(jìn)行兩次分別為3×3和1×1的卷積后,得到13×9×18的第一特征圖,預(yù)測(cè)的第一支路即在這個(gè)特征圖上進(jìn)行首次預(yù)測(cè)。

圖4 改進(jìn)模型網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Network structure diagram of improved model

2) yolo2(中尺度特征圖):26×18尺寸特征圖負(fù)責(zé)檢測(cè)中尺度目標(biāo)。將小尺度卷積第一支路卷積結(jié)構(gòu)所得的輸出作為輸入,將該輸入進(jìn)行一次卷積為兩倍的上采樣,之后將上采樣后尺寸為26×18×256的特征圖與第13卷積層特征(26×18×512)進(jìn)行連接輸出尺寸為26×18×728的特征圖,然后經(jīng)過(guò)卷積結(jié)構(gòu)和兩次卷積后運(yùn)算后得到輸出為26×18×18的第二特征圖并在該特征圖上進(jìn)行第二次預(yù)測(cè)。

3) yolo3(大尺度特征圖):52×36尺寸特征圖負(fù)責(zé)檢測(cè)大尺度目標(biāo)。這部分的操作與中尺度特征圖相同,將第二支路過(guò)程中的卷積結(jié)構(gòu)輸出作為輸入,對(duì)輸入進(jìn)行一次卷積為兩倍的上采樣,最后將上采樣特征與第8卷積層特征進(jìn)行連接,也同樣經(jīng)過(guò)卷積結(jié)構(gòu)和兩次卷積后運(yùn)算后得到輸出為52×36×18的第三特征圖,并在該特征圖上進(jìn)行第三次預(yù)測(cè)。

重新設(shè)計(jì)的網(wǎng)絡(luò)模型使用較少層數(shù)的骨干網(wǎng)絡(luò)以適合紅外圖像特征較少的特點(diǎn),通過(guò)減少了不必要的運(yùn)算提升速度。與此同時(shí),相對(duì)YOLOv2增加至三個(gè)尺度的yolo層,可以提升不同大小目標(biāo)的檢測(cè)效果,提高整體檢測(cè)準(zhǔn)確率。

4 實(shí)驗(yàn)及結(jié)果評(píng)價(jià)

4.1 實(shí)驗(yàn)工具及流程

實(shí)驗(yàn)所采用的訓(xùn)練平臺(tái)配置如表3所示。實(shí)驗(yàn)使用數(shù)據(jù)集由公開(kāi)數(shù)據(jù)及和自采數(shù)據(jù)集兩部分構(gòu)成,公開(kāi)數(shù)據(jù)集采用CVC9及CVC14,自行采集數(shù)據(jù)集取自戶外街道,所采集圖像包括白天和夜間不同光照條件,如圖5所示。數(shù)據(jù)集中圖像總數(shù)量為35986張,其中CVC數(shù)據(jù)庫(kù)共有正樣本11140張,負(fù)樣本2589,自采圖像正樣本17805張,負(fù)樣本4452張。數(shù)據(jù)集中圖像分辨率均為640×480。本文所做識(shí)別研究為行人單類別識(shí)別,所準(zhǔn)備的數(shù)據(jù)集內(nèi)數(shù)據(jù)數(shù)量完全可以滿足識(shí)別模型訓(xùn)練的需求。

表3 訓(xùn)練平臺(tái)主要配置參數(shù)Tab.3 Main configuration parameters of training platform

圖5 紅外數(shù)據(jù)集圖像Fig.5 Image of infrared dataset

圖6為框架內(nèi)模型準(zhǔn)確率獲取流程。平均準(zhǔn)確率由訓(xùn)練時(shí)得到檢測(cè)模型后對(duì)測(cè)試集進(jìn)行測(cè)試并根據(jù)測(cè)試結(jié)果計(jì)算獲得。

圖6 模型準(zhǔn)確率測(cè)試流程

4.3 訓(xùn)練實(shí)驗(yàn)結(jié)果

圖7、圖8和圖9分別顯示了Darknet-19-yolo-3、YOLOv3-tiny以及YOLOv3在同一數(shù)據(jù)集下訓(xùn)練的損失值曲線和平均準(zhǔn)確率曲線。

圖7 Darknet-19-yolo-3訓(xùn)練Loss曲線及平均準(zhǔn)確率曲線圖Fig.7 Loss curve and average accuracy curve of Darknet-19-yolo-3 training

圖8 YOLOv3-tiny訓(xùn)練Loss曲線及平均準(zhǔn)確率曲線圖Fig.8 Loss curve and average accuracy curve of YOLOv3-tiny training

圖9 YOLOv3訓(xùn)練Loss曲線及平均準(zhǔn)確率曲線圖Fig.9 Loss curve and average accuracy curve of YOLOv3 training

4.4 評(píng)價(jià)指標(biāo)

目前各類算法比賽中使用最廣泛的檢測(cè)準(zhǔn)確度定量評(píng)價(jià)指標(biāo)為各類別的檢測(cè)準(zhǔn)確率(Average Precision,AP)和平均檢測(cè)準(zhǔn)確率(mean Average Precision,mAP)。準(zhǔn)確率(Average Precision,AP)即交并比(intersection over Union,IoU)的值,平均準(zhǔn)確率(mean Average Precision,mAP)即為各個(gè)類別的準(zhǔn)確率的平均值,由于本文中檢測(cè)目標(biāo)為單類目標(biāo),所以準(zhǔn)確率與平均準(zhǔn)確率數(shù)值一致。目前各種識(shí)別算法挑戰(zhàn)賽的檢測(cè)精度的定量比較均通過(guò)平均準(zhǔn)確率來(lái)確定,一般規(guī)定當(dāng)IoU>0.5的檢測(cè)框即被認(rèn)定為檢測(cè)成功。

4.5 結(jié)果分析

根據(jù)圖7～9,本文將三種模型訓(xùn)練中數(shù)據(jù)分別統(tǒng)計(jì)至表4。為了保證模型訓(xùn)練的一致性和對(duì)比測(cè)試的準(zhǔn)確性,三種模型所用于訓(xùn)練、驗(yàn)證及測(cè)試的數(shù)據(jù)分布完全一致,三種模型訓(xùn)練總批次均為二十萬(wàn)次。由圖7至9中可觀察到,三個(gè)模型訓(xùn)練的損失曲線都呈快速收斂并單調(diào)下降,過(guò)程中沒(méi)有出現(xiàn)震蕩或者先下降后上升的情況,說(shuō)明訓(xùn)練數(shù)據(jù)集劃分、網(wǎng)絡(luò)配置和超參數(shù)設(shè)置正確有效,曲線反映訓(xùn)練中模型性能表現(xiàn)穩(wěn)定。模型訓(xùn)練結(jié)束前損失曲線基本平緩,損失值不再持續(xù)向下明顯衰減,表明訓(xùn)練過(guò)程迭代次數(shù)能夠充分滿足模型訓(xùn)練需求。

表4展示了三個(gè)模型訓(xùn)練的最終損失值,可以明顯看到Y(jié)OLOv3的損失值最小,改進(jìn)模型Darknet-19-yolo-3訓(xùn)練損失值略高于YOLOv3,排名居中,YOLOv3-tiny損失值最大,分別為前兩名的5.83倍和2.72倍。通過(guò)訓(xùn)練參數(shù)對(duì)比可以看出,改進(jìn)的模型在訓(xùn)練中對(duì)數(shù)據(jù)擬合的表現(xiàn)相對(duì)于YOLOv3-tiny已經(jīng)有了大幅提高,并且更接近YOLOv3的表現(xiàn)。

表4 Darknet-19-yolo-3及YOLOv3系列 模型訓(xùn)練數(shù)據(jù)對(duì)比Tab.4 Comparison of training data of darknet-19-yolo-3 and yolov3 series models

YOLOv3具有最高的平均準(zhǔn)確率97 %,而且取得最高準(zhǔn)確率是在迭代至2至8萬(wàn)次之間,而YOLOv3-tiny也在迭代過(guò)程的中間階段獲得最高準(zhǔn)確率89 %,但成果較YOLOv3有明顯差距。本文改進(jìn)模型Darknet-19-yolo-3以96 %的平均準(zhǔn)確率居中,僅落后YOLOv3一個(gè)百分點(diǎn),較YOLOv3-tiny檢測(cè)準(zhǔn)確率優(yōu)勢(shì)明顯。訓(xùn)練實(shí)驗(yàn)結(jié)果說(shuō)明網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)對(duì)于檢測(cè)準(zhǔn)確率方面優(yōu)化效果良好,符合預(yù)期。

4.6 檢測(cè)效果

圖10為改進(jìn)模型對(duì)測(cè)試集CVC公開(kāi)數(shù)據(jù)集中圖像進(jìn)行檢測(cè)效果圖,經(jīng)過(guò)訓(xùn)練的改進(jìn)算法模型Darknet-19-yolo-3對(duì)于紅外圖像中大小目標(biāo)、多目標(biāo)及有遮擋目標(biāo)都有較好的識(shí)別效果。

圖10 Darknet-19-yolo-3檢測(cè)效果圖Fig.10 Effect diagram of darknet-19-yolo-3 detection

4.7 檢測(cè)速度測(cè)試

本實(shí)驗(yàn)為令檢測(cè)表現(xiàn)更接近應(yīng)用端性能而選擇使用嵌入式平臺(tái)——英偉達(dá)公司的出品的Jetson TX2,如圖11所示,為本次實(shí)驗(yàn)所使用的嵌入式平臺(tái),為了擴(kuò)展存儲(chǔ)容量增加了256 G固態(tài)硬盤。嵌入式平臺(tái)的主要參數(shù)配置如表5。

表6所示為三種模型檢測(cè)速度數(shù)據(jù),使用檢測(cè)視頻為自拍攝640×480戶外紅外視頻圖像。從表6中可以看出,在檢測(cè)速度方面,YOLOv3-tiny由于網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單以每秒35幀的處理排在第一,YOLOv3檢測(cè)平均幀數(shù)約為每秒8.6幀,改進(jìn)模型Darknet-19-yolo-3利用Darknet-19較為高效的優(yōu)勢(shì),在Jetson TX2上達(dá)到了每秒檢測(cè)速度最低29.1幀的成績(jī),如圖12所示。

圖11 Nvidia Jetson TX2Fig.11 Nvidia Jetson TX2

表5 Jetson TX2主要性能參數(shù)Tab.5 Main performance parameters of Jetson TX2

表6 Darknet-19-yolo-3及對(duì)比模型檢測(cè)效率對(duì)比Tab.6 Comparison of detection efficiency between darknet-19-yolo-3 and contrast model

Darknet-19-yolo-3可以達(dá)到每秒檢測(cè)不低于29.1張紅外圖像的處理速度,高于實(shí)時(shí)檢測(cè)的每秒檢測(cè)圖像不低于25張圖像的要求,該檢測(cè)速度雖然較YOLOv3-tiny的檢測(cè)速度仍有一定差距,但是改進(jìn)模型在速度方面相對(duì)YOLOv3已經(jīng)大幅提高,并且在嵌入式平臺(tái)Jetson TX2上實(shí)現(xiàn)實(shí)時(shí)檢測(cè),具有一定的實(shí)用性。實(shí)驗(yàn)結(jié)果證明網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)對(duì)于檢測(cè)速度的提升有效。

圖12 Darknet-19-yolo-3檢測(cè)640×480紅外視頻速率Tab.12 Detection of 640 × 480 infrared video rate by Darknet-19-yolo-3

5 總 結(jié)

通過(guò)對(duì)改進(jìn)模型Darknet-19-yolo-3及對(duì)比模型YOLOv3、YOLOv3-tiny使用相同數(shù)據(jù)進(jìn)行的訓(xùn)練及檢測(cè)實(shí)驗(yàn),三個(gè)模型的平均準(zhǔn)確率分別為96 %、97 %和89 %,在Jetson TX2上對(duì)視頻檢測(cè)速度為29.1 FPS、8.6 FPS和35 FPS。改進(jìn)模型的網(wǎng)絡(luò)復(fù)雜程度在三個(gè)模型中居中,檢測(cè)準(zhǔn)確率和檢測(cè)速度都位列第二。通過(guò)對(duì)骨干網(wǎng)絡(luò)重新選擇以及增加三通道優(yōu)化yolo層的改進(jìn)方法,改進(jìn)算法模型平均準(zhǔn)確率僅落后YOLOv3一個(gè)百分點(diǎn),但檢測(cè)速度得到很大提升。實(shí)驗(yàn)中,改進(jìn)模型檢測(cè)平均準(zhǔn)確率超過(guò)YOLOv3-tiny七個(gè)百分點(diǎn),雖然速度稍慢與后者的35FPS,不過(guò)仍然取得了29.1FPS檢測(cè)速度,在Jets29.1FPS檢測(cè)速度,在Jetson TX2平臺(tái)上實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。對(duì)比實(shí)驗(yàn)結(jié)果證明,使用相對(duì)于YOLOv3的較少卷積運(yùn)算的同時(shí)增加了相對(duì)YOLOv3-tiny優(yōu)化的檢測(cè)通道的改進(jìn)模型更適合紅外圖像數(shù)據(jù)特點(diǎn),該模型與復(fù)雜的YOLOv3模型檢測(cè)準(zhǔn)確率基本一致,由于減少了卷積運(yùn)算和對(duì)各項(xiàng)參數(shù)進(jìn)行優(yōu)化,模型檢測(cè)速度更接近YOLOv3-tiny,實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。實(shí)驗(yàn)證明改進(jìn)理論及原理分析正確,改進(jìn)方案有效,改進(jìn)后模型整體性能表現(xiàn)更有利于應(yīng)用終端部署,一定程度上實(shí)現(xiàn)了檢測(cè)準(zhǔn)確率與檢測(cè)速度的相對(duì)平衡。