付志強， 趙紅光， 李 陽， 周國棟， 王 濱

(聊城中通輕型客車有限公司， 山東 聊城 252000)

行人是交通環(huán)境的重要參與者，也是最容易受到交通傷害的群體。因此一直以來，行人檢測是智能汽車環(huán)境感知的重點和難點。得益于計算機(jī)技術(shù)的發(fā)展，在良好的交通環(huán)境中，行人檢測技術(shù)已經(jīng)具備很高的水平，以機(jī)器學(xué)習(xí)[1-2]和深度學(xué)習(xí)[3-5]為代表的算法具有很高的實時性和準(zhǔn)確性。但在夜間和霧天、雨雪天等惡劣天氣下的行人檢測，可見光相機(jī)、毫米波雷達(dá)、激光雷達(dá)等傳感器的工作性能會受到較大的影響。

1 現(xiàn)狀問題與解決方案

1.1 現(xiàn)狀問題

可見光相機(jī)在光照較差的環(huán)境中無法獲取清晰的行人特征，霧天空氣中的懸浮顆粒也會極大地限制相機(jī)性能[6]。常用的毫米波雷達(dá)對行人檢測能力較弱，一般不用于行人檢測。激光雷達(dá)測量精度高，其工作性能不受光照強度的影響，能很好地解決夜間行人檢測問題，但是當(dāng)遇上霧天和雨雪天，激光雷達(dá)的激光線束很容易受到干擾，對行人的探測能力相對不足[7-8]。

紅外相機(jī)通過收集環(huán)境中的熱輻射生成可見圖像，對夜間和霧天、雨雪天等惡劣天氣具有很強的適應(yīng)性。路上行人的溫度一般比周圍環(huán)境高，在紅外相機(jī)圖像中呈現(xiàn)明亮的灰度特征和紋理特征，如圖1所示。

圖1 紅外相機(jī)夜間成像

因此，紅外相機(jī)與其他傳感器相比更適合解決惡劣天氣的行人檢測問題。為了實現(xiàn)紅外熱成像行人檢測，研究人員嘗試采用了形態(tài)學(xué)[9]、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等方法[10-12]，取得了一系列不錯的效果，但是仍然存在一些問題。首先，交通環(huán)境復(fù)雜多樣，行人目標(biāo)容易受到干擾，快速鎖定行人ROI(感興趣區(qū)域)難度很大。另外，基于深度學(xué)習(xí)的目標(biāo)檢測模型發(fā)展迅速，早期模型的性能已經(jīng)無法滿足行人檢測對于實時性和準(zhǔn)確性需求。

1.2 本文解決方案

為了解決上述問題，本文提出一種基于YOLO V4的紅外熱成像行人檢測方法，主要特點有：

1) 采用視覺顯著性原理快速提取行人檢測的紅外熱圖像ROI，減少后續(xù)圖像處理的計算量。并利用自適應(yīng)圖像增強算法對ROI的圖像進(jìn)行了細(xì)節(jié)增強，增強行人檢測的精度。

2) 選取最新的YOLO V4模型作為行人檢測的基本模型，并采用遷移學(xué)習(xí)對模型進(jìn)行參數(shù)優(yōu)化和再訓(xùn)練，大大提高了模型的訓(xùn)練和檢測效率。

2 行人ROI 提取與圖像增強

視覺顯著性檢測要求模型能夠高效、快捷地排除冗余信息并加快對圖像內(nèi)容的理解，該技術(shù)被廣泛應(yīng)用在圖像重定向、圖像分類、圖像分割、圖像檢索等領(lǐng)域。本文采用視覺顯著性原理對行人ROI進(jìn)行快速定位，大大減少了背景的干擾，減少了圖像的計算量，提高了后續(xù)行人檢測的效率。

目前，視覺顯著的定義和計算方法很多。其中文獻(xiàn)[13]提出了一種基于隨機(jī)矩陣區(qū)域采樣的視覺顯著算法，效果如圖2(b)所示。通過該方法能夠較好地實現(xiàn)行人ROI的提取，效果如圖2(c)所示。

(a) 原始圖像

為了提高ROI的成像品質(zhì)，突出行人的紋理細(xì)節(jié)和灰度特征，本文采用自適應(yīng)對比度增強算法對行人ROI的圖像進(jìn)行處理。

ROI圖像可分為低頻和高頻兩個部分。自適應(yīng)對比度增強算法的核心就是增強代表細(xì)節(jié)的高頻部分。假設(shè)紅外熱圖像某一點的像素坐標(biāo)為x(i,j)，那么以(i,j)為中心，窗口大小為(2n+1)×(2n+1)的區(qū)域內(nèi)，其局部均值和方差可以表示為

式中:均值mx可以近似認(rèn)為是圖像的背景部分，也就是圖像的低頻部分信息；x(i,j)-mx(i,j)為圖像中的高頻細(xì)節(jié)部分。

定義f(i,j)表示x(i,j)增強后的像素值，則自適應(yīng)對比度增強算法便可以表示如下：

f(i,j)=mx(i,j)+G(i,j)[x(i,j)-mx(i,j)]

其中增益G(i,j)是一個大于1的常數(shù)。紅外熱圖像經(jīng)過自適應(yīng)對比度增強前后對比結(jié)果如圖3所示。從圖3看出，相比其他算法，自適應(yīng)對比度增強算法更能有效地優(yōu)化和凸顯行人在紅外熱圖像中的細(xì)節(jié)和灰度特征，濾掉了很多不必要的環(huán)境信息，極大地提高了行人檢測的精度。

(a) 原始圖像

3 基于YOLO V4的行人檢測模型建模

上一部分通過顯著視覺技術(shù)大致找到了行人的ROI，但是沒有精確定位行人位置。下面使用YOLO V4算法對ROI中的行人進(jìn)行精確定位。YOLO V4模型是YOLO系列目標(biāo)檢測算法的第4個版本，由Alexey等人于2020年4月提出。YOLO V4作為一種通用的目標(biāo)檢測算法其性能優(yōu)越，如圖4所示。在訓(xùn)練階段模型采用了多種數(shù)據(jù)增強算法(Mosaic、cmBN、SAT對抗訓(xùn)練)，大大增強了目標(biāo)檢測的魯棒性和準(zhǔn)確性。另外，對許多SOTA目標(biāo)檢測算法的訓(xùn)練技巧進(jìn)行了驗證和修改，讓模型對GPU訓(xùn)練更加高效。

圖4 不同目標(biāo)檢測模型性能對比

從圖4可以看出，YOLO V4較好地兼顧了實時性和準(zhǔn)確性，在COCO數(shù)據(jù)的測試中，模型對所有物體檢測實時性的平均精度在42%以上時，其實時性超過70 FPS，完全滿足智能汽車對于實時性和準(zhǔn)確性的要求。

本文選擇YOLO V4模型對提取的ROI圖像中的行人進(jìn)行建模和訓(xùn)練。為了提高模型的訓(xùn)練速度，加速訓(xùn)練過程的收斂，在模型訓(xùn)練時采用遷移學(xué)習(xí)的方法，訓(xùn)練流程如圖5所示。

圖5 遷移學(xué)習(xí)YOLO V4模型訓(xùn)練流程

遷移學(xué)習(xí)是通過從已學(xué)習(xí)的相關(guān)任務(wù)中轉(zhuǎn)移知識來改進(jìn)新的學(xué)習(xí)任務(wù)，有利于提高模型的訓(xùn)練速度。當(dāng)訓(xùn)練樣本一定時，可以提高模型的精度，大大降低訓(xùn)練對于樣本數(shù)量的依賴。主要包括以下幾個步驟：

1) 訓(xùn)練樣本采集與標(biāo)注。采用實車實驗收集不同道路環(huán)境的紅外熱成像樣本，其中包括夜間圖像 5 000張，霧天4 600張，雨雪天5 400張。采用labelimg工具對行人目標(biāo)進(jìn)行標(biāo)注，標(biāo)注行人目標(biāo)共 48 432個。

2) 加載預(yù)訓(xùn)練模型，修改配置文件。從Guthub下載YOLO V4的預(yù)訓(xùn)練模型的權(quán)重YOLO V4.conv.137和配置文件，刪掉配置文件voc-ball.names原有的20類目標(biāo)，修改為person 1類目標(biāo)。進(jìn)入YOLO V4-voc.cfg文件將batch設(shè)置為16，class設(shè)置為1，filters設(shè)置為18，其中filters =(classes+5)×3。

3) 參數(shù)設(shè)置與模型訓(xùn)練。訓(xùn)練過程采用sgdm算法迭代優(yōu)化，最大訓(xùn)練周期設(shè)置為25，初始學(xué)習(xí)率為10-3，每經(jīng)過5次迭代學(xué)習(xí)率降為原來的0.5倍。

從圖6可以看出，隨著模型訓(xùn)練次數(shù)的增加，模型的損失值不斷減小，準(zhǔn)確率不斷提高，整個模型趨于收斂，模型精度也滿足要求。

圖6 YOLO V4訓(xùn)練過程

4 測試驗證

為了驗證模型的性能，選取了不同惡劣環(huán)境的紅外熱圖像對模型進(jìn)行測試，部分測試結(jié)果如下：圖7(a)、(c)、(e)為可見光相機(jī)圖像，圖7(b)、(d)、(f)為相應(yīng)的紅外檢測圖像。很顯然，相對于可見光相機(jī)，紅外圖像具有很好的檢測效果。

(a) 夜間可見光相機(jī)圖像

用于測試的實驗圖片共計150張，其中包含行人目標(biāo)483人，模型有效行人檢測452人，檢測準(zhǔn)確率為93.6%；誤檢測目標(biāo)17個，誤檢率為3.5%；漏檢目標(biāo)14個，漏檢率為2.9%，目標(biāo)檢測速度為41 FPS。不同方法的效果對比見表1。

表1 不同方法對比結(jié)果

5 結(jié)束語

為了提高智能汽車惡劣天氣行人檢測的效率，本文提出了一種基于YOLO V4遷移學(xué)習(xí)的紅外熱成像行人檢測方法。在未來的研究中，可以通過增加不同位置和規(guī)格的紅外相機(jī)實現(xiàn)車輛全視角的行人檢測，提高智能汽車行駛安全性。