李舒涵 許宏科 武治宇

摘? 要： 針對大多數(shù)交通標志檢測方法易受光照和天氣影響的問題，提出一種基于紅外與可見光融合的交通標志檢測方法。首先，分別在紅外與可見光圖像中提取交通標志的形狀和顏色特征，對目標進行粗定位，并將結(jié)果放入候選組內(nèi)進行分類與整理;然后，將候選組放入卷積神經(jīng)網(wǎng)絡(luò)，對粗定位結(jié)果賦予相應(yīng)的置信度;最后，根據(jù)置信度對紅外與可見光的粗定位結(jié)果進行決策融合，并將融合結(jié)果展示在可見光圖像中。實驗結(jié)果表明，該算法對檢測環(huán)境的變化更加魯棒，在白天、夜晚和不良天氣等多種環(huán)境下有效地提高了檢測效率，具有良好的適用范圍。

關(guān)鍵詞： 交通標志檢測; 圖像融合; 目標粗定位; 卷積神經(jīng)網(wǎng)絡(luò); 定位結(jié)果分類; 紅外圖像; 可見光圖像

中圖分類號： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）03?0045?05

Traffic sign detection based on infrared and visible image fusion

LI Shuhan1， XU Hongke1， WU Zhiyu2

（1. School of Electronic & Control Engineering， Changan University， Xian 710064， China;

2. School of Mechanical?Electrical Engineering， Xidian University， Xian 710071， China）

Abstract： A traffic sign detection method based on infrared and visible image fusion is proposed to deal with the fact that the traffic sign detection is susceptible to light and weather. In the method， the shape and color features of traffic signs are extracted from infrared and visible images respectively to roughly locate the targets， and the results are put into the candidate groups for classification and sorting. Then the candidate groups are placed in the convolutional neural network to give corresponding confidence to the rough positioning results. Finally， the rough positioning results from infrared and visible light images are fused according to the confidence， and the fused results are displayed in visible images. The experimental results show that the proposed method is more robust to the change of detection environment， effectively improves the detection efficiency in various environments such as daytime， night and adverse weather conditions. Therefore， the application scope of the proposed method is wide.

Keywords： traffic sign detection; image fusion; target rough positioning; convolutional neural network; positioning result classification; infrared image; visible image

0? 引? 言

交通標志識別系統(tǒng)（Traffic Sign Recognition，TSR）作為先進輔助駕駛系統(tǒng)（Advanced Driver Assistance Systems，ADAS）的重要組成部分[1]，能夠為駕駛員提供實時的道路信息，為司乘人員提供行車安全保障。交通標志識別系統(tǒng)通常分為檢測和識別兩個部分，精準的檢測能為后續(xù)的識別、輔助定位與導(dǎo)航提供有效保障[2]，因而標志檢測一直是交通標志識別系統(tǒng)的重點。

由于大部分的交通標志都被設(shè)立在戶外環(huán)境中，標志檢測容易受到天氣、光照、能見度等因素的影響?，F(xiàn)有的檢測方法，如基于顏色與形狀特征的檢測算法[3?6]和基于深度學(xué)習(xí)的特征提取檢測算法[7?8]，在光照變化劇烈或能見度低的條件下，魯棒性較差，檢測準確率較低。為了解決上述問題，本文利用紅外圖像不易受環(huán)境影響的特性，提出一種紅外與可見光圖像融合檢測的方法。

僅利用可見光圖像在戶外進行目標檢測不能有效應(yīng)對天氣和光照的變化[9]，因此，紅外與可見光圖像的融合檢測被廣泛應(yīng)用于目標檢測領(lǐng)域。文獻[10]通過分析圖像滑窗稀疏系數(shù)的特點，提出一種基于稀疏向量的融合算法;文獻[11]提出了一種通過主成分分析和小波變換的融合算法;文獻[12]提出了一種基于頻域分割及輪廓濾波的融合算法，較好地保留了源圖像中的邊緣和細節(jié)信息;文獻[13]提出了多線索的目標跟蹤算法，通過融合提取更加魯棒的目標特征;文獻[14]根據(jù)稀疏系數(shù)得到源圖像的全局和局部顯著圖，提出一種顯著圖的融合算法;文獻[15]提出一種基于顯著性檢測和雙尺度圖像分解的融合算法，提高了檢測的實時性。

本文提出了一種基于深度學(xué)習(xí)的決策融合算法，先在紅外與可見光圖像中進行交通標志的粗定位，然后利用卷積神經(jīng)網(wǎng)絡(luò)對粗定位結(jié)果賦予置信度，并對賦予置信度的結(jié)果進行決策融合，最終將目標融合檢測的結(jié)果展示在可見光圖像序列中。

1? 交通標志粗定位

交通標志通常用不同的顏色和形狀來代表不同的指示功能，為了使交通標志與背景環(huán)境明顯區(qū)分，大多數(shù)標志都采用強烈的色彩，如紅、黃、藍，以及容易辨別的形狀，如矩形、圓形、三角形。同時，紅外圖像能在光照變化或能見度低等不利自然條件下穩(wěn)定成像，如雨霧天氣、傍晚光線昏暗或逆光等場景，但缺乏可見光圖像所具有的色彩和質(zhì)地等細節(jié)信息。因此，根據(jù)交通標志、紅外與可見光圖像的特點，本文在紅外與可見光圖像中進行目標粗定位，為后續(xù)的卷積神經(jīng)網(wǎng)絡(luò)識別及決策融合做準備。算法流程如圖1所示。

1.1? 紅外圖像下的粗定位

紅外圖像屬于單通道圖像，在紅外圖像中呈現(xiàn)的物體會丟失顏色信息，但紅外圖像具有局部穩(wěn)定特性，能為特征描述算子搭建良好的應(yīng)用平臺。同時，特征描述算子能夠充分地反映特征點附近的形狀和紋理結(jié)構(gòu)。因此，紅外圖像下的特征描述算子具有良好的適用性和魯棒性。

Sobel算子在進行邊緣檢測時的效率較高，但只能夠較好地處理沿[x]軸和[y]軸排列的輪廓，在處理其他角度的輪廓時效果不佳，因此采用對其改進的Scharr濾波器進行邊緣檢測。Scharr濾波器能夠增加多個角度的邊緣特征。

Scharr濾波器通過計算灰度函數(shù)的近似梯度來求出目標的邊緣輪廓。首先，對輸入圖像[I=（x，y）]分別在[x]和[y]方向上做卷積運算，計算公式為：

式中：[Gx]為橫向梯度分量;[Gy]為縱向梯度分量。

然后計算像素點的近似梯度：

如果近似梯度大于某一閾值，則認為該點為邊緣點。

在Sobel算子檢測效果圖中，部分輪廓特征不完整容易導(dǎo)致漏檢，而Scharr濾波器對邊緣特征的檢測效果足以滿足后續(xù)的形狀特征提取，效果對比如圖2所示。

將Scharr濾波器處理后的邊緣特征圖像針對圓形、三角形、矩形進行形狀檢測，并使用矩形框?qū)π螤顧z測結(jié)果進行標注。同時，通過設(shè)定檢測框周長的閾值過濾較小的干擾物，從而完成紅外圖像下的交通標志粗定位。

1.2? 可見光圖像下的粗定位

在可見光圖像下，交通標志的顏色特征較為明顯，因此本文通過提取交通標志牌的顏色特征進行目標檢測。

RGB空間的[R]，[G]，[B]分量間存在復(fù)雜的聯(lián)系且易受光照變化的影響。而交通標志大多數(shù)設(shè)立于戶外，同一顏色的標志在不同光照下有較大差別，如圖3所示。由于HSI顏色空間中的色調(diào)（Hue）和飽和度（Saturation）分量獨立于亮度（Intensity）分量，能夠較好地排除光照和天氣對顏色分割的干擾，因此本文將圖像由RGB顏色空間轉(zhuǎn)換到HSI顏色空間進行顏色特征的提取。

為了使顏色特征模型能夠適應(yīng)更加復(fù)雜的背景環(huán)境，采集并建立了不同環(huán)境中紅、黃、藍三種顏色的交通標志庫，分別對三種顏色的色調(diào)H和飽和度S標準化至[[0，1]]進行統(tǒng)計，如圖4所示。

根據(jù)統(tǒng)計結(jié)果確定色調(diào)與飽和度的閾值區(qū)間，并進行感興趣區(qū)域的提取，具體步驟如下：

其中，[I （i，j）]為坐標[ （i，j）]處的像素點;[H（i，j）]和[ S（i，j）]分別為[I （i，j）]處的色調(diào)與飽和度;[Hi（i=1，2，…，6）]為各顏色的色度閾值;[Si（i=1，2，3）]為各顏色的飽和度閾值;[ D]為目標框的面積;[ d]為目標框閾值;[red（i，j）]為紅色感興趣點;[yellow（i，j）]為黃色感興趣點;[blue（i，j）]為藍色感興趣點。

通過將感興趣點[red（i，j）]，[yellow（i，j）]，[blue（i，j）]的值置為255，其余像素點置為0的方式對圖像進行二值化，并利用形態(tài)學(xué)濾波清除噪聲及干擾物，從而完成顏色特征的提取。

基于顏色特征的目標檢測容易受到背景環(huán)境的影響，在存在與目標顏色相同的物體時容易導(dǎo)致誤判。因此在可見光圖像下采取顏色與形狀特征提取相結(jié)合的方式進行目標粗定位，形狀特征的提取方式與紅外圖像相同。

最后使用矩形框?qū)z測結(jié)果進行標注。與紅外圖像下的粗定位相同，通過設(shè)定檢測框周長的下閾值過濾較小的干擾物，完成可見光圖像中的交通標志粗定位。

1.3? 候選信息分類

紅外與可見光粗定位輸出的檢測結(jié)果用矩形框在圖像中標出，矩形框擁有[Point（x，y），width，height]三項參數(shù)。其中，[Point（x，y）]為矩形框的中心坐標，[width]為矩形框的寬度，[height]為矩形框的高度。

將在紅外圖像中得到的矩形框參數(shù)放入候選組，可見光圖像中得到的參數(shù)放入候選組。由于粗定位是分別在紅外與可見光圖像中進行的，難以區(qū)分候選組[RI]與候選組[RV]內(nèi)的信息是否為同一目標，因此需要對候選信息進行分類。

對[RI]的信息逐一進行提?。ǚ謩e提取每一個檢測框的參數(shù)），并分別與[RV]中的信息進行計算與比較，從而判別兩個矩形框是否檢測的是同一目標物。若檢測的是相同目標，則分別將兩個檢測框標記為1，反之，則標記為0。對[RI]的信息再次進行提取時，僅與[RV]中標記為0或未被標記的信息進行判別。最后，為保證全部粗定位結(jié)果都會經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)，需要在[RI]中補充[RV=0]的信息，在[RV]中補充[RI=0]的信息。最后，根據(jù)檢測框的坐標對[RI]和[RV]的信息進行排序，得到新的候選組

設(shè)[RiI]為[RI]的第[i]個信息，[RjV]為[RV]的第[j]個信息。本文采用歐氏距離和矩形框的面積比對候選組的信息進行分類，具體步驟如下。

首先，根據(jù)檢測框的中心坐標，計算[RiI]和[RjV]的歐氏距離[ρIVij]：

式中：[（XIi，YIi）]為[RiI]的中心坐標參數(shù);[（XVj，YVj）]為[RjV]的中心坐標參數(shù)。

計算[RiI]和[RjV]的面積比[Sij]：

通過設(shè)定[ρIVij]和[Sij]的閾值，對[RiI]和[RjV]進行標記：

式中：[A=Min{RIi?width，RIi?height，RVj?width，RVj?height}]為[ρIVij]的閾值;經(jīng)過多次實驗，[Sij]的下閾值[B1]設(shè)定為0.75，上閾值[B2]設(shè)定為1.25。

2? 紅外與可見光融合檢測方法

2.1? 基于CNN的粗定位置信度計算

整理完的候選區(qū)內(nèi)仍潛在誤判的區(qū)域，因此采用CNN對候選區(qū)內(nèi)的圖像進行識別，盡可能剔除不存在交通標志的區(qū)域以提高檢測的準確率。

在選擇CNN網(wǎng)絡(luò)模型框架之前，需要對交通標志的特征進行建模分析。由于交通標志的特征較為單一，形狀顏色有一定規(guī)則，因此選用EdLeNet網(wǎng)絡(luò)架構(gòu)，這種淺層的網(wǎng)絡(luò)結(jié)構(gòu)能夠很好地處理簡單圖像特征。此外，淺層的CNN網(wǎng)絡(luò)能夠提高分類的實時性，降低卷積運算量。本文分別對紅外樣本和可見光樣本進行預(yù)訓(xùn)練，得到兩個卷積神經(jīng)網(wǎng)絡(luò)CNN1和CNN2。

以可見光模型為例，訓(xùn)練好的CNN結(jié)構(gòu)如圖5所示。將EdLeNet網(wǎng)絡(luò)輸入灰度圖像的尺寸統(tǒng)一縮放為[32×32]，通過三層卷積層、三層池化層以及兩層全連接層，用SoftMax作為輸出層給出最終的結(jié)果。在第一層卷積層采用[3×3]的卷積核，深度為32，步長為1，選用ReLU函數(shù)作為激活函數(shù)，然后使用尺寸為[2×2]的下采樣濾波器對特征進行下采樣，步長為1。之后的兩層卷積層除了將卷積核的深度依次乘2倍加深以外，其余的參數(shù)并未做出改變。除此之外，用兩層全連接層對所有的特征重新進行擬合，由最后的SoftMax函數(shù)輸出層給出分類置信度。

2.2? 紅外與可見光決策融合

單純在紅外與可見光圖像中進行目標檢測，并不能保證檢測結(jié)果具有很高的準確性?？紤]到紅外與可見光圖像的互補性，運用決策融合算法對紅外與可見光兩個候選區(qū)內(nèi)的檢測結(jié)果進行選擇。

3? 實驗結(jié)果與分析

3.1? 實驗數(shù)據(jù)集

本文分別利用紅外相機與可見光相機采集用于訓(xùn)練CNN的交通標志樣本，其中，紅外圖像2 141個，可見光圖像2 317個，部分數(shù)據(jù)集樣本如圖6所示。

同時，用于預(yù)訓(xùn)練CNN的輸入圖像需要進行預(yù)處理，具體步驟如下：

1） 圖像尺寸的調(diào)整，將輸入的ROI區(qū)域統(tǒng)一縮放為[32×32]。

2） 對圖像進行歸一化處理，確定圖像數(shù)據(jù)集分布的中心，從而提高CNN網(wǎng)絡(luò)模型在處理圖像時的一致性。

3） 針對可見光圖像樣本需要進行灰度化處理為單通道圖像，能夠極大減少數(shù)據(jù)運算量，提高系統(tǒng)的實時性。

其余測試樣本分別用紅外與可見光相機同時進行拍攝，在白天和夜間分別采集了紅外和可見光圖像（圖像已配準）共500張，采集數(shù)據(jù)時間分為兩個時段，分別為11：00—13：00和19：00—21：00。

3.2? 實驗過程與結(jié)果

1） 分別在紅外與可見光圖像中對交通標志進行粗定位，并將粗定位結(jié)果放入候選組[RI]和候選組[RV]。

2） 根據(jù)粗定位的坐標與面積參數(shù)對[RI]和[RV]的信息進行分類。

3） 將分類后的[RI]和[RV]分別放入訓(xùn)練好的CNN1和CNN2模型中，對粗定位的結(jié)果賦予置信度。

4） 對賦予置信度后的紅外與可見光粗定位結(jié)果進行決策融合，在可見光圖像中給出檢測結(jié)果。

該算法在復(fù)雜背景、黃昏、夜晚和霧天場景的處理結(jié)果如圖7所示。

自然場景中的交通標志極易受到環(huán)境影響，例如，在雨霧天氣時可見光相機拍攝的圖像對比度會降低，但保留了場景的顏色和細節(jié)信息，而紅外相機能較穩(wěn)定地對場景進行采集，但不能完整反映真實的場景。因此，利用紅外與可見光圖像融合檢測能夠較好地適應(yīng)戶外環(huán)境的改變，提高檢測準確率。為比較融合算法的檢測效果，分別對單獨的紅外、可見光圖像下檢測結(jié)果與融合算法的結(jié)果進行對比，如表1所示。其中，測試樣本包括白天、夜晚和雨霧天氣等多個場景。

4? 結(jié)? 論

本文將紅外與可見光圖像下的交通標志檢測結(jié)果相結(jié)合，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的決策融合算法。實驗結(jié)果表明，紅外與可見光融合檢測能夠很好地適應(yīng)環(huán)境的變化，能夠在交通標志牌的檢測中充分利用多種圖像特征的互補性，因此可以應(yīng)用于多種有針對性場景的交通標志牌檢測。

本文主要通過交通標志的顏色和形狀信息進行粗定位，并沒有對粗定位結(jié)果進一步進行篩選，有較多的誤判信息被采集到候選區(qū)內(nèi)，由于卷積神經(jīng)網(wǎng)絡(luò)需要對每一個候選信息進行識別，因此粗定位結(jié)果在一定程度上會影響算法的效率。對候選區(qū)信息進行篩選，以提高算法效率是值得進一步研究的方向。另外，本文未對檢測到的交通標志進行識別，這也是今后的研究內(nèi)容。

參考文獻

[1] ZAKLOUTA F， STANCIULESCU B. Real?time traffic sign recognition in three stages [J]. Robotics & autonomous systems， 2014， 62（1）： 16?24.

[2] 葛園園，許有疆，趙帥，等.自動駕駛場景下小且密集的交通標志檢測[J].智能系統(tǒng)學(xué)報，2018，13（3）：366?372.

[3] ZHANG M， LIANG H， WANG Z， et al. Real?time traffic sign detection and recognition for intelligent vehicle [C]// 2014 IEEE International Conference on Mechatronics and Automation. Tianjin， China： IEEE， 2014： 1125?1131.

[4] 賈永紅，胡志雄，周明婷，等.自然場景下三角形交通標志的檢測與識別[J].應(yīng)用科學(xué)學(xué)報，2014，32（4）：423?426.

[5] 常發(fā)亮，黃翠，劉成云，等.基于高斯顏色模型和SVM的交通標志檢測[J].儀器儀表學(xué)報，2014，35（1）：43?49.

[6] SALTI S， PETRELLI A， TOMBARI F， et al. Traffic sign detection via interest region extraction [J]. Pattern recognition， 2015， 48（4）： 1039?1049.

[7] YANG Y， LUO H， XU H， et al. Towards real?time traffic sign detection and classification [J]. IEEE transactions on intelligent transportation systems， 2016， 17（7）： 2022?2031.

[8] 劉占文，趙祥模，李強，等.基于圖模型與卷積神經(jīng)網(wǎng)絡(luò)的交通標志識別方法[J].交通運輸工程學(xué)報，2016，16（5）：122?131.

[9] FENDRI E， BOUKHRISS R R， HAMMAMI M. Fusion of thermal infrared and visible spectra for robust moving object detection [J]. Pattern analysis & applications， 2017， 20（10）： 1?20.

[10] 張生偉，李偉，趙雪景.一種基于稀疏表示的可見光與紅外圖像融合方法[J].電光與控制，2017，24（6）：47?52.

[11] NAIDU V P S， RAOL J R. Pixel?level image fusion using wavelets and principal component analysis [J]. Defence science journal， 2008， 58（3）： 338?352.

[12] 蔡懷宇，卓勵然，朱攀，等.基于非下采樣輪廓波變換和直覺模糊集的紅外與可見光圖像融合[J].光子學(xué)報，2018，47（6）：225?234.

[13] LAN X， MA A J， YUEN P C， et al. Joint sparse representation and robust feature?level fusion for multi?cue visual tracking [J]. IEEE transactions on image processing， 2015， 24（12）： 5826?5841.

[14] LIU C H， QI Y， DING W R. Infrared and visible image fusion method based on saliency detection in sparse domain [J]. Infrared physics & technology， 2017， 83： 94?102.

[15] BAVIRISETTI D P， DHULI R. Two?scale image fusion of visible and infrared images using saliency detection [J]. Infrared physics & technology， 2016， 76： 52?64.