葉茂勝李必軍莫檸鍇孔格菲

摘要：無人駕駛中交通燈的識(shí)別是一項(xiàng)重要任務(wù)，提出無人駕駛中基于車載攝像頭拍攝的視頻序列的交通燈檢測(cè)和識(shí)別技術(shù)。通過對(duì)圖像進(jìn)行伽馬校正，增強(qiáng)圖像的對(duì)比度和亮度，得到預(yù)處理后的圖像；通過形態(tài)學(xué)處理，從而比較準(zhǔn)確地提取交通燈的候選區(qū)域；計(jì)算候選區(qū)域的幾何特征，保留符合特征的區(qū)域作為交通燈區(qū)域；在RGB色彩空間內(nèi)進(jìn)行色域差分，得到交通燈的色彩信息。

關(guān)鍵詞：無人駕駛；伽馬校正；幾何特征；RGB彩色空間；色域差分

DOIDOI：10.11907/rjdk.161783

中圖分類號(hào)：TP317.4

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2016）009015704

基金項(xiàng)目基金項(xiàng)目：國家自然科學(xué)基金重點(diǎn)項(xiàng)目（41531177）

作者簡介作者簡介：李必軍（1969-），湖北武漢人，博士，武漢大學(xué)測(cè)繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室教授，研究方向?yàn)榈孛婕す鈷呙杓杉夹g(shù)、汽車導(dǎo)航技術(shù)與智能交通技術(shù)。

0引言

計(jì)算機(jī)視覺在無人駕駛領(lǐng)域發(fā)揮了重要作用，它以攝影機(jī)和電腦代替人眼對(duì)目標(biāo)進(jìn)行識(shí)別、跟蹤和測(cè)量，在交通燈、車道線方面有著重要作用。本文主要針對(duì)交通燈檢測(cè)和識(shí)別，基于計(jì)算機(jī)視覺提出了一種基于色域差分和伽馬校正的新方法，有效提高了檢測(cè)的效率和準(zhǔn)確性。

過去幾年，無人駕駛飛速發(fā)展。國內(nèi)國外的研究團(tuán)隊(duì)對(duì)交通燈的識(shí)別和檢測(cè)進(jìn)行了大量的研究工作，谷歌無人車團(tuán)隊(duì)[1]更提出了基于地圖進(jìn)行交通燈定位后識(shí)別的新思路，傳統(tǒng)交通燈檢測(cè)使用色彩空間轉(zhuǎn)換至HSV空間[210，14]或Lab空間[11]、分類器[37，8，13]、模板匹配[24，10，1213]等方法進(jìn)行識(shí)別。在國內(nèi)，楊明等[8]提出了基于級(jí)聯(lián)濾波器的交通燈識(shí)別，利用RGB空間提取色彩信息，通過級(jí)聯(lián)濾波器過濾非交通燈區(qū)域，再利用NCC匹配的方法確定信號(hào)燈。但是這種方法在陰雨天氣下識(shí)別能力不佳，而且有賴于模板的選擇，實(shí)用性有待提高。谷明琴等[9]提出了基于圓形度和顏色直方圖的信號(hào)燈識(shí)別，利用圓形度特征作為選取候選區(qū)域的一個(gè)標(biāo)志，然后將得到的候選區(qū)域圖像轉(zhuǎn)為HSV空間，統(tǒng)計(jì)H分量，識(shí)別交通燈的類型。這種方法在對(duì)黃燈的識(shí)別中，準(zhǔn)確性不足，對(duì)于候選區(qū)域的過濾僅僅利用形狀信息，約束性略差。

為了克服上述缺點(diǎn)，本文提出了一種在RGB空間下基于伽馬校正以及色域差分的交通燈識(shí)別方法。首先對(duì)原始圖像進(jìn)行伽馬校正，通過伽馬校正提高紅綠燈區(qū)域的對(duì)比度；接著進(jìn)行灰度化與二值化處理，并且利用形態(tài)學(xué)濾波的方法進(jìn)行濾波，利用交通燈的幾何特征進(jìn)行篩選，標(biāo)定交通燈區(qū)域；最后對(duì)交通燈區(qū)域進(jìn)行色域差分，在R通道上，與G通道上進(jìn)行差分處理，進(jìn)而判斷出交通燈的類型。算法描述如圖1所示。

1伽馬校正

在交通燈識(shí)別中，交通燈區(qū)域定位是一個(gè)關(guān)鍵步驟。常規(guī)方法是利用RGB空間的色彩信息，或者利用HSV空間的色彩信息，在一定程度上確定出候選區(qū)域。但是在復(fù)雜環(huán)境中，利用上述方法確定的候選區(qū)域數(shù)量過多，有時(shí)甚至難以找出候選的交通燈區(qū)域，需要通過調(diào)整閾值才能完成候選區(qū)域的提取。因此，這些算法缺乏健壯性與自適應(yīng)性。

在相機(jī)條件不佳或者直射強(qiáng)光源條件下，檢測(cè)的圖像出現(xiàn)泛白光現(xiàn)象。當(dāng)光照條件不足時(shí)，圖像亮度偏暗。從攝影學(xué)專業(yè)術(shù)語上講，這兩種情況稱為過曝、欠曝現(xiàn)象。在這兩種情況下，圖像的色調(diào)和亮度都將發(fā)生失真，這種失真使得運(yùn)用上述方法進(jìn)行檢測(cè)時(shí)，RGB顏色信息發(fā)生改變，（經(jīng)過實(shí)驗(yàn)改變量在百分二十浮動(dòng)），對(duì)應(yīng)的閾值無法適應(yīng)當(dāng)前情況，因此無法正確識(shí)別出紅綠燈區(qū)域。

當(dāng)進(jìn)行伽馬校正之后，校正值大于1時(shí)，整體亮度被壓縮，高光部分被擴(kuò)展，但是對(duì)比度得到提升，而暗調(diào)部分被壓縮；校正值小于1時(shí)，整體亮度得到提升，而暗調(diào)部分被擴(kuò)展，對(duì)比度得到提升。利用這一特性，可以改善畫面失真、成像扭曲的情況。在圖像偏暗時(shí)，使用大于1的伽馬值，可以迅速拉升圖像中的亮區(qū)域，使得紅綠燈區(qū)域更加明顯。在圖像泛白光或者偏亮?xí)r，使用小于1的伽馬值，可以有效降低白光亮度對(duì)比，在一定程度上解決白光問題。

因此，本文根據(jù)伽馬校正的特點(diǎn)，利用伽馬校正在增強(qiáng)圖像對(duì)比度中的優(yōu)秀特性，在圖像預(yù)處理之前對(duì)圖像進(jìn)行了伽馬校正，以此凸顯紅綠燈區(qū)域。對(duì)圖像進(jìn)行非線性色調(diào)編輯的方法，檢測(cè)出圖像信號(hào)中的深色部分和淺色部分，并使兩者比例增大，從而提高圖像對(duì)比度效果。

在圖像處理之前預(yù)先進(jìn)行伽馬校正，如圖3所示，圖像經(jīng)過伽馬校正之后，紅綠燈的區(qū)域變得更加明顯。原本未經(jīng)檢測(cè)出的紅綠燈區(qū)域，經(jīng)過伽馬校正后，提取效果得到提升。

corrected=255×（uncorrected255）gamma

2圖像預(yù)處理

圖像預(yù)處理包括圖像的灰度化和二值化處理。選取0.299R分量、0.587G分量、0.144B分量將彩色圖轉(zhuǎn)化為灰度圖像。

g（x，y）=0.299×R（x，y）+0.587×G（x，y）+0.144×B（x，y）

其中，（x，y）為像點(diǎn)坐標(biāo)，R、G、B分別代表顏色的3個(gè)分量，g（x，y）代表灰度圖像上（x，y）點(diǎn)上的灰度值，這樣的比例比較符合人類視覺的灰度。將得到的灰度圖像使用閾值T進(jìn)行分割，得到二值圖像。

Binary（x，y）=0，g（x，y）T

通過實(shí)驗(yàn)，取T=100時(shí)，分割效果最好。

3濾波器處理

通過上述兩個(gè)步驟處理可以得到一幅包含若干候選區(qū)域的二值圖像。但是圖像中存在過多的噪聲區(qū)域以及噪聲點(diǎn)，經(jīng)過形態(tài)學(xué)處理，可有效減弱噪聲對(duì)于圖像的干擾。同時(shí)進(jìn)行濾波處理，可過濾掉大量不屬于交通燈區(qū)域的候選區(qū)域。

交通燈區(qū)域應(yīng)具有較好的幾何形狀特征以及填充的飽和度。經(jīng)過形態(tài)學(xué)處理后，圖像中仍然保留著區(qū)域較大的候選對(duì)象。對(duì)于這些區(qū)域，本文選擇直接利用交通燈本身的幾何特征進(jìn)行濾波處理。

經(jīng)過上述步驟處理后的交通燈區(qū)域很難保持圓形的屬性特征，但其最小外接矩形仍可以保持較好的形狀特性。本文定義Ratio值及填充比進(jìn)行濾波處理。

（1）長寬比。圖像中候選區(qū)域的最小外接矩形長度為length，寬度為width，則定義Ratio值為：

Ratio=widthlength

由于交通區(qū)域是一個(gè)圓形區(qū)域，其最小外接矩形應(yīng)為正方形區(qū)域，但受到圖像處理過程中的一些誤差影響，所得到的最小外接矩形并不是嚴(yán)格的正方形。本文經(jīng)過大量的數(shù)據(jù)統(tǒng)計(jì)，給出Ratio閾值范圍，將Ratio值大于0.8或者小于0.2視為噪聲區(qū)域直接過濾。

（2）像元個(gè)數(shù)。交通燈區(qū)域不會(huì)存在較大的空洞區(qū)域。根據(jù)交通燈這一特性，本文定義了填充比作為判斷要素之一。實(shí)際計(jì)算中，通過計(jì)算最小外接矩形內(nèi)像素的個(gè)數(shù)除以最小外接矩形的面積，可得到這一要素值。根據(jù)統(tǒng)計(jì)資料，本文取0.8作為閾值。

經(jīng)過上述兩項(xiàng)濾波處理，可以得到滿意的交通燈區(qū)域。

4色域差分

在得到交通燈區(qū)域后，為進(jìn)一步判定交通燈顏色，必須對(duì)區(qū)域的屬性作出判斷。常規(guī)的判斷方法，如通過RGB空間或者HSV空間的某些分量設(shè)定閾值，在一定程度上，精度受限于圖像質(zhì)量，同時(shí)，閾值的選取較為復(fù)雜，甚至需要通過模板訓(xùn)練的方式才能確定。這在一定程度上影響了交通燈識(shí)別的實(shí)時(shí)性。因此，本文利用紅綠燈區(qū)域在RGB空間的成像特點(diǎn)，提出色域差分的方法。

通過將RGB空間的圖像在3個(gè)通道上進(jìn)行分離，得到3個(gè)色域上的圖像。將R通道的圖像與G通道的圖像做差分。本文采用改化后的Sigmod函數(shù)進(jìn)行差分運(yùn)算。

y=1.00.008+0.01×e-0.1×（Diff-70）

根據(jù)大量統(tǒng)計(jì)資料可以發(fā)現(xiàn)，紅綠燈區(qū)域在RGB存在如下特性：在紅燈時(shí)，紅綠燈區(qū)域的R分量遠(yuǎn)大于G分量，而在綠燈時(shí)，紅綠燈區(qū)域的G分量遠(yuǎn)大于R分量。

基于這一特性，只需對(duì)R色域的圖像與G色域的圖像相互做一次差分，便可以將綠色信息與紅色信息相互分離開來，得到差分紅色信息圖像R-G與差分綠色信息圖像G-R。同時(shí)，對(duì)R-G和G-R，在差分之時(shí)對(duì)差異較大的區(qū)域進(jìn)行指數(shù)拉伸，以增加區(qū)域信息飽和度。

為避免出現(xiàn)其它物體顏色干擾現(xiàn)象，增強(qiáng)算法的魯棒性，本文在進(jìn)行差分處理后，對(duì)交通燈區(qū)域再次進(jìn)行形態(tài)學(xué)處理。通過在差分圖像內(nèi)提取輪廓，統(tǒng)計(jì)輪廓內(nèi)的平均灰度信息，在R-G的差分圖像內(nèi)，如果平均灰度信息大于一定的閾值，則認(rèn)定該區(qū)域是紅燈區(qū)域，在G-R的差分圖像內(nèi)，如果平均灰度信息大于一定閾值，則認(rèn)定該區(qū)域是綠燈區(qū)域。

本文通過預(yù)處理的形態(tài)學(xué)處理，以及色域差分過程中的形態(tài)學(xué)處理，保證了交通燈區(qū)域的可信度。在圖像最終輸出時(shí)，利用顏色信息以及形態(tài)學(xué)信息作為檢核條件確保整個(gè)提取方法的準(zhǔn)確率。

5驗(yàn)證實(shí)驗(yàn)與結(jié)果

為驗(yàn)證本文所提出的交通燈識(shí)別方法的有效性，本文進(jìn)行了大量實(shí)驗(yàn)。利用車載攝像頭，以25幀/s的速度在在不同光照條件、不同天氣條件以及不同的街頭進(jìn)行數(shù)據(jù)采集。本文實(shí)驗(yàn)所使用的相機(jī)為行車記錄儀中的相機(jī)。對(duì)采集的圖像利用本文算法進(jìn)行識(shí)別，得出識(shí)別率如表1所示。

6結(jié)語

在交通燈識(shí)別和檢測(cè)方法中，很多方法都是基于色彩空間或者形態(tài)特征進(jìn)行分割識(shí)別。本文在總結(jié)這些方法時(shí)，發(fā)現(xiàn)了這些方法在自適應(yīng)性以及實(shí)時(shí)性方面的不足，尤其在確定閾值方面，在不同環(huán)境下存在很大的不確定性，這給交通燈的識(shí)別帶來了很大困難。因此，通過大量的統(tǒng)計(jì)資料以及對(duì)圖像成像特點(diǎn)的理解，本文提出了基于伽馬校正及色域差分的交通燈識(shí)別方法。在RGB空間內(nèi)先是利用伽馬校正增強(qiáng)了圖像的對(duì)比度，簡化了后序處理，接著利用形態(tài)學(xué)處理得到候選區(qū)域，通過形態(tài)特征的濾波去除噪聲區(qū)域以及大的背景區(qū)域的干擾，最后對(duì)確定的交通燈區(qū)域進(jìn)行色域差分，識(shí)別顏色信息。大量實(shí)驗(yàn)證明，本文提出的方法在復(fù)雜環(huán)境下仍然有較高的識(shí)別準(zhǔn)確率，充分說明了本文方法的魯棒性以及有效性。

圖9顯示了本文交通燈識(shí)別方法在不同環(huán)境下的識(shí)別效果，包含了雨天、陰天、背光、正對(duì)光等的情況，其中圖像均已進(jìn)行過伽馬校正。

從實(shí)驗(yàn)結(jié)果來看，本文提出的算法在各種光照條件以及天氣條件下的識(shí)別率都比較高，均達(dá)到94%。但本文的交通燈識(shí)別方法是在主動(dòng)光的前提下，當(dāng)被動(dòng)光強(qiáng)度過大時(shí)，容易產(chǎn)生一定的誤檢現(xiàn)象。

參考文獻(xiàn)參考文獻(xiàn)：

[1]NATHANIEL FAIRFIELD CHRIS URMSON.Traffic light mapping and detection[C].2011 IEEE International Conference on Robotics and Automation （ICRA），2011：54215426.

[2]CHUNG Y C，WANG J M，CHEN S W.A visionbased traffic light detection system at intersections[J].Taiwan Normal University：Mathematics，Science & Technology，2002，47（1）：6786.

[3]DE CHARETTE R，NASHASHIBI F.Traffic light recognition using image processing compared to learning processes[C].In Proc.IROS，USA：IROS，2009：333338.

[4]LINDNER F，KRESSEL U，KAELBERER S.Robust recognition of traffic signals[C].In Intelligent Vehicles Symposium，2004：4953.

[5]S WENDER，O LOEHLEIN.A Cascade detector approach applied to vehicle occupant monitoring with an Omnidirectional Camera[C].Intelligent Vehicles Symposium，2004：345350.

[6]C WOEHLER，J ANLAUF.Realtime object recognition on image sequences with the adaptable time delay neural network algorithmapplications for autonomous vehicles[J].Image and Vision Computing，2001，19（910）：593618.

[7]KIM Y，KIM K，YANG X.Real time traffic light recognition system for color vision deficiencies[C].Harbin：ICMA 2007 International Conference on Mechatronics and Automation，2007：7681.

[8]金濤，王春香，王冰，等.基于級(jí)聯(lián)濾波的交通信號(hào)燈識(shí)別方法[J].上海交通大學(xué)學(xué)報(bào)，2012，46（9）：13551360.

[9]谷明琴，蔡自興，李儀.應(yīng)用圓形度和顏色直方圖的交通信號(hào)燈識(shí)別[J].計(jì)算機(jī)工程與設(shè)計(jì)，2012，33（1）：243247.

[10]YEHU SHEN，UMIT OZGUNER，KEITH REDMILL，et al.Arobust video based traffic light detection algorithm for intelligent vehicles[C].IEEE Intelligent Vehicles Symposium，2009：521526.

[11]徐成，譚乃強(qiáng)，劉彥.基于Lab色彩空間和模板匹配的實(shí)時(shí)交通燈識(shí)別算法[J].計(jì)算機(jī)應(yīng)用，2010，30（5）：12511254.

[12]JOHN V，YONEDA K，ZHENG LIU，et al.Saliency map generation by the convolutional neural network for realtime traffic light detection using template matching[J].IEEE Transactions on Computational Imaging，2015，1（3）：159173.

[13]GOMEZ A E，ALENCAR F A R，PRADO P V，et al.They are used for traffic lights detection and distance estimation[C].2014 IEEE Intelligent Vehicles Symposium Proceedings，2014：750755.

責(zé)任編輯（責(zé)任編輯：孫娟）