潘衛(wèi)國, 劉 博, 陳英昊, 石洪麗

(1.北京聯(lián)合大學(xué) 北京市信息服務(wù)工程重點(diǎn)實(shí)驗(yàn)室,北京 100101;2.北京聯(lián)合大學(xué) 機(jī)器人學(xué)院，北京 100027; 3.北京聯(lián)合大學(xué) 應(yīng)用科技學(xué)院,北京 100101)

0 引 言

交通標(biāo)志牌檢測(cè)是無人駕駛和輔助駕駛的重要組成部分，也是實(shí)現(xiàn)安全駕駛的一個(gè)重要環(huán)節(jié)，車輛需要檢測(cè)到前方道路的交通標(biāo)志才能獲取路況信息，這樣才能增加自動(dòng)駕駛的安全性和減少事故發(fā)生的可能性。

目前已有的相關(guān)研究包括Xiong C Z[1]提出的一種基于Faster R-CNN檢測(cè)交通標(biāo)志牌的方法。 Guo J K[2]提出的算法不僅可以識(shí)別出交通標(biāo)志牌，還可以識(shí)別道路信息、設(shè)施服務(wù)和交通信號(hào)燈標(biāo)識(shí)。Lee H S等人[3]提出了一種基于SSD實(shí)時(shí)的交通標(biāo)志牌識(shí)別方法，同時(shí)可以提供精確的位置估計(jì)及標(biāo)志牌精確的邊界信息。Li C P[4]提出了基于channel-wise顯著圖和深度學(xué)習(xí)的端到端的交通標(biāo)志檢測(cè)方法，基于channel-wise的特征提取、層次性細(xì)化和特征融合等方法。Rehman Y W等人[5]提出了一種基于d-patches的方法解決交通標(biāo)志牌檢測(cè)過程中遮擋的問題。Wang D D等人[6]提出了一種基于級(jí)聯(lián)的方法檢測(cè)交通標(biāo)志，同時(shí)使用了基于中層語義特征的顯著圖提升檢測(cè)的速度。Yuan Y等人[7]提出了一種針對(duì)視頻中交通標(biāo)志檢測(cè)、追蹤和識(shí)別的增量式的框架。Zhu Z等人[8]提出了一種改進(jìn)的交通標(biāo)志定位方法，通過交通標(biāo)志牌的顏色形狀信息，使交通標(biāo)志牌的邊界框更加緊致。Zhu Y G等人[9]利用級(jí)聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)了一種針對(duì)文本類標(biāo)志牌的檢測(cè)方法。Liu Z G等人[10]提出了一種基于區(qū)域的多尺度卷積神經(jīng)網(wǎng)絡(luò)方法，能夠檢測(cè)識(shí)別出交通場景中較小的交通標(biāo)志牌。目前的交通標(biāo)志牌檢測(cè)算法以深度學(xué)習(xí)為主，但是如何快速準(zhǔn)確的檢測(cè)出交通場景中的交通標(biāo)志牌是一個(gè)難題。

在交通信號(hào)識(shí)別的過程中，交通信號(hào)的檢測(cè)是關(guān)鍵的一步，直接決定了后續(xù)分類的效果，近幾年，涌現(xiàn)出的基于深度卷積網(wǎng)絡(luò)的目標(biāo)檢測(cè)可以分為single-stage[11,12]和two-stage[13～15]兩種，在目標(biāo)檢測(cè)方面展現(xiàn)了顯著的優(yōu)勢(shì)；基于single-stage的方法具有較快的檢測(cè)速度，而基于two-stage的方法需要產(chǎn)生許多候選區(qū)域，檢測(cè)速度較慢，但具有很高的準(zhǔn)確率。目前研究的難點(diǎn)是如何達(dá)到這兩類算法之間的平衡，既能夠達(dá)到高的準(zhǔn)確度又具有實(shí)時(shí)的檢測(cè)效果。

1 交通標(biāo)志牌檢測(cè)

根據(jù)國家交管部門的規(guī)定，交通標(biāo)志分為警告標(biāo)志、禁令標(biāo)志、指示標(biāo)志、指路標(biāo)志、旅游區(qū)標(biāo)志和其他標(biāo)志。本文的方法主要檢測(cè)警告、禁令和指示三類交通標(biāo)志牌，如圖1所示。

圖1 交通標(biāo)志牌類別

本文提出的交通標(biāo)志牌檢測(cè)流程：

首先將圖像進(jìn)行顏色空間的轉(zhuǎn)換，根據(jù)交通標(biāo)志牌的顏色特性提取出ROI，再基于YOLO v3實(shí)現(xiàn)對(duì)場景中交通標(biāo)志牌的檢測(cè)。

ROI獲?。簩⑤斎雸D像的顏色空間由RGB轉(zhuǎn)換為HSV

V=Cmax

式中R'=R/255，G'=G/255，B'=B/255，Cmax=max(R',G',B'),Cmin=min(R',G',B'),Δ=Cmax-Cmin。

在HSV顏色空間提取指示、警示、禁止類交通標(biāo)志牌的主顏色，分別是藍(lán)色、黃色和紅色，色彩的范圍如下所示：H，S，V三分量都?xì)w一化到[0,1] 范圍,具體地

在提取完三大類標(biāo)志牌主顏色后，對(duì)獲得的圖像進(jìn)行二值化處理，通過計(jì)算二值圖像中連通區(qū)域(8連通)，去除掉連通區(qū)域較小的區(qū)域(350～550)，獲得圖像Image，同時(shí)考慮圖像中目標(biāo)由遠(yuǎn)及近的規(guī)律，對(duì)整幅圖像的底邊部分(w×h/5)不處理。

更重要的是，人們關(guān)注這個(gè)問題，不僅是擔(dān)心新生代外部審美的娘性傾向，更擔(dān)心新生代內(nèi)部精神失去陽剛之氣。孟子曰：“我善養(yǎng)吾浩然之氣?！边@種浩然之氣，就是陽剛之氣，既有“天行健，君子以自強(qiáng)不息”的自立，也有“不阿權(quán)不阿世”的剛正，還有“咬定青山不放松，立根原在破巖中”的堅(jiān)毅，以及“長風(fēng)破浪會(huì)有時(shí)，直掛云帆濟(jì)滄海”的自信樂觀。如果我們的民族失去了這樣的精神品質(zhì)，如果我們的男孩子失去了這樣的價(jià)值導(dǎo)向，很可能就是一個(gè)悲劇的開始。

式中xmin為Image中所有像素x方向上最小值，ymin為Image中所有像素y方向上最小值；xmax為Image中所有像素x方向的最大值，ymax為Image中所有像素y方向上最大值。h為圖像x方向的長度，最后獲得的ROI。

邊界框預(yù)測(cè)調(diào)整：(tx,ty,tw,th)是網(wǎng)絡(luò)預(yù)測(cè)的邊界框的4個(gè)坐標(biāo)，如果網(wǎng)格偏離圖像左上角的量為(cx,cy)，pw,py是先前邊界框的寬度和高度，對(duì)應(yīng)的預(yù)測(cè)框調(diào)整如下

bx=σ(tx)+cx,by=σ(ty)=cy,bω=pwetw,bh=pheth

類別預(yù)測(cè)：在分類階段，soft-max有類間互斥的表現(xiàn)，不利于有包含屬性關(guān)系的數(shù)據(jù)分類，因此使用多標(biāo)簽分類方法，取而代之的是多個(gè)獨(dú)立的邏輯分類器，在訓(xùn)練階段對(duì)于類別的預(yù)測(cè)采用的是二元交叉熵函數(shù)

特征提?。篩OLO v3使用Darknet—53網(wǎng)絡(luò)實(shí)現(xiàn)特征提取，相比較Darknet—19網(wǎng)絡(luò)添加了殘差單元，使用連續(xù)的3×3和1×1卷基層，該網(wǎng)絡(luò)結(jié)果包括53個(gè)卷積層以及5個(gè)最大池化層，同時(shí)在每個(gè)卷積層后增加了批量歸一化操作和去除dropout操作，防止過擬合現(xiàn)象。訓(xùn)練過程損失函數(shù)為

2 實(shí) 驗(yàn)

本文實(shí)驗(yàn)的計(jì)算機(jī)配置為:CPU E5—2670v2，顯卡Gtx1080Ti，內(nèi)存32G，操作系統(tǒng)為Ubuntu16.04。為了驗(yàn)證本文提出的方法，同時(shí)也在智能車實(shí)驗(yàn)平臺(tái)上進(jìn)行了實(shí)驗(yàn)，智能車實(shí)驗(yàn)平臺(tái)如圖2所示，車輛配有：GPS，16線激光雷達(dá)，前視攝像頭和慣性導(dǎo)航等設(shè)備。

目前公開的交通標(biāo)志牌數(shù)據(jù)集由于存在國內(nèi)外的差異，所以標(biāo)志牌數(shù)據(jù)不能直接使用，國內(nèi)的數(shù)據(jù)集如CCTSDB只暫時(shí)公布了一部分?jǐn)?shù)據(jù)，TSD-max數(shù)據(jù)集也由于舉辦“中國智能車未來挑戰(zhàn)賽離線比賽”的需要只開放了很少一部分?jǐn)?shù)據(jù)；TT100k是清華和騰訊合作標(biāo)注的交通標(biāo)志牌數(shù)據(jù)，可以公開下載使用，但是該數(shù)據(jù)也存在著標(biāo)注樣本數(shù)量不平衡的問題。目前還沒有一個(gè)能夠完全涵蓋所有標(biāo)志牌類型且每一類數(shù)量平衡的數(shù)據(jù)集，本文實(shí)驗(yàn)的數(shù)據(jù)來源包括CCTSDB、TSD-max、TT100k和自采數(shù)據(jù)標(biāo)注4部分共計(jì)29 000張標(biāo)注圖像，其中自行標(biāo)注的數(shù)據(jù)9 000張，采集的地點(diǎn)城市包括；北京、天津、上海、蘇州、常熟、深圳、重慶等地；包含不同天氣、不同時(shí)間、不同季節(jié)的交通場景數(shù)據(jù)，標(biāo)注的類別如圖1所示分為三類，標(biāo)注過程中對(duì)于圖像中信號(hào)燈目標(biāo)區(qū)域小于的不予標(biāo)注。隨機(jī)抽取23 000張圖像作為訓(xùn)練集，余下的6 000張圖像作為測(cè)試集。

本文所提出方法的效果圖如圖2所示。

圖2 測(cè)試平臺(tái)與識(shí)別效果

用來衡量二分類模型精確度的一種指標(biāo)，值越大說明模型越好。實(shí)驗(yàn)效果對(duì)比如表1所示。

表1 實(shí)驗(yàn)效果對(duì)比

從表1中前兩行可以看出，本文的方法在上述各方面都得到了提升，主要得益于所提方法過濾了大部分的干擾(如汽車尾燈等)，在幀率方面也得到了提升，但是提升的幅度不大，原因主要是由于在確定ROI方面，存在一定的經(jīng)驗(yàn)因素的影響，同時(shí)由于在處理過程中默認(rèn)將圖像底部1/5高度的區(qū)域去除掉，并且根據(jù)ROI選擇的策略，如果ROI的點(diǎn)坐標(biāo)落在底部區(qū)域，將在原始圖像大小上進(jìn)行交通標(biāo)志牌的檢測(cè)，所以提升幅度不大，本文提出的算法已經(jīng)可以滿足在日程行駛速度下智能車輛對(duì)交通標(biāo)志牌的實(shí)時(shí)處理。表中的第3～5行，分別是基于Faster RCNN的方法對(duì)交通標(biāo)志牌的檢測(cè)結(jié)果，分別對(duì)應(yīng)于使用VGG16、Res50和Res101三種不同的特征提取網(wǎng)絡(luò)實(shí)現(xiàn)的效果，整體上召回率和查準(zhǔn)率要優(yōu)于基于YOLO的方法，但在處理的實(shí)時(shí)性上卻遠(yuǎn)不如基于YOLO的方法。

本文中檢測(cè)的對(duì)象為交通標(biāo)志牌，分布于全路段中，為了保證能夠在智能車輛正常行駛的過程中實(shí)時(shí)檢測(cè)交通標(biāo)志牌，從本文的實(shí)驗(yàn)結(jié)果中可以看出，本文所提出的方法在準(zhǔn)確率和實(shí)時(shí)性能上都得到了一定程度的提升，并且在實(shí)際的無人駕駛車輛平臺(tái)上得到了驗(yàn)證，能夠滿足在全路段下實(shí)時(shí)的處理。

3 結(jié)束語

通過實(shí)驗(yàn)對(duì)比驗(yàn)證了所提方法的有效性，并根據(jù)交通標(biāo)志牌數(shù)據(jù)集的現(xiàn)狀，標(biāo)注了9 000張交通場景圖像，擴(kuò)充了現(xiàn)有的數(shù)據(jù)集。下一步將在數(shù)據(jù)的多樣性和平衡性方面擴(kuò)充數(shù)據(jù)，同時(shí)由于光照等因素交通標(biāo)志牌的顏色也會(huì)有所差異，顏色的提取也需要進(jìn)一步的完善。