馬健 張敏 張麗巖 段曉科

摘? 要：交通標(biāo)志識(shí)別技術(shù)是智能交通和自動(dòng)駕駛領(lǐng)域中的一項(xiàng)關(guān)鍵性技術(shù)，如何建立一個(gè)準(zhǔn)確性高、實(shí)時(shí)性好以及安全性佳的交通標(biāo)志識(shí)別系統(tǒng)是當(dāng)下一大研究熱點(diǎn)。在簡(jiǎn)要介紹該系統(tǒng)框架和比較已公開的交通標(biāo)志數(shù)據(jù)集的基礎(chǔ)上，研究了交通標(biāo)志識(shí)別系統(tǒng)的兩大核心部分——標(biāo)志檢測(cè)和標(biāo)志識(shí)別，并闡述了各自的原理機(jī)制，最后總結(jié)了實(shí)現(xiàn)交通標(biāo)志檢測(cè)和識(shí)別所存在的難點(diǎn)問題并對(duì)深度學(xué)習(xí)法在該系統(tǒng)中的后續(xù)研究提出了幾點(diǎn)拙見。

關(guān)鍵詞：交通標(biāo)志識(shí)別系統(tǒng);檢測(cè);識(shí)別;深度學(xué)習(xí)

中圖分類號(hào)：U491.5??? 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract： The technology of traffic sign recognition is a key technology in the field of intelligent transportation and automatic driving. How to establish the system of traffic sign recognition with high accuracy， good real-time performance and good safety is the current research hotspot. On the basis of briefly introducing the system's framework and comparing the published traffic sign data sets， this paper studies two core parts of the traffic sign recognition system， namely， sign detection and recognition， and expounds their respective principles. Finally， it summarizes some difficult problems of traffic sign detection and recognition as well as puts forward some humble opinions to the follow-up research of the traffic sign recognition system based on deep learning.

Key words： the system of traffic sign recognition; detection; recognition; deep learning

0? 引? 言

社會(huì)經(jīng)濟(jì)不斷發(fā)展的同時(shí)，作為國(guó)民經(jīng)濟(jì)基礎(chǔ)之一的道路交通系統(tǒng)亦日益發(fā)達(dá)，隨之而來的是交通安全問題的日趨凸顯。2019年全國(guó)共發(fā)生交通事故20萬余次，分析事故原因主要包括有違規(guī)駕駛、雨雪霧等惡劣天氣、疲勞駕駛、接聽手機(jī)等，其中諸如不遵守交通標(biāo)志指示的違規(guī)駕駛行為是導(dǎo)致交通事故的最主要原因。如何從客觀的角度為車輛設(shè)置有效的行車輔助系統(tǒng)以約束駕駛?cè)酥饔^駕車行為，在這一問題背景下，交通標(biāo)志識(shí)別（Traffic Sign Recognition，TSR）系統(tǒng)研究成為一大研究熱點(diǎn)，有效的TSR系統(tǒng)能夠及時(shí)地將真實(shí)、準(zhǔn)確的實(shí)時(shí)交通信息反饋給駕駛?cè)?，提示駕車人采取相應(yīng)措施或車輛自主控制達(dá)到避險(xiǎn)目的，從而保障行車安全。

TSR系統(tǒng)是智能交通和自動(dòng)駕駛研究領(lǐng)域中的一項(xiàng)關(guān)鍵性技術(shù)，其主要應(yīng)用價(jià)值表現(xiàn)在以下幾個(gè)方面：

（1）作為智能交通系統(tǒng)的子系統(tǒng)，用于處理車載攝像與傳感器采集到的車輛周邊實(shí)時(shí)的圖像與視頻，并從中檢測(cè)交通標(biāo)志，再進(jìn)行識(shí)別，將識(shí)別信息反饋給司機(jī)，幫助其決策、輔助駕駛。

（2）作為自動(dòng)駕駛控制系統(tǒng)中必要的組件，實(shí)時(shí)的交通標(biāo)志識(shí)別可不間斷的為整車控制提供相應(yīng)的幫助。例如：識(shí)別結(jié)果為禁止標(biāo)志可提交系統(tǒng)并預(yù)判危險(xiǎn);警告標(biāo)志可協(xié)助系統(tǒng)提前進(jìn)行避障;指示標(biāo)志可幫助系統(tǒng)進(jìn)行控制預(yù)處理，提前進(jìn)行路線規(guī)劃，確保車輛遵循交通指示。

（3）用于智能導(dǎo)航系統(tǒng)：將交通標(biāo)志識(shí)別結(jié)果上傳至導(dǎo)航系統(tǒng)中，進(jìn)行數(shù)據(jù)比較，結(jié)合地圖信息、車輛定位以及實(shí)時(shí)交通信息，以糾正導(dǎo)航路線偏差。

（4）用于交通標(biāo)志的維護(hù)：受環(huán)境影響，交通標(biāo)志常出現(xiàn)褪色、變形等問題，應(yīng)用TSR技術(shù)，可監(jiān)控相應(yīng)路段交通標(biāo)志的可用性，減少人力與時(shí)間的投入。

人工智能時(shí)代帶來的技術(shù)紅利，加之5G技術(shù)的落地與普及，TSR系統(tǒng)的應(yīng)用將不再是“紙上談兵”。本文就TSR系統(tǒng)進(jìn)行研究，借鑒國(guó)內(nèi)外學(xué)者研究成果，綜述了其兩大核心技術(shù)——標(biāo)志檢測(cè)和識(shí)別，并就深度學(xué)習(xí)在該系統(tǒng)中的進(jìn)一步應(yīng)用提出了幾點(diǎn)建議。

1? 交通標(biāo)志識(shí)別系統(tǒng)

交通標(biāo)志識(shí)別系統(tǒng)如圖1所示，前端系統(tǒng)負(fù)責(zé)圖像與視頻數(shù)據(jù)獲取，接著由信號(hào)處理系統(tǒng)對(duì)獲取的數(shù)據(jù)進(jìn)行預(yù)處理、檢測(cè)與識(shí)別，并輸出識(shí)別出的類別信息，最后由終端系統(tǒng)根據(jù)類別信息做出決策。

針對(duì)TSR系統(tǒng)的研究始于1970年，但因當(dāng)時(shí)理論與技術(shù)不成熟而發(fā)展緩慢[1]。20世紀(jì)80年代至20世紀(jì)末，TSR系統(tǒng)逐漸得到日、美、德等發(fā)達(dá)國(guó)家的重視與研究[2]。日本于1987年公布了僅能識(shí)別出“限速”標(biāo)志的TSR系統(tǒng)[3]。美國(guó)學(xué)者Kehtarnavaz等[4]在1993年研發(fā)出針對(duì)“停車”標(biāo)志牌的識(shí)別系統(tǒng)。進(jìn)入21世紀(jì)以來，得益于科技進(jìn)步與計(jì)算機(jī)性能的大幅提升，TSR系統(tǒng)發(fā)展迅速，并逐步搭載到一些商用產(chǎn)品上。Mobileye與Continental兩大汽車行業(yè)巨頭通力合作，研發(fā)出一套針對(duì)“限速”標(biāo)志的TSR系統(tǒng)，在傳統(tǒng)靜態(tài)標(biāo)志與動(dòng)態(tài)LED標(biāo)志上均可達(dá)到高準(zhǔn)確率與實(shí)時(shí)識(shí)別的效果，寶馬7系列汽車和奔馳S-Class汽車分別于2008年和2009年先后搭載此系統(tǒng)[5]，就此標(biāo)志著TSR系統(tǒng)正式進(jìn)入市場(chǎng)商用階段。此后，增加系統(tǒng)的識(shí)別類別成為各大汽車廠商的重點(diǎn)研究對(duì)象。2010年歐寶Insignia系列汽車采用了“限速+超車限制”的TSR系統(tǒng)，并于2011年搭載在大眾輝騰系列汽車中;2014年，繼2012年沃爾沃首次采用歐寶同款TSR系統(tǒng)后，XC90成為市場(chǎng)上首款標(biāo)準(zhǔn)配備TSR系統(tǒng)的車型，該系統(tǒng)可將實(shí)時(shí)的交通標(biāo)志信息顯示在車輛駕駛位操控臺(tái)的顯示屏上，提高了系統(tǒng)可操控性與安全駕駛系數(shù)[6]。

雖然商業(yè)化的TSR系統(tǒng)取得了一定的應(yīng)用成效，但其能成功識(shí)別的標(biāo)志類型，仍十分有限，要想大范圍推入市場(chǎng)，仍需進(jìn)行大量實(shí)證與擴(kuò)展。TSR系統(tǒng)成功與否取決與兩類關(guān)鍵技術(shù)的研究。一是交通標(biāo)志的檢測(cè)，即TSR要在復(fù)雜環(huán)境下，進(jìn)行目標(biāo)分割，準(zhǔn)確將交通標(biāo)志從背景圖像中分離出來。二是交通標(biāo)志的識(shí)別，由于禁止、警告、指示等為交通標(biāo)志的多種類別，識(shí)別問題實(shí)質(zhì)上是一個(gè)多分類的問題。檢測(cè)與識(shí)別的算法框架如圖2所示，其基本原理是模仿人類視覺系統(tǒng)辨識(shí)物體的特性，利用交通標(biāo)志鮮明的顏色信息和規(guī)則的形狀信息等進(jìn)行特征檢測(cè)與識(shí)別分類。

2? 交通標(biāo)志數(shù)據(jù)集

研發(fā)TSR系統(tǒng)的前提是要有龐大的且能泛化使用的標(biāo)準(zhǔn)交通標(biāo)志數(shù)據(jù)集，利用數(shù)據(jù)集進(jìn)行檢測(cè)和識(shí)別可衡量與驗(yàn)證不同TSR系統(tǒng)算法的優(yōu)劣。現(xiàn)公開的交通標(biāo)志數(shù)據(jù)集主要有：

（1）德國(guó)交通標(biāo)志數(shù)據(jù)集（German Traffic Sign Detection Benchmark， GTSDB;German Traffic Sign Recognition Benchmark， GTSRB）。

（2）比利時(shí)交通標(biāo)志數(shù)據(jù)集（Belgium Traffic Sign Detection Benchmark， BTSD;Belgium Traffic Sign Classification， BTSC）。

（3）瑞典交通標(biāo)志數(shù)據(jù)集（Swedish Traffic Sign Dataset， STSD）。

（4）美國(guó)交通標(biāo)志數(shù)據(jù)集（LISA Traffic Sign Dataset， LTSD）。

（5）清華—騰訊交通標(biāo)志數(shù)據(jù)集（Tsingtao-Tencent 100K Dataset， TT100K）。

這些數(shù)據(jù)集，主要分為3類：以GTSDB和BTSD為代表的，僅用于檢測(cè)的數(shù)據(jù)集;以GTSRB和BTSC為代表的，僅用于識(shí)別的數(shù)據(jù)集;以及以STSD為代表的用于檢測(cè)和識(shí)別的綜合數(shù)據(jù)集。表1描述了已公開的各類數(shù)據(jù)集的基本信息。

3? 交通標(biāo)志檢測(cè)

交通標(biāo)志檢測(cè)也叫交通標(biāo)志分隔，是進(jìn)行標(biāo)志識(shí)別的前提。其原理是將交通標(biāo)志的感興趣區(qū)域（Region of Interest，ROI）從復(fù)雜的環(huán)境背景圖像中快速分隔出來，再利用模式識(shí)別等方法對(duì)ROI進(jìn)一步辨識(shí)，定位能準(zhǔn)確反映交通標(biāo)志信息的具體位置。通常交通標(biāo)志有特定的顏色、形狀等特征來起到禁令、警告和指示的作用，因而標(biāo)志檢測(cè)通常是根據(jù)顏色、形狀以及多特征融合的方法來進(jìn)行的。

3.1? 基于顏色的交通標(biāo)志檢測(cè)

顏色是交通標(biāo)志最顯著的特征，根據(jù)特定的顏色可快速去除復(fù)雜場(chǎng)景下非ROI，縮小搜索區(qū)域，因而基于顏色的標(biāo)志檢測(cè)法是主流方法。顏色檢測(cè)最常見的方法有RGB、、HSI、HSV等。

（1）RGB顏色空間模型

RGB即代表紅、綠、藍(lán)三個(gè)通道的顏色，人類視覺系統(tǒng)所能辨識(shí)的顏色幾乎均可由此三基色變換得到，是運(yùn)用最廣的顏色系統(tǒng)之一[7]。

基于RGB顏色的標(biāo)志檢測(cè)法始于20世紀(jì)80年代，Akatsuka等人[8]在RGB顏色空間上利用閾值分割算法，根據(jù)不同顏色的閾值范圍，將交通標(biāo)志的紅、黃、藍(lán)等色彩標(biāo)定出來，完成交通標(biāo)志檢測(cè)。張卡等[9]對(duì)標(biāo)志圖像的所有顏色信息進(jìn)行統(tǒng)計(jì)，并根據(jù)統(tǒng)計(jì)信息設(shè)定紅、黃、藍(lán)的閾值，即利用全局顏色特征進(jìn)行標(biāo)志圖像檢測(cè)。黃志勇等[10]利用RGB對(duì)應(yīng)的三分量差值范圍一定的特點(diǎn)，經(jīng)反復(fù)實(shí)驗(yàn)得到經(jīng)驗(yàn)閾值，再對(duì)標(biāo)志進(jìn)行檢測(cè)分割，此法不需任何乘法運(yùn)算。

（2）HSI和HSV顏色空間模型

RGB閾值分割法雖然在檢測(cè)速度與簡(jiǎn)易方面優(yōu)勢(shì)突出，但因閾值固定而無法匹配自然交通場(chǎng)景下不同光照的色彩，故而檢測(cè)效果大打折扣。HSI顏色空間模型的提出有效地區(qū)分了顏色信息與亮度信息。其中顏色的類別H、飽和度S以及亮度I之間的相關(guān)性不大，每一個(gè)彩色圖像都與一個(gè)H相對(duì)應(yīng)。HSI可由RGB轉(zhuǎn)換，公式如下：

H=， S=1-， I=1-

張靜等[11]為將藍(lán)色指示標(biāo)志從背景圖像中分割出來，將原圖RGB格式先轉(zhuǎn)換成HSI格式，并分別將此三分量的閾值限制在0，255間，依據(jù)大量實(shí)驗(yàn)確定藍(lán)色的H分量范圍，實(shí)現(xiàn)了最大限度地背景去除與標(biāo)志提取。

HSV與HSI類似，區(qū)別在兩者的數(shù)學(xué)模型，HSV顏色空間是圓錐，而HSI是雙錐體，且由RGB轉(zhuǎn)換成HSV的數(shù)學(xué)式更為復(fù)雜，但其更能表現(xiàn)出類人的直觀視覺感受。Ellahyani等人[12]利用HSV這一特性，完成了交通標(biāo)志ROI的分割與定位。

3.2? 基于形狀的交通標(biāo)志檢測(cè)

矩形、圓形和三角形是交通標(biāo)志的主要形狀類別，形狀特征相對(duì)穩(wěn)定，不會(huì)出現(xiàn)像顏色那樣因光照不同而呈現(xiàn)出不同色域的問題，所以研究者利用標(biāo)志形狀不易受光照影響的特點(diǎn)，通過搜索ROI以及形狀特點(diǎn)來檢測(cè)是否為交通標(biāo)志。其主要的可分為以下幾類：

（1）霍夫（Hough）變換法：其原理是檢索形狀中的直線段特征，故多被用于檢測(cè)由直線構(gòu)成的矩形、三角形交通標(biāo)

志[13]，但檢測(cè)往往會(huì)被限制在一小塊區(qū)域且計(jì)算量較大。

（2）徑向?qū)ΨQ檢測(cè)法：為改進(jìn)Hough變換法的缺點(diǎn)以及為解決由曲線構(gòu)成的標(biāo)志的檢測(cè)問題，Barnes等人[14]提出徑向?qū)ΨQ檢測(cè)法來檢測(cè)圓形標(biāo)志。李厚杰等[15]在標(biāo)志具有自身的尺度特征的基礎(chǔ)上，提出一種相較于直接徑向?qū)ΨQ檢測(cè)法有著較好的參數(shù)自適應(yīng)特點(diǎn)的改進(jìn)檢測(cè)算法，并在GTSDB數(shù)據(jù)集上進(jìn)行了算法驗(yàn)證，成功的檢測(cè)出圓形的禁令標(biāo)志。

基于形狀的交通標(biāo)志檢測(cè)雖在一定程度上避免了光照的影響，但因標(biāo)志長(zhǎng)期暴露在室外，會(huì)出現(xiàn)變形、移位、遮擋等不可避免的問題，檢測(cè)效果依然欠佳，存在漏檢問題。

3.3? 融合顏色與形狀的交通標(biāo)志檢測(cè)

將顏色與形狀相結(jié)合，可以很好地解決基于顏色與基于形狀的兩種檢測(cè)法各自的缺陷，雙重保障帶來的是檢測(cè)精度的提高。張瑞等[16]提出一種基于HSI的標(biāo)志分割法，并結(jié)合基于形狀特征的最優(yōu)拐角檢測(cè)器進(jìn)行了標(biāo)志檢測(cè)。張金鵬等[17]采用基于HSV的分割法，提取ROI，再利用Canny算子提取輪廓，最后采用標(biāo)記的形狀特征算法，判定輪廓形狀，該檢測(cè)算法在亮度變換和尺度變換下表現(xiàn)出了較好的準(zhǔn)確性與魯棒性。于平平等[18]針對(duì)預(yù)處理后的圖像，利用視覺注意機(jī)制原理提取顏色、亮度等特征，經(jīng)線性組合劃分顯著圖，得到交通標(biāo)志的ROI，在此粗檢的基礎(chǔ)上，再根據(jù)幾何形狀特征細(xì)檢ROI中的形狀，此法在Jetson TX2嵌入式平臺(tái)測(cè)試中表現(xiàn)出來較好的準(zhǔn)確性和穩(wěn)定性。

4? 交通標(biāo)志識(shí)別

經(jīng)檢測(cè)后，將分割定位出的交通標(biāo)志的關(guān)鍵ROI，采用一定的算法對(duì)其進(jìn)行識(shí)別。標(biāo)志識(shí)別是TSR系統(tǒng)中最為重要的部分，由于標(biāo)志有多個(gè)類別，其識(shí)別實(shí)質(zhì)是多分類，分類器的訓(xùn)練至關(guān)重要。目前交通標(biāo)志識(shí)別的主流方法有模板匹配法、機(jī)器學(xué)習(xí)法和深度學(xué)習(xí)法。

4.1? 模板匹配法

模板匹配是通過平移搜索并計(jì)算兩者間的相似程度，將待識(shí)別圖像與模板圖像進(jìn)行匹配的過程[19]，其被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域。但模板匹配只能進(jìn)行平移的搜索，若原圖像旋轉(zhuǎn)或改變了大小，則該法無法進(jìn)行匹配識(shí)別。

Qian R等[20]將結(jié)合模板匹配法與多級(jí)鏈碼直方圖對(duì)交通標(biāo)志進(jìn)行了識(shí)別。郝芳芳等[21]針對(duì)限速標(biāo)志中分割后的字符，采取了模板字符匹配法，經(jīng)相似度比較后輸出識(shí)別結(jié)果。但模板匹配這種通過遍歷待分類圖像與模板庫(kù)進(jìn)行匹配的方法，運(yùn)算量較大，識(shí)別速度緩慢，在復(fù)雜場(chǎng)景下匹配困難。

4.2? 特征提取+機(jī)器學(xué)習(xí)法

采取“特征提取+機(jī)器學(xué)習(xí)”的方法進(jìn)行交通標(biāo)志的識(shí)別，可兼顧計(jì)算量與魯棒性。其原理是：首先需要將圖像中ROI的特征提取出來，再將這些特征進(jìn)行訓(xùn)練，最后利用機(jī)器學(xué)習(xí)到的分類器，與待識(shí)別圖像進(jìn)行匹配，實(shí)現(xiàn)識(shí)別。

其中，特征提取的方法有：方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征、快速特征點(diǎn)提取和描述（Oriented Fast and Rotated BRIEF，ORB）、Gabor 小波特征、主成分分析（Principal Component Analysis，PCA）等。常用的機(jī)器學(xué)習(xí)分類器有：支持向量機(jī)（Support Vector Machine，SVM）、極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）、隨機(jī)森林（Random Forest，RF）、Softmax分類器、AdBoost分類器、線性判別分析（Linear Discriminant Analysis，LDA）、最近鄰算法（K-Nearest Neighbor，KNN）等。表2描述了基于部分“特征提取+機(jī)器學(xué)習(xí)”組合的交通標(biāo)志識(shí)別在GTSRB數(shù)據(jù)集上的識(shí)別結(jié)果比較。

由表2分析，不難發(fā)現(xiàn)：在交通標(biāo)志識(shí)別方面，“多特征融合+多機(jī)器學(xué)習(xí)（分類器）融合”的方法比“單特征+單分類器”方法的識(shí)別效果要好。但特征提取多為人工手動(dòng)設(shè)計(jì)，耗時(shí)耗力，且魯棒性很難保證。隨著數(shù)據(jù)集容量的擴(kuò)大，人工提取的特征難以泛化使用，其判別性不佳。

4.3? 深度學(xué)習(xí)法

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的深度延伸，其原理在于模擬人類大腦并建立類人的神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)與分析，進(jìn)而模擬人腦的思維、視覺、聽覺等機(jī)制來解釋圖像、文本、聲音等數(shù)據(jù)。近年來，深度學(xué)習(xí)法在交通標(biāo)志識(shí)別領(lǐng)域中的應(yīng)用發(fā)展迅速。與傳統(tǒng)的機(jī)器學(xué)習(xí)法相比，基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別無需人工設(shè)計(jì)和提取標(biāo)志圖像特征，而是由類人神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)通過自主學(xué)習(xí)與修正完成特征提取與識(shí)別。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是深度學(xué)習(xí)在計(jì)算機(jī)視覺中應(yīng)用最廣的網(wǎng)絡(luò)模型之一，其核心網(wǎng)絡(luò)模型構(gòu)建思路為：在CNN中利用卷積核提取特征后，經(jīng)卷積（Convolution，C）、批標(biāo)準(zhǔn)化（Batch Normalization，BN）、激活（Activation，A）、池化（Pooling，P）以及舍棄（Dropout，D）后，送入全連接網(wǎng)絡(luò)（Full-Connection，F(xiàn)）進(jìn)行識(shí)別。簡(jiǎn)言之，CNN就是輸入特征的特征提取器，即CBAPD。經(jīng)不斷深入研究與優(yōu)化，出現(xiàn)了5種經(jīng)典CNN網(wǎng)絡(luò)結(jié)構(gòu)，分別是：LeNet、AlexNet、VGGNet、InceptionNet以及ResNet，表3對(duì)這五種網(wǎng)絡(luò)經(jīng)典結(jié)構(gòu)進(jìn)行了總結(jié)與比較?？梢?，隨著網(wǎng)絡(luò)復(fù)雜程度的提高，以及BN、Relu、Dropout的引入，利用各經(jīng)典網(wǎng)絡(luò)訓(xùn)練ImageNet Top5的錯(cuò)誤率基本上是逐步降低的。

由表4分析可知，與傳統(tǒng)的“人工特征提取+機(jī)器學(xué)習(xí)分類器”方法相比，基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別在識(shí)別率上有所提升。因此深度學(xué)習(xí)法在交通標(biāo)志識(shí)別領(lǐng)域有著明顯的優(yōu)勢(shì)，該算法有助于解決光照變化、變形、遮擋等問題。

5? 總結(jié)與展望

本文對(duì)TSR系統(tǒng)及其兩大核心部分——標(biāo)志檢測(cè)和標(biāo)志識(shí)別進(jìn)行了分析，并采用理論分析與文獻(xiàn)比較的方法對(duì)部分檢測(cè)和識(shí)別方法進(jìn)行了綜述與比較。

TSR系統(tǒng)的發(fā)展與應(yīng)用是智能交通的核心課題之一，雖近年得益于人工智能技術(shù)的進(jìn)步而得到快速發(fā)展，但其仍存在各種難點(diǎn)問題，如：長(zhǎng)期暴露室外易造成標(biāo)志顏色失真和形狀變形、標(biāo)志種類繁多增加了識(shí)別難度、TSR系統(tǒng)搭載到汽車上的安全性、準(zhǔn)確性、實(shí)時(shí)性、經(jīng)濟(jì)性等無法完全兼顧以及能供訓(xùn)練模型且能泛化使用的數(shù)據(jù)集不足，尤其是我國(guó)公開的交通標(biāo)志數(shù)據(jù)集樣本匱乏。如何解決這些難點(diǎn)，需要更進(jìn)一步的深入研究。

隨著AI智能技術(shù)的進(jìn)步，深度學(xué)習(xí)在TSR系統(tǒng)研究方面有著領(lǐng)先的算法優(yōu)勢(shì)。深度學(xué)習(xí)通過自主學(xué)習(xí)訓(xùn)練交通標(biāo)志特征并自發(fā)學(xué)習(xí)分類，在復(fù)雜交通場(chǎng)景下仍能達(dá)到較高的識(shí)別準(zhǔn)確率。針對(duì)基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別的研究還需不斷探索，對(duì)于未來的研究方向，有以下幾個(gè)方面可進(jìn)一步研究：

（1）對(duì)已有的基于深度學(xué)習(xí)的各模型與各優(yōu)化算法進(jìn)行優(yōu)化研究，并探尋兩者之間更好的融合方式，以達(dá)到更高的準(zhǔn)確率;

（2）目前的算法研究只存在于實(shí)驗(yàn)室仿真驗(yàn)證階段，后續(xù)研究需要在改進(jìn)中謀求適合實(shí)際應(yīng)用場(chǎng)景的模型，以更好的實(shí)用性能搭載于某些嵌入式平臺(tái)上，如輔助駕駛系統(tǒng)、智能導(dǎo)航等;

（3）深度學(xué)習(xí)的算法模型內(nèi)存往往較大，這對(duì)計(jì)算機(jī)的硬件性能提出了很高的要求，需要在提高檢測(cè)和識(shí)別精度的同時(shí)降低模型內(nèi)存，并提升計(jì)算機(jī)硬件性能;

（4）梯度的有效傳播，一直是CNN的研究重點(diǎn)之一。隨著網(wǎng)絡(luò)層次的加深，若無有效的改善算法，往往會(huì)在模型訓(xùn)練時(shí)，出現(xiàn)梯度爆炸甚至消失的問題，如何設(shè)計(jì)一個(gè)最有效的梯度下降的優(yōu)化器是一個(gè)重要研究方向。

參考文獻(xiàn)：

[1] 薛搏，李威，宋海玉，等. 交通標(biāo)志識(shí)別特征提取研究綜述[J]. 圖學(xué)學(xué)報(bào)，2019，40（6）：1024-1031.

[2]? Fu M Y， Huang Y S. A survey of traffic sign recognition[C] // 2010 International Conference on Wavelet Analysis and Pattern Recognition， 2010，119-124.

[3]? Yuan Y， Xiong Z T， Wang Q. An incremental framework for video-based traffic sign detection， tracking， and recognition[J]. IEEE Transactions on Intelligent Transportation Systems， 2017，18（7）：1918-1929.

[4]? A de la Escalera， J M a Armingol， M Mata. Traffic sign recognition and analysis for intelligent vehicles[J]. Image and Vision Computing， 2003，21（3）：247-258.

[5] 王剛毅. 交通標(biāo)志檢測(cè)與分類算法研究[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)（博士學(xué)位論文），2013.

[6] 王斌. 自然環(huán)境下道路交通標(biāo)志的檢測(cè)與識(shí)別[D]. 濟(jì)南：山東大學(xué)（碩士學(xué)位論文），2017.

[7] 羅浩. RGB-D視覺內(nèi)容理解及其應(yīng)用[D]. 北京：華北電力大學(xué)（碩士學(xué)位論文），2015.

[8] Akatsuka H， Imai S. Road Signposts Recognition System[J]. SAE Transactions， 1987，96（1）：936-943.

[9] 張卡，盛業(yè)華，葉春. 針對(duì)車載移動(dòng)測(cè)量系統(tǒng)的交通標(biāo)志自動(dòng)檢測(cè)[J]. 武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2009，34（12）：1448-1453.

[10] 黃志勇，孫光民，李芳. 基于RGB視覺模型的交通標(biāo)志分割[J]. 微電子學(xué)與計(jì)算機(jī)，2004（10）：147-148，152.

[11] 張靜，何明一，戴玉超，等. 綜合顏色和形狀的圓形交通標(biāo)志檢測(cè)方法[J]. 計(jì)算機(jī)工程與應(yīng)用，2011，47（2）：233-236，241.

[12]? Ellahyani A， Mohamed E L， Ilyas E L， et al. Traffic Sign Detection and Recognition using Features Combination and Random Forests[J]. International Journal of Advanced Computer Science and Applications， 2016，7（1）：112-128.

[13] 韋炳田. 行車視頻中交通標(biāo)志識(shí)別技術(shù)研究及其安卓應(yīng)用開發(fā)[D]. 廣州：華南理工大學(xué)（碩士學(xué)位論文），2018.

[14]? Barnes N， Zelinsky A， Fletcher L S. Real-Time Speed Sign Detection Using the Radial Symmetry Detector[J]. IEEE Transactions on Intelligent Transportation Systems， 2008，9（2）：322-332.

[15] 李厚杰，邱天爽，宋海玉，等. 基于徑向?qū)ΨQ變換的自適應(yīng)交通禁止標(biāo)志檢測(cè)[J]. 光電子·激光，2014，25（3）：532-539.

[16] 張瑞，張朋. 基于顏色和形狀的交通標(biāo)志檢測(cè)與分類[J]. 微計(jì)算機(jī)信息，2010，26（35）：226-228.

[17] 張金朋，方千山. 融合顏色分割與形狀特征的交通標(biāo)志檢測(cè)[J]. 微型機(jī)與應(yīng)用，2015，34（11）：83-85，88.

[18] 于平平，齊林，馬苗立，等. 基于視覺注意機(jī)制和形狀特征的交通標(biāo)志檢測(cè)方法[J]. 數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2019，49（21）：123-131.

[19] 周麗莎. 基于模板匹配的視覺定位技術(shù)研究與應(yīng)用[D]. 大連：大連理工大學(xué)（碩士學(xué)位論文），2012.

[20]? Qian R， Zhang B， Yue Y， et al. Traffic Sign Detetion by Template Matching based on Multi-Level Chain Code Hstogram[C] // 12th International Conference on Fuzzy Systems and Knowlege Discovery （FSKD）， 2015.

[21] 郝芳芳，王震洲. 模板匹配下的限速交通標(biāo)志識(shí)別算法研究[J]. 科技風(fēng)，2018（21）：245-246.

[22] 胡月志，李娜，胡釗政，等. 基于ORB全局特征與最近鄰的交通標(biāo)志快速識(shí)別算法[J]. 交通信息與安全，2016，34（1）：23-29.

[23]? J Stallkamp， M Schlipsing， J Salmen， et al. Man vs. computer： Benchmarking machine learning algorithms for traffic sign recognition[J]. Neural Networks， 2012，32：323-332.

[24]? Boi F， Gagliardini L. A Support Vector Machines network or traffic sign recognition[C] // Proceedings of the International Joint Conference on Neural Networks， 2011：2210-2216.

[25]? Zaklouta F， Stanciulescu B， Hamdoun O. Traffic sign classification using K-d trees and Random Forests[C] // Proceedings of the International Joint Conference on Neural Networks， 2011：2151-2155.

[26]? Pei D， Sun F， Liu H. Supervised Low-Rank Matrix Recovery for Traffic Sign Recognition in Image Sequences[J]. IEEE Signal Processing Letters， 2013，20（3）：241-244.

[27] 梁敏健，崔嘯宇，宋青松，等. 基于HOG-Gabor特征融合與Softmax分類器的交通標(biāo)志識(shí)別方法[J]. 交通運(yùn)輸工程學(xué)報(bào)，2017，17（3）：151-158.

[28] 徐巖，韋鎮(zhèn)余. 一種改進(jìn)的交通標(biāo)志圖像識(shí)別算法[J]. 激光與光電子學(xué)進(jìn)展，2017，54（2）：124-131.

[29] 徐巖，王權(quán)威，韋鎮(zhèn)余. 一種融合加權(quán)ELM和AdaBoost的交通標(biāo)志識(shí)別算法[J]. 小型微型計(jì)算機(jī)系統(tǒng)，2017，38（9）：2028-2032.

[30] 馬永杰，程時(shí)升，馬蕓婷，等. 多尺度特征融合與極限學(xué)習(xí)機(jī)結(jié)合的交通標(biāo)志識(shí)別[J]. 液晶與顯示，2020，35（6）：572-582.

[31] 馬永杰，李雪燕，宋曉鳳. 基于改進(jìn)深度卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別[J]. 激光與光電子學(xué)進(jìn)展，2018，55（12）：250-257.

[32] 伍錫如，雪剛剛. 基于圖像聚類的交通標(biāo)志CNN快速識(shí)別算法[J]. 智能系統(tǒng)學(xué)報(bào)，2019，14（4）：670-678.

[33] 宋青松，張超，田正鑫，等. 基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別[J]. 湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，45（8）：131-137.

[34] 胡凱. 機(jī)器人視覺導(dǎo)航中的圖像處理問題研究[D]. 南京：東南大學(xué)（碩士學(xué)位論文），2015.

[35]? D Ciresan， U Meier， J Masci et al. A committee of neural networks for traffic sign classification[C] // The 2011 International Joint Conference on Neural Networks， 2011：1918-1921.

[36]? Dan Ciresan， Ueli Meier， Jonathan Masci， et al. Multi-column deep neural network for traffic sign classification[J]. Neural Networks， 2012，32：333-338.