谷明琴，蔡自興，任孝平

(1. 中南大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長沙，410083；2. 中國計量科學(xué)研究院 力學(xué)與聲學(xué)計量科學(xué)研究所，北京，100013)

近年來，智能車輛研究逐漸受到重視，道路環(huán)境信息的感知要求也日益增加。字符型的交通標(biāo)志提供了道路的導(dǎo)引信息、路況，注意事項等輔助車輛行駛的信息。而現(xiàn)有研究對字符型交通標(biāo)志的自動檢測則很少涉及。自動檢測道路環(huán)境中的交通標(biāo)志主要有 3種常見的方式：(1) 在灰度圖像上檢測交通標(biāo)志的邊緣。Overett等[1]用方向梯度直方圖來檢測行人和標(biāo)志，用Sobel和Canny等算子來檢測灰度圖像中的邊緣，并查找交通標(biāo)志的候選區(qū)域[2-3]。Belaroussi等[4]構(gòu)建圖像梯度方向的幾何模型來檢測三角形交通標(biāo)志。但是，這些方法過于關(guān)注形狀分析，對噪聲非常敏感。(2) 用聚類分析和智能特征來提取感興趣區(qū)域。以Haar小波等特征，用智能分類器如Adaboost來檢測交通標(biāo)志[5]。然而，這種方式過于依賴弱分類器。Ruta等[6]用圖像表示和分辨力強的特征選擇方法來識別交通標(biāo)志。但是，該方法會過度搜索特征集，隨著特征數(shù)量的增加，所耗費的訓(xùn)練時間會大量增加。(3)以交通標(biāo)志的顏色和幾何形狀來檢測交通標(biāo)志。常用的顏色空間為 RGB[7]，HSI[8]和 YUV[9]等。該方法能夠較好地檢測交通標(biāo)志，但是，如何選擇1個合適的分割閾值則非常困難。Maldonado-bascon等[10]用感興趣區(qū)域的邊緣到邊界距離作為形狀識別的特征，分別檢測交通標(biāo)志。Gil等[11]用快速傅里葉變換的絕對值作為形狀識別特征，對旋轉(zhuǎn)、縮放、遮擋、投影形變和噪聲等有較好的魯棒性，但計算復(fù)雜度高。然而，上述方法主要檢測內(nèi)部圖形簡單的交通標(biāo)志，而對含有字符的交通標(biāo)志檢測研究則很少。Chen等[12]用多尺度的 LOG邊緣檢測子、自適應(yīng)搜索、顏色分析及仿射矯正算法來檢測文字。劉富強等[13]提出用滑動同心窗口的方法來定位道路交通標(biāo)志中的文字。上述算法檢測速度較慢，無法應(yīng)用到智能車載系統(tǒng)中。Hanif等[14]用 AdaBoost算法檢測灰度圖像中的文本。本文提出一種檢測城市和高速公路環(huán)境中字符型交通標(biāo)志的新方法。首先，從輸入圖像中分割出藍(lán)色和墨綠色區(qū)域，用形態(tài)濾波和形狀標(biāo)記圖來判斷交通標(biāo)志的候選區(qū)域；其次，用Otsu算法計算候選區(qū)域灰度分布直方圖的閾值，并分割出包含字符的二值圖像；然后，將用3次樣條擬合算法擬合出候選區(qū)域垂直方向上投影的投影曲線，利用曲線的性質(zhì)，找到擬合曲線中的局部極小值點，以分割出包含字符條形區(qū)域；最后，將條形區(qū)域向水平方向上投影和曲線擬合，查找局部極小值點來分割出單個字符區(qū)域，并進行形態(tài)過濾，定位出交通標(biāo)志中的字符。

1 交通標(biāo)志區(qū)域檢測

圖1所示為高速公路和城市環(huán)境中較為常見的交通標(biāo)志樣例。從圖1可見：含有字符的交通標(biāo)志在城市中一般是藍(lán)底白字，而高速公路是墨綠色底白字的矩形標(biāo)識牌，指示了車輛行駛中前方的道路名稱、限制信息、路況信息及其他一些指示性信息，懸掛在車輛行駛的道路右方。為此，本文提出如圖2所示框架來檢測城市和高速公路環(huán)境中一些常見的且含有豐富信息的字符性交通標(biāo)志，并分割其中的字符區(qū)域，以便為后續(xù)字符識別提供基礎(chǔ)。

圖1 城市和高速公路環(huán)境中的字符型交通標(biāo)志樣例Fig.1 Examples of traffic signs in urban and highway environment

圖2 字符型交通標(biāo)志的檢測算法框架Fig.2 Detection framework of traffic sign with character

1.1 顏色分割

針對采集到的視頻圖像，利用下列公式分割出藍(lán)色和墨綠色為底的交通標(biāo)志感興趣區(qū)域。假設(shè) RGB空間圖像的每個像素值為：

對其進行如下變換：

其中：S=vR(x,y) +vG(x,y) +vB(x,y)為RGB通道像素值之和，為像素點坐標(biāo)：

對變換后的圖像分別進行閾值分割，可得包含交通標(biāo)志感興趣區(qū)域的二值圖像：

其中c∈{blue,green}。針對交通標(biāo)志的底色藍(lán)色和墨綠色，分別選用閾值為0.15，0.15對圖像進行分割，得到藍(lán)色和墨綠色的2幅二值圖像，該二值圖像中包含交通標(biāo)志的感興趣區(qū)域；用結(jié)構(gòu)元素相同的腐蝕和膨脹形態(tài)學(xué)濾波，以消除雜質(zhì)，并恢復(fù)圖像區(qū)域。

1.2 形狀特征提取與判斷

(1)首先提取形狀的順時針邊界，記為(xi,yi)，i=1, …,N，N是形狀的邊界點數(shù)。

(2) 求取其重心：

(3) 將邊界序列(xi,yi)轉(zhuǎn)換到以重心為原點的坐標(biāo)系中，得到新邊界序列：

(5) 采用3次樣條插值算法(θ)歸一化為長度為360的列特征向量；

其中：NS為矩形樣本庫中樣本的個數(shù)。

若d()＜Td，則區(qū)域是交通標(biāo)志的候選區(qū)域；否則，從候選區(qū)域列表中剔除。

圖3 交通標(biāo)志感興趣區(qū)域提取過程Fig.3 Extracting process of traffic sign ROIs

2 交通標(biāo)志中的字符檢測

含有字符的交通標(biāo)志中，字符的顏色一般為醒目的白色，與背景差異較大。因此，可以用灰度圖像上的閾值分割，將其與背景完全分開。

2.1 交通標(biāo)志感興趣區(qū)域閾值分割

用 Otsu方法獲取灰度分布直方圖中的最佳分割閾值VLevel，在圖4中用黑線標(biāo)示，以分割出候選區(qū)域中字符區(qū)域。假設(shè)候選區(qū)域的內(nèi)部像素坐標(biāo)是(xin,yin)，

而圖像fInBj,c是大小與Gj,c相同的二值圖像：

圖5 交通標(biāo)志內(nèi)部字符區(qū)域分割過程Fig.5 Segmentation processes of inner region of character in traffic sign

2.2 字符檢測與定位

定理 1[16](第二種充分條件)設(shè)函數(shù)f(x)在點x0處具有二階導(dǎo)數(shù)且f′(x)=0，f′ ′ (x)≠ 0，那么，

(1) 當(dāng)f′(x0)＜0時，函數(shù)f(x)在x0處取極大值；

(2) 當(dāng)f′(x0)＞0時，函數(shù)f(x)在x0處取極小值；

令f′(x0)=0，找到 1個擬合函數(shù)穩(wěn)定點值xj,j=1, …,L，L為一階導(dǎo)數(shù)為零的點個數(shù)，并計算f′(xj)的值：若f′(xj)＞0.3，則認(rèn)為f(xj)是擬合函數(shù)的一個極小值，將xj作為交通標(biāo)志候選區(qū)域上行的分割點，從而候選區(qū)域劃分為含有字符條形區(qū)域，完成了字符區(qū)域的行定位，如圖5所示。圖6所示為候選區(qū)域二值圖像圖 5(c)中垂直方向投影的擬合函數(shù)及導(dǎo)數(shù)的圖形，黑色垂直直線表明了分割點在各個圖形上的對應(yīng)關(guān)系。

對每個含有字符的條形區(qū)域，向水平方向上投影，點序列為xH,k(k=1, …,NH)，其中NH是字符的條形區(qū)域的列數(shù)。用3次樣條曲線擬合方法擬合出處處可導(dǎo)的函數(shù)f(x)，并求取其一階導(dǎo)數(shù)f′(x)和二階導(dǎo)數(shù)f′′(x)。令f′(x)=0，找到擬合函數(shù)的穩(wěn)定點xp(p=1, …,Lh，Lh為一階導(dǎo)數(shù)為零的點個數(shù))。并計算f′′(xp)，根據(jù)函數(shù)局部極值判斷定理，若

則認(rèn)為f(xp)是擬合函數(shù)的極小值，將xp看作該條狀區(qū)域的1個分割點，劃分出單個字符的區(qū)域。圖7所示為1個含有字符的條狀區(qū)域?qū)?yīng)的擬合函數(shù)及其導(dǎo)數(shù)，對應(yīng)的分割點用垂直的黑色直線表示。

若區(qū)域滿足：

圖6 二值圖像垂直方向投影曲線及分割點Fig.6 Projective curves of binary image in vertical direction and segmentation points

圖7 字符行圖像水平方向的投影曲線及分割點Fig.7 Projective curves of character image in horizontal direction and segmentation points

3 實驗分析

3.1 實驗數(shù)據(jù)

為測試本算法檢測字符型交通標(biāo)志的性能，用配備工業(yè)相機的智能車在湖南省長沙市市區(qū)及長沙至湘潭的高速公路上采集51段視頻，其中在長沙市區(qū)18段，高速公路33段。每段視頻的采集幀率為20幀/s，分辨率為1 392×1 040像素，時長為5 s。將這些視頻數(shù)據(jù)分為4個測試集，分別對應(yīng)不同的環(huán)境和天氣條件，如表1所示。

表1 交通標(biāo)志檢測算法測試集Table 1 Test sets of traffic sign detection algorithm

3.2 字符型交通標(biāo)志檢測算法性能分析及實驗結(jié)果

為分析所提算法在檢測字符型交通標(biāo)志的性能，定義如下類別：

(1) 正確檢測區(qū)域(ATD)，即正確檢測到的含有字符的交通標(biāo)志區(qū)域；

(2) 錯誤檢測區(qū)域(AFD)，即檢測到的非含有字符交通標(biāo)志區(qū)域；

(3) 漏檢區(qū)域(AMD)，即沒有檢測到含有字符的交通標(biāo)志區(qū)域；

(4) 真正的字符區(qū)域(AAT)，即圖像序列中含有字符的交通標(biāo)志區(qū)域；

(5) 正確檢測字符(CTC)，即正確檢測到的字符；

(6) 錯誤檢測字符(CFC)，即檢測到的非字符；

(7) 漏檢字符(CMC)，即沒有檢測到的字符；

(8) 真正的字符區(qū)域(CAC)，即圖像中交通標(biāo)志含有的字符。

對交通標(biāo)志區(qū)域的檢測性能測量標(biāo)準(zhǔn)定義如下。

(1) 查全率：RRecall=ATD/AAT；

(2) 準(zhǔn)確率：RPrecision=ATD/(ATD+AFD)；

對字符區(qū)域的檢測性能測量標(biāo)準(zhǔn)定義如下。

(1) 查全率：RReC=CTC/CAC；

(2) 準(zhǔn)確率：RPrC=CTC/(CTC+CFC)；

(3) 漏檢率：CMisC=CMC/CTC。

表2所示為在4個測試集中，交通標(biāo)志檢測和字符檢測的性能。從表2可知：在城市環(huán)境中，交通標(biāo)志的查全率和準(zhǔn)確率均達(dá)到97%以上，而字符的查全率超過88%，而準(zhǔn)確率則在92%以上，而在高速公路環(huán)境中，交通標(biāo)志的查全率和準(zhǔn)確率則達(dá)到98%以上；而字符的查全率超過84%，準(zhǔn)確率則超過98%。這是因為在城市環(huán)境中，疑似字符型交通標(biāo)志較多，且環(huán)境復(fù)雜多變，系統(tǒng)的檢測準(zhǔn)確率則偏低。而高速公路環(huán)境中，路況簡單，周圍的干擾也非常少，且采集到的圖像質(zhì)量隨光照和天氣變化較小，故檢測算法的性能高于城區(qū)環(huán)境的性能。交通標(biāo)志檢測失效的原因主要為交通標(biāo)志表面的鏡面反射、圖像的曝光過度等；而字符定位失敗主要是字符所占像素較少，與攝像頭的間距過大及車輛快速移動時造成的圖像運動模糊等。

圖 8(a)～(c)所示分別顯示高速公路環(huán)境中字符型交通標(biāo)志中第7，57和87幀的檢測結(jié)果；圖8(d)～(f)所示分別為長沙市區(qū)內(nèi)拍攝的字符型交通標(biāo)志中為第1，31和43幀圖像的檢測結(jié)果。在圖8中用黑色矩形框出交通標(biāo)志的檢測結(jié)果。實驗結(jié)果表明：本文算法能有效地檢測出高速公路和城市內(nèi)交通標(biāo)志，且能夠有效地分割出交通標(biāo)志中的字符。

表2 字符型交通標(biāo)志檢測算法性能Table 2 Performances of detection algorithm for traffic sign

圖8 視頻序列中字符型交通標(biāo)志檢測結(jié)果Fig.8 Detection results of text traffic sign in video sequences

3.3 計算時間分析

交通標(biāo)志字符定位系統(tǒng)用 MATLAB實現(xiàn)，測試環(huán)境為2.5 GHz Pentium(R)雙核CPU，3 GB內(nèi)存。表3所示為檢測過程的平均計算時間。從表3可見：單幀圖像的總處理時間為546 ms。若用VC++實現(xiàn)，則耗費時間將會大量降低，能夠滿足智能車輛實時處理的需要。

表3 計算時間分析Table 3 Computation time analysis

4 結(jié)論

(1) 根據(jù)交通標(biāo)志的底色特征分割輸入圖像，用形態(tài)濾波和形狀標(biāo)記圖來判斷交通標(biāo)志的候選區(qū)域。用 Otsu算法計算候選區(qū)域內(nèi)部灰度分布直方圖的閾值，以分割出包含字符的二值圖像。

(2) 用 3次樣條擬合算法擬合出候選區(qū)域垂直和水平方向上的投影曲線，根據(jù)局部極值定理來找到擬合曲線中的局部極小值點，分割出候選區(qū)域中所包含的單個字符。該方法在字符間有少量黏連，字符較小時都具有良好的適應(yīng)能力。實驗表明：該方法檢測高速公路上交通標(biāo)志內(nèi)字符的查全率達(dá)到84%以上，準(zhǔn)確度達(dá)到 98%以上；而在城市環(huán)境中，查全率超過88%，準(zhǔn)確度則在92%以上。

(3) 在距離較遠(yuǎn)時，交通標(biāo)志中包含的字符所占像素很少，在定位到交通標(biāo)志時，也難以有效地分割出其中的字符區(qū)域，也為后續(xù)光學(xué)字符識別(OCR)造成困難。車輛行駛時，圖像的采集環(huán)境變化強烈，光照、天氣都影響到采集圖像的質(zhì)量。如何提高字符定位的準(zhǔn)確度和對環(huán)境條件的適應(yīng)性，如何理解交通標(biāo)志包含的字符含義以及如何有效地識別和理解字符等有待進一步研究。

[1] Overett G, Petersson L, Andersson L, et al. Boosting a heterogeneous pool of fast hog features for pedestrian and sign detection[C]//IEEE Intelligent Vehicles Symposium. Piscataway,USA: IEEE, 2009: 584-590.

[2] Nunn C, Kummert A, Muller-Schneiders S. A two stage detection module for traffic signs[C]//2008 IEEE International Conference on Vehicular Electronics and Safety. Piscataway,USA: IEEE, 2008: 248-252.

[3] Garca-Garrido M A, Sotelo M A, Martn-Gorostiza E. Fast road sign detection using Hough transform for assisted driving of road vehicles[C]//10th International Conference on Computer Aided Systems Theory. Germany: Springer, 2005: 543-548.

[4] Belaroussi R, Tarel J. Angle vertex and bisector geometric model for triangular road sign detection[C]//2009 Workshop on Applications of Computer Vision. Piscataway, USA: IEEE, 2009:1-7.

[5] de la Escalera A, Moreno L E, Salichs M A, et al. Road traffic sign detection and classification[J]. IEEE Transactions on Industrial Electronics, 1997, 44(6): 847-859.

[6] Ruta, Li Y, Liu X. Towards real-time traffic sign recognition by class-specific discriminative features[C]//Proceeding of the 18th British Machine Vision Conference. UK: BMVA Press, 2007:399-408.

[7] Andrey V, Kang-Hyun J. Automatic detection and recognition of traffic signs using geometric structure analysis[C]//2006 SICE-ICASE International Joint Conference. Piscataway, USA:IEEE, 2006: 1451-1456.

[8] Nguwi Y, Kouzani A, Automatic road sign recognition using neural networks[C]//IEEE International Conference on Neural Networks. Piscataway, USA: IEEE, 2006: 3955-3962.

[9] Shadeed W, Abu-Al-Nadi D, Mismar M. Road traffic sign detection in color images[C]//Proceedings of 10th IEEE International Conference on Electronics, Circuits and Systems.Piscataway, USA: IEEE, 2003. 890-893.

[10] Maldonado-bascon S, Lafuente-arroyo S, Gil-jimenez P, et al.Road-Sign Detection and Recognition Based on Support Vector Machines[J]. IEEE Transactions on Intelligent Transportation Systems, 2007, 8(2): 264-278.

[11] Gil J E, Nez P, Basc O N S M, et al. Traffic sign shape classification and localization based on the normalized FFT of the signature of blobs and 2D homographies[J]. Signal Processing, 2008, 88(12): 2943-2955.

[12] CHEN Xilin, YANG Jie, ZHANG Jing, et al. Automatic detection and recognition of signs from natural scenes[J]. IEEE Transactions on Image Processing, 2004, 13(1): 87-99.

[13] 劉富強, 沙浩. 基于改進SCW的道路標(biāo)志牌字符定位算法[J].中國圖像圖形學(xué)報, 2007, 12(10): 1869-1872.

LIU Fuqiang, SHA Hao. An algorithm for the detection of text on road signs based on improved SCW[J]. Journal of Image and Graphic, 2007, 12(10): 1869-1872.

[14] Hanif S M, Prevost L. Text detection and localization in complex scene images using constrained adaboost algorithm[C]//10th International Conference on Document Analysis and Recognition.Piscataway, USA: IEEE. 2009: 1-5.

[15] 李慶揚, 王能超, 易大義. 數(shù)值分析[M]. 北京: 清華大學(xué)出版社, 2001: 51-59.

LI Qingyang, WANG Nengchao, YI Dayi. Numerical analysis[M]. Beijing: Tsinghua University Press, 2001: 51-59.

[16] 同濟大學(xué)數(shù)學(xué)教研室. 高等數(shù)學(xué)[M]. 4版. 北京: 高等教育出版社, 1996: 183-190.

Mathematics Staff Room of Tongji University. Advanced Mathematics[M]. 4th ed. Beijing: Higher Education Press, 1996:183-190.