于海河，楊 碩，李大舟

(沈陽化工大學 計算機科學與技術(shù)學院，遼寧 沈陽 110020)

0 引 言

在現(xiàn)在社會中汽車數(shù)量的增長速度很快，于是對車輛進行有效的管理成為了一個很大的問題。車牌作為車輛的唯一識別標志，準確檢測出車牌非常重要?，F(xiàn)在車牌識別[1]的算法有很多，并且車牌識別已經(jīng)運用到很多地方，例如高速公路路口、十字路口、小區(qū)門口、地下停車場等等。

目前主要有以下幾種識別方法：(1)基于彩色圖像識別算法，這類算法使用的是車牌的顏色特征。車牌的顏色具有很高的飽和度，并且底色和字體的顏色區(qū)分度很高。這類識別算法容易實現(xiàn)。但是，當周圍背景顏色與車牌顏色較為接近的時候識別效果較差，并且計算速度較慢，不適合實時系統(tǒng)。相關(guān)算法如基于RGB顏色空間的檢測方法[2]，該算法使用了顏色特征。顏色特征提取過程中使用了車牌底色的特殊性，當?shù)咨撬{色時，該像素點的藍色分量的值大于紅色分量和綠色分量，依據(jù)該方法提取顏色特征。但是當車身顏色為藍色或黃色時，會造成檢測不準確。單一特征雖然檢測速度較快，但在準確度上會有不足。(2)基于車牌自身結(jié)構(gòu)特征的車牌定位算法[3-4]，這類算法主要使用的是車牌的邊緣特征、字符結(jié)構(gòu)的幾何特征和紋理特征。車牌字符區(qū)域顏色很平穩(wěn)，字符筆畫的高曲率特征也很穩(wěn)定，是區(qū)別于其他區(qū)域的重要特征。車牌字符區(qū)域的字符結(jié)構(gòu)的幾何特征可以使用邊緣檢測算子、角點檢測器等算法檢測出。這類算法計算量較小，對硬件要求不高。在光照不均的情況下，檢測效果較差。相關(guān)算法如基于形態(tài)學的車牌定位方法[3]，使用了邊緣檢測算子對圖像提取邊緣特征，然后使用開操作處理特征圖，再進行掃描法粗定位，使用霍夫變換精確定位車牌。這種檢測方法快速、簡單，準確度較高，但是對復(fù)雜的紋理情況檢測狀況不理想。如文獻[4]，基于邊緣的車牌顏色輔助檢測方法，使用了模板對垂直邊緣密度進行建模，同時輔助使用顏色紋理作為檢測提示。(3)基于多特征的融合算法，多特征融合算法顧名思義就是融合了車牌的多個特征，將多個特征組合使用，在不同階段使用不同的特征，或者在不同階段組合使用多個特征，比如在候選確定階段可以同時使用灰度投影和顏色特征。多特征融合算法是目前研究較多的算法，如文獻[5-16]，這類算法主要使用了車牌的多個特征，例如在預(yù)定位階段使用顏色和角點特征，在確定候選階段使用字符和幾何特征，在候選確定階段使用灰度投影和顏色特征。多特征融合算法是現(xiàn)在使用較多的算法，它定位精度高，能充分使用車牌的所有特征，在實際應(yīng)用中也很廣泛。

文中算法里主要使用車牌的垂直特征，輔助使用車牌的底色、字符顏色和字符紋理特征。

1 算法描述

1.1 Gabor濾波

Gabor變換的基本思想：將Gabor核和車牌圖像卷積。首先需要生成Gabor核。

則Gabor定義如式(1)所示:

(1)

則完整的實部Gabor濾波公式為：

原圖像I(x,y)與Gabor濾波卷積以后的圖像f(x,y)關(guān)系如式(3)所示。

f(x,y)=I(x,y)*G(x,y,a,b,θ)

(3)

Gabor特征是一種可以用來描述圖像紋理信息的特征，Gabor濾波器的頻率和方向與人類的視覺系統(tǒng)類似，特別適合于紋理表示與判別。車牌字符區(qū)域的紋理信息集中且豐富，對Gabor濾波器的響應(yīng)很高。在使用Gabor濾波的時候車牌區(qū)域必定會響應(yīng)，同時干擾區(qū)域也會響應(yīng)，利用車牌的其他特征可將干擾區(qū)域篩除。

1.2 算法概述

文中要解決的是國內(nèi)的車牌定位問題。國內(nèi)小型轎車的車牌底色為藍色，字體的顏色為白色，貨車的車牌底色為黃色，字體顏色為黑色，車牌寬度均為440 mm，高度均為140 mm。圖1為文中算法流程，使用的主要算法和技術(shù)如下：

圖1 車牌定位算法流程

(1)圖像預(yù)處理，主要去除干擾，改善圖片質(zhì)量，提高定位準確度。

(2)Gabor濾波處理灰度圖像形成一幅離散的垂直紋理圖，車牌有復(fù)雜的漢字和字母，漢字和字母都具有特殊的曲率，在Y方向上會有較大的響應(yīng)。

(3)形態(tài)學處理，膨脹是將離散的垂直紋理連接起來形成連通區(qū)域，腐蝕操作是將連通區(qū)域的邊緣縮小，使其更加偏向于真實的區(qū)域。

(4)字符角點檢測，漢字和字母在書寫過程中的筆畫結(jié)構(gòu)存在較大的曲率，相對于其他物體的紋理，是一種特殊的紋理，于是可以使用角點檢測器將曲率較大的筆畫檢測出來，若不包含字符，則響應(yīng)較小或者不響應(yīng)，可以排除一些干擾連通區(qū)域。

(5)角點鄰域顏色檢測，車牌的底色固定并且顏色種類較少，主要為藍色和黃色。角點的響應(yīng)區(qū)域主要在字符上，字符的鄰域通常為車牌底色，即藍色和黃色。使用這些顏色特征可以進一步排除干擾，生成候選區(qū)。

(6)字符投影，車牌里共有7個字符，每個字符中間有固定間距，在二值圖像中，若將字符垂直投影，則會在圖像底部形成特殊的峰谷，該特征可以進一步確定車牌區(qū)域，也可以同于字符分割。于是在候選區(qū)中，對每個候選區(qū)的灰度圖像在Y方向上進行投影，可用于驗證車牌區(qū)域。

2 算法實現(xiàn)

2.1 圖像預(yù)處理

在采集車輛圖像過程中使用的是移動設(shè)備，或者是監(jiān)控攝像頭，移動設(shè)備采集的圖像會使圖像存在輕微的抖動使圖像質(zhì)量降低，監(jiān)控攝像頭采集的圖像則會因為天氣、設(shè)備老化等原因使圖像模糊。為了降低車牌定位的操作難度，需要對車輛圖像進行預(yù)處理。圖像預(yù)處理是為了減少干擾，減少噪聲對定位的影響，提高成功率。圖像預(yù)處理包括三部分：首先，對圖像進行去噪聲處理；其次，直方圖均衡化提高車牌的圖像質(zhì)量；最后將圖像進行灰度處理。

2.2 Gabor濾波器對圖像進行濾波

原圖像I(x,y)與Gabor濾波卷積以后的圖像f(x,y)關(guān)系如式(3)所示。這里取實部形式，基于文中采集到的圖像庫，經(jīng)過實驗，卷積核的大小取(11,11)，相位偏移量取0，標準差取10，波長取10，長寬比取0.5，θ取0時效果最好。Gabor卷積核以圖片的形式顯示，如圖2所示。

圖2 Gabor卷積核

經(jīng)過實驗可看出，Gabor濾波對車牌區(qū)域有很好的響應(yīng)。圖3為濾波處理后的圖像，可以看出處理后的圖像中，車牌區(qū)域的響應(yīng)較高。

圖3 Gabor濾波的處理圖像

通過圖3可以看出，干擾區(qū)域比較密集的地方主要分布在車輛的輪廓邊緣上和車輛的擋風玻璃上，周圍環(huán)境造成的干擾較小，在車牌周圍存在的干擾較少，當定位車牌時，能準確地將車牌區(qū)域定位，為后續(xù)字符分割降低操作難度。

2.3 形態(tài)學處理

通過上述實驗可看出，雖然車牌區(qū)域?qū)V波響應(yīng)較高，但是車牌區(qū)域的垂直特征較為離散，但是各個垂直條紋之間的間距很小，周圍干擾區(qū)域到此區(qū)域的距離較大，于是可以使用膨脹算子進行膨脹，將垂直條紋連接起來形成完整的車牌區(qū)域。

在數(shù)學形態(tài)學里，可以使用的算子很多，大部分為3*3、5*5、7*7的算子。數(shù)學形態(tài)學的算子應(yīng)該根據(jù)實際情況進行選擇。在上述實驗中可看出響應(yīng)區(qū)域大部分為垂直特征，而且在車牌區(qū)域這些特征之間的間距較小，且與周圍的干擾相距較遠，所以采用一種只在水平方向上膨脹的算子，針對該實驗采用的算子尺寸為7*3。圖4為采用水平方向算子膨脹的實驗結(jié)果。

圖4 形態(tài)學處理

從上述實驗可看出，雖然車牌區(qū)域已經(jīng)連接起來，但是還存在其他干擾連通區(qū)域。通過圖4可看出車牌區(qū)域的尺寸較大，可根據(jù)連通區(qū)域的大小初步篩選，將尺寸較小的連通區(qū)域去除。在圖4中可以看出大部分連通區(qū)域面積大的干擾區(qū)域都是垂直長度大于水平長度，可根據(jù)此特點進一步排除干擾區(qū)域。

2.4 候選生成

在去除尺寸較小的干擾連通區(qū)域之后，依舊存在較多的干擾區(qū)域。由于車牌具有固定幾何尺寸，其長寬比為3.14，在實驗過程中，根據(jù)實際情況將長寬比設(shè)置為1.5～4.5。通過長寬比的篩選之后，可排除大量的干擾區(qū)域。將符合長寬比的連通區(qū)域裁剪出來，形成單獨的圖像。

車牌中包含大量字符，字符的筆畫結(jié)構(gòu)有特殊的曲率，這些局部的特征[17-18]是一個較為穩(wěn)定的紋理結(jié)構(gòu)特征，可以用特征檢測算法檢測出來。在這里使用了Harris算法對圖像進行檢測，Harris算法具有實現(xiàn)簡單、檢測速度快、對曲率響應(yīng)好的優(yōu)點。Harris算法檢測實驗如圖5(a)所示，可以發(fā)現(xiàn)在車牌區(qū)域中特征點的密度很大。

圖5 特征點檢測

通過圖5(a)和圖5(b)之間的對比可發(fā)現(xiàn)，在車牌區(qū)域特征點的密度很高，而干擾區(qū)域的特征點很少，因此可以將干擾濾除。

對于干擾區(qū)域內(nèi)特征點較少的情況可以使用上述方法，如果干擾區(qū)域內(nèi)特征點較多，使用上述方法則效果較差。通過圖6(a)和圖6(b)的對比發(fā)現(xiàn)，在干擾區(qū)域的范圍內(nèi)有大量特征點，此時根據(jù)特征點密度來篩選明顯不行，可通過車牌字符角點鄰域顏色進行篩選。經(jīng)過研究發(fā)現(xiàn)，在一般情況下藍色車牌中的底色為藍色，通過分離顏色通道發(fā)現(xiàn)單個像素點的B分量的值遠大于G分量和R分量，同樣在黃色車牌中底色為黃色，單個像素點的B分量遠小于G分量和R分量，因此車牌具有特殊的顏色分布，是區(qū)分車牌底色和字體顏色的特征。在該算法中的實現(xiàn)方法為：首先將裁剪的連通區(qū)域選定，再在這張圖片里進行角點檢測獲取角點，角點的鄰域可選擇為7，9，11等，該角點的鄰域就是以該角點為中心，周圍9*9的像素點，實驗中取9。將該連通區(qū)域所有Si的B分量的像素值相加、G分量的像素值相加、R分量的像素值相加，得到B分量像素值總和SUMB，G分量像素值總和SUMG，R分量像素值總和SUMR。對于藍色車牌，篩選公式為：

圖6 特征點檢測特殊情況

(4)

同理對于黃色車牌的公式為：

(5)

通過篩選可將干擾連通區(qū)域濾除，生成候選區(qū)，將候選區(qū)裁剪出單獨的圖像，方便后續(xù)實驗驗證。

2.5 候選驗證

在候選驗證過程中不能使用單一特征進行驗證，會使得精度不高，需要多個特征同時使用提高精度。

在候選驗證階段可以使用的方法有很多，比如字符分割方法[19]、灰度投影方法。在該算法中將使用顏色和字符投影對候選驗證，具體步驟如下：將候選的顏色空間從RGB轉(zhuǎn)化為HSV空間，僅對亮度通道V進行直方圖平坦化處理，并轉(zhuǎn)換為原RGB圖像，再轉(zhuǎn)為灰度圖像。

將上述轉(zhuǎn)換完成的灰度圖像進行灰度投影操作，得到車牌字符投影圖。首先計算出投影圖中投影塊的數(shù)目，記為K。(1)若K剛好為7，則候選確定；(2)若K大于7，那么計算出每個投影塊的中線位置，可以算出每個相鄰?fù)队皦K中線之間的距離。若這個距離小于字符的寬度，那么將該投影塊及其前一個投影塊進行合并，同時將K減一。重復(fù)該步驟，直到K為7，并且每個投影塊的寬度在設(shè)定的閾值范圍內(nèi)，則候選確定，否則為偽候選；(3)若K小于7，計算每個投影塊的寬度。找出寬度大于閾值范圍的投影塊，計算該投影塊的投影最小值，并在該位置分割投影塊。重復(fù)該操作使K等于7，并且投影塊的寬度在預(yù)設(shè)的范圍內(nèi)，則候選確定，否則為偽候選。

3 實驗和結(jié)果分析

算法在QT5.9.7+OpenCV環(huán)境下實現(xiàn)，計算機主要配置為,主頻2.3 GHz(Intel Core I5-8300H)，8 G內(nèi)存。實驗使用的圖像庫是由600張包含單個車牌的圖像以及200張不包含車牌的圖像組成。這800張圖片中成功檢測出車牌區(qū)域的有574張。包含車牌的圖像主要來自互聯(lián)網(wǎng)下載和街拍，圖像類型包含了街道、小區(qū)門口、監(jiān)控視頻、停車場等場景，涵蓋了復(fù)雜背景、車牌傾斜、顏色干擾、天氣模糊等，能夠真實地反映出算法效果。圖7分別選取了具有代表性的車牌，如A組中選取了小區(qū)門口門禁系統(tǒng)監(jiān)控視頻截圖，車牌都略微傾斜；B組選取了道路監(jiān)控視頻截圖，圖像質(zhì)量較差且圖像略微傾斜；C組選取了在停車場和街道行進的車輛，“川AQQ999”圖像為強光照射，“冀A5D307”車身為藍色，與車牌顏色較為接近。

圖7 車牌定位實驗結(jié)果

基于文中采集到的車牌數(shù)據(jù)庫，選擇了幾種具有代表性的車牌定位算法作為實驗對比，如一種RGB顏色空間中的車牌定位新方法[2]、多特征融合的車牌定位算法[15]、基于Gabor濾波車牌區(qū)域定位算法[17]。實驗結(jié)果如表1所示，文中車牌圖像數(shù)據(jù)庫中默認一張圖片中只包含一輛車。表1中成功率、精確度和準確率的定義如下:成功率:成功定位圖像數(shù)/正例數(shù);精確度:成功定位圖像數(shù)/(成功定位圖像數(shù)+錯誤定位圖像數(shù))，其中錯誤定位圖像即為表1中的誤檢數(shù);準確率:成功定位的包圍框與絕對真包圍框的覆蓋比率。對于成功次數(shù)的計數(shù)定義如下:算法得到的車牌包圍框與絕對真包圍框覆蓋率大于50%的結(jié)果計為成功一次，反之計為失敗一次。

表1 圖像庫的對比實驗結(jié)果

從實驗結(jié)果可以看出，多特征融合算法在成功率和準確度上都比單特征算法高。第二組對比實驗雖然也使用了Gabor濾波，但是在后續(xù)操作中只使用了顏色特征，沒有使用到車牌字符紋理和幾何特征，使其準確度較低。第三組對比實驗使用了多種特征，其成功率較高，由于在數(shù)學形態(tài)學處理過程中連接的是顏色特征點，造成包圍框較大，降低了準確度，若將結(jié)果作為粗定位，進一步使用其他方法進行精確定位將提高準確度。

通過對比實驗表明，文中算法具有較高的定位成功率和精確度。對于圖像質(zhì)量較差的圖像能得到較高的準確度，高準確度可以為后續(xù)的車牌精確定位和字符分割省去許多操作并且能提高識別準確率。該算法也具有較強的抗干擾性，車牌傾斜狀態(tài)下也能較好地定位，在高光狀態(tài)下也能較為準確地定位車牌。在算法效率方面，對于高分辨率車牌圖片，如圖7(a)、(c)，文中算法的平均運算時間為1.37 s，對于低分辨率車牌圖片，如圖7(b)，文中算法的平均運算時間為0.72 s。由于操作步驟較多，耗時較多的地方主要有Gabor濾波和Harris特征點檢測。文中算法是基于OpenCV庫[20]實現(xiàn)的，部分函數(shù)使用的是庫函數(shù)，雖然耗時較多但準確度較高，基本能滿足目前的需求。

4 結(jié)束語

基于單特征定位車牌的不足，提出了一種基于Gabor濾波多特征融合的車牌定位算法。該算法使用了車牌的字符垂直特征、字符角點、車牌底色、車牌紋理等特征，對這些特征進行了合理的組合和使用。在這些特征中字符垂直特征、車牌底色和字符角點是核心特征，這三個特征是篩選偽候選的重要特征。因為這三個特征不可能同時檢測到，并且這三者是車牌的固有特征，在真實場景的復(fù)雜環(huán)境下較為穩(wěn)定，不容易受到干擾，是特征融合算法的核心。同時使用了眾多的技術(shù)手段，包括：特征點檢測、Gabor濾波、數(shù)學形態(tài)學、灰度投影等，保證了定位的準確性和成功率。該算法雖然有較好的效果，但是基于Gabor濾波的方法耗時較為嚴重，且濾波核大小的選取十分重要，若能自適應(yīng)選取濾波核的尺寸將能進一步提高準確度和效率。接下來將對該問題進行深入研究，找到解決方案。