鄭楷鵬 鄭翠環(huán) 郭山紅 陳康宇

(南京理工大學(xué)電子工程與光電技術(shù)學(xué)院 江蘇 南京 210094)

基于色差的車牌快速定位算法研究

鄭楷鵬 鄭翠環(huán) 郭山紅*陳康宇

(南京理工大學(xué)電子工程與光電技術(shù)學(xué)院 江蘇 南京 210094)

針對(duì)現(xiàn)有車牌定位算法的抗干擾能力弱和速度較慢問題，提出基于色差的車牌快速定位算法。設(shè)計(jì)了提取藍(lán)色、黃色和白色像素點(diǎn)的色差公式，將車輛RGB圖像轉(zhuǎn)換到色差空間。利用迭代法對(duì)色差圖像進(jìn)行閾值分割得到二值圖像，并利用形態(tài)學(xué)處理和標(biāo)記連通域，最后結(jié)合車牌長(zhǎng)寬比特征去除干擾定位車牌。對(duì)實(shí)際車輛視頻定位處理結(jié)果表明，提出的算法可以實(shí)現(xiàn)白天和夜晚藍(lán)牌車和黃牌車的車牌準(zhǔn)確定位，定位準(zhǔn)確率分別達(dá)到95.1%和92.5%，定位平均耗時(shí)0.026 s，優(yōu)于傳統(tǒng)的基于HSV、HIS和YUV車牌定位算法。處理結(jié)果表明該定位算法可在實(shí)際普通道路交通中實(shí)現(xiàn)實(shí)時(shí)準(zhǔn)確定位。

車牌定位 色差 閾值分割 形態(tài)學(xué)處理 標(biāo)記連通域

0 引 言

車牌識(shí)別LPR(License Plate Recognition)系統(tǒng)是智能交通系統(tǒng)的一個(gè)核心子系統(tǒng)，它是在數(shù)字圖像處理的基礎(chǔ)上實(shí)現(xiàn)汽車牌照自動(dòng)定位與識(shí)別的一個(gè)系統(tǒng)[1-2]。在此核心功能基礎(chǔ)上可以提供大量實(shí)用的交通管理服務(wù)：車輛信息的獲取與存儲(chǔ)、車輛信息的查詢對(duì)比、非法車輛識(shí)別與報(bào)警、高速公路與道路關(guān)卡的監(jiān)控與收費(fèi)、停車場(chǎng)的具體管理等服務(wù)[3-4]。

車牌定位是LPR系統(tǒng)的一個(gè)關(guān)鍵環(huán)節(jié)，定位的準(zhǔn)確性和速度將直接影響LPR系統(tǒng)的整體性能。對(duì)于車牌定位算法，國(guó)內(nèi)外研究較早也較多并提出了一些有效的定位算法[5-8，11，13]，常用的有基于車牌直觀特征的定位方法，直觀特征包括紋理、顏色、邊緣等特征；基于變換域特征的定位算法以及AdaBoost算法等。以上提到的算法在定位車牌時(shí)都有一定的局限性，單獨(dú)使用其中一種方法很難達(dá)到預(yù)期的定位準(zhǔn)確性和實(shí)時(shí)性。本文重點(diǎn)研究基于視頻圖像的車牌定位，提出了基于色差的車牌快速定位算法，該算法可以提高白天和夜晚情況下車牌定位的準(zhǔn)確性和實(shí)時(shí)性。

1 車牌定位方法與難點(diǎn)

1.1 常用車牌定位方法

目前常用的車牌定位方法有以下幾種：

(1) 基于紋理特征的定位方法

車牌的紋理特征是指字符的寬度、高度和筆畫寬度，字符之間的連通性等特征。對(duì)車牌部分的灰度圖像進(jìn)行水平掃描得到灰度變化曲線，車牌區(qū)域與其他區(qū)域的灰度變化曲線不同，根據(jù)這一特征可以簡(jiǎn)單快速地定位出車牌[5-7]。

(2) 基于顏色特征的定位方法

該類算法一般就是利用車牌的背景和字符的顏色搭配(例如藍(lán)底白字)提取出車牌區(qū)域，再經(jīng)過(guò)形態(tài)學(xué)的操作來(lái)定位出圖像[5-7]。該算法簡(jiǎn)單快速。

(3) 基于邊緣特征的定位算法

由于車牌區(qū)域的字符部分和底牌部分的灰度值有較大的對(duì)比度，即圖像的灰度值變化較大，即該區(qū)域相對(duì)于其他區(qū)域包含了更豐富的邊緣信息，故檢測(cè)圖像局部像素點(diǎn)是否變化明顯可以采用邊緣檢測(cè)算法[8]。通常用來(lái)檢測(cè)圖像灰度值變化的算子有Robert、Prewitt、Sobel算子等。

(4) 基于變換域特征的定位算法

該類方法首先將圖像進(jìn)行某種變換后，例如DFT變換，再綜合其它特征進(jìn)行車牌定位[13]，比較常見的方法有離散余弦變換法和小波變換法。

1.2 車牌定位的難點(diǎn)

在室外拍攝的普通道路上運(yùn)動(dòng)車輛視頻圖像受環(huán)境因素的影響較大，圖像質(zhì)量較難保證，在夜晚光照不足的情況下定位準(zhǔn)確率會(huì)下降；車牌被污染或者顏色嚴(yán)重失真時(shí)會(huì)導(dǎo)致車牌無(wú)法定位到。漏警概率增大；其他字符區(qū)域的干擾會(huì)導(dǎo)致車牌定位虛警概率增大[9]。

本文重點(diǎn)研究基于色差的車牌定位方法，該方法具有適應(yīng)面廣、抗干擾強(qiáng)、速度快、定位準(zhǔn)確和虛警低的特點(diǎn)[10，12]。首先從視頻圖像中提取出運(yùn)動(dòng)車輛圖像，然后計(jì)算車輛色差，并結(jié)合形態(tài)學(xué)處理[15，16]和車牌的長(zhǎng)寬比特征進(jìn)行車牌快速定位。

2 車輛圖像預(yù)處理

實(shí)際拍攝的視頻圖像包含了車輛和背景信息，為了更好地定位車牌，需要從視頻圖像中提取出車輛圖像，其具體過(guò)程如圖1所示。

圖1 基于背景差分和虛擬線圈的運(yùn)動(dòng)車輛檢測(cè)流程圖

事先在視頻圖像上設(shè)定虛擬線圈，確定尋找運(yùn)動(dòng)車輛的區(qū)域。隨著視頻圖像的輸入，首先對(duì)圖像進(jìn)行灰度化，然后進(jìn)行背景差分處理。背景圖像是通過(guò)對(duì)視頻圖像多次平均獲得的動(dòng)態(tài)背景圖像。接著統(tǒng)計(jì)虛擬線圈區(qū)域內(nèi)灰度變化的平均值，若超過(guò)閾值則表明有車輛駛?cè)?，則取出虛擬線圈附近的運(yùn)動(dòng)車輛圖像。 可以根據(jù)需要在視頻圖像設(shè)置多個(gè)虛擬線圈，觀測(cè)不同車道的情況。

實(shí)際的車輛視頻圖像都是在露天情況下采集的，難免受到天氣及光照的影響，因此在車牌定位之前要進(jìn)行圖像增強(qiáng)預(yù)處理。圖像增強(qiáng)有各種方法[10，12]，綜合考慮各種噪聲的影響，這里選取高斯低通濾波器對(duì)圖像進(jìn)行濾波增強(qiáng)處理。

3 基于色差的車牌快速定位算法

根據(jù)車輛的運(yùn)動(dòng)方向，選取運(yùn)動(dòng)車輛圖像的底部或頂部1/3圖像作為車牌定位研究對(duì)象。根據(jù)我國(guó)車牌的顏色特征[14]，我們主要要獲取車輛圖像中具有一定長(zhǎng)寬比例的藍(lán)色、黃色或白色矩形區(qū)域。

3.1 色差計(jì)算

(1) 藍(lán)色色差

在RGB空間中，針對(duì)最常見的藍(lán)底白牌的車輛，我們采用式(1)的顏色轉(zhuǎn)換公式來(lái)突出藍(lán)色的像素點(diǎn)從而抑制其他區(qū)域的像素點(diǎn)[3]。

Cx,y=Bx,y-min{Rx,y,Gx,y}

(1)

式中Cx,y為轉(zhuǎn)換之后坐標(biāo)點(diǎn)(x,y)的像素值，Rx,y，Gx,y，Bx,y分別為紅，綠，藍(lán)三個(gè)通道的像素值。這種轉(zhuǎn)換可以增強(qiáng)藍(lán)色區(qū)域并且可以很好地抑制非藍(lán)色區(qū)域的像素點(diǎn)的值，與原彩色圖像相比，藍(lán)色區(qū)域得到了增強(qiáng)，這正是我們需要的。

(2) 黃色色差

對(duì)于黃底黑字的車牌，基于在RGB圖像中，黃色區(qū)域的R通道和G通道像素值相差不大且接近255，而B通道的像素值比其他兩個(gè)通道的值都要小很多，根據(jù)上述規(guī)律，我們?cè)O(shè)計(jì)了式(2)的黃色轉(zhuǎn)換公式。

(2)

(3) 白色色差

若車輛本身即為藍(lán)色，只提取藍(lán)色像素點(diǎn)是不夠的，我們知道在RGB空間中白色像素點(diǎn)的值是很特別的，它的R、G、B三個(gè)通道的值都接近255且相差無(wú)幾，故我們?cè)O(shè)計(jì)了式(3)來(lái)判斷白色的像素點(diǎn)。

(3)

所有滿足以下兩個(gè)約束條件之一即可認(rèn)為該像素點(diǎn)是車牌區(qū)域的像素點(diǎn)：

i)f(i-1,j-1)、f(i,j-1)、f(i+1,j-1)滿足藍(lán)色像素點(diǎn)約束條件；同時(shí)f(i-1,j+1)、f(i,j+1)、f(i+1,j-1)滿足白色像素點(diǎn)約束條件。

ii)f(i-1,j-1)、f(i,j-1)、f(i+1,j-1)滿足白色像素點(diǎn)約束條件；同時(shí)f(i-1,j+1)、f(i,j+1)、f(i+1,j-1)滿足藍(lán)色像素點(diǎn)約束條件。

3.2 閾值分割

對(duì)于普通藍(lán)牌車，原圖在經(jīng)過(guò)顏色轉(zhuǎn)換之后，可以很明顯地看到，藍(lán)色區(qū)域的亮度明顯比圖像中其他區(qū)域的亮度要高,并且藍(lán)色區(qū)域的亮度在整幅圖像中是最高的,而非藍(lán)色區(qū)域的像素被很好地抑制了，像素值接近0。根據(jù)上述特征，可以取顏色轉(zhuǎn)換之后的圖像的像素點(diǎn)最大值(Tmax)和最小值(Tmin)的中間值作為閾值T的初始值，采用迭代法求得最終的閾值對(duì)圖像進(jìn)行二值化。迭代法取閾值的方法如下：

(1) 為T選取一個(gè)初始值。

(4)

(2) 使用T分割圖像，這將產(chǎn)生兩組像素：像素值≥T的所有像素點(diǎn)組成的G1，像素值

(3) 計(jì)算G1和G2范圍內(nèi)的像素的平均像素值μ1和μ2。

(4) 計(jì)算一個(gè)新的閾值：

(5)

(5) 重復(fù)2到步驟4，知道連續(xù)迭代中的T的差比預(yù)先指定的參數(shù)T0小為止。

在經(jīng)過(guò)顏色轉(zhuǎn)換之后的圖像中，任何滿足f(x,y)>T的點(diǎn)(x,y)置為1，其他的則置為0，得到二值圖像。

3.3 形態(tài)學(xué)處理和標(biāo)記連通域

提取特殊顏色并采用閾值分割后的圖像，常常出現(xiàn)多個(gè)空洞，為了便于后續(xù)要根據(jù)形狀來(lái)判斷車牌，故需對(duì)圖像進(jìn)行形態(tài)學(xué)處理[15-16]。根據(jù)實(shí)際視頻圖像大小和車牌相對(duì)位置，選擇合適的模板尺寸進(jìn)行形態(tài)學(xué)運(yùn)算。

在對(duì)二值圖像進(jìn)行形態(tài)學(xué)處理之后，為了得到每個(gè)區(qū)域形狀特征，必須對(duì)每個(gè)區(qū)域進(jìn)行連通域標(biāo)記，本文采用8鄰域標(biāo)記法，并獲得連通域的外接矩形。

3.4 去除偽車牌

這里我們根據(jù)車牌的長(zhǎng)寬比去除偽車牌，在得到連通區(qū)域的外接矩形之后，獲得矩形框的長(zhǎng)和寬，計(jì)算長(zhǎng)寬比的比值。

(1) 根據(jù)我國(guó)中小型車牌的標(biāo)準(zhǔn)[13]，普通車牌的大小為440 mm×140 mm,實(shí)際拍攝的車輛圖像中車牌的長(zhǎng)寬比例會(huì)略微變大，故可取ratiomin=2.5，ratiomax=3.5，根據(jù)上述規(guī)則可以去除一部分偽車牌。

(2) 根據(jù)連通區(qū)域的灰度圖像區(qū)域的紋理一致性去除偽車牌，根據(jù)式(6)計(jì)算紋理一致性:

(6)

其中，U為圖像區(qū)域的紋理一致性，L為可能出現(xiàn)的灰度級(jí)(一般為0～255)，p(z)為灰度圖像的歸一化灰度直方圖。

4 車牌定位處理結(jié)果及性能比較

4.1 車牌定位處理結(jié)果

圖2為采用3.1節(jié)中式(1)基于藍(lán)色色差定位的處理結(jié)果。圖2(a)為晴朗天氣下在天橋上拍攝的行車道上多輛照片，圖2(b)為采用式(1)對(duì)車輛圖像進(jìn)行藍(lán)色色差處理結(jié)果，由圖2(b)可以看到，藍(lán)色車牌區(qū)域亮度明顯高于其他顏色。取顏色轉(zhuǎn)換之后的圖像的像素點(diǎn)的最大值和最小值的中間值作為閾值T的初始值，采用迭代法求得最終的閾值對(duì)圖像進(jìn)行二值化。

圖2(c)顯示了對(duì)色差處理之后的圖像進(jìn)行閾值分割和形態(tài)學(xué)處理效果。本文中采集的視頻圖像的大小為700×900，針對(duì)采集到的圖像數(shù)據(jù)庫(kù)，選取大量的圖像進(jìn)行試驗(yàn)，發(fā)現(xiàn)一般分割得到的孔洞大小不會(huì)超過(guò)50個(gè)像素，而且車牌之間的間距相對(duì)孔洞而言則是會(huì)大很多，所以我們只需要選取比孔洞大2～3倍的結(jié)構(gòu)元素對(duì)二值圖像進(jìn)行閉運(yùn)算即可以填充孔洞。這里我們選取大小為16×8的長(zhǎng)方形結(jié)構(gòu)元素來(lái)進(jìn)行形態(tài)學(xué)閉運(yùn)算處理。

圖2(d)為采用8鄰域標(biāo)記法獲得標(biāo)記連通域效果圖。圖2(e)為去除偽車牌后車牌定位結(jié)果圖。通過(guò)對(duì)大量樣本數(shù)據(jù)分析，最后取U=0.7。當(dāng)候選區(qū)域中的某塊區(qū)域紋理一致性小于該值的就會(huì)被去除，這樣就能更準(zhǔn)確地定位車牌區(qū)域。

(a) 原圖(車牌為藍(lán)色) (b) 藍(lán)色色差圖像

(c) 閾值分割和形態(tài)學(xué)處理 (d) 標(biāo)記連通域

(e) 車牌定位結(jié)果圖2 車牌定位結(jié)果

圖3(a)-(h)分為白天拍攝的藍(lán)色車身藍(lán)牌出租車、白天拍攝的車后身為大面積藍(lán)色的黃牌公交車、夜晚拍攝的藍(lán)牌小轎車和白天拍攝的車身覆蓋較厚塵土的污染藍(lán)牌車圖像及其對(duì)應(yīng)車牌定位結(jié)果。對(duì)于從視頻圖像中獲取的運(yùn)動(dòng)車輛圖像，首先判斷車輛的主體顏色，若藍(lán)色區(qū)域<1/5，則采用藍(lán)色色差進(jìn)行處理，定位藍(lán)牌矩形區(qū)域；若藍(lán)色區(qū)域≤1/5，則采用白色色差處理定位白色矩形區(qū)域；若未能定位，則采用黃色色差處理，定位黃牌區(qū)域。

(a) 藍(lán)牌藍(lán)車(車身顏色為全藍(lán)色) (b) 車牌定位結(jié)果

(c) 黃牌藍(lán)色公交車(車后身大部分區(qū)域?yàn)樗{(lán)色) (d) 車牌定位結(jié)果

(e) 夜晚藍(lán)牌小轎車車輛 (f) 車牌定位結(jié)果

(g) 污染藍(lán)牌車輛(車身覆蓋較厚塵土) (h) 車牌定位結(jié)果圖3 不同情況下的車牌定位處理結(jié)果

由圖3定位處理結(jié)果可以看出，采用色差法對(duì)藍(lán)車藍(lán)牌、有藍(lán)色干擾的黃牌公交車、夜晚藍(lán)牌小轎車和污染嚴(yán)重的藍(lán)牌小轎車都能準(zhǔn)確定位其車牌位置?？梢姡闹刑岢龅幕谏畹能嚺贫ㄎ环椒▽?duì)光線昏暗、污染車牌、以及顏色干擾有較好的定位效果。

4.2 車牌定位處理結(jié)果

本文針對(duì)在戶外不同天氣狀況下拍攝到的視頻圖像，對(duì)白天和夜晚的各種車輛進(jìn)行了定位測(cè)試，表1列出了基于色差的車牌定位算法耗時(shí)， 表2統(tǒng)計(jì)了不同天氣狀況下各種車牌定位的準(zhǔn)確率統(tǒng)計(jì)結(jié)果。表3列出了白天晴朗天氣狀況下基于其他算法的車牌定位的準(zhǔn)確率統(tǒng)計(jì)結(jié)果，可見基于色差的車牌定位算法耗時(shí)小，且定位準(zhǔn)確率較高，抗干擾能力強(qiáng)，定位性能優(yōu)于傳統(tǒng)的基于HSV、HIS和YUV的車牌定位算法[12,17-19]。處理結(jié)果表明該定位算法可在實(shí)際普通道路交通中實(shí)現(xiàn)實(shí)時(shí)準(zhǔn)確定位。

表1 基于色差的車牌定位算法的定位耗時(shí)統(tǒng)計(jì) s

表2 基于色差的車牌定位算法的結(jié)果統(tǒng)計(jì)

表3 基于其他車牌定位算法的結(jié)果統(tǒng)計(jì)

5 結(jié) 語(yǔ)

本文針對(duì)基于視頻圖像的車牌定位算法進(jìn)行了深入研究，提出了基于色差的車車牌快速定位算法，提高了車牌在各種情況下的定位準(zhǔn)確率和定位速度。文中對(duì)白天常規(guī)車輛、藍(lán)牌藍(lán)車、公交車及污染車牌進(jìn)行了檢測(cè)，結(jié)果發(fā)現(xiàn)采用該方法定位具有很高的準(zhǔn)確率，對(duì)夜晚車輛也有較高的定位準(zhǔn)確率。該車牌定位方法沒有復(fù)雜的計(jì)算公式，計(jì)算量小，可以滿足實(shí)時(shí)監(jiān)測(cè)系統(tǒng)的要求。下一步針對(duì)大霧、雪天等惡劣天氣繼續(xù)研究車牌定位算法，使其具有更好的適用性。

[1] Liakou H M. An overview on transports and ITS[C]//Third World Summit on the Knowledge Society, 2010: 343-345.

[2] Gu H, Zhao G, Qi D, et al. Priori embedding and character segmentation for license plate recognition[J]. Journal of Image and Graphics, 2010, 15(5): 749-756.

[3] 王璐. 基于MATLAB的車牌識(shí)別系統(tǒng)研究[D]. 上海：上海交通大學(xué), 2009.

[4] 王豐元, 孫壯志, 周一鳴. 計(jì)算機(jī)視覺技術(shù)在交通工程測(cè)量中的應(yīng)用[J]. 中國(guó)公路學(xué)報(bào), 1999, 12(1): 90-94.

[5] Gonzalez R C, Woods R E. 數(shù)字圖像處理[M]. 阮秋琦, 阮宇智, 譯. 3版. 北京：電子工業(yè)出版社, 2011.

[6] 徐勤燕. 復(fù)雜背景中基于紋理和顏色的車牌定位研究[D]. 上海：東華大學(xué), 2013.

[7] 萬(wàn)燕, 徐勤燕, 黃蒙蒙. 復(fù)雜背景中基于紋理和顏色的車牌定位研究[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2013, 30(10): 259-262,316.

[8] Zhou Z, Hu X, Tan M. The license plate location method based on the log operator for edge detection[J]. Automation and Instrumentation, 2009(2):90-92.

[9] 劉攀. 復(fù)雜光照條件下的通用車牌定位系統(tǒng)的研究與實(shí)現(xiàn)[D]. 成都：電子科技大學(xué), 2013.

[10] 張震, 楊曉. 基于OpenCV實(shí)現(xiàn)多特征融合的移動(dòng)車牌定位算法[J]．計(jì)算機(jī)應(yīng)用與軟件, 2014, 31(4): 289-292．

[11] 黃澤鋒. 基于Adaboost的車牌定位方法的研究與實(shí)現(xiàn)[D]. 廣州：華南理工大學(xué), 2012.

[12] 鄭成勇. 一種RGB顏色空間中的車牌定位新方法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2010, 15(11): 1623-1628.

[13] 劉雄飛, 龍巧云, 李根, 等. 基于行掃描和小波變換的車牌定位算法[J]．計(jì)算機(jī)應(yīng)用與軟件, 2013, 30(5): 279-282.

[14] 中華人民共和國(guó)公安部.GA 36-2007 中華人民共和國(guó)機(jī)動(dòng)車號(hào)牌[S]. 2007-09-28.

[15] Yang F, Ma Z. Vehicle license plate location based on histogrammming and mathematical morphology[C]//Proceedings of the Fourth IEEE Workshop on Automatic Identification Advanced Technologies, 2005: 89-94.

[16] Li W, Zhu L, Kong X, et al. A new fast vehicle license plate location algorithm on mathematical morphology and color feature[J]. Bulletin of Science and Technology, 2009, 25(2): 214-219,242.

[17] Quan S, Xue Z, Wang Q. Implementation and research of vehicle license-plate locating method based on the distributed character of projection image[J]. Journal of Wuhan University of Technology (Transportation Science & Engineering), 2005, 29(6): 879-882.

[18] 程增會(huì), 戴祥, 唐大鵬, 等．一種基于HSI和YUV顏色模型的車牌定位方法[J]．計(jì)算機(jī)應(yīng)用與軟件, 2011, 28(12): 132-134,231．

[19] 常巧紅, 高滿屯. 基于HSV色彩空間與數(shù)學(xué)形態(tài)學(xué)的車牌定位研究[J]. 圖學(xué)學(xué)報(bào), 2013, 34(4): 159-162.

RESEARCH ON FAST LOCATION ALGORITHM OF LICENSE PLATE BASED ON COLOR DIFFERENCE

Zheng Kaipeng Zheng Cuihuan Guo Shanhong*Chen Kangyu

(SchoolofElectronicEngineeringandOptoelectronicTechnology,NanjingUniversityofScienceandTechnology,Nanjing210094,Jiangsu,China)

Aiming at the problem of weak anti-interference ability and slow speed of the existing license plate location algorithm, a fast location algorithm of license plate based on color difference is proposed. The color difference formula of the blue, yellow and white pixels is designed to convert the RGB image into the color difference space. The iterative method is used to obtain the binary image by threshold segmentation, and the morphological processing and the mark connected domain are used. Finally, combined with the license plate aspect ratio feature to remove interference and locate the license plate. The results of real vehicle location show that the proposed algorithm can accurately locate the license plates of daytime and night blue and yellow cards with the accuracy of 95.1% and 92.5% respectively, and the average positioning time is 0.026 s, which is superior to the traditional based on the HSV, HIS and YUV license plate location algorithm. The results show that the algorithm can achieve real-time and accurate location in practical road traffic.

License plate location Color difference Threshold segmentation Morphological processing Mark connected domain

2016-04-25。鄭楷鵬，碩士生，主研領(lǐng)域：數(shù)字圖像處理。鄭翠環(huán)，碩士。郭山紅，副研究員。陳康宇，碩士生。

TP391.41

A

10.3969/j.issn.1000-386x.2017.05.034