郁　浩,張榮福,程金光,郭世平

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上?！?00093)

基于圖像處理的鋼包標(biāo)牌識(shí)別方法

郁浩,張榮福,程金光,郭世平

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海200093)

摘要由于鋼廠車間環(huán)境的復(fù)雜性對鋼包標(biāo)牌的實(shí)時(shí)檢測和識(shí)別提出了較高的要求。為了實(shí)現(xiàn)對鋼包的實(shí)時(shí)和動(dòng)態(tài)跟蹤,提出了一種基于HSV色彩空間信息的圖像分割方法,根據(jù)HSV色彩空間的顏色和亮度無關(guān)性,將彩色圖像從RGB空間變換到HSV空間?；陬伾托螤钐卣鬟x取原則對標(biāo)牌區(qū)域進(jìn)行粗定位,再使用最小二乘直線擬合的方法檢測標(biāo)牌邊框的傾斜角度,對標(biāo)牌進(jìn)行傾斜校正。實(shí)驗(yàn)表明,該方法能準(zhǔn)確地進(jìn)行標(biāo)牌定位與傾斜校正,具有較高的可靠性與穩(wěn)定性。

關(guān)鍵詞HSV色彩空間;彩色圖像處理;傾斜校正

Ladle License Plate Recognition Based on Image Processing

YU Hao,ZHANG Rongfu,CHENG Jinguang,GUO Shiping

(School of Optical-Electrical and Computer Engineering,University of Shanghai for

Science and Technology,Shanghai 200093,China)

AbstractThe complexity of the steel plant environment leads to high requirements for real-time detection and identification of ladle license plate.An image segmentation method based on theHSVcolor space information is proposed for real-time detection and dynamic tracking.According to theHSVcolor space,regardless of the relation of brightness and color,the color image is converted fromRGBspace toHSVspace.We can locate the position of the ladle license plate according to feature selection principles based on color and shape of the numeral cards,and the lean angle of image is found out according to the method of linear least squares fitting.Then the original oblique image can be adjusted by using the method of rotate transformation.Experiments show that the method can locate the Ladle license plate and correct tilt with high reliability and stability.

KeywordsHSVcolor space;color image process;adjustment

在現(xiàn)代煉鋼工藝流程中,鋼廠車間環(huán)境的復(fù)雜性對于鋼包標(biāo)牌的識(shí)別是一個(gè)具大的挑戰(zhàn)。為了能夠更準(zhǔn)確地識(shí)別鋼包標(biāo)牌,鋼包標(biāo)牌統(tǒng)一做成藍(lán)底白字的形式。

標(biāo)牌識(shí)別系統(tǒng)包括標(biāo)牌定位、傾斜校正和數(shù)字識(shí)別3部分,標(biāo)牌定位是識(shí)別系統(tǒng)的關(guān)鍵技術(shù),對識(shí)別起著重要作用。由于標(biāo)牌圖像都是采集于背景比較復(fù)雜的車間環(huán)境,這給標(biāo)牌的定位帶來困難。目前車牌定位主要有基于車牌底色[1]、基于車牌紋理特征[2]以及基于特征顏色邊緣[3]的定位方法。

本文考慮到鋼包標(biāo)牌的特點(diǎn),在借鑒車牌定位算法的基礎(chǔ)上,綜合考慮車間環(huán)境和各種方法的復(fù)雜度及定位效果,提出了一種基于HSV顏色空間的標(biāo)牌定位方法。

1HSV色彩空間

所謂顏色模型即指某個(gè)三維顏色空間中的一個(gè)可見光子集,其包含某個(gè)顏色域的所有顏色,常用的顏色模型主要有HSV、RGB、CMYK 等。一般圖像常采用RGB三元色彩色空間表示,但RGB三色空間中兩點(diǎn)間的歐氏距離與顏色距離不成線性比例,即顏色受亮度的影響較大,RGB顏色空間不具有進(jìn)行彩色圖像處理所要求的獨(dú)立性和均勻性指標(biāo)。

本文采用較能符合人眼感知特性的HSV色彩空間。HSV色彩空間是由色調(diào)(Hue)、飽和度(Saturation)和亮度(Value)這3個(gè)分量組成,色調(diào)H表示不同的顏色,飽和度S表示顏色的深淺,亮度V表示顏色的明暗程度。

彩色圖像從RGB色彩空間到HSV色彩空間的變換為[4]

(1)

這樣色調(diào)信息H的范圍為0° ~360°;V和S的范圍為0 ~ 1。H、S和V這3個(gè)分量在一維矢量上分布開,經(jīng)過量化后,可有效減少圖像受光照強(qiáng)度的影響。

2標(biāo)牌粗定位

2.1　彩色圖像二值化

在本系統(tǒng)中,均采用藍(lán)底白字且?guī)в邪咨吙虻臉?biāo)牌,進(jìn)行標(biāo)牌候選區(qū)域的粗定位。本文采用了不同拍攝條件下多幅標(biāo)牌圖像,將其從RGB轉(zhuǎn)換到HSV。通過觀察統(tǒng)計(jì),得到HSV空間中車牌藍(lán)色的約束條件[5]為2200.35。

為提高圖像處理速度,文中將定位出藍(lán)色區(qū)域的彩色圖像二值化,其轉(zhuǎn)換方法如下:設(shè)H(x,y)表示輸入圖像f中點(diǎn)(x,y)在HSV顏色空間的H值;S(x,y)表示輸入圖像f中點(diǎn)(x,y)在HSV顏色空間中的S值,Hf表示藍(lán)色在HSV顏色空間的取值范圍,Sf表示藍(lán)色在HSV顏色空間的飽和度取值范圍,V通道不設(shè)約束條件。經(jīng)過以上過程,得到如下定義的二值圖像

(2)

由于拍攝條件的不同,造成圖片的亮度會(huì)有所不同,造成標(biāo)牌底色可能呈現(xiàn)出不盡相同的顏色,但文中選擇的HSV顏色空間對亮度不敏感,所以當(dāng)輸入HSV圖像像素點(diǎn)的H值在一定范圍內(nèi)時(shí),則認(rèn)為該點(diǎn)處在藍(lán)色區(qū)域置為白色,否則置為黑色。

圖1　轉(zhuǎn)化的二值圖像

2.2　濾波去噪與標(biāo)牌定位

經(jīng)過轉(zhuǎn)換的二值圖像存在一定的噪聲干擾,為突出二值圖像的標(biāo)牌區(qū)域特征,采取二值圖像的數(shù)學(xué)形態(tài)學(xué)運(yùn)算消除白色的噪點(diǎn)[5]。本文采用一個(gè)5×5的全1結(jié)構(gòu)體先對圖像進(jìn)行腐蝕,以消除孤立的噪點(diǎn)。然后再使用10×10的結(jié)構(gòu)體對圖像進(jìn)行膨脹,由此便可使鄰近非連通的區(qū)域連通。

由于鋼廠環(huán)境特殊,所拍攝的鋼包標(biāo)牌圖像中出現(xiàn)多個(gè)藍(lán)色背景區(qū)域的可能性比較小。為提高系統(tǒng)的容差性,得到最有可能的候選標(biāo)牌區(qū)域,必須采用一定的策略對可能出現(xiàn)的多個(gè)候選區(qū)進(jìn)行篩選[6]。通常所采用的一般方法會(huì)有:(1)將連通區(qū)域的面積作為篩選的標(biāo)準(zhǔn);(2)將候選區(qū)域的長寬比作為篩選的標(biāo)準(zhǔn)。這兩種方法都有其各自的局限性,當(dāng)干擾區(qū)域的面積或長寬比也符合要求時(shí),篩選的準(zhǔn)確率就會(huì)下降。通過比較常用篩選規(guī)則的適用性和局限性,本文提出了一種新的篩選規(guī)則,此規(guī)則綜合考慮了各個(gè)區(qū)域的面積和長寬比,并將候選區(qū)的坐標(biāo)值與鋼包輪廓粗定位區(qū)域的坐標(biāo)值相互印證,并在實(shí)驗(yàn)中取得了較好的效果。規(guī)則具體如下:1)由于相機(jī)和鋼包的相對位置在一定的范圍內(nèi),標(biāo)牌區(qū)域的面積占總面積的百分比也在一定的范圍內(nèi)。將這個(gè)范圍值設(shè)為φ,然后比較各個(gè)連通區(qū)域面積占總面積的百分比,將百分比不在φ內(nèi)的連通區(qū)域直接排除;2)再計(jì)算剩余連通區(qū)域長寬比和標(biāo)牌長寬比的比值Ki,找出其中最接近和次接近標(biāo)牌長寬比的區(qū)域,記為S1和S2;3)通過投影法得到兩個(gè)候選區(qū)域的坐標(biāo)位置,再計(jì)算出鋼包所在的坐標(biāo)位置,最后選出在鋼包位置區(qū)域內(nèi)的候選區(qū)域;4)若鋼包位置區(qū)域內(nèi)有兩個(gè)符合以上篩選規(guī)則的候選區(qū)域,文中可根據(jù)標(biāo)牌和鋼包相對位置已知的條件,得到所需的候選區(qū)域。

3傾斜校正與識(shí)別

3.1　標(biāo)牌區(qū)域二值化

經(jīng)過上述篩選過程,可以從原始圖像中提取出粗定位的標(biāo)牌區(qū)域。首先將提取到的標(biāo)牌區(qū)域圖像以加權(quán)平均值法灰度化,接著對灰度化圖像做二值化處理[7],其目的就是找出一個(gè)合適的閾值,將字符區(qū)域和非字符區(qū)域區(qū)分開來。

針對灰度圖像,其二值化過程用公式表示為

(3)

式中,T為閾值;G(i,j)表示坐標(biāo)值為(i,j)像素點(diǎn)的灰度值。

二值化算法又稱閾值算法,圖像的二值化算法的關(guān)鍵就是閾值的選取。文中通常采用的方法是最大類間方差法,是一種自適應(yīng)的閾值確定的方法,又稱為大津法,簡稱OTSU。在提取的標(biāo)牌區(qū)域圖像中,目標(biāo)區(qū)域就是圖像的數(shù)字部分,背景區(qū)域就是圖像的標(biāo)牌底色部分和鋼包底色部分。從圖2(a)中可看出,第一個(gè)峰值部分主要為標(biāo)牌底色的灰度值,第二個(gè)峰值部分主要為鋼包底色的灰度值,第三個(gè)峰值部分主要為數(shù)字底色的灰度值。圖2(c)是采用最大類間方差法進(jìn)行二值化的圖像,本例中閾值T為86。從圖2(a)中可看出,目標(biāo)背景的灰度值分布相對比較集中,同時(shí)最大類間方差法獲取的閾值又不能滿足圖像后續(xù)處理的要求?；跇?biāo)牌圖像的灰度值分布特點(diǎn),可通過提取若干條穿過標(biāo)牌數(shù)字的水平線作為特征線,統(tǒng)計(jì)特征線像素點(diǎn)的灰度值分布情況,如圖2(b)所示,本例中特征線數(shù)目為10。為提高閾值的準(zhǔn)確性,可采取后兩個(gè)灰度峰值的均值再和兩峰值之間波谷的灰度值取平均作為閾值T,以此作為閾值二值化后的圖像如圖2(d)所示,本例中T取157。

本文提出的閾值獲取方法更簡單,運(yùn)算量小且易行可靠,其效果較好,能滿足后繼處理的要求。

圖2　標(biāo)牌圖像二值化

3.2　傾角檢測

車牌傾角檢測大致分為以下幾種:基于投影的傾斜檢測方法[8];基于Radon變換[9]及基于Hough變換的傾斜校正方法。本文在借鑒車牌傾角檢測的基礎(chǔ)上,提出了適用于標(biāo)牌傾斜檢測的算法:對經(jīng)過預(yù)處理的二值圖像,先采用逐行掃描的方式尋找每一行白色邊框的第一個(gè)點(diǎn),并記下坐標(biāo)位置,從中選取10個(gè)點(diǎn),并以圖像左下角的端點(diǎn)作為坐標(biāo)原點(diǎn)建立直角坐標(biāo)系,把選取的10個(gè)點(diǎn)轉(zhuǎn)換成坐標(biāo)系內(nèi)對應(yīng)的點(diǎn),用最小二乘擬合算法擬合出直線,從而可算出標(biāo)牌的傾斜角度。

為了提高圖像處理速度,在找尋白色邊框特征點(diǎn)時(shí),文中僅對二值圖像的部分區(qū)域逐行掃描,一般將區(qū)域選定為圖像的3×Height/8~5×Height/8,也可適當(dāng)增大和縮小掃描區(qū)域(Height為圖像的行數(shù))。白色邊框特征點(diǎn)必須滿足以下規(guī)則:

首先標(biāo)記每一行掃描的第一個(gè)白點(diǎn),記下其所在列數(shù),然后判斷其后的連續(xù)8個(gè)像素點(diǎn)是否均為白點(diǎn),若滿足條件,則認(rèn)為找到所需要的白色邊框特征點(diǎn),接著掃描下一行;若不滿足條件,則接著掃描本行,直到找到符合條件的點(diǎn)。

對所選區(qū)域掃描完成后,首先從掃描區(qū)域中隨機(jī)的每隔5行挑選一個(gè)點(diǎn),共取5個(gè)點(diǎn),然后分別計(jì)算兩點(diǎn)之間的列數(shù)差,去除最大值和最小值,計(jì)算列數(shù)差的平均值P。然后以此平均值P作為參考值從掃描區(qū)域隨機(jī)的以5行為間距選取10個(gè)點(diǎn)。

通過以上步驟選取的參考點(diǎn),由于一些客觀原因,不可避免地存在一些噪點(diǎn),為了能從這組數(shù)據(jù)中得出一個(gè)最接近邊框方向的直線方程,本文選用最小二乘法對參考點(diǎn)進(jìn)行直線擬合。

假設(shè)所求直線方程為y=ax+b,將選取的參考點(diǎn)作為樣本點(diǎn),即(xi,yi),其中i=1,2,…,N。N為樣本個(gè)數(shù),使參與擬合的樣本點(diǎn)與擬合直線的距離平方和最小,則目標(biāo)函數(shù)為

(4)

只要求得使f(a,b)函數(shù)最小的a,b值,則所得到的直線方程最優(yōu),經(jīng)計(jì)算可得出

(5)

(6)

3.3　傾斜校正

檢測到標(biāo)牌圖像的傾角后,便可對傾斜的標(biāo)牌圖像進(jìn)行校正。設(shè)檢測到的圖像傾角為α,采用簡單的坐標(biāo)旋轉(zhuǎn)變換有

(7)

其中,(x,y)為旋轉(zhuǎn)前的圖像坐標(biāo);(x0,y0)為旋轉(zhuǎn)后的圖像坐標(biāo)。

若粗定位后的標(biāo)牌圖像大小為W×H,采用旋轉(zhuǎn)變換方法的計(jì)算需進(jìn)行4WH 次乘法運(yùn)算和2WH次加法運(yùn)算,計(jì)算量較大[10]。

文中采用直線擬合的方法校正傾斜的標(biāo)牌圖像。假設(shè)豎直方向的最大偏移值為Yoffset=Wtanα,水平方向的最大偏移值為Xoffset=Htanα,則第j列像素點(diǎn)豎直方向的偏移值為Δyj=j/{W/(Yoffset+1)},第i行像素點(diǎn)豎直方向的偏移值Δxj=i/{H/(Xoffset+1)}。圖像校正的變換坐標(biāo)公式為

(8)

(9)

該方法僅需2WH次加法運(yùn)算,可有效提高校正速度。

圖3　校正后的標(biāo)牌圖像

3.4　標(biāo)號識(shí)別

本文采用模板匹配法對歸一化后的提取圖像進(jìn)行識(shí)別。將待識(shí)別的圖像區(qū)域的特征量與模板字符相應(yīng)特征量逐一比較,將與其相似度最大的輸出,即為識(shí)別出的結(jié)果。

4結(jié)果與分析

文中算法采用Matlab及C#編程實(shí)現(xiàn),采用的HSV顏色空間對顏色進(jìn)行了非均勻的量化,突出了標(biāo)牌區(qū)域圖像的主體部分,在消噪濾波和定位提取算法中加入了對標(biāo)牌區(qū)域的判別,能準(zhǔn)確地識(shí)別標(biāo)牌顏色區(qū)域,對一定光照范圍內(nèi)的標(biāo)牌圖像準(zhǔn)確定位,滿足了后續(xù)圖像處理;采用基于標(biāo)牌圖像特征線的二值化閾值確定方法能夠準(zhǔn)確地把目標(biāo)區(qū)域和數(shù)字區(qū)域分開;通過多次擬合邊框直線,可準(zhǔn)確地檢測出邊框傾斜角度,然后利用改進(jìn)的旋轉(zhuǎn)算法快速對圖像進(jìn)行校正。最終,采用模板匹配法可準(zhǔn)確識(shí)別出標(biāo)牌上的數(shù)字。

5結(jié)束語

本文提出了基于HSV色彩空間的標(biāo)牌區(qū)域定位方

法,以及基于標(biāo)牌圖像特征線的二值化閾值確定的方法,然后以最小二乘法擬合白色邊框直線從而檢測標(biāo)牌傾斜角度,利用改進(jìn)的旋轉(zhuǎn)算法對圖像進(jìn)行校正,實(shí)現(xiàn)標(biāo)牌數(shù)字的識(shí)別。

文中提出的算法原理簡單,檢測速度快、準(zhǔn)確度高,能適應(yīng)鋼廠車間較為復(fù)雜的環(huán)境,實(shí)現(xiàn)對鋼包的實(shí)時(shí)和動(dòng)態(tài)檢測。

參考文獻(xiàn)

[1]王夏黎,周明全,耿國華.一種基于HSV顏色空間的車輛牌照提取方法[J].計(jì)算機(jī)工程,2004,30(17):133-135.

[2]劉廣起,鄭曉勢,張曉波.基于圖像紋理特征提取的車牌定位算法[J].中國圖象圖形學(xué)報(bào),2005,10(11):1419-1422.

[3]沈勇武,章專.基于特征顏色邊緣檢測的車牌定位方法[J].儀器儀表學(xué)報(bào),2008,29(12):2673-2677.

[4]包全磊.基于HSV空間的彩色圖像分割[J].軟件導(dǎo)刊,2010,9(7):171-172.

[5]郭英華.基于HSV色彩空間的圖像分割[J].黑龍江冶金,2011,31(2):35-37.

[6]王國良,梁德群.一種新的車牌定位與傾斜校正方法[J].計(jì)算機(jī)應(yīng)用,2008,28(7):1890-1891.

[7]史燕,呂永戰(zhàn),張帆.車牌識(shí)別中的二值化及快速傾斜校正算法[J].現(xiàn)代電子技術(shù),2009(5):149-153.

[8]路小波,包明,黃衛(wèi).基于投影的車牌傾斜檢測方法[J].交通運(yùn)輸工程與信息學(xué)報(bào),2004(4):10-15．

[9]賈曉丹,李文舉,王海姣.一種新的基于Radon變換的車牌傾斜校正方法[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(3):245-248.

[10]梁添才,皮佑國,彭晶,等.基于Hough變換的列車客運(yùn)票圖像傾斜校正[J].華南理工大學(xué)學(xué)報(bào),2007,35(5):35-39.

作者簡介:郁浩(1990—),男,碩士研究生。研究方向:圖像與信息處理。

收稿日期:2015- 05- 21

中圖分類號TP391.41

文獻(xiàn)標(biāo)識(shí)碼A

文章編號1007-7820(2016)01-094-05

doi:10.16180/j.cnki.issn1007-7820.2016.01.025