呂 顥，劉 峰，干宗良，麥媛玲

(1.南京郵電大學(xué) 圖像處理與圖像通信江蘇省重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003;2.視頻圖像智能分析與應(yīng)用公安部重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510000)

基于字典學(xué)習(xí)的模糊車牌中文字符識(shí)別

呂 顥1，劉 峰1，干宗良1，麥媛玲2

(1.南京郵電大學(xué) 圖像處理與圖像通信江蘇省重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003;2.視頻圖像智能分析與應(yīng)用公安部重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510000)

車牌識(shí)別技術(shù)已經(jīng)是一項(xiàng)非常成熟的技術(shù)。而車牌當(dāng)中的中文字符由于筆畫比較復(fù)雜且位置較偏導(dǎo)致拍攝條件受限，得到的車牌中文字符圖像質(zhì)量不佳，往往較難辨認(rèn)，從而給車牌識(shí)別工作尤其是車牌中文字符識(shí)別帶來(lái)了極大困難。文中采用基于費(fèi)希爾判別準(zhǔn)則的字典學(xué)習(xí)方法來(lái)提取中文字符的特征，為了從不同的角度對(duì)中文字符提取特征，用不同的訓(xùn)練樣本訓(xùn)練三個(gè)字典學(xué)習(xí)模型，將車牌中文字符樣本分別通過(guò)訓(xùn)練好的三個(gè)字典學(xué)習(xí)模型，從而形成三種殘差信息，用Softmax對(duì)三種殘差信息進(jìn)行整合，最終得到識(shí)別結(jié)果。通過(guò)實(shí)際測(cè)試表明，由于文中采用了更加具有區(qū)分能力的基于費(fèi)希爾判別準(zhǔn)則的字典模型，且采用三種不同的字典學(xué)習(xí)模型同時(shí)對(duì)同一個(gè)中文字符進(jìn)行特征提取，與傳統(tǒng)的中文識(shí)別方法相比，該方法對(duì)模糊車牌中文字符具有較好的識(shí)別效果。

中文字符識(shí)別;字典學(xué)習(xí);主成分分析;Softmax回歸

0 引 言

隨著智慧城市的快速建設(shè)和機(jī)動(dòng)車輛數(shù)量的增加，車牌識(shí)別技術(shù)變得愈來(lái)愈重要。由于受獲取圖像實(shí)際環(huán)境和條件的限制，車牌圖像可能會(huì)十分模糊。此外，中文字符結(jié)構(gòu)具有多樣性和復(fù)雜性等特性，使得識(shí)別這種模糊場(chǎng)景中的車牌中文字符變得十分困難。

中文車牌識(shí)別技術(shù)在國(guó)內(nèi)外研究廣泛，有許多方法可以處理此類問(wèn)題。如最簡(jiǎn)單的模板匹配[1-2]，它不需要提取特征，輸入圖像直接與一系列的模板字符進(jìn)行匹配，最終選擇出與原圖像最接近的模板并將其作為最終的字符識(shí)別結(jié)果。ANN(人工神經(jīng)網(wǎng)絡(luò))也常被用來(lái)識(shí)別中文字符[2-4]。當(dāng)然目前CNN(卷積神經(jīng)網(wǎng)絡(luò))在中文字符的識(shí)別[6-7]上運(yùn)用得更加廣泛，它是通過(guò)許多樣本來(lái)訓(xùn)練一個(gè)能夠識(shí)別中文字符的卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)卷積層和采樣層來(lái)提取圖像特征。SVM(支持向量機(jī))也常用在識(shí)別系統(tǒng)中[8-11]。近年來(lái)，字典學(xué)習(xí)也逐漸被使用[12-14]。還有用經(jīng)典的字典學(xué)習(xí)方式SRC(稀疏表示識(shí)別方法)完成車牌識(shí)別任務(wù)。但是由于原始車牌中的噪聲干擾，導(dǎo)致字典不能有效地表示目標(biāo)車牌?？偟膩?lái)說(shuō)，上述方法都能識(shí)別出清晰的中文字符，但對(duì)于模糊車牌的識(shí)別仍然非常困難。

因此，文中提出一種基于費(fèi)希爾判別準(zhǔn)則的字典學(xué)習(xí)方法來(lái)表示車牌中的中文字符。通過(guò)費(fèi)希爾判別準(zhǔn)則得到的字典能夠比一般的字典學(xué)習(xí)方法生成的字典更好地表示模糊中文字符。采用三個(gè)字典學(xué)習(xí)模型同時(shí)對(duì)一個(gè)模糊車牌樣本進(jìn)行處理，進(jìn)而分別得到三個(gè)不同的殘差，將其通過(guò)Softmax回歸進(jìn)行整合得到最終識(shí)別結(jié)果。

1 車牌中文識(shí)別算法

算法流程如圖1所示。

圖1 算法流程

先從現(xiàn)實(shí)的車牌圖像中截取車牌中文字符。經(jīng)過(guò)一系列的預(yù)處理操作，用PCA(Principal Components Analysis)對(duì)車牌中文字符的特征進(jìn)行提取，不僅可以降低數(shù)據(jù)的維度，加快算法的速度，同時(shí)也可以濾除噪聲。根據(jù)不同的訓(xùn)練樣本分別生成三個(gè)字典學(xué)習(xí)模型。用基于費(fèi)希爾判別準(zhǔn)則的字典學(xué)習(xí)模型來(lái)建立字典更加利于模糊車牌中文字符的重建。最后，將經(jīng)過(guò)字典學(xué)習(xí)所得到的殘差作為輸入，采用Softmax回歸的方式進(jìn)行整合并得到最終的識(shí)別結(jié)果。識(shí)別模型數(shù)量的增加使得識(shí)別結(jié)果更加穩(wěn)定。如果一旦一個(gè)識(shí)別器識(shí)別錯(cuò)了，最終結(jié)果會(huì)被其他兩個(gè)識(shí)別器糾正過(guò)來(lái)。實(shí)驗(yàn)結(jié)果表明，該方法更加有利于中文車牌字符的識(shí)別。

1.1預(yù)處理

一般從監(jiān)控視頻中獲取的是包含車輛以及更多背景圖片的圖像，識(shí)別系統(tǒng)無(wú)法直接處理。因此，這些圖像必須經(jīng)過(guò)一系列預(yù)處理，包括車牌截取、仿射變換、字符分割、灰度化、去均值和歸一化等步驟。經(jīng)過(guò)預(yù)處理，中文字符圖像變得更加利于后續(xù)操作。

1.2特征提取

PCA是一種數(shù)據(jù)處理技術(shù)，可以方便有效地找出對(duì)象的主成分和圖像結(jié)構(gòu)，消除冗余信息量的同時(shí)降低數(shù)據(jù)維度。該方法非常簡(jiǎn)單且沒(méi)有參數(shù)限制，已經(jīng)廣泛應(yīng)用于字符識(shí)別中[15-16]。經(jīng)過(guò)PCA操作，可以提取出模糊車牌中文字符的特征，加快整個(gè)算法的速度，在一定程度上降低圖像噪聲。

1.3識(shí)別算法

目前字典學(xué)習(xí)在許多圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域當(dāng)中應(yīng)用廣泛[14-15]。與一般字典學(xué)習(xí)方法不同的是，文中算法生成的字典不僅具有區(qū)分性，而且對(duì)應(yīng)的稀疏系數(shù)同樣具有稀疏性。

該方法先構(gòu)造一組與類別標(biāo)簽相關(guān)的結(jié)構(gòu)字典D=[D1,D2,…,DC]，其中Di為與第i個(gè)省份中文車牌信息相關(guān)的字典部分；C值為31，因?yàn)榭偣残枰R(shí)別31個(gè)省份的車牌。訓(xùn)練車牌樣本表示為X=[X1,X2,…,XC]，X通過(guò)結(jié)構(gòu)字典線性表示：X≈DA。其中A表示編碼稀疏矩陣，A=[A1,A2,…,AC]，Ai代表屬于第i省份的所有訓(xùn)練樣本Xi通過(guò)字典D表示所對(duì)應(yīng)的編碼系數(shù)。除了需要字典D對(duì)訓(xùn)練樣本X具有強(qiáng)大的重建區(qū)分能力，也希望A具有區(qū)別樣本的能力。因此引入費(fèi)希爾判別準(zhǔn)則，使得稀疏編碼系數(shù)A的類間散度變大同時(shí)類內(nèi)散度變小。最終，損失函數(shù)如下：

λ2f(A)}

(1)

其中，r(A,D,X)為區(qū)別項(xiàng)；‖A‖1為稀疏項(xiàng)；f(A)為區(qū)別常數(shù)項(xiàng)；λ1和λ2為系數(shù)參數(shù)。

接下來(lái)詳細(xì)討論費(fèi)希爾判決標(biāo)準(zhǔn)中的r(A,D,X)和f(x)。

區(qū)別系數(shù)項(xiàng)f(A)是為了使編碼系數(shù)A同樣具有區(qū)分能力?；谫M(fèi)希爾判決準(zhǔn)則，最小化類內(nèi)間隔SW(A)同時(shí)最大化類間間隔SB(A)。其中SW(A)和SB(A)分別定義為：

(2)

(3)

其中，mi和m分別是Ai和A的平均向量。

因此f(A)被定義為：

(4)

殘差生成：對(duì)于測(cè)試樣本y，首先通過(guò)字典D編碼，從而能獲得它的稀疏系數(shù)編碼：

(5)

其中，α為子字典Di的系數(shù)。

定義殘差為：

(6)

其中，第一項(xiàng)代表第i個(gè)省的重建錯(cuò)誤；第二項(xiàng)為系數(shù)向量α與所學(xué)習(xí)到的第i個(gè)省車牌的像素值均值的距離；ω為平衡這兩項(xiàng)的權(quán)重

識(shí)別整合：Softmax回歸是一個(gè)用于多分類識(shí)別的可監(jiān)督學(xué)習(xí)模型。將得到的殘差還有所對(duì)應(yīng)的省份標(biāo)簽作為訓(xùn)練樣本，將訓(xùn)練樣本放入Softmax回歸模型進(jìn)行訓(xùn)練。因此，一旦能夠獲得這三類不同字典學(xué)習(xí)模型所獲得的殘差信息，就可以通過(guò)Softmax回歸模型去確定這輛車來(lái)自于哪個(gè)省份。

2 實(shí)驗(yàn)結(jié)果與分析

在相同的軟件和硬件環(huán)境中測(cè)試并對(duì)比提出的識(shí)別算法與其他中文識(shí)別算法。如表1所示，SVM[8]占用了最少的時(shí)間，而ANN[2]和CNN[6]則花費(fèi)了較多的時(shí)間，神經(jīng)網(wǎng)絡(luò)需要花費(fèi)大量時(shí)間在反向梯度傳導(dǎo)時(shí)計(jì)算偏導(dǎo)數(shù)，而一般神經(jīng)網(wǎng)絡(luò)都有2到3層甚至更多。文中算法并沒(méi)有多層處理。因此，相對(duì)于多層網(wǎng)絡(luò)算法，時(shí)間損耗將少得多。即使重建模糊車牌需要花費(fèi)一定的時(shí)間，但是由于基于費(fèi)希爾判決的字典學(xué)習(xí)所產(chǎn)生的字典數(shù)量比其他字典學(xué)習(xí)要少，因此相對(duì)于其他字典學(xué)習(xí)方法花費(fèi)了更少的時(shí)間。

表1 不同算法的實(shí)驗(yàn)對(duì)比

從表1同樣可以看出，文中算法比其他算法有更高的識(shí)別率。原因在于所用的字典具有較強(qiáng)的區(qū)分能力，能夠較好地重建出要識(shí)別的模糊車牌。此外，同時(shí)使用三個(gè)不同的字典學(xué)習(xí)模型去識(shí)別同一個(gè)模糊車牌中文字符，一旦一個(gè)識(shí)別器給出了錯(cuò)誤信息，其他兩個(gè)識(shí)別器有很大的可能去糾正這個(gè)錯(cuò)誤。鑒于以上兩條優(yōu)勢(shì)，文中算法獲得了比較可觀的識(shí)別率。

表2 不同省份車牌的實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)

如表2所示，文中方法不光對(duì)于模糊中文車牌有更高的識(shí)別率，還有著很高的識(shí)別穩(wěn)定性，對(duì)結(jié)構(gòu)相近的省份字符同樣能夠區(qū)分出來(lái)，比如“甘”和“吉”、“云”和“甘”等等。在所有31個(gè)省份車牌中，有4個(gè)省的車牌達(dá)到100%的識(shí)別率，20個(gè)省的車牌達(dá)到大于97%的識(shí)別率。這與算法獨(dú)特的結(jié)構(gòu)設(shè)計(jì)以及字典學(xué)習(xí)方式是分不開的。由于通過(guò)字典所形成的殘差和稀疏編碼系數(shù)同時(shí)都具有區(qū)分性，故文中算法的字典能很好地重建出模糊車牌中文字符，使得中文車牌字符不易于與其他中文結(jié)構(gòu)相近的省份車牌字符所混淆。

3 結(jié)束語(yǔ)

文中提出了一種模糊車牌識(shí)別的新方法。該方法采用基于費(fèi)希爾判決準(zhǔn)則的字典學(xué)習(xí)模型和Softmax回歸來(lái)分別表示和識(shí)別模糊車牌中文字符。相比一般的字典學(xué)習(xí)算法，基于費(fèi)希爾判決準(zhǔn)則的字典學(xué)習(xí)對(duì)于模糊車牌中文字符有著更強(qiáng)的重建能力。此外，整合三個(gè)字典模型進(jìn)行識(shí)別的方法比只憑一個(gè)識(shí)別器識(shí)別的方法具有更高的識(shí)別率和更好的穩(wěn)定性。因此，可以廣泛應(yīng)用于車牌系統(tǒng)識(shí)別中。

[1] Lan C,Li F,Jin Y,et al.Research on the license plate recognition based on image processing[C]//Fifth international conference on instrumentation and measurement,computer,communication and control.Qinhuangdao:IEEE,2015:731-734.

[2] 鄒明明,盧 迪.基于改進(jìn)模板匹配的車牌字符識(shí)別算法實(shí)現(xiàn)[J].國(guó)外電子測(cè)量技術(shù),2010,29(1):59-61.

[3] 咼潤(rùn)華,蘇婷婷,馬曉偉.BP神經(jīng)網(wǎng)絡(luò)聯(lián)合模板匹配的車牌識(shí)別系統(tǒng)[J].清華大學(xué)學(xué)報(bào):自然科學(xué)版,2013(9):1221-1226.

[4] 吳 聰,殷 浩,黃中勇,等.基于人工神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別[J].計(jì)算機(jī)技術(shù)與發(fā)展,2016,26(12):160-163.

[5] Vishwanath N,Somasundaram S,Nishad A,et al.Indian license plate character recognition using Kohonen neural network[C]//International conference on computational intelligence & computing research.[s.l.]:IEEE,2012:1-4.

[6] Liu P,Li G,Tu D.Low-quality license plate character recognition based on CNN[C]//2015 8th international symposium on computational intelligence and design.Hangzhou:IEEE,2015:53-58.

[7] Zhong Z,Jin L,Feng Z.Multi-font printed Chinese character recognition using multi-pooling convolutional neural network[C]//13th international conference on document analysis and recognition.Tunis:IEEE,2015:96-100.

[8] Bautista R M J S,Navata V J L,Ng A H,et al.Recognition of handwritten alphanumeric characters using projection histogram and support vector machine[C]//International conference on humanoid,nanotechnology,information technology,communication and control,environment and management.[s.l.]:[s.n.],2015:1-6.

[9] Angeline L，Wei Y K，Wei L K,et al.Research of license plate character features extraction and recognition[C]//2nd international conference on computer science and network technology.[s.l.]:[s.n.],2012:2154-2157.

[10] Ghahnavieh A E,Amirkhani-Shahraki A,Raie A A.Enhancing the license plates character recognition methods by means of SVM[C]//22nd Iranian conference on electrical engineering.[s.l.]:[s.n.],2014:220-225.

[11] 周 鵬.基于支持向量機(jī)的車牌字符識(shí)別方法[J].數(shù)字技術(shù)與應(yīng)用,2016(9):91.

[12] 陳思寶,趙 令,羅 斌.基于核Fisher判別字典學(xué)習(xí)的稀疏表示分類[J].光電子·激光,2014,25(10):2000-2008.

[13] 練秋生,石保順,陳書貞.字典學(xué)習(xí)模型、算法及其應(yīng)用研究進(jìn)展[J].自動(dòng)化學(xué)報(bào),2015,41(2):240-260.

[14] 朱 杰,楊萬(wàn)扣,唐振民.基于字典學(xué)習(xí)的核稀疏表示人臉識(shí)別方法[J].模式識(shí)別與人工智能,2012,25(5):859-864.

[15] 劉冰冰.基于PCA車牌漢字識(shí)別算法的研究與實(shí)現(xiàn)[D].長(zhǎng)春:長(zhǎng)春理工大學(xué),2011.

[16] 閆雪梅,王曉華,夏興高.基于PCA和BP神經(jīng)網(wǎng)絡(luò)算法的車牌字符識(shí)別[J].激光與紅外,2007,37(5):481-484.

ChineseCharacterRecognitioninFuzzyVehiclePlateBasedonDictionaryLearning

LYU Hao1，LIU Feng1，GAN Zong-liang1，MAI Yuan-ling2

(1.Key Laboratory on Image Processing & Image Communications of Jiangsu Province，Nanjing University of Posts and Telecommunications,Nanjing 210003,China;2.Key Laboratory on Video Image Intelligent Analysis and Application of Ministry of Public Security,Guangzhou 510000,China)

Vehicle license plate recognition has already been a mature technology.However,due to the complicated strokes in Chinese character and bad shoot environment by the remote location,the image quality of Chinese character is too bad to recognize,which is difficult for the vehicle license plate recognition,especially for Chinese character recognition.The dictionary learning method based on Fisher discriminative criterion is proposed to extract the Chinese character features.In order to extracting features of Chinese character from different aspects,three dictionary learning models are trained by different training samples and through them,three different residual information are obtained which are integrated by Softmax for final recognition results.The practical tests show that compared with the traditional Chinese recognition methods,it can own better recognition effect in Chinese character of fuzzy vehicle plate since the use of dictionary model based on Fisher discriminative criterion with more strong distinguishing and adopting three dictionary learning models to extract features for same Chinese character at the same time.

Chinese character recognition;dictionary learning;principal component analysis;Softmax regression

2016-11-23

2017-03-09 < class="emphasis_bold">網(wǎng)絡(luò)出版時(shí)間

時(shí)間：2017-07-19

國(guó)家自然科學(xué)基金項(xiàng)目資助項(xiàng)目(61471201)；江蘇省高校重大基礎(chǔ)研究項(xiàng)目(13KJA510004)；江蘇省六大人才高峰資助計(jì)劃(RLD201402)；南京郵電大學(xué)“1311”人才資助計(jì)劃；廣州市軟件和信息服務(wù)產(chǎn)業(yè)專項(xiàng)資金所屬重點(diǎn)專項(xiàng)(2060404)

呂 顥(1992-)，男，碩士生，研究方向?yàn)閳D像處理與多媒體通信；劉 峰，博士，教授，博士生導(dǎo)師，通訊作者，研究方向?yàn)閳D像處理與多媒體通信、高速DSP與嵌入式系統(tǒng)。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170719.1113.084.html

TP301

A

1673-629X(2017)11-0075-04

10.3969/j.issn.1673-629X.2017.11.016