任安虎， 張 燕 ，張 亮

（1.西安工業(yè)大學(xué) 電子信息工程學(xué)院，陜西 西安 710032；2.陜西工業(yè)職業(yè)技術(shù)學(xué)院 電氣工程系，陜西 咸陽(yáng) 712000）

車牌識(shí)別系統(tǒng)是圖像模式識(shí)別領(lǐng)域的一個(gè)經(jīng)典研究課題。對(duì)車牌識(shí)別技術(shù)的研究不但會(huì)極大促進(jìn)數(shù)字圖像處理、計(jì)算機(jī)視覺(jué)、模式識(shí)別與人工智能等相關(guān)領(lǐng)域理論與實(shí)踐的發(fā)展，而且其在公共安全、交通管理、軍事部門等的實(shí)際應(yīng)用價(jià)值也不可估量。一個(gè)典型的車牌識(shí)別系統(tǒng)由圖像采集、圖像預(yù)處理、車牌定位、字符分割以及字符識(shí)別幾部分組成。其中字符識(shí)別是車牌識(shí)別系統(tǒng)中的關(guān)鍵環(huán)節(jié)，識(shí)別方法的好壞直接影響到整個(gè)車牌最終的識(shí)別效果。在字符識(shí)別模塊，針對(duì)單一識(shí)別技術(shù)識(shí)別率較低的問(wèn)題提出了從數(shù)據(jù)融合理論的角度出發(fā)，有效地、綜合地應(yīng)用多種識(shí)別技術(shù)來(lái)提高系統(tǒng)的識(shí)別率。

1 數(shù)據(jù)融合的基本原理

數(shù)據(jù)融合技術(shù)實(shí)際上是對(duì)人腦綜合處理復(fù)雜問(wèn)題的一種功能模擬。在多傳感器系統(tǒng)中由于各種傳感器提供的信息具有不同的特征：時(shí)變的或者非時(shí)變的；實(shí)時(shí)的或者非實(shí)時(shí)的；快變的或者緩變的；模糊的或者確定的；精確的或者不完整的；可靠的或者非可靠的；相互支持的或者互補(bǔ)的；也可能是相互矛盾或沖突的。而數(shù)據(jù)融合系統(tǒng)能充分利用多個(gè)傳感器資源、對(duì)各種傳感器及其觀測(cè)信息合理支配與使用，將各種傳感器在空間或時(shí)間上的互補(bǔ)或冗余信息依據(jù)某種優(yōu)化準(zhǔn)則組合起來(lái)，產(chǎn)生對(duì)觀測(cè)環(huán)境的一致性解釋和描述。因此，數(shù)據(jù)融合的目標(biāo)是基于各種傳感器分離觀測(cè)信息，再通過(guò)對(duì)信息的優(yōu)化組合導(dǎo)出更多的有效信息，它的最終目的是利用多個(gè)傳感器共同或聯(lián)合操作的優(yōu)勢(shì)，提高整個(gè)系統(tǒng)的有效性，消除單個(gè)或少量傳感器的局限性。

數(shù)據(jù)融合技術(shù)與經(jīng)典信號(hào)處理方法有本質(zhì)的區(qū)別，數(shù)據(jù)融合所處理的多傳感器信息不但具有更為復(fù)雜的形式，而且還可以在不同的信息層次上出現(xiàn)，這些信息表征層次包括：數(shù)據(jù)層、特征層和決策層。直接在采集到的原始數(shù)據(jù)層上進(jìn)行的融合稱為數(shù)據(jù)層融合，數(shù)據(jù)層融合是最低層次的融合，它的優(yōu)點(diǎn)在于能保持盡可能多的現(xiàn)場(chǎng)數(shù)據(jù)，提供其他融合層次所不能提供的細(xì)微信息，但其局限性也是比較明顯的，主要原因在于數(shù)據(jù)層融合是在信息的最底層進(jìn)行的，由于傳感器原始信息的不確定性、不完全性和不穩(wěn)定性，對(duì)融合結(jié)果影響較大，穩(wěn)定性較差。因此，數(shù)據(jù)層上的融合具有很大的盲目性，原則上不贊成直接在數(shù)據(jù)層上進(jìn)行數(shù)據(jù)融合，而且數(shù)據(jù)層融合通常要求選用的傳感器必須是同類型傳感器或相同量級(jí)的傳感器。數(shù)據(jù)層上通常采用的融合方法有加權(quán)平均法、像素灰度值選擇融合方法、基于區(qū)域特征的融合方法、小波變換法、金字塔分解方法等。特征層融合是先對(duì)來(lái)自傳感器的原始信息進(jìn)行特征提取，然后再對(duì)特征信息進(jìn)行綜合分析和處理，特征層融合屬于中間層次的融合，也是最成熟、發(fā)展最完善的融合理論，它的優(yōu)點(diǎn)是通過(guò)特征提取既實(shí)現(xiàn)了信息壓縮，又保留了最重要的信息。特征層融合通常采用的算法有參量模板法、聚類分析法、人工神經(jīng)網(wǎng)絡(luò)等。決策層融合是一種高層次融合，它能充分利用特征層融合的最終結(jié)果，采用適當(dāng)?shù)娜诤霞夹g(shù)給出最終的檢測(cè)、控制、指揮、決策的依據(jù)，決策層融合的最大優(yōu)點(diǎn)是具有容錯(cuò)性，當(dāng)一個(gè)或幾個(gè)傳感器出現(xiàn)錯(cuò)誤時(shí)，通過(guò)適當(dāng)?shù)娜诤?，系統(tǒng)最終還能獲得正確的結(jié)果。決策層融合通常所采用的方法有貝葉斯推斷、D-S證據(jù)理論、模糊集理論、專家系統(tǒng)等?？偟卣f(shuō)來(lái)，數(shù)據(jù)融合本質(zhì)上是一個(gè)由底層至頂層，對(duì)多元信息進(jìn)行融合，逐層抽象的信息處理過(guò)程[1-3]。

2 基于數(shù)據(jù)融合理論的車牌字符識(shí)別

數(shù)據(jù)融合是一種對(duì)數(shù)據(jù)的綜合和處理技術(shù)，是許多傳統(tǒng)學(xué)科和新技術(shù)的繼承和應(yīng)用，而對(duì)數(shù)據(jù)的綜合和處理能力反應(yīng)在所選用的融合算法上。因此，在一個(gè)融合系統(tǒng)中，核心的問(wèn)題是選擇合適的融合算法。經(jīng)過(guò)對(duì)各種融合算法原理及優(yōu)缺點(diǎn)的研究比較之后，最終確定了各層上所采用的融合算法：數(shù)據(jù)層選擇了加權(quán)平均算法；特征層選擇了人工神經(jīng)網(wǎng)絡(luò)算法；決策層采用了模糊推理算法以實(shí)現(xiàn)對(duì)車牌字符的最終識(shí)別。圖1為應(yīng)用數(shù)據(jù)融合技術(shù)識(shí)別車牌字符的流程框圖。

圖1數(shù)據(jù)融合技術(shù)識(shí)別車牌字符流程框圖Fig.1 Flow chart of data fusion technology to identify license plate characters

2.1 數(shù)據(jù)層融合

加權(quán)平均融合算法，是通過(guò)融合各源圖像的冗余信息提高檢測(cè)的可靠性和融合后圖像的信噪比。而且它對(duì)來(lái)自不同傳感器的多幅源圖像進(jìn)行數(shù)據(jù)層融合時(shí)，無(wú)需考慮各源圖像像素之間的相關(guān)性及配準(zhǔn)技術(shù)，因此也是最簡(jiǎn)單、最方便的數(shù)據(jù)層融合算法。

以3幅圖像為例對(duì)加權(quán)平均算法進(jìn)行敘述：設(shè)融合結(jié)果為 FUS（i，j），輸入圖像為 A（i，j）、B（i，j）和 C（i，j），（i，j）是圖像中某點(diǎn)像素的坐標(biāo)位置，該算法的表達(dá)式如式1所示：

其中 α、β、γ 為加權(quán)系數(shù)，且 α+β+γ=1。 權(quán)值系數(shù)的大小可依據(jù)圖像的質(zhì)量來(lái)確定。若則為平均融合。

設(shè)計(jì)中對(duì)同一車輛采集了3幀圖像，通過(guò)定位、字符分割、歸一化后，針對(duì)同一個(gè)車牌字符得到了3個(gè)樣本，對(duì)這3個(gè)樣本的像素值進(jìn)行平均融合，得到融合以后的字符樣本，再將融合結(jié)果送往特征層進(jìn)行下一步處理。與以往只用單幀圖像作為識(shí)別對(duì)象的識(shí)別算法比較，數(shù)據(jù)融合技術(shù)彌補(bǔ)了因單幀圖像拍攝效果不佳而造成無(wú)法識(shí)別的不足，這也是本設(shè)計(jì)的創(chuàng)新處之一。

2.2 特征層融合

神經(jīng)網(wǎng)絡(luò)[4-5]具有很強(qiáng)的容錯(cuò)性和自學(xué)習(xí)、自組織及自適應(yīng)能力，能夠模擬復(fù)雜的非線性映射，恰好滿足多傳感器信息融合技術(shù)處理的要求，在數(shù)據(jù)融合理論研究中受到高度重視，具有廣闊的應(yīng)用前景。另外，在數(shù)據(jù)融合系統(tǒng)中要將來(lái)自不同類型傳感器的數(shù)據(jù)進(jìn)行非線性關(guān)聯(lián)并形成一個(gè)融合矢量是非常困難的，而神經(jīng)網(wǎng)絡(luò)則能實(shí)現(xiàn)這一特殊功能。因此，神經(jīng)網(wǎng)絡(luò)分類器是本設(shè)計(jì)特征層融合首先考慮采用的算法。在諸多的神經(jīng)網(wǎng)絡(luò)分類器中BP神經(jīng)網(wǎng)絡(luò)算法數(shù)學(xué)意義明確、學(xué)習(xí)步驟分明，而且網(wǎng)絡(luò)經(jīng)訓(xùn)練收斂之后進(jìn)行識(shí)別時(shí)還具有計(jì)算量小、速度快等優(yōu)勢(shì)。所以，最終確定采用BP神經(jīng)網(wǎng)絡(luò)分類器作為特征層的融合算法。

具有單隱層的3層BP網(wǎng)絡(luò)能夠逼近任何有限函數(shù)，也能使處理的問(wèn)題簡(jiǎn)單化，而且車牌識(shí)別系統(tǒng)屬于一個(gè)小類別分類問(wèn)題，故采用3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)符合實(shí)際應(yīng)用的要求。首先對(duì)經(jīng)過(guò)數(shù)據(jù)層融合后的字符像素進(jìn)行特征提取，設(shè)計(jì)中共提取了3類互補(bǔ)性強(qiáng)的字符特征：字符原始特征，粗網(wǎng)格特征及水平、垂直投影特征和字符外圍輪廓特征，作為輸入信號(hào)分別送給3個(gè)BP神經(jīng)網(wǎng)絡(luò)分類器，根據(jù)識(shí)別系統(tǒng)的需求設(shè)置好各個(gè)網(wǎng)絡(luò)的初始參數(shù)后，開始對(duì)3個(gè)BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練過(guò)程中不斷調(diào)整網(wǎng)絡(luò)參數(shù)，最終使各個(gè)BP網(wǎng)絡(luò)達(dá)到良好的收斂效果，然后用訓(xùn)練好的3個(gè)BP神經(jīng)網(wǎng)絡(luò)分別對(duì)同1個(gè)車牌字符進(jìn)行識(shí)別。

2.3 決策層融合

決策層采用了模糊推理技術(shù)[6-7]作為最終判決的依據(jù)。模糊系統(tǒng)中，知識(shí)的抽取和表達(dá)比較方便，但學(xué)習(xí)能力較差，神經(jīng)網(wǎng)絡(luò)可從樣本中進(jìn)行有效的學(xué)習(xí)，但從網(wǎng)絡(luò)中提取知識(shí)的過(guò)程比較困難；模糊系統(tǒng)適合于處理結(jié)構(gòu)化的知識(shí)，而神經(jīng)網(wǎng)絡(luò)對(duì)處理非結(jié)構(gòu)化信息更為有效。設(shè)計(jì)中選擇特征層神經(jīng)網(wǎng)絡(luò)分類器的輸出作為決策層模糊推理系統(tǒng)的輸入還可實(shí)現(xiàn)數(shù)據(jù)整理、聚集和抑制噪聲，使獲取模糊規(guī)則的過(guò)程變得容易。所以，融合系統(tǒng)中模糊推理技術(shù)和神經(jīng)網(wǎng)絡(luò)技術(shù)能克服自身不足、各取所長(zhǎng)、優(yōu)勢(shì)互補(bǔ)，從而使融合系統(tǒng)的性能得到改善。

運(yùn)用模糊理論進(jìn)行模式識(shí)別時(shí)通常采用3種方法：隸屬原則識(shí)別法、擇近原則識(shí)別法以及模糊聚類分析法。設(shè)計(jì)中選用了隸屬原則識(shí)別算法對(duì)3個(gè)BP網(wǎng)絡(luò)的識(shí)別結(jié)果進(jìn)行最終決策。隸屬原則識(shí)別法的難點(diǎn)在于隸屬度函數(shù)的選擇。

隸屬原則識(shí)別法的原理如下：設(shè)論域U中n個(gè)模糊子集A1，A2，…，An，且對(duì)于每一個(gè) Ai都有隸屬度函數(shù) μAi（x），對(duì)任意 x0∈U，若有：

則判定x0屬于Ai，隸屬原則簡(jiǎn)單易懂、清晰明了。

由于每個(gè)BP網(wǎng)絡(luò)提取的是字符的不同特征，各網(wǎng)絡(luò)參數(shù)的設(shè)置也各不相同，導(dǎo)致3個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)同一個(gè)測(cè)試字符的輸出向量和識(shí)別率各不相同，所以設(shè)計(jì)中是從這兩個(gè)方面出發(fā)確定隸屬度函數(shù)。3個(gè)BP網(wǎng)絡(luò)對(duì)同一個(gè)字符進(jìn)行識(shí)別時(shí)的輸出向量構(gòu)成一個(gè)3行50列 （設(shè)計(jì)中所需識(shí)別的字符共計(jì)50類）的矩陣M，統(tǒng)計(jì)出3個(gè)BP網(wǎng)絡(luò)的識(shí)別率后將其歸一化為一個(gè)1行3列的矩陣N，確定隸屬度函數(shù)可通過(guò)兩矩陣相乘Q=N[1×3]·M[3×50]得到，相乘結(jié)果Q[1×50]為一個(gè)行向量，取該向量中最大值所對(duì)應(yīng)的字符作為模糊決策的最終結(jié)果，如式3所示：

3 仿真結(jié)果及其分析

應(yīng)用MATLAB軟件對(duì)上述各個(gè)模塊所采用的算法進(jìn)行了仿真，效果如圖2所示。仿真結(jié)果表明，針對(duì)同一幅車牌圖像，3個(gè)BP網(wǎng)絡(luò)給出了不同的識(shí)別結(jié)果，但是通過(guò)決策層的模糊推理融合算法仍然能夠正確地識(shí)別。

圖2車輛原圖像及識(shí)別結(jié)果Fig.2 Vehicles of the original image and the recognition results

設(shè)計(jì)中共采集到實(shí)際的車輛圖像84套，其中因無(wú)法準(zhǔn)確定位或字符分割的圖像共12套，在剩余的72套圖像中，用其中的50套作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本，其余22套作為測(cè)試樣本，對(duì)車牌識(shí)別，經(jīng)實(shí)驗(yàn)統(tǒng)計(jì)，其結(jié)果如表1所示。

表1車牌識(shí)別結(jié)果統(tǒng)計(jì)Tab.1 Statistical result of license plate recognition

由以上統(tǒng)計(jì)結(jié)果可明確的看出，應(yīng)用數(shù)據(jù)融合技術(shù)系統(tǒng)的識(shí)別率較單一識(shí)別方法有了較大的提高，達(dá)到了90.9%。

4 結(jié)束語(yǔ)

基于數(shù)據(jù)融合理論，將不同的識(shí)別方法有效地結(jié)合起來(lái)構(gòu)成融合型車牌字符識(shí)別系統(tǒng)，數(shù)據(jù)層應(yīng)用了加權(quán)平均算法，特征層選用了BP神經(jīng)網(wǎng)絡(luò)，決策層采用了模糊推理算法。實(shí)驗(yàn)證明，該系統(tǒng)能有效的實(shí)現(xiàn)車牌字符識(shí)別，字符識(shí)別率達(dá)到了90%以上，較采用單一識(shí)別方法有了較大的提高。通過(guò)融合使信息資源得到了充分利用，各種方法互補(bǔ)，系統(tǒng)性能得到了很大提高。對(duì)于特征層融合應(yīng)用的BP神經(jīng)網(wǎng)絡(luò)算法，直接使用了前人的研究成果，可對(duì)網(wǎng)絡(luò)的參數(shù)設(shè)置及收斂速度進(jìn)一步的研究，加以改善提高。

[1]呂穎.基于模塊化的數(shù)據(jù)融合系統(tǒng)在車牌識(shí)別中的應(yīng)用[D].河北：河北工業(yè)大學(xué)，2006：23-32.

[2]郭濤，李龍飄，費(fèi)慶國(guó)，等.數(shù)據(jù)融合技術(shù)中Dempster-Shafer證據(jù)理論的應(yīng)用[J].信息化縱橫，2009，28（16）：80-82.GUO Tao，LI Long-piao，F(xiàn)EI Qing-guo，et al.Application of dempster-Shafer evidence theory in data fusion technology[J].Informationization，2009，28（16）：80-82.

[3]Lee MS，Kim Y H.New multitarget data association using OSJPDA algorithm for automotive radar[J].IEICE Transaction on Electronics，2001，E84-c（8）:1077-1083.

[4]湯茂斌，謝渝平，李就好.基于神經(jīng)網(wǎng)絡(luò)算法的字符識(shí)別方法研究[J].微電子學(xué)與計(jì)算機(jī)，2009，26（8）：91-93.TANG Mao-bin，XIE Yu-ping，LI Jiu-hao.Research of character recognition method based on neural network algorithm[J].Microelectronics&Computer，2009，26（8）：91-93.

[5]馬寧，常驥.基于BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別研究[J].哈爾濱師范大學(xué)自然科學(xué)學(xué)報(bào)，2009，25（4）：89-91.MA Ning，CHANG Ji.Research of handwritten digital recognition based on Back Propagation neural network[J].Natural sciences journal of Harbin Normal University，2009，25（4）：89-91.

[6]董方靈，陳劍祥，趙江南.模糊模式識(shí)別法在成礦預(yù)測(cè)中的應(yīng)用[J].新疆地質(zhì)，2009，27（3）：294-296.DONG Fang-ling，CHEN Jian-xiang，ZHAO Jiang-nan.The application of the fuzzy pattern recognition to predict the mineralization[J].XinJiang Geology，2009，27（3）：294-296.

[7]韓峰，朱鐳，智小軍.基于模糊理論的多傳感器數(shù)據(jù)融合測(cè)量[J].應(yīng)用光學(xué)，2009，30（6）：988-991.HAN Feng，ZHU Lei，ZHI Xiao-jun.Measurement of multi-sensor data fusion method based on fuzzy theory[J].Journal of Applied Optics，2009，30（6）：988-991.