孫鵬 李賽 寇鵬 朱佳俊 韓喜瑞 張?zhí)燹?/p>

摘? 要：自動車牌識別技術在智能交通系統(tǒng)中發(fā)揮著重要作用，針對智能手持設備拍照分辨率低、角度不定等問題，設計和優(yōu)化了車牌識別中的步驟，包括：（1）基于形態(tài)學的車牌定位;（2）基于邊緣檢測的車牌傾斜校正;（3）基于人工神經網絡的車牌字符分割與識別等步驟。對手機拍攝的車牌照片進行實驗，所提出的算法利用神經網絡匹配識別精度達到95.2%，平均運行時間為2.015 s，無論識別精度還是時間都能夠達到應用需求。

關鍵詞：智能手持設備;車牌定位;邊緣檢測;人工神經網絡;車牌識別

中圖分類號：TP311.5? ? ?文獻標識碼：A

文章編號：2096-1472（2022）-01-29-04

Abstract： Automatic license plate recognition technology plays an important role in intelligent transportation systems. Aiming at the problems of low resolution and variable angles of smart handheld devices， this paper proposes to design and optimize the steps in license plate recognition. The optimized steps include （1） Morphology-based license plates location; （2） License plate tilt correction based on edge detection; （3） License plate character segmentation and recognition based on artificial neural network. Experiments on license plate photos taken by mobile phones show that the proposed algorithm achieves a recognition accuracy of 95.2%， and an average running time of 2.015 s， which can meet the application requirements of both the recognition accuracy and time.

Keywords： smart handheld device; license plate positioning; edge detection; artificial neural network; license plate?location

1 引言（Introduction）

隨著我國汽車數量不斷增加，現代城市需要建立高效的智能交通系統(tǒng)，自動車牌識別技術在其中起著重要作用，已經應用于交通執(zhí)法管理、小區(qū)停車管理等領域[1-4]。

移動攝像機相對于靜態(tài)攝像機識別方法更復雜，因為背景是不斷變化的，而且車牌在照片中的位置沒有固定的位置。王唯一等[5]提出了基于K-means算法的手持設備車牌識別技術，利用顏色的聚類確定車牌的位置信息。姚東卉[6]設計了一套基于神經網絡的手持設備車牌識別系統(tǒng)，實現了違停車輛的信息管理。張軍平等[7]提出了一種基于OpenCV的智能手機車牌識別方法，識別率達到了90%以上。然而，因為不同應用場景車牌識別系統(tǒng)的參數和閾值不同，所以本文提出了一種基于智能手持設備的車牌識別系統(tǒng)，在實際應用中具有較高的識別率與實時性，包括基于形態(tài)學的車牌定位、基于邊緣檢測的車牌傾斜校正、基于人工神經網絡的車牌字符分割與識別等步驟。

2? 基于智能手持設備的車牌識別系統(tǒng)（License plate recognition （LPR） system based on smart handheld device）

車牌識別是一種通過圖像處理提取車牌號的技術，包括圖像預處理、目標檢測、字符分割和字符識別等步驟。在現實應用中，車牌識別系統(tǒng)必須應對各種挑戰(zhàn)，如車牌類型不同、車牌字體不同和車牌顏色不同等，增加了車牌檢測和識別的難度。傳統(tǒng)的車牌識別系統(tǒng)通常安裝在固定點攝像機上，這種攝像機不便攜，價格昂貴，需要高分辨率的攝像機和復雜的圖像處理算法來處理圖像。利用高質量圖像進行車牌檢測與識別的準確率往往高于低質量圖像，現在的智能手機配備了高性能的處理器和高質量的攝像頭硬件，可以拍攝出高質量的圖像，從而使得實現基于智能手持設備車牌識別成為可能。

從拍攝的圖像中提取車牌號碼的車牌識別系統(tǒng)可分為五個步驟[8]。第一步是利用智能手持設備拍攝車牌圖像;第二步是基于形態(tài)學的車牌定位;第三步是基于邊緣檢測的車牌傾斜校正;第四步是分割車牌字符;最后通過神經網絡算法對提取的字符進行識別?？傮w車牌識別系統(tǒng)如圖1所示。

2.1? ?基于形態(tài)學的車牌定位

在車牌定位階段，我們的目的是使用基于邊緣的圖像處理技術根據原始圖像確定車牌區(qū)域。通過識別原始圖像中亮度急劇變化的點而獲得二值邊緣圖像。車牌區(qū)域的亮度變化比原始圖像中的其他區(qū)域更為明顯和頻繁。矩形車牌區(qū)域比其他區(qū)域包含更豐富的邊緣和紋理特征。因此，該信息可以用于確定車牌區(qū)域，我們使用了形態(tài)學方法。

首先對真彩色的車牌進行灰度化處理，然后進行高斯模糊處理，再進行基于Sobel算子的邊緣檢測，再運用形態(tài)學開、閉、膨脹等操作找出候選的區(qū)域，最后進行車牌定位切割操作。車牌定位流程如圖2所示。

為了提高運行速度和便于計算，通常需要將真彩色車牌圖像灰度化，灰度化之后要進行邊緣檢測，但是Sobel算子對噪聲比較敏感，所以我們先進行高斯模糊處理，消除掉噪聲同時模糊一下非車牌的邊緣。Sobel算子結合了微分求導和高斯平滑算法，通過這種算法來計算圖像中灰度的近似梯度。邊緣也是圖像的顯著特征之一。Sobel算子包含兩個3×3的矩陣，分別為水平與垂直模板，因為車牌中垂直邊緣比較多，所以我們用垂直邊緣檢測模板與車牌圖像進行卷積操作;然后將邊緣檢測的結果進行閉運算，填充孔洞;再進行開運算，去除小的噪聲，平滑邊界;之后進行移除小對象與膨脹操作，得到車牌的位置;最后根據獲得的車牌區(qū)域進行車牌定位裁剪。車牌定位實驗部分中間結果如圖3所示。

可以看到，經過灰度化和高斯模糊操作后，車牌圖像變得模糊，這一步操作能夠消除噪聲對后續(xù)處理的影響。邊緣檢測結果通過閉運算后只有幾個包括車牌區(qū)域的面積分割出來，經過開運算和去除噪聲之后，只有車牌區(qū)域被提取出來，然后通過膨脹操作定位裁剪后，可以得到包含車牌的區(qū)域圖像，易于后面的車牌傾斜校正和字符識別處理。

2.2? ?基于Hough變換的車牌傾斜校正

首先對車牌定位裁剪后的結果進行灰度化操作，然后利用Sobel算子進行邊緣檢測。邊緣檢測后進行膨脹操作利于Hough變換檢測車牌上下兩條平行的邊框，檢測到兩條平行的邊框后就可以知道車牌傾斜的角度，通過旋轉角度便可以完成車牌的傾斜校正。Hough變換是數字圖像處理中的一種特征提取技術。Hough變換最初由Paul Hough在1962 年提出。Hough變換用于通過查找圖像上的特定形狀對象來提取該對象，Hough變換方法也適用于校正。車牌傾斜校正的流程如圖4所示。

車牌傾斜校正算法的前三步與車牌定位相同，不過運行的是車牌定位裁剪后的圖像，然后利用Hough變換進行圖像的旋轉調整，檢測車牌上下邊框兩條平行直線，便可以知道車牌傾斜的角度，之后進行車牌的傾斜校正。圖像校正的公式如式（1）所示。

基于Hough變換的車牌傾斜校正部分實驗中間結果如圖5所示。

通過圖5可以發(fā)現，經過邊緣檢測處理后，包括上下邊框的區(qū)域被提取出來，通過膨脹操作和計算車牌上下邊框兩條平行直線的角度，再經過圖像旋轉操作，就可以得到車牌傾斜校正的結果。

2.3? ?基于人工神經網絡的車牌字符分割與識別

一般來說，人工神經網絡由處理單元形成，人工神經細胞彼此關聯(lián)，每個神經細胞之間的連接結構決定了神經網絡的結構。如何改變連接以實現預期目標，取決于人工神經網絡中的學習算法。直到系統(tǒng)結果和期望結果之間的錯誤率降低到足夠接近于零為止，根據學習規(guī)則改變網絡權重。因為沒有經驗法則來確定需要多少隱藏層，我們在本實驗中使用反向傳播學習算法構建了一層前饋人工神經網絡，并且在字符中使用此人工神經網絡確定字符的識別階段。在前饋神經網絡中，神經細胞（神經元）被組織成層，層中細胞的輸出通過權重作為下一層的輸入。輸入層接收來自外部環(huán)境的信息，并將其傳輸到隱藏層中的節(jié)點，而不進行任何更改。網絡輸出通過處理隱藏層和輸出層中的信息來確定。在神經網絡的訓練階段利用反向傳播學習算法。

車牌字符分割與識別流程如圖6所示。

首先對傾斜校正后的車牌圖像進行灰度化操作;然后進行Sobel邊緣檢測，再進行圖像腐蝕、平滑與移除小對象操作，裁剪得到只包含車牌字符的圖像;然后進行直方圖均衡化、中值濾波等操作得到車牌字符切割結果;最后訓練神經網絡，基于BP神經網絡的模板匹配得到最終識別結果。實驗的部分中間結果如圖7所示。

將人工神經網絡應用于車牌字符識別中，可以大大簡化識別過程，提高識別質量，同時獲得良好的識別效果。在車牌識別中使用神經網絡的另一個好處是系統(tǒng)的可擴展性，即能夠識別比最初定義的更多的特征集。在基于神經網絡的字符識別算法中，利用反向傳播算法對神經網絡進行訓練，調整神經網絡的權值，每個字符的大小是28×18 像素。為了訓練神經網絡，我們采集了804 幅車牌字符分割后的圖像作為訓練集，包含從0到9的數字與包括山東簡稱魯在內的10 個省份的簡稱。反向傳播算法是一種應用廣泛的算法，是一種訓練多層人工神經網絡的系統(tǒng)方法，它可以映射非線性過程。反向傳播網絡是一種有一個或多個隱藏層的前饋網絡，它的基本結構有三層。使用神經網絡具有現有相關性和統(tǒng)計模板技術的優(yōu)勢，可以使字符對噪聲具有穩(wěn)定性。

3? ?實驗與分析（Experiment and analysis）

我們使用MATLAB 2020b版本進行算法的實現，軟件界面如圖8所示，并且能夠人機交互更改算法閾值與參數。個人計算機配置包括Windows 7、GTX960獨立顯卡、16 GB運行內存。軟件中包含獲取圖像、圖像預處理、字符分割與識別等功能按鍵。在邊緣檢測算法中，可以人機交互修改邊緣檢測的閾值;在圖像腐蝕操作中，可以修改圖像腐蝕的結構元素大小;在平滑處理操作中，可以修改平滑處理結構元素大小;在移除小對象操作中，可以人機交互修改聯(lián)通像素的臨界值，使得車牌識別算法的識別效果更好，更有魯棒性。

對手機拍攝的6 幅車牌照片進行對比實驗。如表1所示為不同車牌的識別率與識別時間對比，可以看到相對于模板匹配，本文方法識別率更高，時間上也能滿足應用需求。

從本文方法和模板匹配法對比實驗結果可以看到，本文方法識別平均精度達到95.2%，相對于模板匹配方法識別平均精度有大幅度的提高，運行時間2 s左右，可以達到實際應用的要求。

4? ?結論（Conclusion）

本文旨在建立一個高效率的智能手持設備的車牌定位與車牌識別系統(tǒng)，設計和優(yōu)化了車牌識別中的步驟，包括基于形態(tài)學的車牌定位、基于邊緣檢測的車牌傾斜校正、車牌字符分割、基于人工神經網絡的車牌字符識別等。通過與模板匹配算法對比實驗，本文方法對6 幅車牌識別平均精度有大幅度的提高，達到95.2%，運行時間2 s左右，達到了實際應用的要求。不足之處是車牌實驗樣本比較少，后續(xù)會多采集車牌圖像與訓練圖像，提高識別精度與算法運行時間。

參考文獻（References）

[1] 張俊峰，尚振宏，劉輝.基于顏色特征與模板匹配的車牌識別系統(tǒng)設計與實現[J].軟件導刊，2018，17（1）：212-215.

[2] 楚天鴻，唐瑞尹.基于MATLAB平臺下的車牌識別系統(tǒng)設計[J].科技與創(chuàng)新，2020（14）：20-22.

[3] 林哲聰，張江鑫.一種基于GMP-LeNet網絡的車牌識別方法[J].計算機科學，2018，45（6A）：183-186.

[4] 楊洪臣，黨京，蔡能斌，等.BP神經網絡車牌識別技術優(yōu)化研究[J].中國刑警學院學報，2019（3）：120-124.

[5] 王唯一，祝振中.基于智能手持設備的車牌識別系統(tǒng)研究[J].計算機測量與控制，2016，24（07）：200-204.

[6] 姚東卉.基于手持車牌識別設備的違停車輛信息管理系統(tǒng)[D].濟南：山東大學，2018.

[7] 張軍平，徐衍勝.Android平臺下基于OpenCV的車牌號識別技術[J].蘭州交通大學學報，2021，40（03）：57-62.

[8] HENRY C， AHN S Y， LEE S W. Multinational license plate recognition using generalized character sequence detection[J]. IEEE Access， 2020， 8：35185-35199.

作者簡介：

孫? ?鵬（2000-），男，本科生.研究領域：智能制造.

李? ?賽（1991-），男，博士，講師.研究領域：計算機視覺.

寇? ?鵬（1990-），男，本科，工程師.研究領域：地理信息系統(tǒng).

朱佳?。?001-），男，本科生.研究領域：智能制造.

韓喜瑞（2000-），男，本科生.研究領域：智能制造.

張?zhí)燹龋?001-），女，本科生.研究領域：地理信息系統(tǒng).