劉煜

摘要：近年來，深度卷積神經(jīng)網(wǎng)絡（DCNN）獲得了較大的關(guān)注并被深入的研究。同時，一些基于卷積神經(jīng)網(wǎng)絡（CNN）的方法也被應用于車牌識別領域，并取得了較傳統(tǒng)方法更好的表現(xiàn)。然而在實際應用中，大多數(shù)車牌識別系統(tǒng)只能適應單一場景，比如在公寓、學校門口的欄桿處設立的攝像頭所使用的車牌識別算法，未必適用于高速公路場景。同時，固定在十字路口上方的攝像頭，由于監(jiān)視的區(qū)域路況較復雜，所拍攝的場景中，存在大量距離攝像頭位置較遠的小車牌，檢測效果通常較差。而如果使用對于檢測小車牌效果較好的模型，并不能很好地適用于公寓入口等位置。該文中，我們首先提出了一種基于CNN的車牌檢測算法，結(jié)合不同層次特征圖的預測，得出最終的車牌檢測結(jié)果。該方法有利于檢測不同大小尺寸的車牌，提高車牌檢測算法的魯棒性和通用性。我們的車牌檢測方法在公開數(shù)據(jù)集OpenITS上的平均精度均值（mAP）達到了99.99%。

關(guān)鍵詞：車牌檢測； 卷積神經(jīng)網(wǎng)絡；層次特征

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2018）14-0188-03

1 引言

目前很多的車牌檢測算法在實際應用中仍然存在著很多的挑戰(zhàn)。當視頻監(jiān)控設備被固定在不同的高度和位置時，很多方法，甚至是一些最新的基于CNN的方法，都不能很好地檢測大小不一致的車牌。尤其是距離視頻監(jiān)控設備較遠的車牌，檢出率會顯著下降。為了克服這個缺陷，我們根據(jù)CNN較靠后的卷積層更利于檢測尺寸較小的目標而較靠前的卷積層更適合檢測尺寸較大的目標的特性，采用了一種結(jié)合不同層次特征圖作為特征（即層級特征）的機制，應用于車牌檢測。對于每一個被選取的特征層，都劃分為若干個塊，每個塊都生成一系列不同尺寸和不同比例的預測框。車牌檢測階段的網(wǎng)絡會針對每個預測框，給出是否是車牌的置信分數(shù)，并利用回歸的方法，給出候選框的準確位置。由于不同層次的特征圖分辨率不同，從而感受野也不同，因此不同尺寸的車牌都將被識別出來。

候選區(qū)域生成一直以來都是目標檢測算法中最基礎的一步。常見的方法包括：多尺度組合分組算法（MCG），滑動窗口算法和選擇搜索算法（selective search）[1]。這些方法都是目標檢測算法中的獨立步驟，很多目標檢測算法都采用了這種分段式的訓練方法。Ren[2]等采用了候選區(qū)域生成網(wǎng)絡（RPN）的方法，使得候選區(qū)域能夠通過CNN生成，并且候選區(qū)域生成網(wǎng)絡和目標檢測網(wǎng)絡的卷積計算可以共享，大大地減小了計算量并縮短了訓練時間。Liu[3]則將候選區(qū)域生成網(wǎng)絡和目標檢測網(wǎng)絡合并成為一個網(wǎng)絡，真正實現(xiàn)了端到端（end-to-end）地完成目標檢測任務。該方法比Ren的方法速度更快并且有更高的準確率，我們也將這一思想應用于車牌檢測。實驗結(jié)果表明，我們的方法能夠以很高的準確率檢測出任意尺寸的車牌。

2 基于層級特征的車牌檢測實現(xiàn)細節(jié)

（1）網(wǎng)絡結(jié)構(gòu)

車牌檢測的網(wǎng)絡結(jié)構(gòu)如圖1所示。在[conv3_3]之前的部分是是類似于VGG-16[4]網(wǎng)絡設計的，之后我們增加了幾個卷積層，以提高檢測精度。我們綜合了[conv3_3]、[conv4_3]、[conv5_3]的預測框位置和置信度信息，利用非極大抑制算法（NMS）獲得最終的車牌位置。相比而言，[conv3_3]的特征圖上的像素感受野更小，也就是擁有更多的空間細節(jié)，因此適合檢測較小的目標。同時，[conv5_3]的特征圖上的像素感受野更大，適合檢測較大的目標。

（2）候選區(qū)域生成

對[conv3_3]、[conv4_3]、[conv5_3]所獲得的三個特征圖劃分成若干個塊，并對特征圖上的每個塊生成一系列不同長寬比、不同大小的預測框。在我們的實驗中，特征圖上的塊結(jié)合了6種預測框，選取的預測框尺寸和比例，更適合于車牌檢測。設定高寬比為1：1、1：2和1：3三種比例，尺寸則根據(jù)不同層次的特征圖而決定。這樣，各種尺度的車牌都可以被檢測。表1展示了我們在實驗中所選取預測框的尺寸和比例。

（3）損失函數(shù)

對于每個層次的特征圖預測，都有兩個輸出。第一個輸出部分是該層特征圖上每個選取樣本正負例分類的置信誤差，用公式（1）表示：

其中，[Ncls]表示的是一批預測框，包括正例和負例預測框的數(shù)量。[pi]表示第i個預測框的預測的正負性，[p*i]表示第i個預測框的真實正負性。如果是正例樣本，則[p*i=1]，如果是負例樣本，則[p*i=0]。[Lcls（?）]是單個預測框的分類損失，我們用softmax計算。

第二個輸出部分是該層特征圖上每個選取樣本位置與真實車牌區(qū)域位置的誤差，用公式（2）表示：

其中，[Nreg]是表示的是一批預測框中正例樣本的數(shù)量。[ti]表示第i個預測框的預測位置偏差，[t*i]表示第i個預測框的回歸目標。[Lreg（?）]是預測框的回歸損失，我們用smooth-L1[5]計算，其展開形式如公式（3）：

結(jié)合這兩個損失函數(shù)作為整個損失函數(shù)，如公式（4）所述，并在每一個被選取的特征圖上預測。其中[λ]是權(quán)重系數(shù)。在我們的實驗中，[λ=1]。

3 基于層級特征的車牌檢測實驗

（1）不同測試集的測試結(jié)果

我們在中山大學制作的公開數(shù)據(jù)集OpenITS上測試了車牌檢測算法的準確性。OpenITS有1403張圖片和1862張標注的車牌，涵蓋了中國大陸所有省份的車牌。圖展示了在OpenITS數(shù)據(jù)集上，我們方法和Faster R-CNN以及傳統(tǒng)方法的效果對比。我們使用的衡量標準是mAP。如圖2（a）所示，我們的方法在OpenITS上的mAP接近100%，達到了99.99%。

由于OpenITS的數(shù)據(jù)相對于現(xiàn)實應用場景比較周正，圖像質(zhì)量較高，因此，我們用自己制作的數(shù)據(jù)集也做了測試。在該數(shù)據(jù)集上，我們使用前文中所述的兩種方法做了對比，結(jié)果如圖2（b）所示，我們的方法達到了95.23%。自制的測試集可以在http：//t.cn/RaLJTKr下載。

（2）不同特征層對檢測效果的影響

我們也調(diào)整了網(wǎng)絡結(jié)構(gòu)以檢測是否更多的特征層能帶來更好的檢測效果，我們在自己制作的測試集上做了測試。我們選用了四個特征層的模型，發(fā)現(xiàn)其檢測效果與選用三個特征層的模型效果接近。而更少的特征層，我們也做了相關(guān)的實驗，對比效果見表2。

4 總結(jié)與展望

本文的研究是基于層次特征的車牌檢測方法，根據(jù)卷積神經(jīng)網(wǎng)絡“不同特征層上的單元具有不同大小的感受野”的特性，有效地解決了尺寸較小的車牌和不同尺寸的車牌難以被同一個模型檢測的問題，使模型能夠應用于不同的現(xiàn)實場景。實驗也證明了該方法比Faster R-CNN的方法更適用于車牌檢測任務。未來我們將完善后續(xù)的字符識別模塊，以實現(xiàn)高精度、高速度完整的車牌識別系統(tǒng)。

參考文獻：

[1] Sande K E A V D， Uijlings J R R， Gevers T， et al. Segmentation as selective search for object recognition[C]// IEEE International Conference on Computer Vision. IEEE， 2012：1879-1886.

[2] Ren S， He K， Girshick R， et al. Faster R-CNN： towards real-time object detection with region proposal networks[C]// International Conference on Neural Information Processing Systems. MIT Press， 2015：91-99.

[3] Liu W， Anguelov D， Erhan D， et al. SSD： Single Shot MultiBox Detector[M]// Computer Vision – ECCV 2016. Springer International Publishing， 2016：21-37.

[4] Simonyan K， Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science， 2014.

[5] Fung G， Fung G. Fast Optimization Methods for L1 Regularization： A Comparative Study and Two New Approaches[C]// European Conference on Machine Learning. Springer-Verlag， 2007：286-297.