姚礪，馬睿，周同輝，萬燕

（東華大學(xué) 計算機科學(xué)與技術(shù)，上海 201600）

0 引言

近年來，中國的汽車保有量呈現(xiàn)出飛速增長。僅2020 年，全國新注冊登記機動車約3 328 萬輛，全國機動車保有量達3.72 億輛。隨著機動車數(shù)量的增長，市民對停車位的需求日益迫切，原有的一些停車場已難以滿足不斷增長的停車需求，重要的交通樞紐、醫(yī)院、商場等開始出現(xiàn)停車難的問題。

為解決停車難的問題，交管部門在路邊劃分了一些臨時停車位緩解停車位緊張的問題，但是這也給相關(guān)部門帶來了管理上的壓力。如停車收費問題、違規(guī)停車的監(jiān)測以及處罰問題等，管理不當(dāng)會造成道路擁堵，增加發(fā)生交通事故的可能性。國務(wù)院通過的《“互聯(lián)網(wǎng)＋”行動的指導(dǎo)意見》提出將互聯(lián)網(wǎng)與各行業(yè)深度融合，因此路邊停車管理手段與“互聯(lián)網(wǎng)＋”思維的結(jié)合勢必成為符合國情民意發(fā)展的新領(lǐng)域。

目前路邊停車管理系統(tǒng)多需要進行道路改造，引進地磁檢測器、傳感器等硬件設(shè)備來檢測車輛的停放［1－2］，不僅增加了實施成本，還可能會影響其它車輛的正常行駛。針對于此，本文提出了基于視頻的路邊停車管理方案。該方案利用路邊監(jiān)控系統(tǒng)進行停車管理，即方便實施又節(jié)省成本，可以在路邊復(fù)雜的環(huán)境下完成車輛的定位，車牌識別以及停車行為識別。

1 總體設(shè)計

本文方法是在路邊固定位置放置攝像頭用于監(jiān)控和管理路對面的停車位。在道路對面放置攝像頭進行監(jiān)控的好處是容易判定停車，但由于路邊停車多為側(cè)向停車，車輛進入前后車牌可能會傾斜角度較大甚至被自身遮擋，這也對車牌識別提出了更大的挑戰(zhàn)。為此，本文使用動態(tài)車牌識別算法，可以很好的應(yīng)用于該場景。

路邊停車管理的關(guān)鍵是對停車車輛的車牌進行識別，基于視頻的路邊停車場景下的車牌識別相比傳統(tǒng)的車牌識別主要存在兩點不同：一是車輛在?？繒r，需不停地移動變換角度，所以大部分截取到的車牌不是正對攝像頭；二是由于車位安排較密，車輛停入后可能會遮擋住車牌，導(dǎo)致無法識別。基于這兩點，本文提出了動態(tài)車牌識別算法：基于視頻，在車輛進入鏡頭內(nèi)即逐幀開始進行識別，最后通過投票算法選舉出最佳結(jié)果，可以防止車輛自身遮擋或者相互遮擋導(dǎo)致的無法識別。針對路邊停車場景車牌傾斜扭曲的情況，本文算法在定位到車牌后進行傾斜矯正，極大地提高了傾斜狀態(tài)下車牌的識別率。

動態(tài)車牌識別算法需要對同一車輛進行跟蹤，持續(xù)對其車牌進行識別。對于車輛跟蹤，主要難點是路邊車輛密集并且會有干擾，需要在短暫的遮擋后能進行重識別。本文提出了基于DeepSORT［3］的車輛跟蹤算法，可在短暫遮擋后重識別。算法在跟蹤時，對車輛的停車行為進行判斷，并識別其車牌。

路邊停車管理總體流程為：車輛跟蹤算法和動態(tài)車牌識別算法并行執(zhí)行。跟蹤算法在跟蹤到車輛后，將圖片存儲，并通過消息中間件通知車牌識別算法識別對應(yīng)車輛的車牌，車牌識別算法識別后將識別結(jié)果存儲到數(shù)據(jù)庫中。如果跟蹤過程中判斷到車輛停入車位，為防止識別的延遲等情況，先延遲等待，跟蹤算法再去數(shù)據(jù)庫中讀取相應(yīng)的車牌識別結(jié)果，通過投票算法選取最優(yōu)結(jié)果，記錄車輛停車信息。

2 動態(tài)車牌識別算法

傳統(tǒng)車牌識別分為圖像預(yù)處理、車牌定位、字符分割和字符識別幾個步驟。對車牌進行灰度化處理和去噪后，進行邊緣檢測得到定位車牌，再進行二值化、字符分割，最后通過模版匹配得到結(jié)果。但這種方法準確率較低，目前多使用基于卷積神經(jīng)，網(wǎng)絡(luò)（CNN）的車牌識別算法，主要分為兩步：定位車牌和識別車牌。

上述算法是基于圖片進行車牌識別，對視頻場景下的車牌識別，上述算法不能很好的利用視頻的特性，由于視頻角度問題，單幀圖片的識別結(jié)果很可能會產(chǎn)生誤差。針對此問題，本文提出了動態(tài)車牌識別算法，可以充分利用視頻多幀之間的關(guān)聯(lián)，提高視頻狀態(tài)下的車牌識別率?？傮w流程為：首先對同一車輛每一幀進行識別，并對圖片質(zhì)量進行打分。圖片質(zhì)量主要包括車牌大小、車牌傾斜程度以及圖片清晰度。以打分為權(quán)重，通過投票算法選取最優(yōu)識別結(jié)果。

2.1 車牌識別

一般基于深度學(xué)習(xí)的車牌識別算法主要使用目標檢測算法來定位車。如R－CNN 系列［4－7］、YOLO系列［8－11］，結(jié)果多為矩形框，以四維向量（x，y，w，h）表示。但在路邊停車場景下，視頻拍攝到的車牌多數(shù)會有不同程度的傾斜，如圖1 所示（來自CCPD數(shù)據(jù)集［12］）。由目標檢測算法定位的車牌位置不夠精確，識別效果會因此受到影響。

圖1 目標檢測算法定位傾斜角度較大的車牌Fig.1 The target detection algorithm locates the license plate with large tilt Angle

針對上述問題，本文使用了場景文本檢測算法EAST［13］進行車牌定位。本文基于EAST 完成了車牌定位，精確定位車牌邊緣的4 個點，便于后續(xù)的矯正和識別。

EAST 主要分為兩個階段：首先基于FCN（全卷積網(wǎng)絡(luò)）模型生成文本框的預(yù)測，再用NMS（非極大值抑制）產(chǎn)生最終的結(jié)果。輸出可以有兩種形式，一是RBOX（旋轉(zhuǎn)矩形），包含4 個通道的水平邊界框（AABB）和1 個通道的旋轉(zhuǎn)角度θ；另一種是QUAD（任意四邊形），包含8 個通道，表示從矩形的4 個頂點到像素位置的坐標偏移。由于拍攝角度問題，路邊停車場景下拍攝的車牌多不僅有旋轉(zhuǎn)傾斜，還存在一定程度的變形，定位到的結(jié)果可能不是矩形，而是經(jīng)過扭曲后的普通四邊形，僅進行旋轉(zhuǎn)無法將其矯正為正對的車牌，故本文選擇了QUAD 輸出。圖2 展示了RBOX 和QUAD 輸出定位的車牌，其中紅線是RBOX 輸出的結(jié)果，綠線是QUAD 輸出的結(jié)果。通過EAST 定位到車牌的4 個角點后，通過投影變換對車牌進行傾斜矯正，使車牌正對鏡頭。

圖2 RBOX 輸出和QUAD 輸出對比Fig.2 RBOX output and QUAD output contrast

設(shè)：給定一張圖像，對其進行投影變換步驟如下：首先將二維平面中（x，y）處的點，通過變換矩陣投影到一個三維空間（X，Y，Z），如式（1）：

再由三維空間（X，Y，Z）變回二維平面（x’，y’），如式（2）和式（3）：

即通過上述變化，原圖片（x，y）處的點將變化為（x’，y’）處的點。

通過投影變換，可以將任意四邊形的車牌矯正為矩形，方便后續(xù)的識別。圖3 展示了傾斜車牌經(jīng)過EAST 算法定位及投影變換矯正的效果。通過精確定位及傾斜矯正，可以顯著提高識別準確率。

圖3 傾斜車牌精確定位及矯正后的效果Fig.3 Accurate positioning and correction effect of slanting plate

經(jīng)過矯正后的車牌，可使用CRNN［14］網(wǎng)絡(luò)來進行識別。

CRNN 是一種卷積循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用于解決基于圖像的序列識別問題。將文字識別看作對序列的預(yù)測，采用了對序列預(yù)測的RNN 網(wǎng)絡(luò)。通過CNN 將圖片的特征提取出來后，采用RNN 對序列進行預(yù)測，最后通過一個CTC 的翻譯層得到最終結(jié)果。使用CRNN 網(wǎng)絡(luò)不用對字符進行分割，減少了分割帶來的誤差。

2.2 投票算法

由于動態(tài)車牌識別算法是基于視頻的識別，對每一幀或者每隔幾幀，則對鏡頭內(nèi)所有車輛車牌進行識別，將造成對同一輛車產(chǎn)生多個識別，最終導(dǎo)致對多個識別結(jié)果的最終選取問題。因此，本文引入投票算法，為每一幀識別的車牌圖像進行質(zhì)量打分，以此打分為權(quán)重，在車輛停入后，根據(jù)識別結(jié)果進行投票，選取得分最高的結(jié)果作為最終結(jié)果。

在路邊停車場景下，車牌的圖像質(zhì)量主要由3部分決定：

（1）車牌大?。耗骋粩z像頭會監(jiān)控一片區(qū)域，在車輛移動過程中，車輛離攝像頭近、車牌面積大時識別效果較好；

（2）車牌變形程度：在車輛反復(fù)移動停車的過程中，車牌會以不同的角度呈現(xiàn)在攝像頭下，車牌會有不同程度的變形，變形程度小的車牌會比較容易識別；

（3）圖像清晰度：由于車輛可能處于運動之中，會存在運動模糊，模糊程度小的圖像，識別準確率較高。

基于上述分析，本文提出車牌圖像質(zhì)量公式如下：

其中，S為車牌面積；D為變形程度；C為圖片清晰度；λ、μ為權(quán)重。

變形程度可以使用車牌的最小外接矩形面積與車牌面積的比值來表示，計算公式如下：

其中，S＇為車牌最小外接矩形的面積。

圖像清晰度可以使用拉普拉斯梯度法來計算，其公式如下：

其中，T為閾值，G（x，y）是圖像與拉普拉斯算子的卷積，拉普拉斯算子如下：

3 基于DeepSORT 的車輛跟蹤算法

3.1 技術(shù)路線

動態(tài)車牌識別算法需要對車輛進行持續(xù)跟蹤，以連續(xù)地對其車牌進行識別。在路邊停車環(huán)境下，路況復(fù)雜，有很多行人和過往車輛干擾，且會存在車輛之間互相遮擋，短暫出鏡的情況，可能會導(dǎo)致跟蹤丟失，影響車牌識別結(jié)果。經(jīng)研究，本文基于DeepSORT 完成了車輛跟蹤算法。DeepSORT 是一個多目標跟蹤算法，與傳統(tǒng)目標跟蹤算法相比，其融合了對跟蹤對象的外觀特征進行跟蹤，可以對短暫離鏡的目標進行重識別，提高了跟蹤的穩(wěn)定性。由于DeepSORT 算法只能對車輛進行跟蹤，而無法對車輛行為識別，因此本文算法在DeepSORT 基礎(chǔ)上進行改進，加入了停車判定模塊。

算法以DeepSORT為基礎(chǔ)，以YOLO－v3為檢測器，先通過檢測器檢測目標，生成檢測（detection），通過卡爾曼濾波生成預(yù)測，再使用匈牙利算法，將檢測的檢測框和卡爾曼濾波的預(yù)測進行匹配。對于匹配成功的detection 預(yù)測生成新的跟蹤（track）或更新原有track 的狀態(tài)；每次更新狀態(tài)，會判斷其停車狀態(tài)，如果判定為駛?cè)?，則讀取車牌識別情況，開始停車計時；若判定為駛出，則停止停車計時。

對于檢測框和預(yù)測框的匹配，使用d（1）（i，j）和d（2）（i，j）兩個特征融合作為匹配度量。d（1）（i，j）為第i個track 的預(yù)測位置到第j個detection 的檢測位置的馬氏距離，公式如下

其中，dj表示第j個detection 的檢測位置；yi表示第i個track 的預(yù)測位置；Si為兩者的協(xié)方差矩陣。

對于每一個detection，都會通過深度學(xué)習(xí)提取外觀特征，得到一個特征向量，此外還會創(chuàng)建一個集合Ri來保存第i個track 近100 個匹配成功的detection 的特征向量。通過加入外觀特征的匹配，可以完成對短暫離鏡目標的重識別。d（2）（i，j）為第i個track 的最近100 個成功匹配的特征向量集與當(dāng)前幀第j個detection 的特征向量間的最小余弦距離，公式如下：

其中，rj表示第j個detection 的外觀特征向量，為Ri中第k個特征向量。

兩個特征通過線性加權(quán)結(jié)合，作為最終的匹配度量：

其中，λ為線性加權(quán)的權(quán)值。本文使用了DeepSORT 論文中給出的經(jīng)驗值0，即僅使用外觀特征進行匹配。

3.2 停車判定

為判定停車狀態(tài)，本文使用車位占用比occupation ratio 來量化車位被占用的概率。當(dāng)occupation ratio 大于設(shè)定閾值時即認為車位被占用。計算公式如下：

其中，C表示車輛的面積；P表示停車位的面積；C∩P表示兩者相交的面積。

在實際使用時，由于攝像頭拍攝角度問題，可能會有車輛暫時路過遮擋停車位，除此之外，算法可能存在某一幀的誤判，如果僅依據(jù)occupation ratio 判斷，可能會造成誤判，本文加入不匹配幀數(shù)來解決此問題。在track 和detection 匹配之后，將檢測目標記錄與當(dāng)前判斷的狀態(tài)是否一致。當(dāng)狀態(tài)不一致時，記錄不匹配幀數(shù)，當(dāng)此幀數(shù)大于閾值時，再判定車輛停入或駛出車位。

4 實驗結(jié)果及分析

實驗環(huán)境：Ubuntu 18.04 操作系統(tǒng)，Intel（R）Xeon（R）Bronze 3204 CPU ＠ 1.90GHz 處理器，GeForce RTX 2080ti 11GB 顯卡。

本文使用CCPD 數(shù)據(jù)集進行訓(xùn)練和評估。CCPD 數(shù)據(jù)集是一個大型的中文車牌數(shù)據(jù)集，總共約有30 萬張圖片，將其分為普通圖片和較難識別圖片。較難識別的又分為模糊、光線亮或暗、傾斜等情況，標注了車牌的4 個角點和車牌號碼等信息。本文將這些圖片按照訓(xùn)練：驗證：測試＝8 ∶1 ∶1 劃分進行實驗。

使用CCPD 數(shù)據(jù)集和車牌位置標注信息訓(xùn)練EAST 模型。利用CCPD 的標注截取其中車牌，形成車牌數(shù)據(jù)集。由于車牌數(shù)據(jù)集分布不均勻，大部分車牌是皖，即安徽的車牌，其他省份車牌較少，故本文對車牌數(shù)據(jù)集進行了增強，合成了一些車牌圖像，并加入了噪聲以模擬真實環(huán)境下的效果，如圖4 所示。通過擴充后的數(shù)據(jù)集訓(xùn)練CRNN 模型，對兩個模型進行串聯(lián)評估。對是否進行矯正分別做了測試，其中不加入矯正的識別中，CRNN 的訓(xùn)練集也未經(jīng)矯正，測試結(jié)果見表1。

圖4 合成的車牌圖像Fig.4 The generated license plate image

表1 是否加入矯正對比結(jié)果Tab.1 Comparison results of whether to add corrective

由表1 中結(jié)果可以發(fā)現(xiàn)，無論是正向車牌還是傾斜車牌，加入矯正后的測試準確率都有較大的提升。

將其與CCPD 數(shù)據(jù)集論文中的RPNet 識別率對比結(jié)果見表2。

表2 車牌識別測試結(jié)果Tab.2 License plate recognition test results

分析表2 中結(jié)果可以發(fā)現(xiàn)，對正向車牌的識別，兩者識別率差距較小，而對傾斜車牌的識別，RPNet的識別率只有92.5%，而本文算法比RPNet 的效果有顯著提高。

5 結(jié)束語

本文對路邊停車管理中的車牌識別進行了研究，提出了動態(tài)車牌識別算法，基于視頻完成車牌識別，利用視頻多幀的關(guān)聯(lián)，在車輛入鏡后即開始進行識別，對每一幀識別到的車牌圖片質(zhì)量打分，以該分值為比重，通過投票機制選出最佳識別，完成了對視頻中車輛的車牌識別。通過場景文本檢測算法EAST 定位車牌的4 個角點，經(jīng)投影變換矯正后通過CRNN 進行車牌識別。在CCPD 數(shù)據(jù)集上的實驗表明，該算法對大角度傾斜車牌的識別率較高。

動態(tài)車牌識別算法需要對車輛進行持續(xù)跟蹤，并識別其停車行為。本文采用基于DeepSORT 的車輛跟蹤算法對車輛進行跟蹤。以YOLO－v3為檢測器檢測車輛，對DeepSORT 算法改進，加入停車判定來對車輛行為進行判定，在跟蹤的同時對其車牌進行識別，該算法可以較好地與動態(tài)車牌識別算法配合，防止車輛停入車位后車牌被遮擋導(dǎo)致無法識別。