丁鍵 朱洪前 任會 李丹 楊國

摘 要：林區(qū)的治安防護(hù)管理一直是人們所欠缺關(guān)注的問題，林區(qū)作案、林區(qū)動植物的盜伐都透露出林區(qū)治安防護(hù)管理的短板。本文致力于機(jī)器視覺在林區(qū)的應(yīng)用，為加強(qiáng)林區(qū)的防盜伐能力提出一種融合圖像去霧處理的車牌檢測算法，該方法采用限定對比度自適應(yīng)直方圖均衡化的技術(shù)去除大霧天、雨雪天等圖像模糊的干擾，結(jié)合車牌的顏色、長寬比形態(tài)等特征對霧雨雪天氣下的車牌進(jìn)行檢測。該方法相比普通車牌檢測方法的效果有較大提升，霧雨雪天氣環(huán)境下檢測車牌的準(zhǔn)確率可以達(dá)到88.00%，而普通車牌檢測方法達(dá)到的準(zhǔn)確率僅為82.67%。初步證明了本文提出的算法在林區(qū)霧雨雪天氣下應(yīng)用的可行性。

關(guān)鍵詞：林區(qū)防護(hù);限定對比度自適應(yīng)直方圖均衡化;車牌檢測;去霧處理;復(fù)雜天氣環(huán)境

中圖分類號：TP391.4;U495??? 文獻(xiàn)標(biāo)識碼：A?? 文章編號：1006-8023（2021）04-0094-08

Application of A Novel Algorithm for License Plate Detection with

Defogging Processing in Forest Region

DING Jian， ZHU Hongqian*， REN Hui， LI Dan， YANG Guo

（College of Materials Science and Engineering， Central South University of Forestry and Technology， Changsha 410004， China）

Abstract：The management of public security protection in forest areas has always been a problem that people lack attention to. It reveals the weakness of public security protection management in forest areas that committing crimes， illegal felling of trees and poaching animals. Our group has been committed to the application of machine vision in forest areas. In order to enhance the ability of forest area to prevent illegal cutting， this paper presents a novel algorithm of license plate detection which combines image defogging processing. This method uses the technique of contrast limited adaptive histogram equalization to remove the interference of image blurring in foggy， rainy and snowy days， and combines the features of the license plate such as color， aspect ratio， etc. to detect the license plate in fog， rain and snow weather. Compared with the ordinary license plate detection method， the result of this method has been greatly improved. The accuracy of detecting license plate in fog， rain and snow weather can reach 88.00%， while the accuracy of ordinary license plate detection can only reach 82.67%. This paper preliminarily proves the feasibility of the proposed algorithm in fog， rain and snow weather of forest areas.

Keywords：Forest protection; contrast limited adaptive histogram equalization; license plate detection; defogging processing; complex weather environment

收稿日期：2021-03-17

基金項(xiàng)目：中南林業(yè)科技大學(xué)研究生科技創(chuàng)新基金資助（CX20202017）;國家自然科學(xué)基金面上項(xiàng)目（61673166）

第一作者簡介：丁鍵，碩士研究生。研究方向?yàn)榱謽I(yè)機(jī)器視覺。E-mail： 20191200152@csuft.edu.cn

*通信作者：朱洪前，博士，副教授。研究方向?yàn)榱謽I(yè)機(jī)器視覺。E-mail： zhuhongqian@163.com

引文格式：丁鍵，朱洪前，任會，等.一種新型增加去霧處理的車牌檢測算法在林區(qū)中的應(yīng)用[J].森林工程，2021，37（4）：94-101.

DING J， ZHU H Q， REN H， et al. Application of a novel algorithm for license plate detection with defogging processing in forest region[J]. Forest Engineering，2021，37（4）：94-101.

0 引言

由于林區(qū)位于城市邊緣，基建的智能化相比之下較薄弱，大力促進(jìn)森林資源的有效監(jiān)管和保護(hù)是國家的迫切需要。林區(qū)常有大霧、風(fēng)沙和雨雪等情況，環(huán)境相比較為復(fù)雜，為不法分子偷竊動植物、作案后隱匿提供了有機(jī)可乘的場所[1-2]。因此需要加強(qiáng)林區(qū)治安防護(hù)管理。車牌識別技術(shù)是交通智能化發(fā)展的一項(xiàng)關(guān)鍵技術(shù)，而車牌定位是車牌識別技術(shù)的關(guān)鍵環(huán)節(jié)，得到了專家學(xué)者們的廣泛關(guān)注。目前車牌定位的方法主要有：基于車牌色彩信息方法、基于車牌紋理特征方法、基于邊緣檢測信息方法、基于車牌形態(tài)學(xué)特征方法、基于遺傳算法檢測方法和基于神經(jīng)網(wǎng)絡(luò)算法定位方法等[3-5]。

為了加強(qiáng)林區(qū)的治安防護(hù)管理，本文針對普通車牌定位算法在林區(qū)霧雨雪天氣下的準(zhǔn)確率較低，提出了融合限定對比度自適應(yīng)直方圖均衡化的圖像去霧處理，基于顏色、邊緣信息和長寬比等特征的林區(qū)車牌定位算法，進(jìn)一步提高了車牌檢測算法的準(zhǔn)確率，從而為林區(qū)的治安管理提供方便。

1 CLAHE去霧算法

直方圖均衡化（Histogram Equalization，HE）是圖像處理中常見的圖像增強(qiáng)手段，通過處理將原圖像的灰度直方圖在整個區(qū)域變成了均勻分布，改善了直方圖局部分布集中造成的影響。局部直方圖均衡化（Local Histogram Equalization，LHE）[6-7]是將圖像分成多個子塊，每個子塊進(jìn)行直方圖均衡化，進(jìn)而遍歷整幅圖像，得到圖像增強(qiáng)效果，雖然對局部細(xì)節(jié)的增強(qiáng)效果較好，但是也容易出現(xiàn)過度增強(qiáng)的情況[7-9]。傳統(tǒng)的全局直方圖均衡化（Global Histogram Equalization，GHE），利用整幅圖像的累積分布函數(shù)（Cumulative Distribution Function，CDF），逐步對圖像中的每個像素點(diǎn)做了映射，從整體上提高了圖像的對比度，但是也會忽略分散區(qū)域的像素點(diǎn)，丟失部分細(xì)節(jié)[10]。

自適應(yīng)直方圖均衡化（Adaptive Histo-gram Equalization，AHE），也是用來提高圖像對比度的方法，不過與HE不同的是，AHE通過對圖像局部直方圖的計算，進(jìn)而改變每一塊的亮度，以此提升圖像整體的對比度[11]，此算法利于改進(jìn)圖像的細(xì)節(jié)以及優(yōu)化局部對比度。不過，AHE算法總是出現(xiàn)過度放大圖像中相同子塊噪聲的問題[12]。

但是，還有一種限定對比度自適應(yīng)直方圖均衡化（Contrast Limited Adaptive? Histogram Equalization，CLAHE）的方法[13]，該方法能夠有效地抑制圖像增強(qiáng)處理過后產(chǎn)生的圖像畸形變化和放大噪聲等問題[14]。CLAHE與常規(guī)的AHE不同之處在于對比度限制幅度，CLAHE對于圖像中的每個子塊都會使用對比度限幅，這彌補(bǔ)了AHE中產(chǎn)生的過多噪聲的問題[15]。

CLAHE的原理是通過裁剪子塊直方圖的高度來抑制局部對比度放大幅度的效果。

裁去的直方圖的值稱為裁剪限幅，裁剪限幅的過程為：第一步，將圖像分為一個個子區(qū)塊，計算子區(qū)塊中的直方圖;第二步，采用限定對比度的方法，將直方圖中每個子塊超出裁剪限幅的部分，合理分布到直方圖中的其他區(qū)域，達(dá)到了對直方圖每個子塊重新分配的效果[16]，具體如圖1所示。

對比度放大幅度可定義為圖像灰度映射函數(shù)的導(dǎo)數(shù)[17-18]。若AHE方法的局部窗口大小為M×M像素，那么局部映射函數(shù)mi為：

mi=255×CDFiM×M。

式中CDFi為局部直方圖的累積分布函數(shù)值。CDFi的導(dǎo)數(shù)為局部直方圖的值Hisi，故局部映射函數(shù)mi的導(dǎo)數(shù)S為：

S=dmidi=255×HisiM×M。 （1）

由公式（1）可以看出，控制Hisi的大小即控制了S的大小，這就達(dá)到了抑制對比度放大幅度的效果。若存在最大斜率為Smax，則存在直方圖的最大高度Hmax為：

Hmax=Smax×M×M255。

裁剪直方圖中高度大于Hmax的部分，如圖1所示。由圖1可知，實(shí)際的裁剪過程是從T值處對直方圖進(jìn)行裁剪，然后將裁去的部分重新分布到整個灰度直方圖上，確保直方圖總面積不變，為此整個直方圖高度上升L。圖1中Hmax、T、L之間滿足以下關(guān)系：

Hmax=T+L。

重新分配后，直方圖的值為：

Histi′=Hisi+LHmaxHisi

綜上所述，限制映射函數(shù)最大斜率Smax及相應(yīng)的直方圖最大高度Hmax，便可得到不一樣的圖像增強(qiáng)效果。

實(shí)際CLAHE圖像處理狀況對比如圖2和圖3所示，像素直方圖分布對比如圖4和圖5所示，整體變化較明顯。

2 車牌定位算法

基于顏色、邊緣和長寬比等特征的車牌定位算法的步驟如下。

（1）使用OpenCV讀取車牌圖片，讀取的顏色空間為BGR，將顏色空間BGR轉(zhuǎn)換為HSV。

RGB是日常人們見過最多的顏色空間，由3個顏色通道組成一幅圖像，分別是紅色通道（Red，公式中記為R）、綠色通道（Green，公式中記為G）和藍(lán)色通道（Blue，公式中記為B），這3種顏色可以形成不同組合來表示其他顏色。

在圖像處理中，使用較多的是HSV顏色空間，比起RGB它更利于人們的理解和認(rèn)知，直觀的表達(dá)色調(diào)（Hue，公式中記為H）、飽和度（Saturation，公式中記為S）和明度（Value，公式中記為V）。由于HSV模型比較直觀，很容易得到單一顏色，直接指定H即可，非常方便。因此想要獲得車牌顏色的特征，直接查找HSV圖片下的顏色區(qū)域即可。

RGB轉(zhuǎn)HSV公式：

R′=R255，G′=G255，B′=B255。

Cmax=max（R′，G′，B′）

Cmin=min（R′，G′，B′）。

Δ=Cmax-Cmin。

H（Hue）的計算：

H=0°，??????? Δ=0

60°×（G′-B′Δ+0），Cmax=R′60°×（B′-R′Δ+2），Cmax=G′60°×（R′-G′Δ+4），Cmax=B′。

S（Saturation）的計算：

S=0Cmax=0ΔCmaxCmax≠0。

V（Value）的計算：

V=Cmax。

式中：R′為歸一化后的紅色色彩值;G′為歸一化后的綠色色彩值;B′為歸一化后的藍(lán)色色彩值;Cmax為R′、G′、B′中的最大值;Cmin為R′、G′、B′中的最小值;Δ為Cmax與Cmin的差值。

RGB與HSV圖像前后對比如圖6和圖7所示。

（2）查找HSV格式下車牌圖片中所有符合藍(lán)色區(qū)間的像素點(diǎn)，得到掩模底片，接下來對車牌圖片進(jìn)行圖像掩模操作。

圖像的掩模其實(shí)借鑒于印制電路板，其原理很相似，都是用預(yù)先選好的模板，對要處理的區(qū)域進(jìn)行遮擋，這樣在處理其他部分的時候，該區(qū)域就不會受到影響。上述中的模板又稱掩模，在數(shù)字圖像處理中，這種掩模為二維數(shù)組的矩陣，或者是多值圖像。

在數(shù)字圖像處理中，圖像掩模的用途主要為：①提取感興趣的區(qū)域;②屏蔽不感興趣的區(qū)域;③提取感興趣的結(jié)構(gòu)特征;④制作特殊形狀的圖像。

對車牌顏色特征區(qū)域的掩模有利于車牌特征的提取，操作后如圖8所示。

（3）將圖像進(jìn)行灰度化操作，接下來利用高斯模糊將圖片平滑化，去除干擾的噪聲對后續(xù)圖像處理的影響。

灰度化操作是將正常圖像去除彩色信息，只留下亮度信息的處理過程，處理完成后得到灰度圖像，此時圖像中只包含亮度信息。

高斯模糊的操作其實(shí)是圖像模糊操作的一種，作為圖像模糊濾波器之一，用正態(tài)分布函數(shù)逐個計算圖像中的每一個像素并處理，其二維空間的正態(tài)分布方程為：

G（u，v）=12πσ2e-（u2+v2）2σ2。

式中：σ是正態(tài)分布的標(biāo)準(zhǔn)差;μ和ν為二維空間的位置坐標(biāo)。

經(jīng)過灰度化和高斯模糊操作后的圖像如圖9和圖10所示。

（4）使用Sobel算子對車牌圖像進(jìn)行水平方向上的邊緣檢測。

Sobel算子是離散微分算子，為了計算圖像灰度函數(shù)的近似梯度，采用了高斯平滑和微分求導(dǎo)。與Prewitt算子不同的是，Sobel算子將像素位置影響算進(jìn)加權(quán)，可以減少邊緣的模糊程度，達(dá)到了較好的效果。Sobel算子以其濾波算子的一種形式，提取邊緣并可以使用快速卷積函數(shù)，簡單而又有效的方式使其應(yīng)用廣泛[19]。

對圖片進(jìn)行Sobel算子檢測后，如圖11所示。

（5）調(diào)節(jié)二值化閾值（THRESH_BINARY），弱化背景，對圖像中適合的矩形區(qū)域進(jìn)行閉操作，閉操作可以將目標(biāo)區(qū)域連成一個整體，便于后續(xù)輪廓的提取。

圖像的灰度值為0和255，分別對應(yīng)黑和白，通過調(diào)節(jié)二值化的閾值（0～255），能夠有效地凸顯圖像的局部特征，得到有用的二值化圖像。

閉操作是將圖像中的圖形盡可能地連接在一起，形成較大的區(qū)域，消除小的點(diǎn)和線，消除斷裂現(xiàn)象[20-21]。閉操作的運(yùn)算過程如下：

A·B=（AB）B。

這個公式表示B對A進(jìn)行了閉操作，其過程為右側(cè)，先用B對A進(jìn)行膨脹，然后用B對所得結(jié)果進(jìn)行腐蝕。

對圖像進(jìn)行二值化閾值調(diào)節(jié)操作和閉操作，如圖12和圖13所示。

（6）查找并篩選符合條件的矩形區(qū)域，并繪制綠色矩形框。

該過程首先計算得到圖像所有輪廓的面積，然后忽略面積小的區(qū)域，將得到的區(qū)域轉(zhuǎn)換成最小矩形區(qū)，計算該區(qū)域的寬和高，篩選出符合一定長寬比范圍的矩形區(qū)，并加入集合，最后縮小范圍，找出最有可能是車牌的位置，并繪制綠色矩形框，最后結(jié)果如圖14所示。

3 實(shí)驗(yàn)流程及結(jié)果

3.1 實(shí)驗(yàn)流程

（1）收集霧雨雪天氣的車牌數(shù)據(jù)集

經(jīng)過本項(xiàng)目組的實(shí)地考察，林區(qū)內(nèi)車輛稀少且未經(jīng)允許不能私自進(jìn)入，故深入林區(qū)內(nèi)獲取車牌數(shù)據(jù)集異常困難。綜合考慮，作為項(xiàng)目的第一步，為了測試融合CLAHE的車牌檢測算法的有效性，本文從XU等[22]發(fā)布的大型車牌數(shù)據(jù)集CCPD（Chinese City Parking Dataset）中挑選了普通車牌圖片150張、霧雨雪車牌圖片150張，每張圖片的像素為720×1 160。普通車牌樣本如圖15所示，霧雨雪車牌樣本如圖16所示。

（2）融入CLAHE的車牌定位算法

本文實(shí)現(xiàn)的車牌檢測算法流程如圖17所示。

3.2 實(shí)驗(yàn)結(jié)果

車牌檢測方法準(zhǔn)確率的對比見表1。

上述實(shí)驗(yàn)中，以綠框中包含車牌的全部區(qū)域才算檢測成功，由此可以發(fā)現(xiàn)，融合CLAHE去霧處理后的車牌檢測準(zhǔn)確率有了較大的提升，比普通車牌檢測算法的效果要好。但是增加了算法之后，檢測圖像中車牌的耗時略微有點(diǎn)增加。

4 結(jié)束語

本文采用限定對比度自適應(yīng)直方圖均衡化的去霧方法，車牌圖像的對比度和可檢測度得到明顯的提高，霧雨雪天氣下的車牌檢測準(zhǔn)確率達(dá)到了88.00%，該實(shí)驗(yàn)初步證實(shí)了提高林區(qū)霧雨雪天氣下車牌檢測準(zhǔn)確率的可行性，后期將進(jìn)一步對林區(qū)的車牌數(shù)據(jù)集收集，完善本文的實(shí)驗(yàn)，將本文研究的內(nèi)容全面應(yīng)用到林區(qū)的車牌檢測中，從而解決林區(qū)的監(jiān)管及防盜伐。

【參 考 文 獻(xiàn)】

[1]丁鍵， 朱洪前. 基于CNN多標(biāo)簽分類的林區(qū)車牌識別研究[J]. 現(xiàn)代信息科技， 2020， 4（12）： 84-87.

DING J， ZHU H Q. Study on license plate recognition in forest area based on CNN multi-label classification[J]. Modern Information Technology， 2020， 4（12）： 84-87.

[2]韓祥程， 侯衛(wèi)萍， 劉霞. 林區(qū)車輛監(jiān)控系統(tǒng)車載終端的研究[J]. 森林工程， 2014， 30（5）： 150-153.

HAN X C， HOU W P， LIU X. Research on terminal platform of forest vehicle monitoring system[J]. Forest Engineering， 2014， 30（5）： 150-153.

[3]王楠楠. 車牌定位及傾斜矯正方法研究[J]. 工業(yè)控制計算機(jī)， 2014， 27（11）： 25-26.

WANG N N. License plate location and slant correction algorithm[J]. Industrial Control Computer， 2014， 27（11）： 25-26.

[4]鞠麗麗， 王英. 基于暗原色先驗(yàn)的霧天圖像車牌定位[J]. 工業(yè)控制計算機(jī)， 2016， 29（3）： 46-47.

JU L L， WANG Y. License plate location based on dark channel prior in fog-degraded images[J]. Industrial Control Computer， 2016， 29（3）： 46-47.

[5]趙偉， 趙嘉寧. 加油站復(fù)雜環(huán)境下車牌定位算法研究[J]. 森林工程， 2015， 31（3）： 141-145.

ZHAO W， ZHAO J N. Research on the algorithm of license plate localization in gas station with complicated environment[J]. Forest Engineering， 2015， 31（3）： 141-145.

[6]孫春鳳， 袁峰. 等面積遞歸分解的部分重疊局部直方圖均衡[J]. 光學(xué)精密工程， 2009， 17（9）： 2292-2300.

SUN C F， YUAN F. Partially overlapped sub-block histogram equalization based on recursive equal area separateness[J]. Optics and Precision Engineering， 2009， 17（9）： 2292-2300.

[7]WANG Y， PAN Z B. Image contrast enhancement using adjacent-blocks-based modification for local histogram equalization[J]. Infrared Physics & Technology， 2017， 86： 59-65.

[8]KIM T K， PAIK J K， KANG B S. Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering[J]. IEEE Transactions on Consumer Electronics， 1998， 44（1）： 82-87.

[9]WANG Q， WARD R K. Fast image/video contrast enhancement based on weighted thresholded histogram equalization[J]. IEEE Transactions on Consumer Electronics， 2007， 53（2）： 757-764.

[10]喬鬧生. 一種改進(jìn)的直方圖均衡化[J]. 光學(xué)技術(shù)， 2008， 34（S1）： 141-142.

QIAO N S. An improved histogram equalization[J]. Optical Technique， 2008， 34（S1）： 141-142.

[11]楊驥， 楊亞東， 梅雪， 等. 基于改進(jìn)的限制對比度自適應(yīng)直方圖的視頻快速去霧算法[J]. 計算機(jī)工程與設(shè)計， 2015， 36（1）： 221-226.

YANG J， YANG Y D， MEI X， et al. Fast video dehazing based on improved contrast limited adaptive histogram equalization[J]. Computer Engineering and Design， 2015， 36（1）： 221-226.

[12]劉振宇， 江海蓉， 徐鶴文. 極端天氣條件下低質(zhì)圖像增強(qiáng)算法研究[J]. 計算機(jī)工程與應(yīng)用， 2017， 53（8）： 193-198.

LIU Z Y， JIANG H R， XU H W. Low-quality image enhancement algorithms in extreme weather conditions[J]. Computer Engineering and Applications， 2017， 53（8）： 193-198.

[13]PIZER S M， JOHNSTON R E， ERICKSEN J P， et al. Contrast-limited adaptive histogram equalization： speed and effectiveness[C]// Proceedings of the First Conference on Visualization in Biomedical Computing. May 22-25， 1990， Atlanta， GA， USA. IEEE， 1990： 337-345.

[14]陶佩， 付青青， 吳愛平. 一種限制對比度的快速POSHE圖像增強(qiáng)算法[J]. 長江大學(xué)學(xué)報（自然科學(xué)版）， 2020， 17（2）： 104-111.

TAO P， FU Q Q， WU A P.A fast POSHE image enhancement algorithm with limited contrast [J]. Journal of Yangtze University （Natural Science Edition）， 2020， 17（2）： 104-111.

[15]馮創(chuàng)意， 張純純. 基于雙邊引導(dǎo)上采樣的圖像增強(qiáng)快速實(shí)現(xiàn)研究[J]. 農(nóng)業(yè)裝備與車輛工程， 2020， 58（2）： 155-160.

FENG C Y， ZHANG C C. Fast implementation of image enhancement based on bilateral guided upsampling[J]. Agricultural Equipment & Vehicle Engineering， 2020， 58（2）： 155-160.

[16]黎秀玉， 宋樹祥， 夏海英. 基于CLAHE和圖像分解的去霧方法[J]. 廣西大學(xué)學(xué)報（自然科學(xué)版）， 2016， 41（5）： 1552-1559.

LI X Y， SONG S X， XIA H Y. Single image dehazing method based on CLAHE and image decomposition[J]. Journal of Guangxi University （Natural Science Edition）， 2016， 41（5）： 1552-1559.

[17]張麗. 對比度受限自適應(yīng)直方圖均衡方法[J]. 電腦知識與技術(shù)， 2010， 6（9）： 2238-2241.

ZHANG L. Contrast limited adaptive histogram equalization[J]. Computer Knowledge and Technology， 2010， 6（9）： 2238-2241.

[18]王芳.基于圖像配準(zhǔn)的新媒體視覺影像超分辨率重建方法[J].自動化技術(shù)與應(yīng)用，2021，40（4）：99-102.

WANG F. Superresolution reconstruction method of new media visual images based on image registration[J]. Techniques of Automation and Applications， 2021， 40（4）：99-102.

[19]曾泉. 復(fù)雜背景下基于OpenCV的車牌識別系統(tǒng)研究[D]. 廣州： 廣東工業(yè)大學(xué)， 2016.

ZENG Q. Research on license plate recognition system based on OpenCV under complex background[D]. Guangzhou： Guangdong University of Technology， 2016.

[20]潘奕創(chuàng)， 傅惠南， 彭趕， 等. 激光輔助機(jī)器視覺測量兩平面高度差的設(shè)計[J]. 機(jī)電工程技術(shù)， 2018， 47（4）： 20-23.

PAN Y C， FU H N， PENG G， et al. Laser assisted machine vision measuring two plane height difference design[J]. Mechanical & Electrical Engineering Technology， 2018， 47（4）： 20-23.

[21]張廣云.一種激光圖像邊緣檢測方法的研究[J].自動化技術(shù)與應(yīng)用，2020，39（5）：84-87.

ZHANG G Y. Research on a laser image edge detection method[J]. Techniques of Automation and Applications， 2020， 39（5）：84-87.

[22]XU Z B， YANG W， MENG A， et al. Towards end-to-end license plate detection and recognition： a large dataset and baseline[C]// European Conference on Computer Vision. Springer， Cham， 2018.