王楊 王祎帆 孟俊峰 陳曉愚 孫連明

（中國(guó)第一汽車股份有限公司 智能網(wǎng)聯(lián)開(kāi)發(fā)院，汽車振動(dòng)噪聲與安全控制綜合技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,長(zhǎng)春130013）

主題詞：前視攝像頭 RGB 頂帽算法 Canny算子 邊緣檢測(cè)

1 前言

如今，汽車產(chǎn)業(yè)的發(fā)展正顯現(xiàn)出電動(dòng)化、智能化、網(wǎng)聯(lián)化和共享化四大趨勢(shì)[1]。隨著傳感器技術(shù)、人工智能技術(shù)的快速發(fā)展，自動(dòng)駕駛技術(shù)已經(jīng)成為各大車企、學(xué)校、研究院等單位研究的熱點(diǎn)。自動(dòng)駕駛汽車通過(guò)多傳感器協(xié)同作用來(lái)全方位進(jìn)行環(huán)境感知，超聲波雷達(dá)、毫米波雷達(dá)和前視攝像頭傳感器都扮演著重要角色[2]。其中，前視攝像頭在結(jié)構(gòu)和功能方面與人眼最為接近，因此也成為自動(dòng)駕駛技術(shù)不可或缺的元素，發(fā)揮著至關(guān)重要的作用[3]。伴隨自動(dòng)駕駛的演進(jìn)，前視攝像頭技術(shù)也在不斷進(jìn)化[4]。目前，常用的攝像頭包括：?jiǎn)文壳耙晹z像頭和雙目前視攝像頭。未來(lái)，隨自動(dòng)駕駛技術(shù)的演進(jìn)，前視攝像頭技術(shù)也會(huì)不斷進(jìn)化，為自動(dòng)駕駛提供更強(qiáng)大的功能。前視攝像頭通常安裝在前風(fēng)擋玻璃后面，通過(guò)前視攝像頭即可獲取前方車輛、會(huì)車車輛、前方行人、交通標(biāo)志、車道線等多種交通目標(biāo)信息。前視攝像頭系統(tǒng)使用專用圖像處理芯片，對(duì)車輛前方圖像進(jìn)行識(shí)別和處理。該系統(tǒng)可以識(shí)別車輛前方的目標(biāo)并計(jì)算相關(guān)信息，以實(shí)現(xiàn)多種主動(dòng)安全以及舒適功能，使車輛駕駛更加安全舒適。前視攝像頭進(jìn)行前方目標(biāo)識(shí)別流程圖如圖1所示。

圖1 前視攝像頭目標(biāo)識(shí)別流程

在前視攝像頭目標(biāo)識(shí)別中，圖像的邊緣信息是前方目標(biāo)最基本的特征之一，攜帶著一幅圖像的大量信息[5]。圖像的背景與目標(biāo)圖像的邊界叫做圖像邊緣[6]，圖像邊緣檢測(cè)一是為了產(chǎn)生更適合人眼觀察的目標(biāo)識(shí)別圖像；二是為了通過(guò)攝像頭的處理器自動(dòng)識(shí)別前方目標(biāo)。因此對(duì)于自動(dòng)駕駛汽車來(lái)說(shuō)，研究前視攝像頭圖像邊緣檢測(cè)問(wèn)題尤為重要。圖像邊緣檢測(cè)具體的流程如圖2所示。

圖2 圖像邊緣檢測(cè)流程

通常在前視攝像頭圖像采集過(guò)程中，由于受到攝像頭本身電子元器，電子線路的影響，會(huì)使采集的圖片帶有噪聲，影響檢測(cè)與識(shí)別的結(jié)果。另外，在各種各樣的道路場(chǎng)景中，由于環(huán)境光照條件多變因素，會(huì)導(dǎo)致前方目標(biāo)的光照不均勻，影響前視攝像頭的識(shí)別效果和應(yīng)用價(jià)值，嚴(yán)重時(shí)還可能引發(fā)交通事故。因此對(duì)光照不均勻圖像的預(yù)處理，降低光照對(duì)圖像的影響，逐漸成為圖像邊緣檢測(cè)領(lǐng)域的一個(gè)研究熱點(diǎn)，也是在視覺(jué)輔助駕駛技術(shù)中不可忽視的痛點(diǎn)。

本文針對(duì)圖片噪聲及光照不均勻問(wèn)題，提出基于Top-Hat-Canny多重邊緣檢測(cè)方法，改善圖像質(zhì)量，削弱光線不均勻問(wèn)題對(duì)識(shí)別帶來(lái)的影響。將Top-Hat和Canny算子相結(jié)合，建立Top-Hat-Canny多重邊緣檢測(cè)模型。采用小波閾值算法分別對(duì)彩色圖像三個(gè)空間進(jìn)行濾波，對(duì)濾波后的三個(gè)分量進(jìn)行重組生成新的R、G、B分量，較大程度地保留了原始圖像信息，同時(shí)達(dá)到了噪聲濾除的效果。然后，經(jīng)加權(quán)平均法對(duì)R、G、B分量灰度化處理，降低圖像維數(shù)。最后，采用Top-Hat-Canny多重邊緣檢測(cè)方法對(duì)圖像進(jìn)行邊緣提取。實(shí)驗(yàn)結(jié)果表明：該方法可以有效地提對(duì)道路上的行人、前方車輛及障礙物的邊緣檢測(cè)精度邊緣檢測(cè)。

2 基于小波閾值算法的RBG空間濾波去噪方案

2.1 小波變換算法

大量學(xué)者將小波變換（Wavelet Transform,WT）引入到信號(hào)分析中，尤其是在圖像處理、模式識(shí)別等領(lǐng)域，小波變換已經(jīng)成為了重要工具。

小波應(yīng)滿足以下不等式[7]：

其中 ψ(ω )為小波母函數(shù)，只有符合式子（1）的約束條件，同時(shí)是與時(shí)間相關(guān)的單值函數(shù)才可稱之為小波。

設(shè)信號(hào)如下[8]：

公式（2）中，f(k)表示含噪的信號(hào)；s(k)表示原始信號(hào)；n(k)表示高斯白噪聲，并且服從N(0 , δ2)分布。因?yàn)樾〔ㄗ儞Q為線性變換，故對(duì)信號(hào)f(k)=s(k)+n(k)作小波變換會(huì)得到由兩部分組成的小波系數(shù)Wj,k。其中真實(shí)信號(hào)s(k)對(duì)應(yīng)小波系數(shù)為Uj,k，噪聲信號(hào)n(k)對(duì)應(yīng)小波系數(shù)為Vj,k。

Donoho提出小波變換可以在小波定義域內(nèi)將能量集中在某些較大的小波系數(shù)上，同時(shí)使噪聲布滿整個(gè)小波域[9]。這樣通過(guò)小波處理后的小波系數(shù)的幅值會(huì)大于噪聲的幅值。尋找一個(gè)適當(dāng)?shù)臄?shù)λ作為閾值，當(dāng)Wj,k＞λ時(shí)，Wj,k由噪聲引起；Wj,k＞λ時(shí)，Wj,k由信號(hào)引起。這樣就可與通過(guò)設(shè)定閾值的方法對(duì)信號(hào)進(jìn)行去噪。小波閾值法又分為軟閾值和硬閾值，這兩種閾值函數(shù)如下所示[10]。

軟閾值：

本文采用小波軟閾值方法對(duì)圖像進(jìn)行濾波去噪。

2.2 基于WT的RBG圖像空間濾波去噪

采用硬閾值法，圖像信號(hào)通常會(huì)產(chǎn)生附加震蕩，產(chǎn)生跳躍點(diǎn)，不具有原圖像的平滑性；采用軟閾值法得到的小波系數(shù)整體連續(xù)性較好，也不會(huì)引起圖像產(chǎn)生震蕩。本文針對(duì)前視攝像頭拍攝的圖片特性，采用小波軟閾值去噪方法對(duì)RGB彩色圖片的3個(gè)空間分量分別進(jìn)行濾波去噪。具體圖像去噪過(guò)程如下：

（1）將原始圖像G分成y、u、v3個(gè)空間分量，表示為 Gy、Gu、Gv。

（2）對(duì)Gy、Gu、Gv的3個(gè)分量進(jìn)行小波軟閾值濾波去噪，得到新的分量Gy、Gu、Gv。

（3）將新的3個(gè)空間分量Gy、Gu、Gv重組，構(gòu)成新的去噪后圖像G′。

3 基于Top-Hat-Canny多重邊緣檢測(cè)方法

3.1 頂帽算法

頂帽變換（Top-Hat）是原始圖像與其開(kāi)運(yùn)算和閉運(yùn)算之間的一種差值運(yùn)算。為了提取出新的目標(biāo)，選取合適的結(jié)構(gòu)元素進(jìn)行灰度開(kāi)運(yùn)算，具體方法有以下2種：

（1）讓圖像中只保留對(duì)圖像背景的估計(jì)；

（2）將小于結(jié)構(gòu)元素的噪聲消除，從原圖中減去對(duì)背景的估計(jì)，提取出目標(biāo)。

頂帽變換定義如下[11]：

其中，f是縮小后的灰度圖；b是頂帽變換中的模板，b越大對(duì)計(jì)算時(shí)間影響就越大，通常b選取的面積比目標(biāo)的面積略大即可。

Top-Hat分為白頂帽變換和黑頂帽變換[12]。白頂帽變換為圖像f減去其開(kāi)運(yùn)算結(jié)果的差值，即[11]：

其中，γ(f)為圖像f的開(kāi)運(yùn)算，對(duì)f進(jìn)行開(kāi)運(yùn)算，可以通過(guò)像元在某一窗口中先腐蝕后生長(zhǎng)來(lái)獲得。圖像f的白頂帽運(yùn)算后的值大于0或等于0[13]。

黑頂帽變換是圖像閉運(yùn)算減去圖像f的差值，即[13]

其中，δ(f)為閉運(yùn)算，其與開(kāi)運(yùn)算正好相反，是像元在某窗口內(nèi)先生長(zhǎng)后侵蝕運(yùn)算得到的。黑頂帽變換后的值也總是大于0或等于0的[14]。

3.2 Canny算法

Canny邊緣檢測(cè)方法需要在各種視覺(jué)目標(biāo)中，提取出其中對(duì)實(shí)驗(yàn)有用的結(jié)構(gòu)信息，極大減少了目標(biāo)的數(shù)據(jù)量，目前該方法已普及到各種計(jì)算機(jī)視覺(jué)中。驗(yàn)證邊緣檢測(cè)效果好與壞的標(biāo)準(zhǔn)有[15]：

（1）是否按低錯(cuò)誤率進(jìn)行邊緣檢測(cè)；

（2）實(shí)際檢測(cè)到的邊緣應(yīng)精準(zhǔn)定位在真實(shí)邊緣的中心處；

（3）圖像不會(huì)受到噪聲影響產(chǎn)生假的邊緣，且圖像中給定的邊緣只可被標(biāo)記一次。

相關(guān)計(jì)算指標(biāo)如下[16]。

（1）信噪比準(zhǔn)則：

圖像信噪比SNR越大，表明所提取的邊緣質(zhì)量越好，具體計(jì)算公示如下[16]：

式中，G(x)代表邊緣函數(shù)；σ為高斯噪聲均方差；h(x)代表寬度為W的濾波脈沖響應(yīng)。

（2）定位精度準(zhǔn)則：

邊緣定位精度L定義如下[16]：

其中，G′(x) 和 h′(x)代表G(x)和h(x)的導(dǎo)數(shù)；L越小定位精度越差，L越大定位精度越高。

（3）單邊緣響應(yīng)準(zhǔn)則：

為了保證單邊緣只有一個(gè)準(zhǔn)確響應(yīng)，檢測(cè)算子脈沖響應(yīng)導(dǎo)數(shù)零交叉點(diǎn)的平均距離應(yīng)為[16]：

在各種邊緣檢測(cè)方法中，Canny邊緣檢測(cè)算法是一種檢測(cè)效果良好且可靠的方法。它能滿足上文提到的3個(gè)標(biāo)準(zhǔn)，且檢測(cè)過(guò)程也較為簡(jiǎn)單，已成為最流行的邊緣檢測(cè)算法之一。

Canny算法由以下5個(gè)步驟實(shí)現(xiàn)[17]：

（1）使用Gauss濾波器平滑圖像，降低由噪聲引起的錯(cuò)誤檢測(cè)概率，具體公式如下[17]：

（2）計(jì)算圖像中像素點(diǎn)的方向及梯度強(qiáng)度。通常，使用Canny算子的圖像邊緣可以指向任意方向。把x軸上的信息記作Gx，y軸記作Gy，則每個(gè)像素點(diǎn)方向和梯度G公式如下[17]：

（3）用非極大值抑制來(lái)消除邊緣檢測(cè)帶來(lái)的雜散響應(yīng)。非極大值抑制是一種邊緣稀疏方法，作用在于“瘦”邊緣。上文中標(biāo)準(zhǔn)3提到的對(duì)邊緣有且應(yīng)當(dāng)只有一個(gè)準(zhǔn)確的響應(yīng)，而非極大值抑制可以將除局部最大值以外的梯度值抑制為0。

（4）用雙閾值方法對(duì)真實(shí)和潛在的邊緣進(jìn)行判定。

（5）最終的邊緣檢測(cè)是通過(guò)抑制孤立的弱邊緣來(lái)實(shí)現(xiàn)的。因?yàn)閺?qiáng)邊緣的像素是從圖像的真實(shí)邊緣中提取的，因此可將其定義為邊緣。而弱邊緣像素既能從真實(shí)邊緣提取也可能是由噪聲或顏色變化造成的。抑制由噪聲或顏色變化引起的弱邊緣對(duì)結(jié)果的準(zhǔn)確性有很大的影響。

3.3 基于Top-Hat-Canny多重邊緣檢測(cè)模型的建立

由于彩色圖片信息量大，特征量和計(jì)算量成指數(shù)增加，將去噪后的RGB圖像灰度化處理，降低維度，提高運(yùn)算速度。

彩色圖像單個(gè)像素由(R，G，B)合成，轉(zhuǎn)換成灰度圖就是(L)。由于人眼對(duì)Blue敏感最低而對(duì)Green的敏感最高，故按公式（13）對(duì)Red、Green、Blue 3分量進(jìn)行加權(quán)平均計(jì)算，得到較合理的灰度圖像[18]。經(jīng)灰度處理后的圖像僅是丟失了圖片的顏色信息，而其他的信息仍保留在圖片中。

為了克服直接使用Canny方法對(duì)具有亮度不均勻背景的目標(biāo)圖像進(jìn)行準(zhǔn)確的邊緣提取的不足，提出一種Top-Hat-Canny圖像邊緣檢方法。Canny在有噪聲的情況下表現(xiàn)好壞，取決于前面的降噪過(guò)程，這也是為什么在做邊緣檢測(cè)之前進(jìn)行單獨(dú)的圖像降噪的原因，流程如圖3所示。

具體過(guò)程如下：

（1）將原始圖像G分成y、u、v3個(gè)空間分量，表示為 Gy、Gu、Gv。

（2）對(duì)Gy、Gu、Gv3個(gè)分量進(jìn)行小波軟閾值濾波去噪，得到3個(gè)新的空間分量

（4）對(duì)灰度圖像g(i,j)做頂帽變換得到WTH(g)。

（5）再對(duì)WTH(g)圖像做Canny邊緣提取，最終得到邊緣特征。

圖3 Top-Hat-Canny邊緣檢測(cè)流程

4 實(shí)驗(yàn)結(jié)果分析

4.1 基于WT的RBG圖像空間濾波去噪結(jié)果

本文的實(shí)驗(yàn)數(shù)據(jù)采用Karlsruher Institut für Technologie和Toyota Research Institute聯(lián)合創(chuàng)辦的KITTI數(shù)據(jù)集，該數(shù)據(jù)集是自動(dòng)駕駛場(chǎng)景中最大的數(shù)據(jù)集。KITTI數(shù)據(jù)集包含市區(qū)、鄉(xiāng)村和高速公路等各種場(chǎng)景的真實(shí)圖像數(shù)據(jù)，常用于識(shí)別檢測(cè)圖像、光流和視覺(jué)測(cè)距等[19]。

以KITTI數(shù)據(jù)集內(nèi)市區(qū)車輛為例，為了使去噪效果更明顯的體現(xiàn)在圖片上，先在原始圖4(a)上添加椒鹽噪聲，得到加噪后圖像如圖4(b)所示。之后將原始RGB圖像分成R、G、B 3個(gè)空間分量，分別對(duì)3個(gè)分量進(jìn)行小波軟閾值去噪處理，得到濾波去噪后圖像。

實(shí)驗(yàn)結(jié)果如圖4(d)所示。從圖中可以明顯看出，基于WT的RBG圖像空間濾波去噪方法可以有效的濾除噪聲同時(shí)保留原始圖像信息。將基于WT的RBG圖像空間濾波去噪方法與直接將原始圖像通過(guò)小波閾值去噪的方法進(jìn)行對(duì)比實(shí)驗(yàn)。從圖4(c)和圖4(d)的對(duì)比中可以明顯看出，先分解再濾波的去噪效果要明顯優(yōu)于直接對(duì)原始圖像去噪的效果。

圖4WT空間濾波去噪圖像

分別從KITTI數(shù)據(jù)庫(kù)中隨機(jī)選擇2幅圖像進(jìn)行仿真實(shí)驗(yàn)，分別對(duì)加入椒鹽噪聲和高斯噪聲的圖像進(jìn)行濾波去噪仿真實(shí)驗(yàn)。計(jì)算圖像的信噪比（SNR）和峰值信噪比（PSNR）來(lái)評(píng)價(jià)去噪效果，實(shí)驗(yàn)結(jié)果見(jiàn)表1和表2。PSNR值越大，代表失真越少；SNR值越大，表示圖像質(zhì)量越高。從表1和表2中可以看出，本文的算法明顯優(yōu)于直接對(duì)圖像進(jìn)行小波去噪的方法。

表1 PSNR評(píng)估表

表2 SNR評(píng)估表

4.2 基于Top-Hat-Canny多重邊緣檢測(cè)方法

原圖像去噪后將圖像進(jìn)行灰度化處理，得到的灰度圖像如圖5所示?；叶忍幚碇皇菍D像彩色信息去掉，但是圖像的其他信息仍被保留。

從原始圖像圖4(a)中可以明顯看出，圖像右側(cè)部分光線很亮對(duì)該圖像內(nèi)的車輛目標(biāo)有一定的影響，本文采用基于Top-Hat-Canny多重邊緣檢測(cè)方法，對(duì)灰度化后的圖像進(jìn)行Top-Hat處理，削弱光線對(duì)目標(biāo)的影響，結(jié)果如圖6所示。這里可以看到Top-Hat處理后的圖像刪除了大部分非均勻背景，最后閾值處理后，車輛目標(biāo)被分割出來(lái)，雖然有少量殘缺，但是影響不大。

圖5圖像灰度化處理

圖6 Top-Hat去除光照影響

經(jīng)Top-Hat處理后，對(duì)圖像進(jìn)行Canny邊緣檢測(cè)，加強(qiáng)圖像邊緣信息，實(shí)驗(yàn)結(jié)果如圖7所示。從圖中可以直觀的看出，采用Top-Hat-Canny聯(lián)合邊緣檢測(cè)后，目標(biāo)的邊緣信息更加的清晰、連續(xù)，并且保留下的背景信息也相對(duì)更少。

圖7 Top-Hat-Canny提取邊緣信息

在圖像邊緣檢測(cè)中，定位精度越小，表明邊緣檢測(cè)的定位精度越好，圖像的連續(xù)性強(qiáng)，邊緣的斷裂較少；單邊緣響應(yīng)值越大，表明邊緣檢測(cè)方法的效果越差。將傳統(tǒng)的Canny算法分別與Sobel算法、自適應(yīng)Canny算法以及本文提出的Top-Hat-Canny算法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表3所示。從表3中可以看出傳統(tǒng)的Canny算法定位精度和單邊緣響應(yīng)都要優(yōu)于傳統(tǒng)的Sobel算法，而改進(jìn)的自適應(yīng)Canny算法的邊緣檢測(cè)結(jié)果要優(yōu)于前兩種算法。將本文提出的Top-Hat-Canny算法與其他3種算法進(jìn)行對(duì)比分析，定位精度及單邊緣響應(yīng)都要優(yōu)于以上3種算法，邊緣檢測(cè)效果更好。本文提出的Top-Hat-Canny算法不僅解決了光線不均的問(wèn)題，同時(shí)還提高了圖像邊緣檢測(cè)的效果。

表3 邊緣圖像的評(píng)價(jià)指標(biāo)

5 結(jié)論

本文提出一種基于Top-Hat-Canny的汽車前視攝像頭圖像邊緣檢測(cè)方法。實(shí)驗(yàn)證明：該方法可以高效率、高精度的對(duì)道路上的行人、車輛等目標(biāo)進(jìn)行邊緣檢測(cè)，提取邊緣特征，為后續(xù)前視攝像頭前方目標(biāo)識(shí)別做充足的預(yù)處理工作，這對(duì)于自動(dòng)駕駛技術(shù)的發(fā)展具有重要的意義。