【摘 要】文章提出基于非采樣Contourlet變換（NSCT）的紅外與可見(jiàn)光圖像融合方法，用于解決霧霾天、逆光等惡劣環(huán)境下，單目攝像頭識(shí)別能力有限的問(wèn)題。實(shí)驗(yàn)表明：通過(guò)5組實(shí)驗(yàn)比較分析文章所述方法與基于單目攝像頭方法的融合結(jié)果，采用所述方法的融合圖像客觀(guān)評(píng)價(jià)指標(biāo)分別提高了8.41%、93.58%、15.41%;7.86%、58.84%、22.06%;20.03%、95.70%、3.21%;32.62%、148.38%、19.25%;8.95%、19.01%、10.44%。文章所述方法從主觀(guān)視覺(jué)效果和客觀(guān)評(píng)價(jià)都優(yōu)于基于單目攝像頭方法。

【關(guān)鍵詞】圖像融合;非下采樣Contourlet變換;自適應(yīng)

【中圖分類(lèi)號(hào)】TP391.41 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】1674-0688（2019）07-0093-03

伴隨“東風(fēng)柳汽3.0”時(shí)代的到來(lái)，2018年已實(shí)現(xiàn)量產(chǎn)搭載L2級(jí)別的ADAS功能，正向L3級(jí)別的ADAS功能邁進(jìn)。采用單目攝像頭（如圖1所示）配合超聲波雷達(dá)、ECU、全景攝像頭等，實(shí)現(xiàn)了自動(dòng)緊急制動(dòng)（AEB）、車(chē)道偏離報(bào)警（LDW）等功能。經(jīng)過(guò)一段時(shí)間的市場(chǎng)檢驗(yàn)，ADAS相關(guān)功能市場(chǎng)反饋效果好，在較好的環(huán)境下，AEB的誤報(bào)率小于1次/100萬(wàn)km。但在霧霾天、能見(jiàn)度差、亂用遠(yuǎn)光燈等工況下，單目攝像頭識(shí)別能力有限，造成ADAS相關(guān)功能穩(wěn)定性降低。

21世紀(jì)，圖像處理技術(shù)蓬勃發(fā)展，汽車(chē)、航空航天、安全監(jiān)控等領(lǐng)域應(yīng)用廣泛。由于原理差異，不同傳感器的特性不盡相同。紅外感知傳感器以熱輻射為原理，感知能量分布，并且具有不受光照條件影響的性質(zhì)[1-2];可見(jiàn)光感知傳感器以光譜特性采用反射的原理探測(cè)場(chǎng)景，能充分捕捉場(chǎng)景中的邊緣、紋理等細(xì)節(jié)信息，但很容易被光照等條件影響。綜上所述，針對(duì)單目攝像頭中存在的潛在問(wèn)題，增加一個(gè)紅外攝像頭傳感器（如圖2所示），將紅外攝像頭感知的圖像和可見(jiàn)光攝像頭感知的圖像融合，彌補(bǔ)特定環(huán)境中單目攝像頭識(shí)別能力差，導(dǎo)致ADAS相關(guān)功能穩(wěn)定性降低的問(wèn)題。

1 NSCT的基本原理

Cunha等人在21世紀(jì)初，提出了非下采樣Contourlet變換（NSCT）[3]，如圖3所示。NSCT采用Z變換，讓NSCT具有平移不變性;采用上采樣，讓NSCT的子帶圖像與感知圖像大小相同[4-5]。

N級(jí)分解圖像后，得到1+∑Nj=1 2■個(gè)子帶圖像，其中l(wèi)j表示在尺度j下的方向分解級(jí)數(shù)。

2 基于NSCT的圖像融合算法

NSCT有3個(gè)優(yōu)點(diǎn)：優(yōu)秀的空域局部特性、優(yōu)秀的頻域局部特性、優(yōu)秀的方向特性?；谶@些優(yōu)點(diǎn)，NSCT能較好地表達(dá)圖像的幾何特性。針對(duì)單目攝像頭在惡劣環(huán)境下識(shí)別能力降低的問(wèn)題，本文采用基于自適應(yīng)NSCT的方法對(duì)圖像進(jìn)行分解融合。圖像的融合規(guī)則如下。

步驟1：針對(duì)紅外感知傳感器反饋的紅外感知圖像A、可見(jiàn)光感知傳感器反饋的可見(jiàn)光感知圖像B，分別對(duì)A與B進(jìn)行NSCT，得到低通子帶系數(shù)LA、LB，高通子帶系數(shù)■、■，其中k=1，2，…;i=1，2，…。

步驟2：分別對(duì)LA、LB采用低通融合規(guī)則進(jìn)行融合，分別對(duì)■、■采用高通融合規(guī)則進(jìn)行融合。

步驟3：對(duì)融合子帶系數(shù)進(jìn)行逆變換，得到最終融合圖像。

圖4給出了基于NSCT融合的基本流程框架。

2.1 低頻分量融合規(guī)則

針對(duì)霧霾天、逆光的環(huán)境，可見(jiàn)光圖像低頻分量如圖5所示。由可見(jiàn)光低頻圖像可以得出，在惡劣環(huán)境下可見(jiàn)光傳感器反饋圖像包含信息量低，路面情況如行駛車(chē)輛、行人、標(biāo)識(shí)牌、車(chē)道線(xiàn)等信息顯示不完全。

紅外圖像低頻分量如圖6所示。由紅外低頻圖像可以得出，對(duì)惡劣環(huán)境下紅外傳感器反饋圖像信息量高，且能反饋出路面信息，如房屋、汽車(chē)、行人等。選擇自適應(yīng)[6]的融合方法，對(duì)已經(jīng)分解好的低頻子帶系數(shù)進(jìn)行融合。

LF=（1-λ）LA+λLB（1）

公式（1）中，λ表示感知圖像的信息量。正常環(huán)境中，可見(jiàn)光傳感器反饋的圖像信息量大，低頻子帶融合時(shí)，可見(jiàn)光低頻子帶占比高;當(dāng)處于惡劣環(huán)境時(shí)，由于大霧、逆光等導(dǎo)致可見(jiàn)光傳感器反饋的圖像信息量降低，紅外低頻子帶占比升高。采用公式（1）自適應(yīng)融合的方法進(jìn)行融合，當(dāng)環(huán)境較好時(shí)，紅外攝像頭能輔助可見(jiàn)光攝像頭，進(jìn)一步提高感知端的識(shí)別能力;針對(duì)霧霾、逆光等環(huán)境，紅外攝像頭能彌補(bǔ)可見(jiàn)光攝像頭的不足，較好地提高感知端的適用范圍，進(jìn)而提高ADAS相關(guān)功能在惡劣環(huán)境下的穩(wěn)定性。

3 仿真結(jié)果與評(píng)價(jià)

為了驗(yàn)證本文方法，采用MATLAB進(jìn)行大量的仿真實(shí)驗(yàn)（如圖8所示）。

第一、二組是模擬逆光的工況：如圖8（1-a）和圖8（2-a）可見(jiàn)光所示，圖中逆光明顯，幾乎看不到路面信息，若采用單目攝像頭，則在此工況下ADAS相關(guān)功能性能將大幅降低;如圖8（1-b）和圖8（2-b）紅外圖像所示，圖中路面信息豐富;本文方法如圖8（1-c）和圖8（2-c）所示，圖中道路線(xiàn)清晰，車(chē)輛輪廓明顯，行人特征明顯，能彌補(bǔ)單目攝像頭在惡劣環(huán)境下的缺陷。

第三、四組是霧霾天的情況：如圖8（3-a）和圖8（4-a）可見(jiàn)光所示，圖中濃霧遮擋了車(chē)輛、行人、車(chē)道線(xiàn)等路面信息;如圖8（3-b）和圖8（4-b）紅外圖像所示，圖中車(chē)道線(xiàn)清晰可見(jiàn)，路上行人特征明顯，遠(yuǎn)處的房子清晰，車(chē)輛輪廓、車(chē)牌、尾燈等特征清晰;本文方法如圖8（3-c）和圖8（4-c）所示，圖中反映的路面信息豐富，能彌補(bǔ)使用單目攝像頭時(shí)，在霧霾天的工況下不能觀(guān)察路面信息的缺陷。

第五組是路面照明差的情況：如圖8（5-a）可見(jiàn)光所示，圖中路面照明差，在對(duì)向車(chē)道有開(kāi)遠(yuǎn)光燈的情況下，幾乎看不到路邊的行人、車(chē)道線(xiàn)等信息;如圖8（5-b）紅外圖像所示，路邊行人特征明顯，且能清晰地看到對(duì)向車(chē)道的車(chē)輛信息;但是，紅外圖像也有缺陷，如可見(jiàn)光圖像圖8（5-a）中左側(cè)的汽車(chē)尾燈，在紅外圖像圖8（5-b）中，不能觀(guān)察到相鄰車(chē)道的信息;采用本文提出的融合方法如圖8（5-c）所示，右側(cè)行人特征明顯，左側(cè)相鄰車(chē)道汽車(chē)尾燈特征能清晰表現(xiàn)，且能正確表達(dá)對(duì)向車(chē)道遠(yuǎn)光燈區(qū)域路面信息，能彌補(bǔ)單目攝像頭在惡劣環(huán)境下的缺陷。

以客觀(guān)評(píng)價(jià)的角度分析本文方法的融合質(zhì)量。選擇香農(nóng)熵（S），方差（V），峰值信噪比（P），并使用3個(gè)指標(biāo)客觀(guān)地分析融合圖像。其中，香農(nóng)熵表示圖像中信息程度，方差衡量圖像復(fù)雜程度，圖片看起來(lái)灰蒙蒙的，則方差小，如果圖片看起來(lái)信息豐富，則方差大;峰值信噪比用于衡量圖像信息中，有用信息在圖像信息的占比程度。

從表1可以得出，對(duì)比香農(nóng)熵、方差、峰值信噪比參數(shù)，本文所述方法明顯優(yōu)于單目攝像頭方法。本文方法相對(duì)于單目攝像頭在第一組融合，融合質(zhì)量指標(biāo)分別提高了8.41%、93.58%、15.41%;第二組融合比較，質(zhì)量指標(biāo)分別提高7.86%、58.84%、22.06%;第三組融合比較，質(zhì)量指標(biāo)分別提高20.03%、95.70%、3.21%;第四組融合比較，質(zhì)量指標(biāo)分別提高32.62%、148.38%、19.25%;第五組融合比較，質(zhì)量指標(biāo)分別提高8.95%、19.01%、10.44%。

4 結(jié)論

本文提出了一種融合方法，是采用在NSCT基礎(chǔ)上通過(guò)自適應(yīng)的方法對(duì)紅外和可見(jiàn)光進(jìn)行融合。通過(guò)5組實(shí)驗(yàn)比較分析本文所述方法與基于單目攝像頭方法的融合結(jié)果，本文所述方法客觀(guān)評(píng)價(jià)指標(biāo)分別提高了8.41%、93.58%、15.41%;7.86%、58.84%、22.06%;20.03%、95.70%、3.21%;32.62%、148.38%、19.25%;8.95%、19.01%、10.44%。無(wú)論從主觀(guān)視覺(jué)效果還是客觀(guān)評(píng)價(jià)，本文所述方法都明顯優(yōu)于單目攝像頭的方法，能彌補(bǔ)在霧霾天、能見(jiàn)度差、亂用遠(yuǎn)光燈等惡劣環(huán)境下，單目攝像頭識(shí)別能力有限的缺點(diǎn)，有效提升在惡劣環(huán)境下ADAS相關(guān)功能的穩(wěn)定性。

參 考 文 獻(xiàn)

[1]XIANGT，YAN L，GAO R.A fusion algorithm for infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCT domain[J].Infrared Physics &Technology，2015，69：53–61.

[2]王烈，羅文，陳俊鴻，等.自適應(yīng)PCNN與信息提取的紅外與可見(jiàn)光圖像融合[J].計(jì)算機(jī)工程與應(yīng)用，2018，54（4）：192-198.

[3]張一晨，賈振紅，覃錫忠，等.基于NSCT域圖像融合改進(jìn)算法的SAR圖像無(wú)監(jiān)督變化檢測(cè)[J].光電子·激光，2015，26（10）：2023-2030.

[4]吳延海，張燁，馬孟新.基于NSCT變換和壓縮感知的圖像融合[J].西安科技大學(xué)學(xué)報(bào)，2015，35（4）：480-485.

[5]CUNHA A L，ZHOU J P，DO M N.Nonsubsampled Contourlet transform：filter design and application in image denoising[C].IEEE International Conference on Image Processing，2005.

[6]王烈，羅文，秦偉萌.分段弱選擇自適應(yīng)正交匹配追蹤算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2018，39（12）：3767-3773.

[責(zé)任編輯：鐘聲賢]