王　洋，潘志斌

(西安交通大學(xué) 電子與信息工程學(xué)院，陜西 西安 710049)

?

紅外圖像降噪與增強(qiáng)技術(shù)綜述

王洋，潘志斌

(西安交通大學(xué) 電子與信息工程學(xué)院，陜西 西安 710049)

由于目前紅外成像系統(tǒng)中技術(shù)工藝上的缺陷，紅外圖像中不可避免地包含多種噪聲，具有信噪比低、細(xì)節(jié)模糊等特點(diǎn)。盡管許多學(xué)者已經(jīng)開展了大量相關(guān)的研究工作，目前基于紅外成像的處理方法仍然面臨許多挑戰(zhàn)，還沒有形成類似于在可見光成像領(lǐng)域相對(duì)完整、成熟的理論體系，對(duì)相關(guān)研究進(jìn)展的系統(tǒng)性總結(jié)工作仍然相對(duì)缺乏?；仡櫫思t外圖像處理的發(fā)展現(xiàn)狀，并根據(jù)紅外圖像的特點(diǎn)分別就紅外圖像的降噪和紅外圖像的增強(qiáng)處理兩方面進(jìn)行了重點(diǎn)介紹，對(duì)其進(jìn)展情況和特點(diǎn)分別進(jìn)行總結(jié)歸納，并且就目前研究中存在的問題加以分析，并嘗試探討了其發(fā)展趨勢(shì)。

紅外圖像處理；圖像降噪；圖像對(duì)比度增強(qiáng)；圖像細(xì)節(jié)增強(qiáng)

0　引言

紅外圖像不同于可見光圖像，它能夠反映場(chǎng)景的溫度場(chǎng)信息。近年來，隨著紅外成像平臺(tái)與傳感器的發(fā)展，紅外成像已經(jīng)廣泛應(yīng)用于森林防火、醫(yī)療診斷、行車輔助、電力檢修和夜視等領(lǐng)域，極大地推動(dòng)了紅外圖像處理方法和應(yīng)用的研究。紅外成像按照成像原理來分可以分為主動(dòng)紅外成像與被動(dòng)紅外成像。主動(dòng)紅外成像由一個(gè)紅外探照燈和一個(gè)接收端成對(duì)組成使用[1]，其探測(cè)原理是利用紅外探照燈主動(dòng)發(fā)射人眼無法看到的脈沖紅外線，由光學(xué)系統(tǒng)接收被目標(biāo)反射的紅外輻射，得到目標(biāo)的紅外圖像。由于紅外線是擴(kuò)散性傳播，能量不易集中，偵測(cè)范圍較小，且主動(dòng)紅外燈源體積功耗較大，限制了主動(dòng)紅外成像的應(yīng)用。目前，主動(dòng)紅外成像系統(tǒng)主要應(yīng)用于某些對(duì)便攜性要求不高的近距離民用監(jiān)控場(chǎng)景，以及某些場(chǎng)合下的主被動(dòng)結(jié)合成像[2]。本文針對(duì)被動(dòng)紅外成像技術(shù)進(jìn)行討論，如非特殊說明，文中紅外成像均特指被動(dòng)紅外成像。

紅外成像技術(shù)是通過觀測(cè)場(chǎng)景中目標(biāo)和背景各點(diǎn)的熱輻射差異，從而反映出場(chǎng)景圖像的具體內(nèi)容與溫度場(chǎng)信息的成像技術(shù)。其工作流程為：首先(探頭)將接收到的紅外熱輻射信息轉(zhuǎn)化為電信號(hào)；然后再將電信號(hào)進(jìn)行處理，將紅外成像數(shù)據(jù)進(jìn)行降噪與增強(qiáng)，轉(zhuǎn)化為適合人眼觀察的圖像數(shù)據(jù)；最后將處理后的紅外圖像輸出到屏幕上，將電信號(hào)轉(zhuǎn)化為可見光信號(hào)。

紅外成像技術(shù)的主要研究對(duì)象是紅外圖像采集接收、降噪和增強(qiáng)處理，與可見光圖像或主動(dòng)紅外圖像融合顯示以及對(duì)其中具體信息的分析等。目前最主流的紅外成像技術(shù)是非制冷紅外焦平面陣列成像技術(shù)(Focusing Plane Array，F(xiàn)PA)。它無需低溫制冷，具有體積小、重量輕、功耗低和成本低等優(yōu)點(diǎn)，但靈敏度、信噪比和溫度分辨率上與制冷紅外成像還有一定差距。這就導(dǎo)致紅外成像數(shù)據(jù)具有多種非理想因素，表現(xiàn)在紅外圖像往往具有對(duì)比度低、邊緣模糊、噪聲較大、清晰度不高、分辨弱小目標(biāo)形狀和紋理細(xì)節(jié)信息能力較差等缺點(diǎn)，其成像質(zhì)量也一般遠(yuǎn)低于可見光成像，這就為紅外圖像的后續(xù)應(yīng)用帶來了局限性。隨著科技進(jìn)步，各個(gè)應(yīng)用領(lǐng)域?qū)t外成像的要求也越來越高，僅靠成像器材從工藝上的改進(jìn)是遠(yuǎn)遠(yuǎn)不夠的，必須研究更優(yōu)秀的圖像處理算法來滿足實(shí)際使用要求。紅外圖像降噪算法能夠減輕甚至消除紅外成像系統(tǒng)中多種多樣的非理想因素對(duì)信號(hào)的影響；紅外圖像增強(qiáng)處理能夠突出紅外圖像中的有用信息，提高紅外圖像空間信息的辨識(shí)度，同時(shí)為圖像目標(biāo)檢測(cè)與跟蹤[3]、信息隱藏[4]和圖像內(nèi)容分析[5]等后續(xù)應(yīng)用提供有利條件。目前，已經(jīng)有許多學(xué)者圍繞紅外成像的特性對(duì)圖像處理方法的研究開展了大量工作，本文對(duì)相關(guān)理論方法及進(jìn)展進(jìn)行了總結(jié)歸納，對(duì)紅外圖像處理方法的研究現(xiàn)狀進(jìn)行分類討論，對(duì)發(fā)展中存在的問題進(jìn)行梳理分析，并對(duì)其發(fā)展趨勢(shì)進(jìn)行了探討。

1　紅外圖像降噪研究現(xiàn)狀

當(dāng)前，紅外焦平面陣列是獲取紅外圖像的最重要的方式。紅外圖像噪聲的來源復(fù)雜、信噪比較低，限制了紅外成像系統(tǒng)的應(yīng)用[6]。紅外圖像中最重要的2種非理想因素是非均勻性與圖像噪聲。產(chǎn)生紅外圖像非均勻性的因素大致可以分為2類[7]：器件自身的非均勻性，這部分非均勻性主要由器件材料與制造工藝決定；器件在工作狀態(tài)時(shí)引入的非均勻性，這部分非均勻性主要由工作時(shí)溫度的非均勻性，紅外探測(cè)單元與CCD器件驅(qū)動(dòng)信號(hào)的非均勻性有關(guān)。

紅外焦平面陣列成像系統(tǒng)的性能受到陣列中探測(cè)器單元的空間非均勻性的影響非常強(qiáng)，這種非均勻性使獲取的圖像信號(hào)模糊不清、畸變，同時(shí)會(huì)令圖像疊加一個(gè)受探測(cè)器影響的固定圖案噪聲，嚴(yán)重影響圖像質(zhì)量。

非均勻校正技術(shù)可分為2類：基于定標(biāo)和基于場(chǎng)景的校正技術(shù)?；诙?biāo)的校正技術(shù)要求在特定溫度下由黑體產(chǎn)生的均勻輻射對(duì)紅外焦平面陣列定標(biāo)。定標(biāo)法校正精確，在需要精確測(cè)溫的應(yīng)用中是必要的，但缺點(diǎn)是在工作一段時(shí)間后就需要重新定標(biāo)校正，且在定標(biāo)時(shí)要求停止鏡頭的正常工作?；趫?chǎng)景的校正技術(shù)不需停止探測(cè)系統(tǒng)的正常工作，通常使用運(yùn)動(dòng)的若干幀圖像序列進(jìn)行計(jì)算得到校正量進(jìn)行校正，能夠連續(xù)地得到校正圖像序列，但缺點(diǎn)是比較依賴圖像運(yùn)動(dòng)等特定條件與工作模式，效果較好的一些方法[8]，如神經(jīng)網(wǎng)絡(luò)校正往往具有較大的學(xué)習(xí)計(jì)算量，難以實(shí)時(shí)應(yīng)用。

紅外圖像非均勻性與制造工藝有關(guān)，校正效果更加依賴于工藝的改進(jìn)，基于場(chǎng)景的校正算法目前還難以達(dá)到定標(biāo)校正方法的效果，只能在一些要求不是很精確的場(chǎng)合使用，這里不做重點(diǎn)討論。

在本文中只討論另一種紅外圖像的非理想因素——圖像噪聲。紅外圖像的噪聲主要分為以下幾種[9]：

① 背景噪聲：主要指能輻射紅外線的自然輻射源(如空氣和云，大氣抖動(dòng))引起的噪聲，該噪聲與頻率無關(guān)，是一種典型的白噪聲；

② 放大器噪聲：是由放大器內(nèi)部自由電子的熱運(yùn)動(dòng)形成的噪聲，具有很寬的頻譜，也是一種白噪聲；

③ 探測(cè)器噪聲：主要有1/f噪聲、產(chǎn)生—復(fù)合噪聲和熱噪聲等，這類噪聲也近似為白噪聲。

由以上分析可知，紅外焦平面成像除了非均勻性之外，其他噪聲基本都符合高斯分布，這樣就可以根據(jù)噪聲性質(zhì)對(duì)其進(jìn)行抑制。一種理想的降噪算法應(yīng)該能夠在對(duì)圖像原始信息損失盡量少的情況下對(duì)噪聲進(jìn)行盡可能的抑制。一種典型的圖像降噪方法對(duì)于加噪圖像進(jìn)行處理的結(jié)果如圖1所示[10]。

圖1　一種典型的圖像降噪方法的效果對(duì)比

經(jīng)典的紅外圖像噪聲抑制的方法主要分為幀間降噪與幀內(nèi)降噪兩大類。

1.1幀間降噪

圖像序列信號(hào)具有連貫性，相鄰幀間的時(shí)域相關(guān)性大于空域圖像的鄰域相關(guān)性，且空域的降噪往往對(duì)于圖像自身的細(xì)節(jié)有一定的劣化影響。因此，為保護(hù)圖像邊緣，常常利用幀間濾波的方式對(duì)紅外圖像中具有的白噪聲進(jìn)行抑制[11,12]。幀間濾波最簡(jiǎn)單的方式是幀平均濾波，但當(dāng)圖像出現(xiàn)運(yùn)動(dòng)時(shí)，幀平均往往會(huì)導(dǎo)致圖像的模糊，或者重影拖尾現(xiàn)象。文獻(xiàn)[11]提出了基于運(yùn)動(dòng)軌跡進(jìn)行幀平均的算法，即計(jì)算每一幀與上一幀的最佳匹配，這樣在時(shí)域上獲得物體的運(yùn)動(dòng)軌跡，沿著物體的運(yùn)動(dòng)軌跡進(jìn)行幀間平均來降低噪聲，能夠在較好的降低噪聲的同時(shí)防止出現(xiàn)重影的現(xiàn)象。但由于該方法需要進(jìn)行圖像匹配的操作，計(jì)算復(fù)雜度高，難以實(shí)時(shí)實(shí)現(xiàn)。文獻(xiàn)[12]提出了基于運(yùn)動(dòng)檢測(cè)的時(shí)域加權(quán)均值濾波方法，將圖像分為若干子塊，并對(duì)每一子塊進(jìn)行運(yùn)動(dòng)判定。若子塊為運(yùn)動(dòng)子塊，則不做時(shí)域?yàn)V波處理，對(duì)于靜止區(qū)域的子塊采用時(shí)域加權(quán)濾波來抑制噪聲，濾波結(jié)果為：

(1)

式中，

(2)

(3)

1.2幀內(nèi)降噪

由于紅外圖像噪聲強(qiáng)度大、種類多、信噪比低，幀間降噪也只能對(duì)時(shí)域噪聲進(jìn)行抑制，這就需要使用幀內(nèi)降噪算法作為幀間時(shí)域降噪算法的補(bǔ)充。經(jīng)典的算法有均值濾波、高斯濾波和中值濾波等經(jīng)典空域?yàn)V波器。這些濾波器的特點(diǎn)是算法簡(jiǎn)單、易于實(shí)現(xiàn)，但對(duì)圖像噪聲進(jìn)行抑制的性能并不夠優(yōu)秀，且可能帶來圖像模糊和細(xì)節(jié)丟失等現(xiàn)象。

為了避免這些降噪算法的副作用與局限性，有學(xué)者提出了基于動(dòng)態(tài)濾波算子的方法，如雙邊濾波[13]、各向異性擴(kuò)散[14]、非局部均值濾波[15]和引導(dǎo)濾波等[16]。這類方法能夠根據(jù)濾波像素點(diǎn)的鄰域信息，自適應(yīng)地在圖像的各個(gè)區(qū)域建立不同的濾波算子，從而在追求降噪性能的同時(shí)得到更好的邊緣保持效果。這里對(duì)近期的幾個(gè)熱點(diǎn)研究算法進(jìn)行簡(jiǎn)單介紹。

1.2.1非局部均值濾波降噪

非局部均值濾波算法(Non-Local Means Filtering，NLMF)[15]通過在整幅圖像中尋找與該噪聲點(diǎn)具有結(jié)構(gòu)相似的像素區(qū)域作為濾波區(qū)域，將圖像中噪聲點(diǎn)的濾波放到整幅圖像中進(jìn)行考慮，而不僅僅局限于噪點(diǎn)的鄰域區(qū)域，通過充分挖掘圖像中所有與噪聲點(diǎn)區(qū)域相似的信息，使其全部參與到噪聲點(diǎn)的濾波過程中去，從而使得濾波后的圖像信息失真程度較小。NLMF的濾波結(jié)果為：

(4)

式中，I為圖像的坐標(biāo)域；w(a,a′)為權(quán)重值：

(5)

式中，D(a,a′)為a與a′所在圖像局部區(qū)域塊Na與Na′的歐式距離，D(a,a′)=‖φ(Na)-φ(Na′)‖；h為調(diào)節(jié)因子，用于控制w(a,a′)相對(duì)于D(a,a′)的衰減程度；exp(·)為指數(shù)函數(shù)。目前學(xué)者也對(duì)NLMF進(jìn)行了改進(jìn)，使其能夠更加地適應(yīng)于紅外圖像的特性[15]。非局部濾波算法能夠在對(duì)噪聲進(jìn)行良好抑制的同時(shí)具有較好邊緣保持的性能。

1.2.2引導(dǎo)濾波降噪

引導(dǎo)濾波[16]是一種邊緣保持平滑濾波器，可以在平滑背景的同時(shí)保持場(chǎng)景的邊緣細(xì)節(jié)。它根據(jù)具體應(yīng)用事先設(shè)定的一幅引導(dǎo)圖I來指導(dǎo)輸入圖像P的濾波(引導(dǎo)圖I可以直接取為輸入圖像P)，使得輸出圖像Q能夠在保留輸入圖像整體特征的同時(shí)，充分獲取引導(dǎo)圖像的變化細(xì)節(jié)。對(duì)于輸出圖像的像素i，濾波結(jié)果為：

(6)

式中，W為濾波核函數(shù)，

(7)

與傳統(tǒng)的濾波核函數(shù)相比，由于引導(dǎo)濾波使用了鄰域內(nèi)的像素均值和方差作為局部估計(jì)，能夠根據(jù)圖像內(nèi)容自適應(yīng)調(diào)整輸出權(quán)重值，使其具有良好的邊緣保持和細(xì)節(jié)增強(qiáng)性能。

紅外圖像具有噪聲強(qiáng)、對(duì)比度低和邊緣模糊的特點(diǎn)。在霧霾、雨天等非理想的情況下，圖像質(zhì)量還會(huì)大打折扣。紅外圖像降噪能夠減少因?yàn)樵肼曇鸬膱D像質(zhì)量下降，提升圖像的信噪比，但是降噪后的紅外圖像仍然對(duì)比度較低、細(xì)節(jié)模糊，往往很難從中提取有用信息，通常還需要使用圖像增強(qiáng)技術(shù)對(duì)圖像進(jìn)行進(jìn)一步的處理，從而顯著地改善紅外圖像的視覺效果，提高目標(biāo)圖像與背景之間的對(duì)比度，著重突顯目標(biāo)，弱化一些無用的背景信息。由于圖像增強(qiáng)算法不可避免地會(huì)對(duì)紅外圖像中較強(qiáng)的噪聲或多或少有一定放大作用，而好的圖像降噪算法能夠在圖像增強(qiáng)時(shí)減少噪聲對(duì)于增強(qiáng)圖像的影響，在紅外圖像增強(qiáng)處理之前，一般也需要先對(duì)紅外圖像進(jìn)行降噪處理，使得面向紅外圖像的增強(qiáng)算法能夠具有更好的性能。

2　圖像增強(qiáng)

圖像增強(qiáng)是為了特定的某種應(yīng)用目的，突出圖像中的目標(biāo)，并改善圖像視覺質(zhì)量，使圖像更適合于人的視覺特性或機(jī)器的識(shí)別系統(tǒng)的信息處理方法[17]，其主要目的是使處理后的圖像對(duì)某種特定的應(yīng)用來說，比原來圖像更加適用。由于紅外傳感器本身固有的特性，紅外圖像普遍存在著信噪比低、對(duì)比度較差和邊緣模糊等缺點(diǎn)，再加上目標(biāo)距傳感器較遠(yuǎn)，形狀、大小、紋理特性較差，目標(biāo)檢測(cè)比較困難，更加需要對(duì)紅外圖像進(jìn)行增強(qiáng)處理。

圖像增強(qiáng)方法可根據(jù)其處理空間的不同分為兩大類：空域方法和變換域方法?？沼蚍椒ㄊ窃趫D像的像素空間直接進(jìn)行處理，以每個(gè)像素點(diǎn)為操作對(duì)象，通過改變像素灰度值來達(dá)到增強(qiáng)的目的，如對(duì)圖像的直方圖處理、灰度變換和空域?yàn)V波處理等；而變換域方法是以圖像在某種變換域(如傅里葉變換域、小波變換域)內(nèi)為基礎(chǔ)的處理，通過對(duì)變換域中參數(shù)的修改來實(shí)現(xiàn)對(duì)某一特征的增強(qiáng)效果，最終經(jīng)反變換得到處理后的圖像。隨著紅外成像的廣泛應(yīng)用，廣大學(xué)者也對(duì)紅外圖像的增強(qiáng)技術(shù)開展了大量的相關(guān)工作。

這里利用局部均衡算法[18]對(duì)ASL數(shù)據(jù)集中FLIR的紅外圖像數(shù)據(jù)庫中的圖像Sempach-5[19]進(jìn)行了增強(qiáng)，效果如圖2所示。

圖2　一種典型的圖像對(duì)比度增強(qiáng)方法的效果對(duì)比

近年來，全球紅外熱成像儀設(shè)計(jì)、制造及銷售領(lǐng)域的代表廠家，美國(guó)FLIR公司提出了紅外圖像細(xì)節(jié)增強(qiáng)技術(shù)(Digital Detail Enhancement，DDE)[20]。該方法能夠在有效壓縮紅外圖像動(dòng)態(tài)范圍的同時(shí)，很好地保留了場(chǎng)景中弱小目標(biāo)的細(xì)節(jié)信息，提高了人眼對(duì)圖像內(nèi)容的觀測(cè)能力以及對(duì)關(guān)鍵信息的獲取能力，是一種較為優(yōu)秀的圖像增強(qiáng)方法。一種DDE算法的實(shí)現(xiàn)效果對(duì)比如圖3所示[20]。

圖3　一種DDE算法實(shí)現(xiàn)效果對(duì)比

2.1空域直方圖增強(qiáng)技術(shù)

基于圖像直方圖的紅外圖像增強(qiáng)算法簡(jiǎn)單易用、實(shí)現(xiàn)方便，在一些較低要求的應(yīng)用場(chǎng)合能夠滿足實(shí)際需求，在實(shí)際中應(yīng)用最為廣泛。最簡(jiǎn)單的直方圖增強(qiáng)方法為灰度曲線映射[21]。該類方法通過設(shè)定不同的參數(shù)來實(shí)現(xiàn)對(duì)于不同灰度范圍的增強(qiáng)或者壓縮。常用的映射曲線有：分段線性映射、對(duì)數(shù)函數(shù)映射和伽馬函數(shù)映射等。但由于其難以適應(yīng)復(fù)雜場(chǎng)景，參數(shù)往往需要憑經(jīng)驗(yàn)手動(dòng)調(diào)節(jié)，只能在一些有特殊需求或要求較低的場(chǎng)合使用。

直方圖均衡是一種最常用的圖像對(duì)比度增強(qiáng)算法，其基本思想是根據(jù)輸入圖像的灰度概率分布來確定其對(duì)應(yīng)的輸出灰度值，將圖像中集中在某些灰度區(qū)間的直方圖進(jìn)行擴(kuò)展，使得圖像直方圖盡量在全部灰度范圍內(nèi)均勻分布，從而達(dá)到提升圖像對(duì)比度的目的[22]。經(jīng)典直方圖均衡算法[23]利用整幅圖像的直方圖來完成自適應(yīng)圖像增強(qiáng)。其算法簡(jiǎn)單易于實(shí)現(xiàn)，能滿足一般需求。但紅外圖像往往具有背景強(qiáng)、目標(biāo)弱小的特點(diǎn)，面積較小的目標(biāo)經(jīng)過該方法處理后會(huì)淹沒在面積較大(對(duì)應(yīng)直方圖較高的峰)的背景中，導(dǎo)致背景的過增強(qiáng)，可能反而降低了目標(biāo)與背景之間的對(duì)比度。

針對(duì)經(jīng)典直方圖均衡算法的缺陷，學(xué)者提出了多種基于直方圖均衡方法的改進(jìn)算法。常見的方法有多直方圖均衡算法，平臺(tái)直方圖算法與其他策略的直方圖調(diào)整[24-27]，如保持圖像亮度的雙直方圖均衡算法(Brightness preserving Bi-Histogram Equalization，BBHE)[24]，該算法將圖像直方圖根據(jù)圖像均值分為2個(gè)部分，對(duì)它們分別進(jìn)行均衡，從而保持輸入圖像的亮度均值，減少輸出圖像的局部過增強(qiáng)現(xiàn)象，也一定程度地抑制了噪聲放大，對(duì)于背景較強(qiáng)，直方圖呈單峰分布的圖像效果較好，但是對(duì)于目標(biāo)面積大，信號(hào)強(qiáng)的圖像效果并不夠理想。算法[25]提出了平臺(tái)直方圖的概念，該算法將圖像直方圖進(jìn)行平臺(tái)修正，即通過選擇一個(gè)適當(dāng)?shù)钠脚_(tái)值TH，將高于TH的直方圖值修改為TH，再利用裁剪過后的直方圖進(jìn)行均衡，這樣對(duì)于圖像中由于背景引起的較高的直方圖峰做了抑制，防止了對(duì)圖像背景中噪聲的過增強(qiáng)。算法[26]提出了下限平臺(tái)值的概念，即對(duì)于低于下限平臺(tái)值TL的直方圖值修改為TL，從而更好地保留了圖像中面積較小的細(xì)節(jié)區(qū)域。這種根據(jù)平臺(tái)值修改直方圖的方法對(duì)于紅外圖像的背景與噪聲抑制有一定的效果，能夠保護(hù)弱小目標(biāo)，但是這類算法的平臺(tái)閾值選擇一直是比較困難的，自適應(yīng)的平臺(tái)閾值選擇算法在某些特性的圖像中難以達(dá)到預(yù)計(jì)的效果。算法[27-28]將多直方圖均衡和平臺(tái)直方圖均衡結(jié)合起來，通過更好地設(shè)定直方圖分割與平臺(tái)閾值，得到更好的增強(qiáng)效果。算法[29]提出二維直方圖的概念，利用圖像的局部信息對(duì)整個(gè)圖像的直方圖進(jìn)行調(diào)整，從而得到更適合人眼觀察的效果。算法[30]利用圖像熵減少最小為準(zhǔn)則，自適應(yīng)調(diào)整圖像直方圖的映射策略，從而在對(duì)信息最大保留的同時(shí)減少了過增強(qiáng)的現(xiàn)象。

上述直方圖均衡改進(jìn)算法均對(duì)于圖像的全局直方圖進(jìn)行修改，能夠?qū)崿F(xiàn)對(duì)圖像整體的對(duì)比度增強(qiáng)，但是往往難以照顧到每個(gè)局部的細(xì)節(jié)。因此，學(xué)者也提出了基于局部的圖像均衡算法[18,31-33]。對(duì)比度受限的自適應(yīng)直方圖均衡算法(Contrast Limited Adaptive Histogram Equalisation，CLAHE)[31]對(duì)于圖像的每一個(gè)像素利用像素的鄰域區(qū)域進(jìn)行均衡增強(qiáng)，從而得到局部的對(duì)比度增強(qiáng)效果。但是該算法逐像素進(jìn)行直方圖均衡，其計(jì)算復(fù)雜度代價(jià)巨大。算法[18,31-33]利用部分重疊的窗口進(jìn)行局部對(duì)比度增強(qiáng)，這些算法將圖像分塊進(jìn)行均衡，并采用適當(dāng)?shù)姆绞絹頊p少可能出現(xiàn)的塊效應(yīng)與過增強(qiáng)等副作用，與CLAHE算法相比，計(jì)算量有大幅降低。由于充分考慮了圖像的局部特性，局部方法相對(duì)于基于全局直方圖的算法能夠得到較好地局部增強(qiáng)效果，但其計(jì)算量仍然較大，難以實(shí)時(shí)實(shí)現(xiàn)，且有容易放大噪聲的缺點(diǎn)。算法[34]針對(duì)這些缺點(diǎn)提出了對(duì)局部直方圖均衡算法的優(yōu)化算法，大大減少了算法的計(jì)算復(fù)雜度，為局部直方圖均衡算法在工程應(yīng)用中的實(shí)時(shí)實(shí)現(xiàn)提供了可能。

2.2空域?yàn)V波增強(qiáng)

空域?yàn)V波主要包括線性濾波和非線性濾波2種。線性濾波的優(yōu)點(diǎn)是計(jì)算復(fù)雜度低，但容易造成細(xì)節(jié)邊緣模糊；非線性濾波器能夠較好地保持圖像邊緣，高效去除信號(hào)中的噪聲。圖像處理中常用的空域?yàn)V波器主要有：均值濾波器、高斯濾波器、中值濾波器、形態(tài)學(xué)濾波器和多項(xiàng)式濾波器等[17]。空域?yàn)V波器能夠?qū)崿F(xiàn)圖像的平滑與銳化，是常用的紅外圖像處理算法。由于其實(shí)現(xiàn)簡(jiǎn)單，其性能能夠滿足基本的圖像處理要求，在實(shí)際場(chǎng)合中常常通過選擇合適的空域?yàn)V波器，在對(duì)應(yīng)的場(chǎng)合下得到較好的增強(qiáng)效果。

2.3變換域增強(qiáng)

基于傅里葉變換的頻域增強(qiáng)方法[35]的主要思想都是利用二維離散傅里葉變換將圖像從空間域變換至頻域，對(duì)頻域參數(shù)進(jìn)行修改來對(duì)圖像中某些頻率的信息進(jìn)行增強(qiáng)或者抑制，之后再通過反變換得到增強(qiáng)后的圖像。但如果僅簡(jiǎn)單地對(duì)圖像高頻部分進(jìn)行提升或是對(duì)低頻部分進(jìn)行抑制，會(huì)出現(xiàn)“振鈴”的現(xiàn)象，影響圖像的主觀效果。基于小波變換的圖像增強(qiáng)算法[35]的基本原理與傅里葉變換增強(qiáng)類似：利用小波變換在變換域內(nèi)設(shè)定不同的變換尺度，從而分離原圖像中相異分辨率的圖像特征，將各種圖像特征轉(zhuǎn)變?yōu)閷?duì)應(yīng)的小波分量，再使用適當(dāng)?shù)淖儞Q函數(shù)對(duì)各個(gè)分量進(jìn)行變換處理，以增強(qiáng)相異分辨率的圖像特征。但小波變換的基是各向同性的，適合表示點(diǎn)奇異的信號(hào)。然而面對(duì)各向異性的線奇異或者面奇異高維信號(hào)，如圖像的邊界以及線狀特征等，小波變換不能最優(yōu)地表示，從而會(huì)影響增強(qiáng)效果。且這類算法的執(zhí)行效率不高，實(shí)時(shí)實(shí)現(xiàn)也相對(duì)困難，工程上用得并不多。

Contourlet變換[36]作為解決小波變換角分辨問題而產(chǎn)生的一種新的圖像多尺度幾何分析工具，具有多分辨率、局部定位、多方向性和各向異性等性質(zhì)，彌補(bǔ)了小波變換只擁有有限的方向表示，不能很好地表示圖像中的方向信息這一缺陷。該變換基函數(shù)分布于多尺度、多方向上，少量系數(shù)即可獲得含有線和面奇異性信息的圖像的稀疏表示。

Contourlet變換是由一個(gè)雙濾波器組結(jié)構(gòu)來實(shí)現(xiàn)的：首先對(duì)圖像進(jìn)行拉普拉斯塔式分解(Laplacian Pyramid，LP)產(chǎn)生原始信號(hào)的一個(gè)低通采樣逼近及原始圖像與低通預(yù)測(cè)圖像之間的一個(gè)差值圖像，對(duì)得到的低通圖像繼續(xù)分解得到下一層的低通圖像和差值圖像，如此逐步濾波得到圖像的多分辨率分解；然后由方向?yàn)V波器組(Directional Filter Banks，DFB)將分布在同方向上的奇異點(diǎn)合成為一個(gè)系數(shù)，從而捕獲圖像中的輪廓，最終以類似線段的基結(jié)構(gòu)來逼近原圖像。實(shí)現(xiàn)方式如圖4所示[36]。

圖4　Contourlet濾波器組示意

利用Contourlet變換算法進(jìn)行圖像增強(qiáng)，主要是用Contourlet變換對(duì)圖像進(jìn)行多尺度的表達(dá)，用增強(qiáng)算子對(duì)變換的各個(gè)子帶系數(shù)做增強(qiáng)處理，以得到邊緣細(xì)節(jié)與紋理特征的增強(qiáng)效果[37]。

3　總結(jié)與展望

紅外圖像降噪與增強(qiáng)對(duì)于提高紅外成像系統(tǒng)的性能具有顯著作用。經(jīng)典的降噪與增強(qiáng)算法往往計(jì)算復(fù)雜度低，算法簡(jiǎn)單易于實(shí)現(xiàn)，但是對(duì)于圖像的降噪與增強(qiáng)效果有限，且往往會(huì)帶來細(xì)節(jié)模糊、過增強(qiáng)等副作用。近年來，學(xué)者將經(jīng)典算法與非局部分析方法、Retinex模型和多尺度幾何分析方法等多種數(shù)學(xué)工具結(jié)合，同時(shí)加入了局部化的思想與人眼視覺模型，提出了很多新算法[38-43]。文獻(xiàn)[39]將小波變換與對(duì)比度受限的局部直方圖均衡算法結(jié)合起來，利用小波域的特性得到了較好的效果；文獻(xiàn)[40]將多尺度圖像分析與人眼視覺系統(tǒng)(Human Visual System，HVS)結(jié)合進(jìn)行圖像增強(qiáng)；文獻(xiàn)[41]提出了對(duì)稱對(duì)數(shù)模型(Symmetric Logarithmic Image Processing，SLIP)，結(jié)合圖像的反射模型得到了更好的增強(qiáng)效果；文獻(xiàn)[42]利用梯度域信息來約束引導(dǎo)濾波，從而避免光暈效應(yīng)等副作用，文獻(xiàn)[43]將圖像細(xì)節(jié)增強(qiáng)轉(zhuǎn)化為求解基于L0范數(shù)的優(yōu)化問題。其中不少算法的噪聲抑制效果和細(xì)節(jié)增強(qiáng)效果都很優(yōu)秀。

在紅外圖像的增強(qiáng)算法研究中，基于單一的統(tǒng)計(jì)特征進(jìn)行的增強(qiáng)顯然已經(jīng)難以滿足實(shí)際需求。增強(qiáng)方法現(xiàn)在更多地追求利用局部信息，針對(duì)人眼特性進(jìn)行優(yōu)化與增強(qiáng)，從而得到更好的增強(qiáng)效果。本文涉及的方法均在圖像處理效果上有一定突破。然而由于更復(fù)雜的數(shù)學(xué)工具的應(yīng)用，這些算法大都具有計(jì)算量大、難以實(shí)時(shí)實(shí)現(xiàn)的特點(diǎn)，且存在對(duì)于多樣性的場(chǎng)景難以做到自適應(yīng)處理、算法中閾值與參數(shù)需要憑經(jīng)驗(yàn)確定、圖像過增強(qiáng)和喪失了溫度單調(diào)性等問題。這就限制了這些方法在不同的實(shí)際場(chǎng)合中的實(shí)現(xiàn)與應(yīng)用。因此，盡管世界范圍內(nèi)的紅外圖像降噪與增強(qiáng)問題的研究工作與技術(shù)途徑已經(jīng)得到大力發(fā)展，但由于硬件系統(tǒng)與成本的制約，許多算法由于計(jì)算量大，難以做到實(shí)時(shí)處理的要求，目前仍只有理論意義。

在今后相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)，紅外圖像降噪與增強(qiáng)最重要的工作還是在保證效果與計(jì)算量的前提下優(yōu)化現(xiàn)有方法，提高其性能并使之具有對(duì)于多種場(chǎng)景的自適應(yīng)性；對(duì)于性能優(yōu)秀的新數(shù)學(xué)工具，需要在盡量保證性能的前提下提高算法處理速度使之能夠適用于工程應(yīng)用；同時(shí)基于紅外圖像的特性，研究更全面的紅外圖像模型，并考慮人眼的視覺特性，改善圖像處理后最終的視覺效果。

[1]牛金星，郭朋彥.紅外成像技術(shù)及其應(yīng)用[J].華北水利水電學(xué)院學(xué)報(bào)，2011，32(4):25-27.

[2]唐曉燕，高昆，倪國(guó)強(qiáng).激光3D成像系統(tǒng)主被動(dòng)探測(cè)技術(shù)的研究進(jìn)展[J].激光與紅外，2013，43(9):986-989.

[3]MA J，ZHAO J，MA Y，et al.Non-rigid Visible and Infrared Face Registration via Regularized Gaussian Fields Criterion[J].Pattern Recognition，2014，48(3):772-784.

[4]LI X，ZHANG W，GUI X，et al.Efficient Reversible Data Hiding Based on Multiple Histograms Modification[J].IEEE Transactions on Information Forensics & Security，2015(10):1-1.

[5]LIU L，LONG Y，F(xiàn)IEGUTH P W，et al.BRINT: Binary Rotation Invariant and Noise Tolerant Texture Classification[J].Signal Processing，2014，23(7):3 071-3 084.

[6]李相民,倪國(guó)強(qiáng).紅外熱像儀的噪聲分析[J].紅外與激光工程,2008,37(S2):523-526.

[7]周建勛，王利平，劉濱.紅外圖像非均勻性產(chǎn)生原因分析[J].紅外與激光工程，1997(3):11-13.

[8]董立泉，金偉其，隋婧.基于場(chǎng)景的紅外焦平面陣列非均勻性校正算法綜述[J].光學(xué)技術(shù)，2008，34(S1):70-75.

[9]鄒前進(jìn)，馮亮，汪亞.紅外圖像空間噪聲分析和預(yù)處理方法改進(jìn)[J].應(yīng)用光學(xué)，2007，28(4):426-430.

[10]張凡.紅外圖像改進(jìn)非局部均值濾波算法研究[J].激光技術(shù)，2015，39(5):662-665.

[11]白瑞廣，金湘亮，徐杰.一種基于運(yùn)動(dòng)估計(jì)的視頻降噪算法[J].激光與紅外，2014(4):443-446.

[12]高輝，謝永昌，狄紅衛(wèi).一種基于時(shí)空聯(lián)合的實(shí)時(shí)視頻降噪算法[J].微型機(jī)與應(yīng)用，2011，30(16):36-38.

[13]TOMASI C，MANDUCHI R.Bilateral Filtering for Gray and Color Images[C]∥International Conference on Computer Vision.IEEE Computer Society，1998:839-846.

[14]YU J，WANG Y，SHEN Y.Noise Reduction and Edge Detection Via Kernel Anisotropic Diffusion[J].Pattern Recognition Letters，2008，29(10):1 496-1 503.

[15]HEIDARZADEH A，NASIRI AVANAKI A.An Enhanced Nonlocal-means Algorithm for Image Denoising[C]∥International Symposium on Signal Processing and ITS Applications，2007:1-4.

[16]HE K，SUN J，TANG X.Guided Image Filtering[J].Pattern Analysis & Machine Intelligence IEEE Transactions on，2013，35(6):1 397-1 409.

[17]岡薩雷斯(美).數(shù)字圖像處理(第2版)[M].北京:電子工業(yè)出版社，2007.

[18]KIM J Y，KIM L S，HWANG S H.An Advanced Contrast Enhancement Using Partially Overlapped Sub-block Histogram Equalization[J].IEEE Transactions on Circuits & Systems for Video Technology，1999，11(4):475-484.

[19]FLIR.Thermal Infrared Dataset[EB/OL].http:∥projects.asl.ethz.ch/datasets/doku.php?id=ir:iricra2014.

[20]范永杰，金偉其，劉斌,等.FLIR公司熱成像細(xì)節(jié)增強(qiáng)DDE技術(shù)的分析[J].紅外技術(shù)，2010，32(3):161-164.

[21]王國(guó)權(quán)，仲偉波.灰度圖像增強(qiáng)算法的改進(jìn)與實(shí)現(xiàn)研究[J].計(jì)算機(jī)應(yīng)用研究，2004，21(12):175-176.

[22]李樂鵬，孫水發(fā)，夏沖,等.直方圖均衡技術(shù)綜述[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2014，23(3):1-8.

[23]PIZER S M，AMBURN E P，AUSTIN J D，et al.Adaptive Histogram Equalization and Its Variations[J].Computer Vision Graphics & Image Processing，1987，39(3):355-368.

[24]KIM Y T.Contrast Enhancement Using Brightness Preserving Bi-histogram Equalization[J].IEEE Transactions on Consumer Electronics，1997，43(1):1-8.

[25]王炳健，劉上乾，周慧鑫,等.基于平臺(tái)直方圖的紅外圖像自適應(yīng)增強(qiáng)算法[J].光子學(xué)報(bào)，2005，34(2):299-301.

[26]宋巖峰，邵曉鵬，徐軍.基于雙平臺(tái)直方圖的紅外圖像增強(qiáng)算法[J].紅外與激光工程，2008，37(2):308-311.

[27]OOIC H，KONG N S P，IBRAHIM H.Bi-histogram Equalization with a Plateau Limit for Digital Image Enhancement[J].IEEE Transactions on Consumer Electronics，2009，55(4):2 072-2 080.

[28]SINGH K，KAPOOR R.Image Enhancement Using Exposure Based Sub Image Histogram Equalization[J].Pattern Recognition Letters，2014，36(1):10-14.

[29]KIMS W，CHOI B D，PARK W J，et al.2D Histogram Equalisation Based on the Human Visual System[J].Electronics Letters，2016，52(6):443-445.

[30]ZHAO W，HUANG L，WANG J，et al.Entropy Maximisation Histogram Modification Scheme for Image Enhancement[J].Iet Image Processing，2015，9(3):226-235.

[31]PIZER S M，AMBURN E P，AUSTIN J D，et al.Adaptive Histogram Equalization and Its Variations[J].Computer Vision Graphics & Image Processing，1987，39(3):355-368.

[32]KIM T K，PAIK J K，KANG B S.Contrast Enhancement System Using Spatially Adaptive Histogram Equalization with Temporal Filtering[J].Consumer Electronics IEEE Transactions on，1998，44(1):82-87.

[33]江巨浪，張佑生，薛峰,等.保持圖像亮度的局部直方圖均衡算法[J].電子學(xué)報(bào)，2006，34(5):861-866.

[34]賈鵬，李江勇.子塊重疊局部直方圖均衡算法的優(yōu)化研究[J].激光與紅外，2012，42(12):1 381-1 384.

[35]田麗軍，張劍飛.基于傅氏和小波變換的圖像頻域處理研究[J].微計(jì)算機(jī)信息，2008，24(15):306-308.

[36]DO M N，VETTERLI M.The Contourlet Transform: an Efficient Directional Multiresolution Image Representation[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society，2005，14(12):2 091-2 106.

[37]LI S，F(xiàn)ANG L，YIN H.Multitemporal Image Change Detection Using a Detail-Enhancing Approach With Nonsubsampled Contourlet Transform[J].IEEE Geoscience & Remote Sensing Letters，2012，9(9):836-840.

[38]JANG J H，BAE Y，RA J B.Contrast-Enhanced Fusion of Multisensor Images Using Subband-Decomposed Multiscale Retinex[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society，2012，21(8):3 479-3 490.

[39]HUANG L，ZHAO W，WANG J，et al.Combination of Contrast Limited Adaptive Histogram Equalisation and Discrete Wavelet Transform for Image Enhancement[J].Iet Image Processing，2015，9(10):908-915.

[40]NERCESSIANS C，PANETTA K A，AGAIAN S S.Non-linear Direct Multi-scale Image Enhancement Based on the Luminance and Contrast Masking Characteristics of the Human Visual System[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society，2013，22(9):3 549-3 561.[41]NAVARRO L，DENG G，COURBEBAISSE G.The Symmetric Logarithmic Image Processing Model[J].Digital Signal Processing，2013，23(5):1 337-1 343.

[42]KOU F，CHEN W，WEN C，et al.Gradient Domain Guided Image Filtering[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society，2015，24(11):4 528-4 539.

[43]KOU F，CHEN W，LI Z，et al.Content Adaptive Image Detail Enhancement[J].IEEE Signal Processing Letters，2015，22(2):211-215.

王洋男，(1989—)，博士研究生。主要研究方向：紅外圖像的降噪與增強(qiáng)、圖像壓縮編碼與信息隱藏技術(shù)。

潘志斌男，(1963—)，2000年取得日本東北大學(xué)(Tohoku University)電子工學(xué)博士學(xué)位?，F(xiàn)為西安交通大學(xué)教授、博士生導(dǎo)師。主要研究方向：圖像處理、信息隱藏、目標(biāo)識(shí)別及全局優(yōu)化算法。已完成國(guó)家自然科學(xué)基金、省市科研基金等多項(xiàng)，在IEEE Trans.Image Processing，IEEE Trans.Geoscience and Remote Sensing等期刊上發(fā)表SCI論文42篇，獲得中國(guó)發(fā)明專利授權(quán)3項(xiàng)，韓國(guó)發(fā)明專利授權(quán)1項(xiàng)。

Review of De-noise and Enhancement Technology for Infrared Image

WANG Yang，PAN Zhi-bin

(SchoolofElectronicandInformationEngineering,Xi’anJiaoTongUniversity，Xi’anShaanxi710049，China)

As the current technology of the infrared imaging system is far from perfect，an infrared image inevitably includes a variety of noise with low SNR，the details blur and other non-ideal characteristics.Although lots of research work of infrared imaging techniques are performed，the current processing methods based on infrared imaging is faced with many challenges，a relatively complete and mature theoretical system similar to that in visible light imaging domain has not been established，and a summary of systematic research progress is still lacking.This paper reviews the recent development of infrared image processing and describes in detail the noise reduction and image enhancement processing.The problems of current infrared image processing methods are analyzed and summarized，and the potential development trend is discussed.

infrared image processing；image de-noising；image contrast enhancement；image detail enhancement

10.3969/j.issn.1003-3106.2016.10.01

2016-07-08

高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金(博士生導(dǎo)師類)資助項(xiàng)目(20130201110071)；陜西省工業(yè)攻關(guān)項(xiàng)目(2016GY-097)。

TP391.4

A

1003-3106(2016)10-0001-07

引用格式：王洋,潘志斌.紅外圖像降噪與增強(qiáng)技術(shù)綜述[J].無線電工程,2016,46(10):1-7,28.