肖易寒,龐永杰,趙藍飛
(1.哈爾濱工程大學信息與通信工程學院,黑龍江哈爾濱150001;2.哈爾濱工程大學水下機器人技術重點實驗室,黑龍江哈爾濱150001)
抑制相關噪聲的水下圖像恢復算法
肖易寒1,龐永杰2,趙藍飛1
(1.哈爾濱工程大學信息與通信工程學院,黑龍江哈爾濱150001;2.哈爾濱工程大學水下機器人技術重點實驗室,黑龍江哈爾濱150001)
由于傳統(tǒng)算法無法消除相關噪聲對于水下于圖像的影響,通過最大后驗估計構造了一個具有凸函數(shù)性質(zhì)的變分模型用于抑制水下圖像的相關噪聲。在變分模型中通過貝葉斯約束項限定噪聲的概率分布;采用馬爾可夫約束項保證恢復圖像滿足空間連續(xù)性;通過梯度法獲得變分模型的最優(yōu)解,即不含相關噪聲的恢復圖像。實驗結果表明,該算法能夠有效地消除相關噪聲,恢復圖像的主觀視覺效果較好。
水下圖像;相關噪聲;變分模型;梯度法
由于水下拍攝環(huán)境較為復雜,普通的CCD或者CMOS傳感器所獲取的數(shù)字圖像容易受到相關噪聲的影響[1]。這種由相關噪聲所導致的圖像退化現(xiàn)象不僅會對人眼的主觀視覺產(chǎn)生一定程度的影響,而且這種現(xiàn)象會影響到模式識別系統(tǒng)的后續(xù)步驟,例如邊緣檢測、圖像分割、目標檢測與識別等算法的準確性。因此,如何有效的去除相關噪聲已經(jīng)成為水下圖像處理領域的一個熱點問題[2]。
經(jīng)典的濾波算法例如均值濾波[3],中值濾波[4],雙邊濾波[5]等濾波算法只能消除加性噪聲對于圖像的影響。對于相關噪聲,以上幾種算法的噪聲抑制效果較差。一些較為流行的去除相關噪聲方法有小波變換[6],懲罰加權最小二乘(penalized weighted least squares,PWLS)方法[7]、LEE濾波器[8]、形狀自適應余弦變換(shape?adaptive transform discrete cosine transform,SA?DCT)[9]等方法。雖然這幾種方法能夠在一定程度上抑制相關噪聲對于圖像的影響,但是恢復圖像存在細節(jié)保持能力較差、圖像降質(zhì)、噪聲抑制效果不佳等缺陷[10]。
為了有效地消除相關噪聲,本文在最大后驗估計的基礎上構建了一個抑制相關噪聲的、具有凸函數(shù)性質(zhì)的變分模型,該模型既能夠限定噪聲的概率分布性質(zhì),又能夠保證恢復圖像的空間連續(xù)性。通過梯度法得到變分模型對應的不含噪聲的、具有一定細節(jié)保持能力的恢復圖像。
1.1 相關噪聲的數(shù)學模型
假設Z是包含相關噪聲的總體,Z1,Z2,…,ZN為Z的N個獨立的觀測值,不包含噪聲的圖像可以表示為L,L1,L2,…,LN為L的N個獨立的觀測值。因此,包含相關噪聲的退化圖像模型通??梢员硎緸椋?1]
為了便于計算,此處將公式轉(zhuǎn)化為加性噪聲的形式:
式中:γ^
s為γ的等價的參數(shù)。將式(1)、(2)聯(lián)立得到γ^
s的表達式:
通過這種形式的變換可以將相關噪聲轉(zhuǎn)化為加性噪聲。
1.2 基于圖像子塊的參數(shù)估計方法
根據(jù)式(1)可知,圖像傳感器模型中包含2個未知的參數(shù),分別是指數(shù)部分的參數(shù)γ和高斯噪聲的方差,通常情況下這2個參數(shù)都是未知的[13]。因此,抑制傳感器噪聲的圖像恢復算法首先需要得到這2個參數(shù)的最優(yōu)估計,從而實現(xiàn)非監(jiān)督圖像恢復算法。本文采用基于圖像子塊的參數(shù)估計算法對γ和進行估計[13],該算法的核心思想是找到了一組具有近似均勻、同質(zhì)性的圖像子塊序列,通過計算同質(zhì)子塊的局部統(tǒng)計量從而得到未知參數(shù)的估計值。
算法原理如下:根據(jù)式(1),可以得到V的局部方差統(tǒng)計量,表達式如下:
式中:μL(s)和分別表示以s為中心的圖像子塊的隨機變量L的均值和隨機變量Z的方差。在噪聲圖像中選定M個相同大小的圖像子塊,并且假定這些圖像子塊的亮度分布具有近似均勻與同質(zhì)性。由于子塊具有近似的同質(zhì)性,所以圖像子塊的方差可以近似為0。又由于高斯噪聲U的均值為0,則公式4可以轉(zhuǎn)化為以下形式:
將式(5)、(6)聯(lián)立,通過移項、對數(shù)變換得到γ的參數(shù)估計表達式:
為了增加參數(shù)估計的魯棒性,將提取的全部圖像子塊中的可能的子塊對進行累加,再求平均得到的參數(shù)估計值可以表示為
1.3 基于最大后驗估計的變分模型
根據(jù)概率論的原理,對相關噪聲的最優(yōu)估計需要在已知觀測數(shù)據(jù)的前提下,滿足最大后驗(maxi?mum a posteriori,MAP)估計準則[14]。由于退化圖像的觀測值已知,根據(jù)貝葉斯準則,只要得到不含噪聲的條件概率模型和噪聲的先驗概率模型,就能夠得到圖像的后驗概率模型。對式(2)進行移項就可以得到高斯噪聲的數(shù)學模型,表達形式如下:
由于噪聲Us滿足均值為0,方差為的高斯噪聲,根據(jù)在數(shù)理統(tǒng)計學原理,Z的似然函數(shù)可以表示為以下形式:
根據(jù)貝葉斯準則,Z的后驗概率可以表示為
式中:PL(l)是L的先驗概率,PZ(z)是Z的先驗概率。V的先驗概率是在L的樣本空間內(nèi)積分而得[14],即PL(l)=∫ω∈WPL(ω)dω,其中W是隨機場L的樣本空間。由于Z的概率分布不隨L的取值不同而改變,所以可以將PZ(z)作為常數(shù)C來處理。L在樣本空間上的概率分布滿足馬爾科夫隨機場屬性,因此L的先驗概率需要滿足如下表達式[14]:
式中:r是一個歸一化常數(shù)。將式(11)、(13)代入式(12)中得到L的后驗概率表達式:
式中:l就是L的最大后驗估計。積分符號中的馬爾可夫項和貝葉斯項都具有平方的表示形式,因此具有嚴格凸函數(shù)的性質(zhì),存在全局唯一的解l^是最大后驗概率達到最大。
1.4 梯度法求解變分模型的最優(yōu)解
因為抑制相關噪聲的變分模型具有嚴格的凸函數(shù)性質(zhì),所以可以采用梯度法[15]求解變分模型的最優(yōu)解,即不含相關噪聲的恢復圖像。采用相關噪聲的迭代步驟可以表示為
式中:k表示迭代次數(shù),λ是k次迭代對應的最優(yōu)迭代步長,h(k)s是s點對應的梯度。根據(jù)歐拉-拉格朗日方程[16]可知,變分模型的梯度可以表示為
令變分模型為F[l],根據(jù)精確線過程[17],梯度法的最優(yōu)迭代步長可以表示為
將式(17)代入式(18)中,通過圖像的復制邊界方法以及格林公式[18],推導出變分模型的最優(yōu)迭代步長可以表示為
得到最優(yōu)迭代步長后,將步長和梯度向量代入式(16)中就能夠得到本次迭代對應的最優(yōu)解。
本文算法的步驟可以歸納為如下4條:
1)通過基于圖像子塊的參數(shù)估計方法,估計噪聲模型中的未知參數(shù)。
2)根據(jù)參數(shù)的估計值構造變分模型,設置變分模型的初始值。
3)將噪聲的估計值代入式(17)、(19)中得到本次迭代的最優(yōu)步長以及梯度向量,計算下一次迭代的初始值。
4)判斷得到的最優(yōu)解是否滿足收斂條件,如果滿足收斂條件,則該次迭代的解為最終的恢復圖像;如果不滿足收斂條件,則重復步驟3)直到滿足收斂條件為止。
本文的硬件平臺是Pentium Dual?Core 2.70GHz雙核處理器,2.00GB內(nèi)存,仿真環(huán)境是Microsoft Visual Studio 2008,采用C++語言進行編程。實驗部分采用標準的數(shù)字圖像Lena作為輸入,為Lena加入數(shù)學模型為式(1)形式的相關噪聲得到退化圖像。從2個方面說明了變分模型的有效性:首先,選取多組參數(shù)對退化圖像進行恢復,得到對應的峰值信噪比(peak signal noise ration,PSNR),從而驗證了只有在較為準確的參數(shù)的情況下得到的PSNR最大,從而論證了模型的有效性;其次,從主、客觀兩方面分析和比較各算法消除噪聲的能力,驗證了本文算法的有效性。
為標準數(shù)字圖像Lena加入γ=0.7,σ=1的相關噪聲得到的退化圖像,其中圖1(a)是不含相關噪聲的原始圖像,圖1(b)是加入噪聲后的退化圖像。
圖1 圖像Lena和加入相關噪聲的退化圖像Fig.1 Image Lena and added noise degraded images
首先算法需要根據(jù)退化圖像的不同局部子塊獲得相關噪聲的參數(shù)估計,這里選取局部方差最小的50個子塊,子塊的尺寸為11×11的子塊,子塊在圖像中的分布如圖1(c)所示。再根據(jù)式(8)、(9)得到γ,σ參數(shù)估計值。為了驗證參數(shù)估計的合理性,設置一些與真實值有一定偏差的參數(shù),在此基礎上得到各參數(shù)對應的PSNR。由于噪聲模型中包含2個未知參數(shù),所以需要固定一個參數(shù),比較另一個參數(shù)對應的PSNR,從而驗證參數(shù)估計算法的有效性。圖2(a)是在σ=1的條件下,不同γ值得到的恢復圖像對應的PSNR曲線。圖2(b)是在γ=0.7的條件下,不同γ值得到的恢復圖像對應的PSNR曲線。
從圖2可以看出當γ和σ的值接近真實的參數(shù)值時,PSNR曲線到達峰值,此時恢復圖像與原始圖像的局部均值誤差最小。當γ和σ距離真實的參數(shù)值較遠時,PSNR越小,說明恢復圖像與原始圖像的差異越大。因此,本文提出的變分模型對于參數(shù)估計的精確度較為敏感,只有準確地參數(shù)估計才能得到去噪效果較高的恢復圖像。從而可以間接地驗證了模型的有效性。
圖2 不同參數(shù)條件下本文算法的PSNR曲線Fig.2 The PSNR curve of this algorithm under the condition of different parameters
圖3 (a)~3(f)分別是通過LEE濾波器、SA?DCT算法、高階模型[19]、PWLS算法、雙邊濾波+小波變換[20]方法、本文算法得到的恢復圖像。圖4(a)~4(h)是恢復圖像的局部放大圖像。
圖3 各種去噪算法得到的恢復圖像Fig.3 Images of various algorithms to restrain noise
圖4 局部放大圖Fig.4 Images of local enlarged
從圖3和圖4可以看出,LEE濾波器抑制噪聲的能力最弱,圖像整體的視覺效果受到噪聲的影響較為嚴重;SA?DCT算法產(chǎn)生了模糊的效果,導致恢復圖像的清晰度較差;高階模型易出現(xiàn)過渡平滑現(xiàn)象,在噪聲較嚴重的區(qū)域,恢復圖像包含塊狀區(qū)域;PWLS算法的噪聲抑制能力較好,但是恢復圖像出現(xiàn)類似圖像抖動的情況;雙邊濾波+小波變換方法恢復圖像的局部區(qū)域產(chǎn)生細小的顆粒;與前幾種算法相比,本文算法在噪聲的抑制能力,細節(jié)保持能力,主觀視覺效果等方面都有一定的改善。表1是各圖像恢復算法得到的恢復圖像的評價指標。
表1 各算法的客觀評價指標Table 1 Objective evaluation of each algorithm
其中GSSIM[21]是衡量恢復圖像與原始圖像在結構方面的相似度系數(shù),當GSSIM越高,則恢復圖像與原始圖像在結構上具有較強的相似度,反之亦然。信息熵決定了恢復圖像的信息量的大小,當熵值越高,則恢復圖像包含的信息量就越多,反之亦然。從表1可以看出,本文算法得到的恢復圖像的PSNR、GSSIM,信息熵都比其他算法高。因此,與其他算法相比,本文算法得到的恢復圖像具有較高噪聲抑制能力,以及較強的細節(jié)保持能力。
圖5(a)~5(c)的是通過數(shù)字相機采集到的含有相關噪聲的水下圖像,圖5(d)~5(f)是通過本文算法得到的恢復圖像。
圖5 含有相關噪聲的水下圖像以及恢復圖像Fig.5 The noise of underwater image and image restoration
從圖5(a)~5(c)可知,水下的復雜環(huán)境產(chǎn)生的相關噪聲引起了圖像的對比度不均勻,物體的細節(jié)以及輪廓被噪聲淹沒等問題。本文算法能夠有效地改善由相關噪聲產(chǎn)生的視覺干擾,恢復圖像的整體對比度,局部的細節(jié)特征都有了明顯的提高和增強。
為了消除相關噪聲對于水下圖像的影響,本文構造了一個包含馬爾可夫約束項和貝葉斯約束項的變分模型。通過梯度法得到該變分模型的最優(yōu)解即為不含噪聲的恢復圖像。實驗部分通過對包含相關噪聲的標準圖像以及水下圖像進行恢復,驗證了本文算法的有效性。
[1]張威,楊克成,范泛,等.基于模糊度量的激光水下圖像復原的盲去卷積方法[J].光學與光電技術,2011,9(2):27?32.ZHANG Wei,YANG Kecheng,F(xiàn)AN fan,et al.Blind de?convolution approach based on blur metric method for laser underwater image restoration[J].Optics and Optoelectronic Technology,2011,9(2):27?32.
[2]昌彥君,謝志遠,彭復員,等.散斑噪聲污染的激光水下圖像濾波算法[J].紅外與激光工程,2002,31(4):318?321.CHANG Yanjun,XIE Zhiyuan,PENG Fuyuan,et al.Filte?ring algorithm on underwater laser image stained by speckle noise[J].Infrared and Laser Engineering,2002,31(4):318?321.
[3]BUADES A,COLL B,MOREL J M.A review of image de?noising algorithms with a new one[J].SIAM Journal on Mul?tiscale Modeling and Simulation,2006,4(2):490?530.
[4]WANG Xin.Wrap?around effect removal finite ridgelet trans?form for multiscale image denoising[J].Pattern Recogni?tion,2010,43(11):3963?3968.
[5]ZHANG Ming,GUNTURK B K.Multiresolution bilateral fil?tering for image denoising[J].IEEE Transactions on Image Processing,2008,17(12):2324?2333.
[6]HAN C,GUO H,WANG C,et al.A novel method to re?duce speckle in SAR images[J].International Journal of Remote Sensing,2002,23(23):5095?5101.
[7]REPETTI A,CHOUZENOUX E,PESQUET J C.A penal?ized weighted least squares approach for restoring data cor?rupted with signal?dependent noise[C]//Proceedings of 20th European Signal Processing Conference.Bucarest,2012,1553?1557.
[8]KOFIDIS E,THEODORIDIS S,KOTROPOULOS C,et al.Nonlinear adaptive filter for speckle suppression in ultrasonic images[J].Signal Processing,1996,52(3):357?372.
[9]FOI A,KATKOVNIK V,EGIAZARIAN K.Pointwise shape?adaptive DCT for high?quality denoising and de?blocking of grayscale and color images[J].IEEE Transac?tions on Image Processing,2007,16(5):1395?1411.
[10]BUADES A,COLL B,MOREL J M.A review of image de?noising algorithms,with a new one[J].SIAM Journal on Multiscale Modeling and Simulation,2006,4(2):490?530.
[11]AIAZZI B,ALPARONE L,BARONTI S,et al.Unsuper?vised estimation of signal?dependent CCD camera noise[J].EURASIP J Advances in Signal Processing,2012,2012(1):231?254.
[12]黃世奇,劉代志.SAR圖像斑點噪聲抑制方法與應用研究[J].測繪學報,2006,35(3):245?250.HUAGN Shiqi,LIU Daizhi.Research on method and appli?cation of speckle noise reduction of SAR image[J].Acta Geodaetica et Cartographica Sinica,2006,35(3):245?250.
[13]AIAZZI B,ALPARONE L,BARONTI S.A robust methodfor parameter estimation of signal?dependent noise models in digital Images[C]//1997 13th International Conference on Digital Signal Processing Proceedings.Santorini,1997,601?604.
[14]熊福松,王士同.基于高斯馬爾可夫隨機場的MAP估計在高斯噪聲濾波中的應用[J].計算機應用,2006,26(10):2362?2365.XIONG Fusong,WANG Shitong.Application of MAP esti?mation based on Gaussian Markov random field in Gaussian noise filter[J].Computer Applications,2006,26(10):2362?2365.
[15]BOYD P,VANDENBERGHE L.Convex optimization[M].New York:Cambridge University Press,2004:87?95.
[16]AUBERT G,VESE L.A variational method in image re?covery[J].SIAM Journal of Numerical Analysis,1997,34(5):1948?1979.
[17]DAI Y H,YUAN Y.A nonlinear conjugate gradient meth? od with a strong global convergence property[J].SIAM Journal of Optimization,1999,10(1):177?182.
[18]KIMMEL R,ELAD M,SHAKED D,et al.A variational framework for retinex[J].International Journal of Comput?er Vision,2003,52(1):7?23.
[19]MASO D G,F(xiàn)ONSECA I,LEONI G,et al.A higher order model for image restoration:The one?dimensional case[J].SIAM Journal on Mathematical Analysis,2009,40(6):2351?2391.
[20]LEE J W,PARK R H,CHANG S.Noise reduction and a?daptive contrast enhancement for local tone mapping[J].IEEE Transactions on Consumer Electronics,2012,58(2):578?586.
[21]楊春玲,陳冠豪,謝勝利.基于梯度信息的圖像質(zhì)量評判方法的研究[J].電子學報,2007,35(7):1313?1317.YANG Chunling,CHEN Guanhao,XIE Shengli.Gradient information based image quality accessment[J].Acta Elec?tronica Sinica,2007,35(7):1313?1317.
Underwater image restoration algorithm to restrain correlated noise
XIAO Yihan1,PANG Yongjie2,ZHAO Lanfei1
(1.College of Information and Communication Engineering,Harbin Engineering University,Harbin 150001,China;2.Science and Technology on Underwater Vehicle Laboratory,Harbin Engineering University,Harbin 150001,China)
The traditional algorithm cannot get rid of the influence of correlated noise on underwater images.In view of this,this paper proposes a restoration algorithm to restrain the correlated noises of underwater images by establis?hing a variational model based on the theory of maximum a posteriori estimation that represents convex property.In the variational model,the probability distribution of noise is guaranteed via the item of Bayesian restraint.Mean?while the property of spatial continuity is satisfied via the Markov constraint.The gradient method is employed to ob?tain the optimal solution of the variational model,i.e.the restoration image without correlated noise.Experimental results show the correlated noise is eliminated by the proposed algorithm effectively;the restoration images present an excellent visual effect.
underwater image;correlated noise;variational model;gradient method
10.3969/j.issn.1006?7043.201404045
TP391.41
:A
:1006?7043(2015)06?0841?06
http://www.cnki.net/kcms/doi/10.3969/j.issn.1006?7043..html
2014?04?14.網(wǎng)絡出版時間:2015?05?24.
國家自然科學基金資助項目(51179035/51279221);中央高校基本科研業(yè)務費專項資金資助項目(HEUCF140811).
肖易寒(1980?),女,講師,博士;龐永杰(1955?),男,教授,博士生導師.
肖易寒,E?mail:yihan9999@sohu.com.