王巖 于萍 司振惠 郭鑫
摘要:針對暗通道先驗算法存在的對全局大氣光值估計不準確的問題,提出了一種單幅圖像除霧的優(yōu)化技術,對全局大氣光值的選取方式進行了改進。首先用完美反射法對含霧圖像進行顏色校正,接下來利用四叉樹算法粗略估計大氣光值,對其進行數值校正;再利用引導濾波對透射率進行優(yōu)化,進而得到平滑的透射率。通過大氣散射模型復原,得到較為清晰的除霧圖像,最后用引導濾波豐富圖像細節(jié)。實驗結果表明,該算法復原圖像清晰度高,具有較好的視覺效果。
關鍵詞:圖像除霧;四叉樹;大氣物理模型
【Abstract】Aimingattheproblemofinaccurateestimationoftheglobalatmosphericlightvalueinthedarkchannelprioralgorithm,asingleimagedefoggingoptimizationtechniqueisproposed,whichimprovestheselectionoftheglobalatmosphericlightvalue.First,usetheperfectreflectionmethodtocorrectthecolorofthefoggyimage,thenusethequadtreealgorithmtoroughlyestimatetheatmosphericlightvalueandcorrectitnumerically;thereforeusetheguidedfiltertooptimizethetransmittancetoobtainasmoothtransmittance.Throughatmosphericscatteringmodelrestoration,aclearerdefoggingimageisobtained.Finally,theimagedetailsareenrichedbyguidedfiltering.Theexperimentalresultsshowthatthealgorithmhashighdefinitionandgoodvisualeffects.
【Keywords】imagede-hazing;quadtree;atmosphericphysicalmodel
作者簡介:王巖(1996-),女,碩士研究生,主要研究方向:圖像去霧;于萍(1976-),女,博士,副教授,主要研究方向:計算機軟件與應用;司振惠(1995-),女,碩士研究生,主要研究方向:圖像去霧;郭鑫(1997-),男,碩士研究生,主要研究方向:圖像去霧。
0引言
通常,人們可以通過拍攝圖像獲取到自然環(huán)境中的真實信息,無論是在視頻監(jiān)控還是在交通監(jiān)管等相關領域都會用到圖像采集。然而,在某些惡劣的天氣狀況下,如霧霾天氣下拍攝的照片則會出現模糊、視覺效果不佳等現象,對后續(xù)的圖像處理工作帶來嚴重的影響。因此,對含霧圖像進行復原處理是十分重要的。
目前,圖像的除霧算法可以簡單分為2類:基于非物理模型的除霧算法和基于物理模型的除霧算法。其中,基于非物理模型的除霧算法,也就是圖像增強算法,包括Retinex[1-4]、直方圖均衡化算法[5]等,此類算法主要通過提高圖像的對比度來增強圖像的視覺效果。但這種除霧算法處理后的圖像容易出現顏色失真、顏色過飽和等問題,因此在實際應用中效果并不理想?;谖锢砟P偷某F算法是根據一些先驗信息來推斷出霧天圖像退化的原因,再通過大氣散射模型達到復原清晰圖像的目的。例如He等人[6]提出的基于暗通道先驗的圖像除霧算法,該方法對含霧圖像的復原效果較好,但在視覺上仍然存在一些問題:使用粗估計的透射率進行除霧處理后,在景深突變的區(qū)域會產生“白邊”的現象。為避免這種現象的出現,He通過軟摳圖(Softmatting)算法對透射率進行優(yōu)化,但優(yōu)化后的算法時間復雜度高,不能滿足實時處理的要求。He等人[7]又通過引導濾波[7]對透射率進行優(yōu)化,這樣大大降低了算法的復雜度,但是圖像處理后會出現飽和度過高及對全局大氣光值估計不準確的問題。肖鐘捷等人[8]引入快速、各向同性的低通高斯濾波器,代替軟摳圖算法對透射率進行優(yōu)化,但是在算法效率方面并沒有較大的改善。
本文提出了一種單幅圖像除霧的優(yōu)化技術。首先,對輸入的含霧圖像采用完美反射法進行顏色校正。接下來用四叉樹搜索算法粗略估計大氣光值,再對其進行數值校正。同時對顏色校正后的圖像進行暗通道處理,用引導濾波對獲取到的透射率進行優(yōu)化,進而得到平滑的透射率,再通過大氣散射模型進行復原,得到清晰的除霧圖像。最后利用引導濾波對復原后的圖像進行處理,豐富圖像的細節(jié)。
1理論基礎
1.1大氣散射模型
計算機視覺和計算機圖形學中,通常采用公式(1)描述含霧圖像的物理模型:
其中,J(x)表示清晰圖像;t(x)是透射率,用于描述物體表面的反射光沒有散射而傳輸到圖像采集設備的比例;A是無窮遠處的大氣光,通??梢詮奶炜諈^(qū)域簡單地估算出來。根據大氣散射理論,受霧、霾等大氣粒子的影響,光在該環(huán)境中傳播會發(fā)生散射,所以在霧天情況下,物體表面的反射光在傳播過程中只有部分反射光會傳輸到采集設備,對圖像采集工作造成了影響。在公式(1)中有2個未知的參數,即A和t(x),也就是說,要從中獲取到清晰無霧圖像I,即需先估計出更加精確的未知參數值。
如前文所述,透射率t(x)和大氣光A是通過大氣散射模型復原含霧圖像的關鍵參數。而公式(1)的物理模型是一個不確定方程,因此可以通過先驗知識來估計上述兩個參數。
1.2暗通道先驗理論
He等人[6]對大量清晰的室外圖像進行了研究,發(fā)現在清晰室外圖像的大部分區(qū)域中(天空區(qū)域和白色區(qū)域除外),都有一個像素值為零的通道,簡稱為暗通道先驗理論,可用公式(2)表示:
其中,透射率的取值過小容易造成圖像失真,故而對其中透射率的值做了下限定值,t0的取值為0.1。
2本文算法
2.1本文算法具體流程
(1)顏色校正:對輸入的含霧圖像采用完美反射法進行顏色校正。這樣做可以調整輸入圖像的顏色,使圖像看上去更加自然。
(2)估計大氣光值:由于傳統(tǒng)的暗通道算法中獲取大氣光值的方式是選取圖像中最亮的點,但是據此得到的大氣光值并不可靠。所以本文使用四叉樹算法粗略估計大氣光值,并對粗略估計得到的大氣光值進行數值校正。
(3)暗通道處理:對顏色校正后的圖像進行暗通道處理,得到粗略的透射率,再用引導濾波對透射率進行優(yōu)化處理,這就得到平滑透射率。
(4)復原圖像:通過大氣散射模型復原,從而得到清晰的除霧圖像。
(5)豐富細節(jié):以完美反射法處理后的圖像作為引導圖像,利用引導濾波對復原后的圖像進行處理,起到豐富圖像細節(jié)的作用。
算法具體示意圖如圖1所示。
2.2完美反射法
完美反射法,也被稱為鏡面法。該方法的原理是假設圖像中存在一個“鏡面”,并可以完全反射光源照射在物體上面的光線,那么在一些特定光源下,就可以將“鏡面”獲取到的色彩信息認定為當前光源的信息,接下來根據光源信息對圖像3個通道的值進行校正,達到校正圖像顏色的目的。完美反射法校正圖像色差效果圖如圖2所示。
2.3改進大氣光值估計方法
由式(1)可以看出,全局大氣光值A對于圖像進行除霧操作有著十分重要的作用,所以對大氣光值的估計和選取是十分重要的。已知大氣光應是含霧圖像中霧濃度最大的部分,He等人[6]在暗通道中選取最亮的像素值作為大氣光值,然而在現實中拍攝的圖像中,最亮的區(qū)域并不一定是霧濃度最大的地方,也可能是白色建筑、鏡子、車窗玻璃等反光物體。因此,He等人對大氣光的估計方法是不準確的。為了更準確地估計大氣光值,本文基于天空區(qū)域的像素值之間方差較小這一特點,采用四叉樹搜索方法[9]對大氣光值進行粗略估計并校正。該方法獲取大氣光過程的示意圖如圖3所示。圖3中,紅色方塊的區(qū)域為大氣光最后的選取區(qū)域。
四叉樹獲取大氣光的具體方法如下:
(1)先將完美反射法處理后的圖像劃分為4個大小均等的區(qū)域,再對每一個區(qū)域的均值及標準差進行標記,記為value[i](i取值為1、2、3、4)。
(2)將value[i]值最高的區(qū)域按照相同邏輯進行劃分標記,如此反復迭代,直到選取區(qū)域與設定的閾值(設定閾值為200像素)相等為止,至此選取區(qū)域中最大的亮度值作為粗略估計的大氣光值。
然而這種方法也存在一定的局限性,對于天空區(qū)域較小的圖像來說,由此方法得到的大氣光值過低,將導致除霧的視覺效果并不理想。進一步地,還需要對粗略估計的大氣光值進行校正。首先設定粗略估計的大氣光值為Ac,然后對其進行數值校正。此時將用到如下數學公式:
A=Ac*p.(6)
其中,p為校正系數,本文取值p=1.05。
2.4引導濾波
引導濾波是一種圖像濾波技術,其特點是可以保持圖像的邊緣平滑,目前已經可以應用在圖像增強、圖像壓縮、圖像摳圖及圖像除霧等場景中。另外,該技術還可以消除雙邊濾波的局限性,如圖像中可能存在假邊緣的問題。這里假設引導圖像為I,輸入圖像為p。則輸出圖像可以定義為:
為了對比效果,本文分別用雙邊濾波法和引導濾波法獲取了暗通道圖像及算法復原后的圖像。如圖4所示。通過觀察圖像可以得出,雙邊濾波獲取的暗通道圖像存在假邊緣現象,這樣處理得到的圖像也會出現假邊緣的問題。而使用引導濾波處理后的暗通道圖較為平滑,細節(jié)較好,處理后的圖像效果也明顯優(yōu)于使用雙邊濾波處理后的圖像效果,效果參見圖4(b)。所以,本文使用引導濾波對透射率進行優(yōu)化。
由于處理后的圖像存在部分細節(jié)丟失的問題,為了更好地復原圖像細節(jié),本文使用引導濾波對復原后的圖像進行處理。為了對比效果,本文分別將含霧圖像及完美反射法處理后的圖像作為引導圖像進行處理,對比結果如圖5所示。通過觀察可以得出,以完美反射法處理后的圖像作為引導圖像的視覺效果更好,細節(jié)更豐富,效果參見圖5(b),所以本文選用完美反射法處理后的圖像作為引導圖像,對復原后的圖像進行處理。
3實驗與分析
3.1除霧圖像主觀評價
為了驗證本文算法的有效性,本文選擇了3幅自然光下的風景圖像進行復原實驗,并和文獻[10]、文獻[11]、文獻[12]的除霧算法處理后的圖像進行了對比。對比結果如圖6所示。為了論述的方便,本文分別將圖像命名為bridge、bench及forest。文獻[10]利用顏色衰減先驗除霧算法處理的結果見圖6(b),其存在的問題是圖像整體視覺效果偏暗,且在圖像邊緣處細節(jié)不夠清晰;文獻[11]使用多層感知器的算法除霧后的結果見圖6(c),該算法存在除霧不徹底及局部區(qū)域較暗的問題;文獻[12]基于暗通道先驗的算法除霧的結果見圖6(d),其除霧后的圖像存在明顯的失真問題,與原圖像景物有較大的色差;本文算法處理后的結果見圖6(e),與上述除霧算法相比較,除霧的效果更好,且圖像的細節(jié)更清晰。
為了進一步證明本文算法的有效性,本文選取了一張室外密集人群的圖像(命名為people),并與文獻[10]、文獻[11]、文獻[12]的除霧算法處理后的圖像進行了復原實驗比較,對比效果如圖7所示。圖7的第二列為去霧后圖像局部區(qū)域放大的細節(jié)圖。通過對比可以看出,對比算法局部放大后存在顏色偏暗的問題,視覺效果不佳,本文算法對圖像中人的輪廓邊緣處理較清晰,在細節(jié)方面有著較好的處理效果,且視覺效果更好。
3.2算法的客觀評估標準
圖像除霧算法的客觀評估是通過一些測試方法對圖像的質量進行評價,從而得到一個可以反映圖像質量或者是損失程度的參數作為評價的結果,該結果可以提高圖像質量評價的精確度。圖像質量評估標準可以分為3類:全參考圖像質量評估[13]、部分參考圖像質量評估[14]和無參考圖像質量評估[15]。部分參考圖像質量評估需要將與含霧圖像相對應的清晰圖像作為參考圖像,在實際應用中很不方便。因此,在圖像除霧領域中,無參考圖像質量評估被廣泛使用,例如峰值信噪比(PSNR)和結構相似度(SSIM)。
為了驗證本文算法在客觀評估指標方面的除霧效果,本文選取了PSNR及SSIM指標對處理后的圖像進行分析,并與文獻[10]、文獻[11]以及文獻[12]算法處理后圖像的客觀指標進行了對比,對比結果見表1和表2。從表1和表2可以看出,相比其他三種算法,本文的PSNR以及SSIM的值較高,且對不同圖像處理的SSIM值都大于0.8,證明了本文算法除霧的效果較好且較穩(wěn)定,圖像失真較少。
4結束語
本文基于暗通道先驗理論,提出了一種單幅圖像除霧的優(yōu)化技術。在粗略估計大氣光值時,采用四叉樹搜索法,使圖像的處理更加自然,同時使用引導濾波對圖像的透射率及圖像細節(jié)進行優(yōu)化。優(yōu)化后的算法在一定程度上避免了除霧后圖像容易出現的顏色失真以及與原圖像景物存在較大色差的問題。實驗結果表明,優(yōu)化后的算法可以從含霧圖像中復原出較清晰的圖像,而且除霧后圖像無論是在主觀視覺效果,還是在客觀參數評估上都高于其他算法,證明了本文算法的優(yōu)越性和有效性。
參考文獻
[1]劉海波,楊杰,吳正平,等.基于暗通道先驗和Retinex理論的快速單幅圖像去霧方法[J].自動化學報,2015,41(7):1264-1273.
[2]李武勁,彭怡書,歐先鋒,等.基于大氣散射模型和Retinex理論的霧霾圖像清晰化算法[J].成都工業(yè)學院學報,2019,22(2):5-8,13.
[3]尚月.基于Retinex的夜間低照度圖像自適應增強算法[J].信息通信,2020(4):36-38.
[4]梁健,巨海娟,張文飛,等.偏振光學成像去霧技術綜述[J].光學學報,2017,37(4):1-13.
[5]王小芳,方登杰,何海瑞,等.基于多尺度細節(jié)優(yōu)化的MSRCR圖像去霧算法[J].實驗技術與管理,2020,37(9):92-97.
[6]HEKaiming,SUNJian,TANGXiao'ou.Singleimagehazeremovalusingdarkchannelprior[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2011,33(12):2341-2353.
[7]HEK,SUNJ,TANGX.Guidedimagefiltering[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2013,35(6):1397-1409.
[8]肖鐘捷,李寶方.一種改進的單幅圖像快速去霧方法與實驗[J].地球信息科學學報,2015,17(4):494-499.
[9]KIMJH,JANGWD,SIMJY,etal.Optimizedcontrastenhancementforreal-timeimageandvideodehazing[J].JournalofVisualCommunicationandImageRepresentation,2013,24(3):410-425.
[10]ZHUQ,MAIJ,SHAOL.Afastsingleimagehazeremovalalgorithmusingcolorattenuationprior[J].IEEETransactionsonImageProcessing,2015,24(11):3522-3533.
[11]SALAZAR-COLORESS,CRUZ-ACEVESI,RAMOS-ARREGUINJM.Singleimagedehazingusingamultilayerperceptron[J].JournalofElectronicImaging,2018,27(4):1.
[12]YANGYan,WANGZhiwei.Hazeremoval:PushDCPattheedge[J].IEEESignalProcessingLetters,2020,27:1405-1409.
[13]WANGZ,BOVIKAC,SHEIKHHR,etal.Imagequalityassessment:Fromerrorvisibilitytostructuralsimilarity[J].IEEETransactionsonImageProcessing,2004,13(4):600-612.
[14]CARNECM,CALLETPL,BARBAD.Objectivequalityassessmentofcolorimagesbasedonagenericperceptualreducedreference[J].SignalProcessingImageCommunication,2008,23(4):239-256.
[15]SHEIKHHR,BOVIKAC,CORMACKLK.No-referencequalityassessmentusingnaturalscenestatistics[J].IEEETransactionsonImageProcessing,2005,14(11):1918-1927.