鄭鳳仙,王夏黎,何丹丹,李妮妮,付陽陽,袁紹欣
長(zhǎng)安大學(xué) 信息工程學(xué)院,西安 710064
隨著計(jì)算機(jī)視覺的發(fā)展,圖像處理技術(shù)在生活和科研領(lǐng)域應(yīng)用廣泛。同時(shí)伴隨神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)技術(shù)的革新,高質(zhì)量圖像已經(jīng)成為系統(tǒng)正常且高效運(yùn)行的關(guān)鍵。卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)算法也在圖像處理方面表現(xiàn)出優(yōu)秀的學(xué)習(xí)能力,在目標(biāo)檢測(cè)、目標(biāo)跟蹤、自動(dòng)駕駛、無人機(jī)檢測(cè)等研究領(lǐng)域得到廣泛研究與應(yīng)用[1-3]。在霧或霾等天氣情況下,室外空氣中存在大量的微小懸浮顆粒會(huì)對(duì)光產(chǎn)生折射和散射,經(jīng)折射和散射后的光線與待觀察目標(biāo)反射后的光線混合,造成戶外圖像采集設(shè)備捕獲的圖像清晰度和對(duì)比度大幅度下降,甚至?xí)斐蓤D像色彩偏移,細(xì)節(jié)大量丟失的現(xiàn)象,從而無法獲取真實(shí)的圖像信息[4-6]。因此,需要對(duì)此類圖像進(jìn)行去霧,增強(qiáng)圖像信息,保證系統(tǒng)正常運(yùn)行。
近年來,眾多科研機(jī)構(gòu)從多個(gè)方向?qū)ъF圖像和去霧算法進(jìn)行研究,出現(xiàn)了眾多去霧算法。根據(jù)輸入圖像個(gè)數(shù)的不同可以分為單幅或多幅圖像去霧算法。多幅圖像去霧算法數(shù)據(jù)獲取困難,因此實(shí)際應(yīng)用較少。單幅圖像去霧算法應(yīng)用廣泛,例如:直方圖均衡化,基于暗通道先驗(yàn)、濾波和深度學(xué)習(xí)算法等[7]。從圖像處理原理角度出發(fā)可將算法分為三類。此三類算法分別為:基于物理模型、基于非物理模型和基于深度學(xué)習(xí)去霧算法。
基于物理模型的去霧算法主要考慮霧的成像原理,考慮光的散射和衰減然后建立模型。大氣散射模型主要由入射光衰減模型和大氣光成像模型構(gòu)成,通過對(duì)捕獲的圖像光線進(jìn)行分析,根據(jù)光的散射作用和大氣光學(xué)模型對(duì)獲取圖像的過程進(jìn)行建模,從而分解出其中的去霧圖像。其中比較經(jīng)典的是HE等人在2009年提出的基于暗通道先驗(yàn)的圖像去霧算法[8]。通過對(duì)5 000多張清晰圖像和有霧圖像進(jìn)行圖像特征的統(tǒng)計(jì)分析,提出了暗原色先驗(yàn)理論,找到了清晰圖像和大氣物理模型的映射關(guān)系。是目前最穩(wěn)定的去霧算法。
基于非物理模型的去霧算法通過增強(qiáng)圖像細(xì)節(jié),強(qiáng)化圖像邊緣,從而得到更多細(xì)節(jié)信息達(dá)到去霧效果。具體算法包括:直方圖均衡化、色階增強(qiáng)算法、Retinex算法、小波和曲波變換等。Retinex去霧算法最大的特點(diǎn)是顏色的常恒性,即認(rèn)為人眼感知到的物體的顏色和亮度只與光和物體的相互作用有關(guān)。直方圖均衡化算法通過均勻化圖像灰度分布,增強(qiáng)視覺對(duì)比度達(dá)到去霧目的。小波變換是通過將原始信號(hào)分解為具有不同頻率特征和方向特征的子信號(hào),通過局部特征對(duì)圖像進(jìn)行局部化處理使得圖像在多個(gè)尺度增強(qiáng)進(jìn)而放大有用信息達(dá)到增強(qiáng)圖像的目的。
基于深度學(xué)習(xí)的去霧算法使用CNN網(wǎng)絡(luò)建立一個(gè)深度學(xué)習(xí)模型,利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力估計(jì)出一些參數(shù)從而達(dá)到去霧目的。目前有兩種基于深度學(xué)習(xí)的去霧算法研究廣泛。一種是利用深度學(xué)習(xí)方法估計(jì)大氣物理模型的一些參數(shù)從而還原圖像。如DehazeNet等去霧模型將暗通道先驗(yàn)、最大對(duì)比度、顏色衰減和色度不一致四種方法結(jié)合設(shè)計(jì)網(wǎng)絡(luò),估計(jì)霧霾參數(shù),從而得到清晰圖像。一種是利用對(duì)抗神經(jīng)網(wǎng)絡(luò)直接尋找?guī)ъF圖像和清晰圖像的關(guān)系建立模型進(jìn)行圖像還原,如GCANet等去霧模型直接輸入霧霾圖像經(jīng)過編碼和解碼網(wǎng)絡(luò)還原出清晰圖像。
大氣散射模型由大氣散射理論[9]發(fā)展而來。該模型由McCartney正式提出,之后又由Narasimhan等人進(jìn)行了進(jìn)一步總結(jié)[9-10]。大氣散射模型如圖1所示。該模型認(rèn)為入射光衰減和散射介質(zhì)影響是導(dǎo)致圖像質(zhì)量下降的主要因素。
圖1 大氣散射模型Fig.1 Atmospheric scattering model
大氣散射模型的數(shù)學(xué)描述如公式(1)所示:
其中,大氣透射率為t(x)=e-βd(x),觀察目標(biāo)的反射光為J(x)=L∞ρ(x)d2,大氣光系數(shù)為A∞。可以看出,J(x)即為所求去霧后的圖像,只需估計(jì)出大氣光系數(shù)A∞和透射率t(x)即可計(jì)算得出去霧圖像。
He等在2009年提出的基于暗通道先驗(yàn)的去霧算法[8]是第一個(gè)將暗通道先驗(yàn)與大氣散射模型結(jié)合進(jìn)行去霧的方法。其數(shù)學(xué)表達(dá)式為:
其中,C為R、G、B三個(gè)通道的某一通道。由矩形區(qū)域Ω(x)中最小灰度值代替中心點(diǎn)像素灰度值便可得到暗通道圖像。假設(shè)透射率為一個(gè)定值,根據(jù)公式(1)對(duì)公式(2)進(jìn)行歸一化,并引入暗通道先驗(yàn)理論可以估計(jì)出t0和Ac的值。
暗通道先驗(yàn)算法以穩(wěn)定、高效的特點(diǎn)成為目前發(fā)展最快、應(yīng)用最廣泛的圖像去霧算法。因此后續(xù)出現(xiàn)了一系列的改進(jìn)算法[8,11-26]。針對(duì)強(qiáng)光圖像容易失真的問題,趙錦威等[13]通過支持向量機(jī)的方式和塊偏移方式計(jì)算更準(zhǔn)確的透射率,從而減少光暈像素量,但對(duì)于色彩分布不均的圖像容易產(chǎn)生色彩偏差以及塊狀效應(yīng)。陳高科等[14]通過高斯函數(shù)、光暈算子和形態(tài)學(xué)膨脹描述大氣光值,消除強(qiáng)光的干擾,但對(duì)大面積白色區(qū)域去霧效果容易產(chǎn)生較大偏差。直到2019年楊燕等[15]提出的自適應(yīng)線性透射率估計(jì)算法能夠準(zhǔn)確估計(jì)大氣光的透射率,去霧效果良好,但是算法在濃霧圖像表現(xiàn)方面局限性較大。后續(xù)更有文獻(xiàn)[16-26]中提及的將濾波算法、圖像分割算法與暗通道結(jié)合的方式將圖像分為不同區(qū)域分別進(jìn)行去霧然后再進(jìn)行歸一化整合。如Jiang等[20]在2020年提出的在HIS顏色空間利用光強(qiáng)分量和引導(dǎo)濾波消除圖像去霧產(chǎn)生的天空顏色失真問題,但是合成圖像切割邊界明顯。Li等[21]在2021年提出的基于閾值的天空區(qū)域分割算法,算法對(duì)天空區(qū)域進(jìn)行較好還原,但是算法復(fù)雜度過高。Sabir等[25]和李娜等[26]在2021年設(shè)計(jì)的實(shí)時(shí)性去霧算法對(duì)視頻去霧的發(fā)展產(chǎn)生了重要影響,但是其去霧算法的質(zhì)量相對(duì)于其他算法有明顯的下降。
分析基于暗通道的去霧算法的發(fā)展可以看出,此類算法對(duì)天空區(qū)域去霧效果無法達(dá)到正常去霧要求,容易產(chǎn)生光暈和顏色失真等現(xiàn)象,并且算法的使用對(duì)光強(qiáng)有著較高的要求。后續(xù)的改進(jìn)算法也主要針對(duì)這些方面。針對(duì)強(qiáng)光與弱光的改進(jìn)算法主要使用更加精準(zhǔn)估算透射率來達(dá)到目的,但是對(duì)于色彩不均和帶有濃霧或團(tuán)霧的圖像容易產(chǎn)生塊狀效應(yīng)。對(duì)于去除天空區(qū)域影響的分割類算法雖然可以使天空區(qū)域的還原程度更高,但是同時(shí)也會(huì)對(duì)圖像的完整性和連續(xù)性產(chǎn)生較大影響,在歸一化時(shí)無法有效還原切割點(diǎn)附近圖像的連續(xù)性。對(duì)于實(shí)時(shí)性算法而言,雖然算法的時(shí)間復(fù)雜度有一定程度的降低,但是圖像的質(zhì)量更加難以保證??梢钥闯鲠槍?duì)單個(gè)問題的改進(jìn)并不能滿足該領(lǐng)域?qū)θレF算法的需求。
基于物理模型的去霧算法因有科學(xué)理論支撐在去霧算法研究方面百花齊放?;谖锢砟P偷膱D像去霧算法基本是以大氣散射模型作為理論基礎(chǔ),通過不同先驗(yàn)理論或方法估算模型的各個(gè)參數(shù),從而通過代入?yún)?shù)計(jì)算得到去霧圖像。目前除了暗通道先驗(yàn)算法還有顏色衰減先驗(yàn)去霧算法[27-35]、交互式去霧算法[36-40]、基于偏振特性的圖像去霧算法[41-46]等。
顏色衰減先驗(yàn)的算法是基于物理模型去霧算法中除基于暗通道先驗(yàn)方法之外應(yīng)用最多的算法。其根本依據(jù)是室外圖像的亮度和飽和度之差與霧濃度呈現(xiàn)正相關(guān)。由此規(guī)律可以得到大霧圖像的透射率從而得到去霧圖像。如黃鶴等[34]利用HSV顏色空間計(jì)算像素衰減率,然后利用多級(jí)權(quán)重求出大氣透射率,從而對(duì)圖像進(jìn)行增強(qiáng),但是圖像邊緣不符合先驗(yàn)假設(shè)規(guī)律,去霧效果不好。Yang等[35]利用圖像亮度和飽和度的線性關(guān)系使用機(jī)器學(xué)習(xí)的方法求取景深信息,然后利用大氣散射模型還原圖像,達(dá)到一定的去霧效果,但是算法不穩(wěn)定。使用該方法復(fù)原的清晰圖像色彩自然,但在景深變化處容易出現(xiàn)霧殘留等問題。
交互式去霧算法采用交互方式,通過附加一些主觀判斷作為先驗(yàn)信息,從圖像中估計(jì)出景物深度進(jìn)行對(duì)比度增強(qiáng),實(shí)現(xiàn)了圖像去霧。如芮義斌等[36]利用天空區(qū)域最大亮度作為天空輻射強(qiáng)度,并使用消失點(diǎn)估計(jì)景點(diǎn)深度進(jìn)行圖像還原。但是交互式去霧算法在實(shí)際中應(yīng)用較少,主要原因是場(chǎng)景深度信息在實(shí)際中是未知的,估算方法目前不夠完善容易產(chǎn)生較大的偏差。
基于偏振特性的圖像去霧算法不考慮先驗(yàn)信息的影響,通過不同光照下的多幅圖像來估計(jì)模型參數(shù)從而得到去霧圖像。如代晴晴等[46]設(shè)計(jì)了一種自動(dòng)估計(jì)參數(shù)的偏振特性去霧算法,使用不同光學(xué)特征的三幅圖像自動(dòng)估算參數(shù)從而得到去霧圖像。基于大氣光偏振特性的去霧方法運(yùn)用廣泛,可實(shí)現(xiàn)各種類型的有霧圖像進(jìn)行去霧。與交互式去霧方法類似,基于偏振特性的圖像去霧算法計(jì)算過程中同樣需要估計(jì)未知大氣條件標(biāo)定信息,估計(jì)成本過大、過程繁瑣導(dǎo)致實(shí)際運(yùn)用難度較大。
基于物理模型的去霧算法基于圖像的成像原理和霧天光線衰減原理,通過利用大量實(shí)驗(yàn)得到的先驗(yàn)知識(shí)進(jìn)行降質(zhì)圖像還原?;诎低ǖ老闰?yàn)和顏色衰減先驗(yàn)的去霧算法目前應(yīng)用廣泛。
基于對(duì)基于物理模型的代表算法的發(fā)展進(jìn)行分析得出算法目前的適用場(chǎng)景和局限性?;诎低ǖ赖娜レF算法去霧效果依賴于圖像的結(jié)構(gòu)特征,適用于俯視角度拍攝的薄霧圖像,并且后續(xù)處理對(duì)圖像的顏色還原程度要求不高的情況。而對(duì)包含強(qiáng)光、濃霧、團(tuán)霧等元素的圖像還原性較差。基于顏色衰減先驗(yàn)的算法依賴于圖像的顏色飽和度,適用于背景鮮艷的薄霧圖像或者帶有少量的團(tuán)霧圖像,對(duì)于顏色失真嚴(yán)重并且圖像梯度結(jié)構(gòu)不明顯的圖像算法表現(xiàn)較差?;谄裉匦院徒换ナ饺レF算法因其自身對(duì)景深信息和大氣信息的依賴程度較高,所以去霧效果并不理想,實(shí)際應(yīng)用較少。
總體而言,基于物理模型的去霧算法的視覺效果較好,去霧過程沒有增加多余噪聲,但是場(chǎng)景限制嚴(yán)重。而為了達(dá)到更好去霧效果,擺脫基于單個(gè)先驗(yàn)知識(shí)的局限性,研究人員開始采用多種去霧方法相結(jié)合的去霧算法,打開了圖像去霧領(lǐng)域的新篇章。如2020年徐浩等[47]利用超像素分割和暗通道先驗(yàn)獲得不規(guī)則區(qū)域代替固定窗口避免了塊效應(yīng)問題,彌補(bǔ)了暗通道先驗(yàn)算法對(duì)團(tuán)霧圖像還原效果差和分割線連續(xù)性差的問題。2021年莊秀玲等[48]引入導(dǎo)向?yàn)V波精細(xì)化透射率圖和加權(quán)最小二乘法保留邊界信息,解決了圖像邊緣白色光暈和填空區(qū)域失真問題??梢钥闯龆喾N方法結(jié)合的改進(jìn)去霧算法優(yōu)于基于單種去霧算法的改進(jìn)算法,但是同時(shí)增加了算法的復(fù)雜度,實(shí)時(shí)性較差。
直方圖是圖像中各級(jí)灰度值出現(xiàn)頻率的統(tǒng)計(jì)圖,可以直觀展示圖像灰度級(jí)分布、對(duì)比度和明暗情況。該算法主要是通過非線性變換使圖像灰度值集中部分對(duì)比度增強(qiáng),灰度值稀疏部分對(duì)比度減弱使得圖像整體灰度值分布平緩,從而實(shí)現(xiàn)去霧效果。算法首先統(tǒng)計(jì)各灰度級(jí)出現(xiàn)的頻率并計(jì)算其分布函數(shù),然后將結(jié)果進(jìn)行非線性變換重新將灰度值重新映射到(0,255)之間。其線性變換過程為:
其中,L為圖像最大灰度級(jí),s x為灰度分布函數(shù)。
傳統(tǒng)的直方圖均衡化算法雖然能達(dá)到一定的去霧效果但是存在局部過度增強(qiáng)和光暈現(xiàn)象。為此提出了基于局部的直方圖均衡化算法,但是這類算法同樣存在算法復(fù)雜度高、色差嚴(yán)重等問題。目前自適應(yīng)直方圖均衡化在去霧算法中應(yīng)用廣泛。如基于插值直方圖均衡化算法[49-53]、局部非重疊子塊的直方圖均衡化算法[54]以及近年來發(fā)展迅速的自適應(yīng)直方圖均衡化算法(CLAHE)[55],能有效提高算法的效率和效果。但是基于直方圖均衡化的去霧算法相對(duì)較少,主要是因?yàn)橹狈綀D均衡化算法只基于圖像的灰度分布特征,需要人為調(diào)整參數(shù),而且去霧過程容易產(chǎn)生其他噪聲影響??梢钥闯鲋狈綀D均衡化算法在去霧方面的主要問題是算法魯棒性差,不夠靈活,而且容易產(chǎn)生所需細(xì)節(jié)外的噪點(diǎn),這也是直方圖均衡化算法發(fā)展的難題。該算法未來的研究方向是使得算法能更靈活地適用于差距比較大的圖像,但是同時(shí)算法的復(fù)雜程度也會(huì)進(jìn)一步增加。
Retinex理論[56]最早由Land等提出,它是以人類的視覺特性描述自然界物體恒常性的模型,即物體的色彩不受非均勻光照等大氣因素的影響具有一致性?;赗etinex理論,光線首先由光源發(fā)出然后經(jīng)過帶觀測(cè)物體反射,最后射入相機(jī)中,其光照模型如圖2所示。
圖2 Retinex成像模型Fig.2 Retinex imaging model
根據(jù)Retinex理論可以得到觀測(cè)點(diǎn)成像的數(shù)學(xué)表達(dá)式為:
其中,S(x,y)表示觀測(cè)點(diǎn)最終觀測(cè)結(jié)果,L(x,y)表示入射光圖像,R(x,y)表示帶觀測(cè)物體的反射性質(zhì)。
單尺度Retinex算法(single scale Retinex,SSR)是Retinex理論中最有代表性的方法,算法核心和難點(diǎn)是采用高斯模糊來評(píng)估L(x,y)。SSR算法假設(shè)光照平滑變化但是實(shí)際中光照在物體邊緣處變化是非平滑的,因此SSR算法雖能復(fù)原帶霧圖像,但是容易產(chǎn)生光暈影響。為此Jobson等提出多尺度Retinex(multi-scale Retinex,MSR)算法[57],該算法通過對(duì)多尺度所得r(x,y)取加權(quán)均值作為最終結(jié)果,最經(jīng)典的算法是取3尺度等權(quán)重即權(quán)重取1/3。
但是MSR算法在解決光暈影響的同時(shí)也會(huì)產(chǎn)生顏色失真的問題,針對(duì)這項(xiàng)不足,Jobson等提出帶色彩恢復(fù)的多尺度Retinex算法[58](multi-scale Retinex with color restore,MSRCR),此算法引入了色彩恢復(fù)因子,對(duì)色彩失真圖像進(jìn)行恢復(fù)彌補(bǔ)了MSR的不足。由于Retinex系列算法在提高圖像的可用信息量方面產(chǎn)生了較好的效果,后續(xù)出現(xiàn)眾多改進(jìn)算法。可以看出Retinex算法在發(fā)展過程中對(duì)顏色的恢復(fù)和圖像特征的還原都取得成功的進(jìn)展,尤其是MSRCR算法對(duì)薄霧和部分團(tuán)霧圖像都能進(jìn)行較完整的還原,并且圖像的視覺效果良好,但是算法復(fù)雜度過高。之后有研究人員將下采樣引入Retinex算法如文獻(xiàn)[59-64],降低了還原圖像的時(shí)間成本,但是同時(shí)圖像還原效果受到影響。
小波變換具有多分辨率的特點(diǎn),用不同的尺度將原始圖像信號(hào)進(jìn)行局域分解,進(jìn)而得到圖像的低頻和高頻特征,并且具有完善的重構(gòu)能力。因?yàn)殪F霾主要影響的是圖像信號(hào)的低頻部分,所以在使用小波變換進(jìn)行去霧時(shí)需要抑制圖像的低頻信號(hào)部分,相對(duì)增強(qiáng)圖像的高頻信號(hào),從而達(dá)到去霧的目的。因?yàn)樾〔ㄗ儞Q需要對(duì)圖像信號(hào)進(jìn)行多尺度處理,所以直接使用小波變換對(duì)RGB各通道進(jìn)行處理然后歸一融合難免產(chǎn)生失真,所以利用小波去霧主要對(duì)圖像在HSV空間的亮度信息進(jìn)行小波變換。比如周樹道等[65]和Liu等[66]基于小波變換原理使用小波變換對(duì)圖像高低頻亮度分別進(jìn)行增強(qiáng)和抑制,然后進(jìn)行顏色恢復(fù),從而達(dá)到去霧目的。以及文獻(xiàn)[67]和[68]通過小波變換對(duì)低頻光譜進(jìn)行近似去霧保留高頻區(qū)域,進(jìn)行圖像去霧。
同態(tài)濾波同樣對(duì)圖像信號(hào)進(jìn)行分解,主要解決照度不均或者灰度范圍過大影響圖像對(duì)比度低、顏色失真等問題。與小波變換不同的是同態(tài)濾波結(jié)合頻率過濾和灰度變換兩種技術(shù),把圖像的照度反射模型作為頻域處理的基礎(chǔ),對(duì)圖像灰度范圍進(jìn)行調(diào)整,增強(qiáng)圖像暗區(qū)域細(xì)節(jié)信息。比如Zhang等[69]基于同態(tài)濾波原理,對(duì)圖像中低頻亮度區(qū)域抑制處理,對(duì)高頻亮度進(jìn)行增強(qiáng),從而增強(qiáng)圖像細(xì)節(jié),達(dá)到去霧效果。
在圖像去霧算法中單獨(dú)的小波變換和同態(tài)濾波一般很難達(dá)到理想效果,所以往往將小波變換或者同態(tài)濾波方法與其他去霧算法相結(jié)合,從而在保證視覺效果的同時(shí),得到更多圖像信息和輪廓信息。如文獻(xiàn)[70-75],利用小波變化和同態(tài)濾波結(jié)合圖像顏色和梯度特征等信息設(shè)計(jì)去霧算法,比單獨(dú)使用小波變化和同態(tài)濾波算法得到的去霧效果好,并且可以適用于多個(gè)場(chǎng)景。
基于非物理模型的去霧算法主要利用圖像本身的數(shù)學(xué)特征和統(tǒng)計(jì)特征進(jìn)行還原。無論是基于直方圖均衡化的算法、Retinex去霧算法還是小波變換和同態(tài)濾波算法其本質(zhì)都是經(jīng)過一定的統(tǒng)計(jì)和變換將原圖像的細(xì)節(jié)特征進(jìn)行放大,其本質(zhì)都屬于圖像增強(qiáng)手段。
其中直方圖均衡化算法是運(yùn)算效率最高,原理最簡(jiǎn)單的方法,而且能夠增強(qiáng)圖像亮度和對(duì)比度。但是算法魯棒性差,不夠靈活,而且容易產(chǎn)生額外噪聲。該算法適用于需要亮度增強(qiáng)或分辨率較高的薄霧圖像。但是對(duì)團(tuán)霧圖像進(jìn)行增強(qiáng)時(shí)限制較大。未來的研究方向是使得算法能更靈活地適用于差距比較大的圖像,但是同時(shí)算法的復(fù)雜程度也會(huì)進(jìn)一步增加。Retinex算法目前發(fā)展比較完善,尤其是MSRCR算法在團(tuán)霧、濃霧和光線較暗的情況都有良好表現(xiàn),并且視覺效果較好。但是Retinex系列算法時(shí)間和空間復(fù)雜度較高,無法在要求實(shí)時(shí)性的場(chǎng)景下使用。雖然目前已經(jīng)出現(xiàn)了一系列改進(jìn)算法。但是并不能有效解決實(shí)時(shí)性的問題。小波變換和同態(tài)濾波算法都是以數(shù)學(xué)函數(shù)為基礎(chǔ),將圖像看成信號(hào),然后對(duì)其進(jìn)行分解,從而選出需要的部分。此類算法依賴于參數(shù)選擇,在不同光強(qiáng)和背景條件下的條件參數(shù)不同,此種方式一般不能單獨(dú)應(yīng)用于圖像去霧領(lǐng)域。
與基于物理模型的去霧算法類似,多種算法結(jié)合的去霧算法,能有效彌補(bǔ)單個(gè)算法的不足。比如Ji等[76]通過修改光照分量來增強(qiáng)圖像整體的對(duì)比度,并利用非線性函數(shù)對(duì)反射分量校正,提高了Retinex算法的運(yùn)算效率。楊愛萍等[77]、Li等[78]和Liu等[79]提出的基于Retinex和暗通道先驗(yàn)結(jié)合的去霧算法,不僅對(duì)于正常光照下的帶霧圖像有較好的恢復(fù)作用,同時(shí)還可以有效還原霧霾圖像。高古學(xué)等[80]將自適應(yīng)直方圖均衡化算法與MSRCR算法結(jié)合,針對(duì)沙塵圖像有較好的恢復(fù)作用??梢钥闯?,基于直方圖均衡化算法和濾波算法主要作為輔助算法與其他去霧算法結(jié)合使用,以提高其他算法的魯棒性和多場(chǎng)景適應(yīng)性。并且為了提高去霧算法多場(chǎng)景適用性研究人員將先驗(yàn)知識(shí)與圖像增強(qiáng)相結(jié)合,除了上述改進(jìn)方法外更是出現(xiàn)了結(jié)合多種先驗(yàn)知識(shí)和增強(qiáng)手段的去霧算法。
深度學(xué)習(xí)算法因?yàn)槠鋸?qiáng)大的學(xué)習(xí)能力和算法準(zhǔn)確率高的特點(diǎn)在計(jì)算機(jī)視覺的各個(gè)領(lǐng)域得到廣泛應(yīng)用。Cai等提出了一種名為DehazeNet[81]的End-to-End去霧系統(tǒng),將有霧圖像作為輸入,其以透射圖作為輸出,然后利用大氣散射模型進(jìn)行圖像的還原。DehazeNet算法結(jié)合暗通道先驗(yàn)去霧算法、最大對(duì)比度去霧算法、顏色衰減先驗(yàn)算法和基于色度不一致的去霧算法四種傳統(tǒng)算法的特征進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。模型分為四個(gè)部分:特征提取、多尺度映射、局部閾值和非線性回歸。
圖3 DehazeNet網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Dehazenet network structure diagram
DehazeNet算法將傳統(tǒng)去霧算法與深度學(xué)習(xí)算法相結(jié)合,為圖像去霧的研究開創(chuàng)了新思路。以其為代表的基于大氣散射模型的深度學(xué)習(xí)算法近年來發(fā)展迅速。首先,DehazeNet算法出現(xiàn)了一系列改進(jìn)算法如文獻(xiàn)[82-88],主要將濾波算子或者混合學(xué)習(xí)的方式與傳統(tǒng)DehazeNet算法相結(jié)合,使訓(xùn)練模型輸出更加接近真實(shí)效果。其次,Zhang等[89]在2018年提出的DCPDN算法,采用階段式訓(xùn)練和與生成器和判別器原則將語義分割知識(shí)應(yīng)用于去霧領(lǐng)域,為深度學(xué)習(xí)去霧模型的發(fā)展做出了重要貢獻(xiàn)?;诖髿馕锢砟P偷娜レF模型在視覺和天空給區(qū)域改進(jìn)較大,相對(duì)于傳統(tǒng)的基于物理模型的去霧算法效果顯著,但是參數(shù)數(shù)量激增和大氣因素的不確定性導(dǎo)致圖像亮度會(huì)相對(duì)變暗實(shí)時(shí)性差。后續(xù)發(fā)展多引入殘差網(wǎng)絡(luò)對(duì)此類模型進(jìn)行優(yōu)化。如李碩士等[90]2021年提出基于自適應(yīng)機(jī)制的連接模塊增強(qiáng)對(duì)圖像像細(xì)節(jié)的還原能力。同年楊振艦等[91]利用殘差模塊和空洞卷積改善還原過程中顏色失真和去霧不徹底的問題。
因?yàn)樯蓪?duì)抗神經(jīng)網(wǎng)絡(luò)(GAN)的出現(xiàn),其采用無監(jiān)督的學(xué)習(xí)方式進(jìn)行訓(xùn)練,能夠生成清晰真實(shí)的樣本,避免了損失函數(shù)設(shè)計(jì)的困難。Chen等[92]提出了一種基于GAN的去霧算法名為GCANet(gated context aggregation network)。GCANet是一個(gè)端到端的模型,重點(diǎn)在于利用平滑卷積代替了擴(kuò)展卷積從而解決了網(wǎng)格偽影的問題。
GCANet的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。該網(wǎng)絡(luò)主要利用三個(gè)卷積模塊作為編碼部分,在編碼和解碼之間加入數(shù)個(gè)平滑卷積層,使得輸入特征層和輸出特征層保持局部相關(guān)性。GCANet直接使用以有霧圖像作為輸入,去霧圖像作為輸出直接得到清晰圖像,為去霧算法的發(fā)展產(chǎn)生重要影響。后續(xù)出現(xiàn)了一系列的基于圖像信息的去霧模型。Li等[93]提出的AODNet采用輕量卷積神經(jīng)網(wǎng)絡(luò)結(jié)合大氣散射模型直接生成清晰圖像。Ren等[94]提出一種基于門限融合網(wǎng)絡(luò)的去霧算法,對(duì)圖像還原產(chǎn)生的光暈抑制效果明顯。之后更是出現(xiàn)了一系列改進(jìn)算法。2021年肖進(jìn)勝等[95]以GAN模型為基礎(chǔ)設(shè)計(jì)了沙漏型生成器網(wǎng)絡(luò)結(jié)構(gòu)完成有霧圖像和無霧圖像的轉(zhuǎn)換。同年,Engin等[96]通過結(jié)合周期一致性和感知損失來增強(qiáng)CycleGAN公式,以提高紋理信息恢復(fù)的質(zhì)量,并生成視覺上更好的無霧圖像。Mehta等[97]結(jié)合圖像光譜理論和對(duì)抗網(wǎng)絡(luò)產(chǎn)生更好的視覺效果。可以看出,擺脫假設(shè)先驗(yàn)條件只依賴圖像自身結(jié)構(gòu)是此類模型的主要特點(diǎn)。模型不需要通過大量的計(jì)算得到假設(shè)的條件參數(shù),極大減少了計(jì)算過程中的誤差。但是由于去霧場(chǎng)景的復(fù)雜性和對(duì)樣本的依賴性模型參數(shù)進(jìn)一步增加,并且數(shù)據(jù)集成為此類算法發(fā)展的最大限制條件。
圖4 GCANet的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Network structure diagram of GCANet
基于深度學(xué)習(xí)的去霧算法當(dāng)前主要有兩個(gè)研究方向,一是以大氣散射模型為基礎(chǔ),通過神經(jīng)網(wǎng)絡(luò)估計(jì)或者還原其中的某些參數(shù)從而在原模型中求解得到清晰圖像,二是直接使用以有霧圖像作為輸入,去霧圖像作為輸出的端到端的CNN神經(jīng)網(wǎng)絡(luò)模型,直接得到清晰圖像。
前者利用深度學(xué)習(xí)算法可以將多種先驗(yàn)條件與圖像增強(qiáng)算法結(jié)合,增強(qiáng)了圖像還原視覺效果,相對(duì)于基于單個(gè)先驗(yàn)知識(shí)的去霧算法圖像亮度明顯增強(qiáng),具體分析主要在第4章實(shí)驗(yàn)分析體現(xiàn)。大氣散射模型參數(shù)和假設(shè)先驗(yàn)規(guī)律的限制,通常需要多種假設(shè)先驗(yàn)和參數(shù)共同計(jì)算才能得到優(yōu)于傳統(tǒng)基于大氣模型去霧算法的效果。但是參數(shù)量也成倍增加,同時(shí)因當(dāng)前去霧數(shù)據(jù)集場(chǎng)景的限制,算法的穩(wěn)定性也需要進(jìn)一步提高。而后者擺脫了模型對(duì)先驗(yàn)條件的依賴減少了大量的參數(shù),但是同時(shí)對(duì)數(shù)據(jù)的要求也更加高,限制了模型的應(yīng)用場(chǎng)景。端到端的圖像還原模型是目前研究的熱點(diǎn),后續(xù)也出現(xiàn)了一些結(jié)合性去霧模型。如2020年黃文君等[98]利用模糊圖像的低秩特性和字典矩陣的表達(dá)方式對(duì)濃霧圖像還原效果優(yōu)于其他算法。同年孫斌等[99]結(jié)合FC-DenseNet模型和對(duì)抗網(wǎng)絡(luò)WGAN模型,對(duì)真實(shí)霧天圖像的還原效果優(yōu)于其他算法。劉廣洲等[100]采用多層密集連接網(wǎng)絡(luò)避免梯度消失現(xiàn)象。除此以外雙目視覺和語義分割知識(shí)也被應(yīng)用于圖像去霧領(lǐng)域如文獻(xiàn)[101-107]。如2021年Dong等[101]提出的基于U-Net的多尺度圖像增強(qiáng)網(wǎng)絡(luò)提高了還原圖像的效率??梢钥闯瞿壳盎谏疃葘W(xué)習(xí)的去霧算法主要針對(duì)多場(chǎng)景適用性、對(duì)濃霧圖像和團(tuán)霧圖像的還原效果,以及如何模擬真實(shí)霧天圖像進(jìn)行改進(jìn),而且模型越來越注重實(shí)用性,向著輕量級(jí)網(wǎng)絡(luò)靠攏。
基于對(duì)去霧算法的分類思路和經(jīng)典算法的介紹,可以對(duì)不同去霧算法從原理、適用場(chǎng)景、優(yōu)勢(shì)以及局限性進(jìn)行歸納介紹,如表1所示。本章將進(jìn)一步對(duì)算法的特點(diǎn)等內(nèi)容進(jìn)行實(shí)驗(yàn)驗(yàn)證和量化分析。
表1 去霧算法對(duì)比分析Table 1 Comparative analysis of defogging algorithms
在去霧算法發(fā)展的過程中出現(xiàn)了一系列去霧算法數(shù)據(jù)集,從數(shù)據(jù)集的來源可以分為人工合成和真實(shí)霧天數(shù)據(jù)集。人工合成數(shù)據(jù)集通常利用各種場(chǎng)景的高清圖像以及它們的深度圖。然后基于圖像的深度信息和霧天圖像的統(tǒng)計(jì)特征或者霧介質(zhì)模型對(duì)高清圖像進(jìn)行模糊處理,創(chuàng)建相應(yīng)的帶霧場(chǎng)景圖像,這也是目前在去霧算法領(lǐng)域應(yīng)用最多的數(shù)據(jù)集創(chuàng)建方式。常見的人工合成去霧數(shù)據(jù)集有NYU Depth、RESIDE、RESIDE-beta、Middelbury和D-HAZY數(shù)據(jù)集。其中D-HAZY數(shù)據(jù)集是在NYU Depth和Middelbury數(shù)據(jù)集的基礎(chǔ)上利用霧介質(zhì)模型創(chuàng)建相應(yīng)的朦朧場(chǎng)景。是目前使用最廣泛的去霧數(shù)據(jù)集。目前計(jì)算機(jī)視覺的權(quán)威機(jī)構(gòu)并沒有公開真實(shí)霧天數(shù)據(jù)集。大氣光照和場(chǎng)景變化的限制采集真實(shí)霧天數(shù)據(jù)集變得及其困難,目前所能搜集到的真實(shí)霧天圖像數(shù)據(jù)存在數(shù)據(jù)量小,靜態(tài)場(chǎng)景居多以及朦朧圖像與清晰圖像場(chǎng)景匹配度低等缺陷,單獨(dú)應(yīng)用此類數(shù)據(jù)集無法進(jìn)行去霧算法的測(cè)試分析。一般會(huì)在現(xiàn)有人工合成數(shù)據(jù)集中添加一些真實(shí)場(chǎng)景的朦朧圖像以檢測(cè)算法的精確性和魯棒性。本文實(shí)驗(yàn)采用使用最廣泛的D-HAZY數(shù)據(jù)集。
本文采用主觀評(píng)估和客觀評(píng)估兩種評(píng)估方式對(duì)典型去霧算法進(jìn)行評(píng)估。主觀評(píng)估是依靠人的視覺系統(tǒng)給予圖像變化的主觀評(píng)價(jià),往往帶有個(gè)人主觀色彩??陀^評(píng)估利用數(shù)學(xué)模型建立不同的評(píng)價(jià)指標(biāo)對(duì)圖像的亮度、信息量和色彩飽和度等進(jìn)行評(píng)估,有效避免了主觀評(píng)估的缺陷??陀^評(píng)估主要分為全參考評(píng)估、減參考評(píng)估和無參考評(píng)估。全參考評(píng)估以原始圖像作為依據(jù),將還原后的圖像與原始圖像的各項(xiàng)指標(biāo)進(jìn)行對(duì)比從而得出圖像評(píng)分。常用的全參考評(píng)估方法有均方差法(mean squared error,MSE)、峰值信噪比(peak signal to noise ratio,PSNR)和結(jié)構(gòu)相似度(structrual similarity index measurement,SSIM)等。減參考圖像評(píng)價(jià)方法則利用原始圖像部分信息與還原圖像進(jìn)行對(duì)比從而計(jì)算還原程度。常用Gaussian分布、Laplace分布和小波系數(shù)等特征建立評(píng)估模型,不僅考慮圖像的數(shù)據(jù)特征還要考慮評(píng)估標(biāo)準(zhǔn)的準(zhǔn)確性,是一種較難控制的評(píng)估標(biāo)準(zhǔn)。無參考圖像質(zhì)量評(píng)估不會(huì)依據(jù)原始圖像,模擬視覺系統(tǒng)直接對(duì)單一圖像進(jìn)行評(píng)估。無參考評(píng)估主要利用自然統(tǒng)計(jì)特性對(duì)圖像進(jìn)行評(píng)估。常用的無參考評(píng)估指標(biāo)有圖像信息熵、Brenner梯度函數(shù)、Tenengrad梯度函數(shù)和Laplacian梯度函數(shù)。由于減參考評(píng)估的場(chǎng)景依賴和不方便控制的特點(diǎn),本文采用全參考評(píng)估和無參考評(píng)估兩種方式對(duì)還原圖像進(jìn)行評(píng)估。具體評(píng)估指標(biāo)包括MSE、SSIM、Tenengrad梯度函數(shù)和圖像信息熵。四種評(píng)價(jià)指標(biāo)及其的意義和特點(diǎn)如表2所示。
表2 四種客觀評(píng)估指標(biāo)Table 2 Four objective evaluation metrics
對(duì)上述的基于暗通道先驗(yàn)去霧算法、直方圖均衡化算法、MSR算法、MSRCR算法、小波變換算法、DehazeNet算法和GCANet算法進(jìn)行了測(cè)試實(shí)驗(yàn),選擇了3張?zhí)卣髅黠@的帶霧圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)效果圖如圖5至圖7所示。
圖5 各算法薄霧圖像去霧示例圖Fig.5 Example haze image defogging with different algorithms
圖7 各算法團(tuán)霧圖像去霧示例圖Fig.7 Example image of each algorithm for cloud image defogging
4.3.1 算法時(shí)長(zhǎng)評(píng)估
實(shí)驗(yàn)計(jì)算機(jī)采用Intel Core i5-10400F(單核主頻2.90 GHz)的CPU和16 GB內(nèi)存,以及NVIDIA GeForce GTX 1660s的GPU。在此設(shè)備上進(jìn)行7種算法的驗(yàn)證實(shí)驗(yàn)。算法所用時(shí)長(zhǎng)如表3所示。
從表3可以看出基于物理模型和非物理模型的去霧算法在算法時(shí)長(zhǎng)方面平均表現(xiàn)優(yōu)于基于深度學(xué)習(xí)的去霧算法,尤其表現(xiàn)在高分辨率圖像上。但是GCANet算法在實(shí)時(shí)性方面具有良好的表現(xiàn),明顯優(yōu)于MSR算法和MSRCR算法。主要原因是MSR和MSRCR算法采用多尺度以及多個(gè)高斯卷積核進(jìn)行計(jì)算,增加了算法的時(shí)間復(fù)雜度。但是對(duì)于其他算法,基于深度學(xué)習(xí)的算法明顯在實(shí)時(shí)性方面較差,其主要原因是基于深度學(xué)習(xí)的算法在計(jì)算過程中需要巨大的參數(shù)數(shù)量,從而導(dǎo)致計(jì)算時(shí)間較長(zhǎng)。
表3 不同算法的處理時(shí)長(zhǎng)Table 3 Computation time of different algorithms
4.3.2 算法精度評(píng)估
對(duì)實(shí)驗(yàn)包含的7種算法的去霧效果進(jìn)行主觀評(píng)估,則由圖5至圖7可以得到如下結(jié)論。基于暗通道的去霧算法雖然可以使圖像在視覺效果上更加清晰,但是圖像整體變暗,而且在有天空背景的圖像上容易產(chǎn)生光暈,如圖6(b)所示,不適用于亮度較低和仰視角度的帶霧圖像?;谛〔V波的去霧算法保持了良好的圖像亮度,但是圖像對(duì)比度增加過于明顯,視覺效果一般?;贛SR的算法在去霧圖像模糊方面表現(xiàn)不錯(cuò),但是結(jié)果圖像會(huì)產(chǎn)生色差導(dǎo)致視覺效果較差,如圖5(d)和圖6(d)所示,但是對(duì)團(tuán)霧處理效果較好,如圖7(d)所示?;贛SRCR的算法在MSR算法的基礎(chǔ)上對(duì)色彩進(jìn)行了還原,并且圖像的亮度和對(duì)比度都具有明顯的改善如圖5(e)、圖6(e)和圖7(e)所示?;谥狈綀D均衡化的去霧算法雖然增強(qiáng)了圖像的對(duì)比度,但是會(huì)產(chǎn)生較多的噪聲對(duì)后續(xù)圖像處理工作將產(chǎn)生較大影響,在圖7(f)上表現(xiàn)明顯?;谏疃葘W(xué)習(xí)的去霧算法在圖像去霧方面都表現(xiàn)良好,相對(duì)于其他算法在色彩飽和度,和視覺效果方面具有較大優(yōu)勢(shì)。其中,DehazeNet去霧算法會(huì)使得圖像亮度稍微減弱如圖5(g)、圖6(g)、圖7(g)所示。
圖6 各算法俯視薄霧圖像去霧示例圖Fig.6 Example of mist removal from top view of mist image of each algorithm
利用全參考評(píng)估指標(biāo)和無參考評(píng)估指標(biāo)對(duì)7種算法進(jìn)行評(píng)估。對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行可視化如圖8至圖10和圖11分別為MSE、SSIM、圖像信息熵和Tenengrad梯度函數(shù)這4種指標(biāo)在3張圖像上的評(píng)估結(jié)果折線圖。關(guān)于去霧后的圖像與原始圖像進(jìn)行對(duì)比分析,可以從圖8和圖9可以得出MSRCR方法的穩(wěn)定性最好,在3張測(cè)試圖像上都有較明顯的表現(xiàn)。7種去霧算法在薄霧俯視圖上表現(xiàn)最好相對(duì)原圖像的偏移程度較大,圖像相似度較低。而在帶有團(tuán)霧的圖像中7種算法均表現(xiàn)較差,結(jié)構(gòu)相似程度和均方差都沒有太大的變化。其主要原因可能是在團(tuán)霧圖像中霧對(duì)圖像信息的遮擋呈現(xiàn)無規(guī)律的特點(diǎn),并且某些地方遮擋嚴(yán)重造成圖像信息損失嚴(yán)重。對(duì)單幅圖像進(jìn)行質(zhì)量評(píng)估可以從圖10和圖11看出小波變換和直方圖均衡化是除了深度學(xué)習(xí)方法外,圖像質(zhì)量改變最明顯的方法。但是從主觀評(píng)價(jià)可以看出這兩類算法都放大了圖像噪聲,增加了一部分無用細(xì)節(jié)?;谏疃葘W(xué)習(xí)的方法在增強(qiáng)圖像的信息和改變圖像的梯度結(jié)構(gòu)方面都具有良好的表現(xiàn),其中GCANet方法對(duì)圖像質(zhì)量的提升明顯優(yōu)于DehazeNet,其主要是因?yàn)镚CANet方法在計(jì)算過程沒有使用先驗(yàn)信息作為參考,圖像原本的亮度并沒有降低。MSR圖像去霧方面表現(xiàn)得不夠穩(wěn)定,容易產(chǎn)生色差,丟失關(guān)鍵信息。而MSRCR則表現(xiàn)優(yōu)于MSR,相對(duì)于MSR能在去霧過程中保留更多的圖像信息。綜上,經(jīng)過主觀和客觀兩個(gè)方面對(duì)7個(gè)典型去霧算法進(jìn)行分析,可以得出基于深度學(xué)習(xí)的算法是目前最穩(wěn)定的,也是效果最后的去霧算法,同時(shí)也是去霧算法當(dāng)前研究的主流算法。
圖8 MSE指標(biāo)折線圖Fig.8 MSE metric line chart
圖9 SSIM指標(biāo)折線圖Fig.9 SSIM metric line chart
圖10 信息熵指標(biāo)折線圖Fig.10 Entropy metric line chart
圖11 Tenengrad指標(biāo)折線圖Fig.11 Tenengrad metric line chart
本文去霧算法主要從物理模型、非物理模型和深度學(xué)習(xí)算法3個(gè)方面進(jìn)行研究的?;陟F模型的圖像去霧算法主要基于大氣散射模型,主要考慮在成像過程中霧或霾對(duì)圖像質(zhì)量的影響,然后通過損失參數(shù)對(duì)圖像進(jìn)行還原。非物理模型直接分析圖像信息和細(xì)節(jié),通過不同的方法直接對(duì)圖像進(jìn)行增強(qiáng),從而使圖像變得清晰?;谏疃葘W(xué)習(xí)的方法則利用神經(jīng)網(wǎng)絡(luò)搭建深度學(xué)習(xí)模型,要么基于大氣模型估計(jì)其中參數(shù),要么直接尋找?guī)ъF圖像與清晰圖像的對(duì)應(yīng)關(guān)系進(jìn)行圖像還原。此3類去霧算法對(duì)霧天圖像都有著不同程度的復(fù)原作用,其中某些算法已經(jīng)得到了廣泛的應(yīng)用,但是目前去霧算法還存在以下的研究重點(diǎn)和難點(diǎn):
(1)設(shè)計(jì)時(shí)間復(fù)雜度和空間復(fù)雜度低的算法。雖然目前的算法對(duì)單張帶霧圖像有較好的還原效果,但是算法復(fù)雜度高,運(yùn)行效率慢,不適用真實(shí)場(chǎng)景和視頻去霧。所以設(shè)計(jì)高效率的去霧算法是整個(gè)去霧領(lǐng)域研究的難點(diǎn)。目前針對(duì)視頻的去霧算法主要基于暗通道算法。而且為了滿足算法的實(shí)時(shí)性要求,通常要對(duì)原有圖像進(jìn)行下采樣處理,容易丟失圖像信息。針對(duì)此問題,今后可以設(shè)計(jì)輕量級(jí)深度學(xué)習(xí)模型,或者根據(jù)不同情況對(duì)現(xiàn)有模型進(jìn)行壓縮,同時(shí)采用多種算法結(jié)合的方式進(jìn)行圖像去霧,將有效避免此類問題。
(2)制作大量真實(shí)戶外場(chǎng)景下的霧天數(shù)據(jù)集困難。深度學(xué)習(xí)算法有很強(qiáng)的學(xué)習(xí)能力但是其對(duì)數(shù)據(jù)集的要求很高,目前應(yīng)用比較廣泛的去霧數(shù)據(jù)集主要基于室內(nèi)場(chǎng)景,還沒有室外場(chǎng)景下高質(zhì)量的數(shù)據(jù)集,這也是深度學(xué)習(xí)去霧算法發(fā)展的限制,也是待突破的難點(diǎn)。針對(duì)室外數(shù)據(jù)集采集的情況目前只能依靠大量人力和物力解決,未來可以利用人工智能模擬真實(shí)戶外情況,使得模擬效果與真實(shí)情況的差距不會(huì)影響實(shí)驗(yàn)結(jié)果就可以節(jié)省大量人力物力。針對(duì)數(shù)據(jù)不足的問題一方面可以采用已有的圖像處理技術(shù)對(duì)現(xiàn)有數(shù)據(jù)集進(jìn)行鏡像、旋轉(zhuǎn)等變換進(jìn)行數(shù)據(jù)集擴(kuò)展。一方面可以改進(jìn)遷移學(xué)習(xí)和自監(jiān)督學(xué)習(xí)方式將其應(yīng)用于圖像去霧的深度學(xué)習(xí)模型中,從而解決樣本的問題。
(3)提升模型的訓(xùn)練速度和魯棒性。深度學(xué)習(xí)的快速發(fā)展使得基于深度學(xué)習(xí)的去霧算法百花齊現(xiàn),但是同樣存在去霧效率低、適用場(chǎng)景單一的問題。目前大多數(shù)學(xué)者更加關(guān)注模型的去霧效果和視覺效果,如何進(jìn)一步提高模型的訓(xùn)練效率和算法的魯棒性也是今后研究的重點(diǎn)。針對(duì)模型的訓(xùn)練速度同樣可以引入遷移學(xué)習(xí)和監(jiān)督學(xué)習(xí),改善訓(xùn)練數(shù)據(jù)的質(zhì)量,從而提升模型訓(xùn)練速度。針對(duì)算法的魯棒性問題可以采用深度學(xué)習(xí)和圖像處理多種算法相結(jié)合的方式,對(duì)不同的樣本選擇最適用的處理流程,增加算法的魯棒性。