楊愛萍，邵明福，王金斌，王?前，張騰飛

基于視覺質(zhì)量驅(qū)動(dòng)的無監(jiān)督水下圖像復(fù)原

楊愛萍，邵明福，王金斌，王?前，張騰飛

(天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072)

基于深度學(xué)習(xí)的水下圖像復(fù)原方法已經(jīng)取得了較大進(jìn)展，但大多數(shù)是有監(jiān)督學(xué)習(xí)方法，其通常需要大量高質(zhì)量的清晰圖像作為參考，難以應(yīng)用于實(shí)際水下場景．因此，從水下圖像降質(zhì)機(jī)理和視覺質(zhì)量提升等角度出發(fā)，提出一種基于視覺質(zhì)量驅(qū)動(dòng)且無需任何參考圖像的無監(jiān)督水下圖像復(fù)原方法．網(wǎng)絡(luò)主體采用基于小波變換的編解碼結(jié)構(gòu)，包含一些對稱的卷積層和反卷積層，學(xué)習(xí)端到端的數(shù)據(jù)映射；為了實(shí)現(xiàn)特征復(fù)用，在編解碼對應(yīng)層加入跳層連接，增強(qiáng)特征提取能力；使用小波變換取代傳統(tǒng)上采樣和下采樣，保證特征提取過程中較好地保持圖像細(xì)節(jié)；設(shè)計(jì)殘差增強(qiáng)模塊，有效緩解梯度消失和過擬合現(xiàn)象．更為重要的是，從圖像視覺質(zhì)量改善角度出發(fā)，設(shè)計(jì)一系列無參考損失函數(shù)，包括感知損失、全變差正則化損失、顏色損失、對比度損失等，網(wǎng)絡(luò)可實(shí)現(xiàn)由水下降質(zhì)圖像到清晰圖像的直接輸出．實(shí)驗(yàn)結(jié)果表明，所提無監(jiān)督水下圖像復(fù)原方法優(yōu)于部分監(jiān)督式方法，無參考評價(jià)指標(biāo)Entropy、UIQM分別取得最高值7.38、3.31，且復(fù)原圖像細(xì)節(jié)豐富、色彩自然，具有較強(qiáng)的泛化能力，可較好用于實(shí)際水下場景．

水下圖像增強(qiáng)；無監(jiān)督；視覺質(zhì)量驅(qū)動(dòng)；小波變換

在復(fù)雜的水下環(huán)境中，由于可見光受到水體的吸收和介質(zhì)的散射等影響，水下圖像通常存在對比度低、圖像模糊及色彩失真等降質(zhì)特點(diǎn)，直接影響水下目標(biāo)識別與跟蹤等視覺任務(wù)，因此水下圖像增強(qiáng)與復(fù)原研究具有重要的現(xiàn)實(shí)意義．

目前，在水下圖像清晰化方面已經(jīng)提出了很多方法，包括基于圖像增強(qiáng)的方法、基于圖像復(fù)原的方法和基于深度學(xué)習(xí)的方法．基于圖像增強(qiáng)的方法不依賴于水下成像物理模型，主要通過直接調(diào)整圖像的像素值，提高圖像對比度等屬性改善視覺效果[1-5]．基于圖像復(fù)原的方法通過估計(jì)模型參數(shù)構(gòu)建水下成?像物理模型，反演其退化過程從而得到清晰的水下圖像[6-9]．

近年來，隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的水下圖像增強(qiáng)方法成為領(lǐng)域內(nèi)新的研究熱點(diǎn)，根據(jù)其在訓(xùn)練過程中使用參考圖像的方式可分為有監(jiān)督學(xué)習(xí)方法、半(弱)監(jiān)督學(xué)習(xí)方法以及無監(jiān)督學(xué)習(xí)方法．有監(jiān)督學(xué)習(xí)方法中，Wang等[10]首次提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的端到端水下圖像增強(qiáng)框架，但該模型參數(shù)量較大，計(jì)算成本較高；Naik等[11]提出了一種淺層神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)模型具有較少的參數(shù)，可有效緩解過擬合問題，但圖像細(xì)節(jié)特征缺失較為明顯，視覺效果較差；Li等[12]提出了一種基于門控融合的網(wǎng)絡(luò)并構(gòu)建水下圖像增強(qiáng)基準(zhǔn)(underwater image enhancement benchmark，UIEB)數(shù)據(jù)集，該方法將輸入圖像與預(yù)處理圖像相融合，可充分挖掘圖像細(xì)節(jié)特征，由于數(shù)據(jù)集規(guī)模較小，模型泛化能力不足；Fabbri等[13]提出基于CycleGAN[14]的水下圖像增強(qiáng)算法(UGAN)，該方法嚴(yán)重依賴合成數(shù)據(jù)集，增強(qiáng)圖像與真實(shí)圖像風(fēng)格迥異，實(shí)用性較差；Hashisho等[15]提出了基于U-net的水下去噪自編碼器(UDAE)網(wǎng)絡(luò)，但由于采用傳統(tǒng)上、下采樣方式，導(dǎo)致增強(qiáng)圖像紋理細(xì)節(jié)缺失、對比度下降、色彩失真等．

由于實(shí)際應(yīng)用中難以獲取水下圖像對應(yīng)的參考圖像，因此基于有監(jiān)督學(xué)習(xí)的水下圖像增強(qiáng)方法應(yīng)用嚴(yán)重受限．基于此，有些研究者提出了基于半(弱)監(jiān)督學(xué)習(xí)的水下圖像增強(qiáng)方法．Islam等[16]提出了基于CGAN的快速水下圖像增強(qiáng)模型(FUnIE-GAN)，并構(gòu)建了增強(qiáng)水下視覺感知(enhancing underwater visual perception，EUVP)數(shù)據(jù)集，該模型通過配對和未配對的圖像進(jìn)行訓(xùn)練，增強(qiáng)了模型的泛化能力，但對于質(zhì)量退化嚴(yán)重和紋理缺乏的水下圖像增強(qiáng)效果不佳．Li等[17]提出一個(gè)半監(jiān)督水下圖像校正模型(UCycleGAN)，使用未配對的水下圖像訓(xùn)練，學(xué)習(xí)清晰參考圖像的顏色風(fēng)格，并設(shè)計(jì)多種損失函數(shù)保留原始圖像的內(nèi)容和結(jié)構(gòu)．半(弱)監(jiān)督學(xué)習(xí)方法減少了對水下圖像真實(shí)數(shù)據(jù)集的依賴，在一定程度上增強(qiáng)了模型的泛化能力．

到目前為止，有少量基于無監(jiān)督學(xué)習(xí)的水下圖像方法出現(xiàn)．Barbosa等[18]提出一種使用一組圖像質(zhì)量指標(biāo)指導(dǎo)優(yōu)化過程的無監(jiān)督學(xué)習(xí)方法，但是，由于該方法基于水下成像物理模型得到復(fù)原圖像，存在先驗(yàn)估計(jì)不準(zhǔn)確的問題，復(fù)原圖像視覺質(zhì)量有待提高，且模型泛化能力較差．為此，本文考慮水下圖像降質(zhì)特點(diǎn)及圖像視覺質(zhì)量改善，提出一種基于視覺質(zhì)量驅(qū)動(dòng)的無監(jiān)督水下圖像復(fù)原框架，通過構(gòu)建端到端的網(wǎng)絡(luò)直接學(xué)習(xí)水下降質(zhì)圖像到清晰圖像的數(shù)據(jù)映射．網(wǎng)絡(luò)主體采用對稱的編解碼網(wǎng)絡(luò)結(jié)構(gòu)，通過跳層連接，將淺層特征與深層特征相融合，保留更多的紋理細(xì)節(jié)特征，實(shí)現(xiàn)特征復(fù)用；設(shè)計(jì)殘差增強(qiáng)模塊，有效緩解梯度消失現(xiàn)象．從視覺質(zhì)量改善方面設(shè)計(jì)感知損失、全變差正則化損失、顏色損失、對比度損失等一系列無參考損失函數(shù)驅(qū)動(dòng)網(wǎng)絡(luò)訓(xùn)練．所提方法無需任何參考圖像，具有較好的泛化能力，可較好用于實(shí)際水下場景．

1?本文方法

本文設(shè)計(jì)的無監(jiān)督水下圖像復(fù)原框架如圖1所示．網(wǎng)絡(luò)主體采用編碼器-解碼器結(jié)構(gòu)，編碼器采用離散小波變換(discrete wavelet transform，DWT)代替?zhèn)鹘y(tǒng)的下采樣，可避免傳統(tǒng)池化或卷積操作導(dǎo)致的細(xì)節(jié)丟失；為了克服因特征圖通道數(shù)過多而導(dǎo)致的梯度消失和過擬合現(xiàn)象，設(shè)計(jì)殘差增強(qiáng)模塊進(jìn)行特征提取，其包含兩個(gè)普通卷積層和一次跳躍連接．解碼器采用逆離散小波變換(inverse discrete wavelet transform，IDWT)代替?zhèn)鹘y(tǒng)的上采樣，可有效保留特征圖細(xì)節(jié)和邊緣特征；通過與編碼器對應(yīng)層之間的跳層連接，將淺層特征與深層特征相融合，實(shí)現(xiàn)特征復(fù)用．

1.1?編碼器結(jié)構(gòu)

圖1?網(wǎng)絡(luò)結(jié)構(gòu)

對于輸入圖像，通過特征提取層提取特征，學(xué)習(xí)水下圖像到增強(qiáng)圖像之間的非線性映射關(guān)系，得到輸出特征；經(jīng)過３次特征映射后，輸出特征代入殘差增強(qiáng)層，可降低網(wǎng)絡(luò)計(jì)算成本，避免梯度消失和過擬合現(xiàn)象，最終得到編碼器輸出特征．

1.2?解碼器結(jié)構(gòu)

解碼器由特征還原層、特征映射層和跳層連接3部分組成．特征還原層使用逆離散小波變換，有效地避免因不均勻重疊[19]而造成的人工效應(yīng)，將輸出通道數(shù)變?yōu)樵瓉淼?/4，特征圖大小變?yōu)樵瓉淼?倍．特征映射層由一個(gè)卷積核大小為3×3、步長為1、填充為1的卷積層和一個(gè)ReLu激活函數(shù)組成，不同的特征映射層卷積核的數(shù)目不同．跳層連接將解碼器上一級特征還原層的輸出與相對應(yīng)編碼器的特征映射層的輸出通過concat操作融合，實(shí)現(xiàn)特征復(fù)用，可表示為

1.3?損失函數(shù)

1.3.1?內(nèi)容感知損失函數(shù)

從改善人類視覺感知角度出發(fā)，防止生成圖像與輸入圖像在語義上產(chǎn)生較大差異，設(shè)計(jì)感知損失衡量增強(qiáng)圖像和水下圖像之間的語義差異．具體地，利用VGG-16網(wǎng)絡(luò)的conv2-2、conv3-3、conv4-2 3個(gè)卷積層，分別提取增強(qiáng)圖像與輸入圖像的特征，通過縮小增強(qiáng)圖像與輸入圖像特征之間的歐氏距離，使得增強(qiáng)圖像與輸入圖像在語義特征上保持一致，具體可表?示為

1.3.2?全變差正則化損失函數(shù)

全變差正則化損失函數(shù)普遍用于圖像復(fù)原[20]、超分辨率重建[21]等應(yīng)用中．由于無監(jiān)督學(xué)習(xí)會產(chǎn)生隨機(jī)噪聲，易造成突兀的直觀感受．通過設(shè)計(jì)全變差正則化損失函數(shù)，降低相鄰像素點(diǎn)之間的差異，減少訓(xùn)練過程中產(chǎn)生的隨機(jī)噪聲，增加圖像的平滑度，改善視覺效果．具體可表示為

1.3.3?顏色損失函數(shù)

由于無監(jiān)督學(xué)習(xí)方法無法通過參考圖像學(xué)習(xí)真實(shí)水下圖像的顏色信息，根據(jù)灰度世界假設(shè)算法[2]設(shè)計(jì)顏色損失函數(shù)，消除水下圖像存在的色偏，改善視覺效果．該損失函數(shù)可以使圖像各通道像素平均值趨近于全局像素平均值，實(shí)現(xiàn)顏色校正，同時(shí)增大各通道像素值之間的差異，防止像素值均勻化，具體可表示為

1.3.4?對比度損失函數(shù)

設(shè)計(jì)對比度損失函數(shù)，增大各通道像素值與其平均值之間的差異，進(jìn)而增強(qiáng)水下圖像的對比度，提升視覺質(zhì)量，表示為

綜上，設(shè)計(jì)總損失函數(shù)為

2?實(shí)驗(yàn)結(jié)果與分析

2.1?數(shù)據(jù)集及實(shí)驗(yàn)設(shè)置

2.2?實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文算法的有效性，從客觀評價(jià)指標(biāo)和主觀視覺效果兩個(gè)方面與近年來先進(jìn)的水下圖像增強(qiáng)算法進(jìn)行對比．對比的算法包括傳統(tǒng)方法CLAHE[1]、GW[2]、UDCP[7]和基于深度學(xué)習(xí)的方法UGAN[13]、UCycleGAN[17]、FUnIE-GAN[16]、Water-Net[12]、UDAE[15]．

采用信息熵(Entropy)、UCIQE、UIQM 3種無參考客觀評價(jià)指標(biāo)對增強(qiáng)效果進(jìn)行定量分析．信息熵表示圖像包含信息量的大小，其值越大代表圖像包含信息量越多．UCIQE利用圖像色彩濃度、飽和度及對比度的線性組合來量化水下圖像的非均勻色差、模糊和對比度，其值越高，增強(qiáng)圖像的總體質(zhì)量越高. UIQM由UICM(色彩測量指標(biāo))、UIConM(對比度測量指標(biāo))、UISM(清晰度測量指標(biāo))3部分組成，其值越大，表示圖像的顏色平衡度、對比度、清晰度越佳．本文從測試數(shù)據(jù)集中隨機(jī)選取100張圖片作為測試輸入，計(jì)算增強(qiáng)圖像的客觀指標(biāo)，并取平均值作為最終的結(jié)果，表1給出了各增強(qiáng)方法的評價(jià)結(jié)果．

表1?無參考評價(jià)指標(biāo)比較

Tab.1?Comparison among unsupervised evaluation indicators

注：帶*數(shù)值表示該結(jié)果取得對應(yīng)指標(biāo)的最高值.

由表1可以看出，本文方法在Entropy、UISM、UIConM以及UIQM等指標(biāo)均取得了最好的結(jié)果．Entropy指標(biāo)取得最高值，說明本文方法相比于其他方法保留了最多的圖像信息；UIQM指標(biāo)取得最高值，說明本文方法增強(qiáng)圖像視覺效果要優(yōu)于其他方法．其中，UISM、UIConM分量指標(biāo)取得最高值，說明本文方法在改善圖像清晰度、提高對比度方面取得最顯著效果；UICM分量主要通過計(jì)算圖像通道的均值和方差評判圖像色彩質(zhì)量，而傳統(tǒng)方法如CLAHE、GW等通過調(diào)整圖像像素強(qiáng)度實(shí)現(xiàn)圖像增強(qiáng)，通常具有較高的UICM值．而基于深度學(xué)習(xí)的方法在訓(xùn)練過程中，由于多次卷積和上、下采樣操作，丟失了大量的像素信息，導(dǎo)致基于深度學(xué)習(xí)的方法UICM分量指標(biāo)普遍低于傳統(tǒng)方法．相對而言，由于本文算法采用小波變換代替?zhèn)鹘y(tǒng)的卷積和上、下采樣操作，訓(xùn)練過程損失的信息較少，因此本文方法在深度學(xué)習(xí)方法中取得最高的UICM值4.92．FUnIE-GAN方法的UCIQE指標(biāo)取得最高值，但是該方法使用配對的和未配對的數(shù)據(jù)集進(jìn)行訓(xùn)練，與本文方法相比，泛化能力不足．總體而言，本文方法有效地實(shí)現(xiàn)了水下圖像顏色、對比度、清晰度改善，同時(shí)具有良好的模型泛化能力．

進(jìn)一步，為了更加直觀地說明本文方法的性能，在ImageNet、UIEB、RUIE測試數(shù)據(jù)集中分別選取3張圖像與主流方法進(jìn)行主觀視覺效果對比，各種方法增強(qiáng)效果如圖3～圖5所示．

圖3?ImageNet數(shù)據(jù)集上對比結(jié)果

圖4?UIEB數(shù)據(jù)集上對比結(jié)果

圖5?RUIE數(shù)據(jù)集上對比結(jié)果

基于CLAHE方法的增強(qiáng)圖像銳度過高，改變了原始圖像的紋理信息(如圖3(b)第1張圖海底生物和圖4(b)第2張圖)．GW方法增強(qiáng)得到的水下圖像過度補(bǔ)償紅通道，視覺效果差(如圖3(c)第2張圖，圖4(c)第1張圖，圖5(c)第1、3張圖像整體顏色偏向紅色)．UDCP方法由于不考慮紅通道信息，導(dǎo)致增強(qiáng)圖像偏色嚴(yán)重(如圖4(d)第2張圖像整體色彩偏藍(lán)，第3張圖像偏綠)．

基于深度學(xué)習(xí)的方法中，UCycleGAN方法由于受到合成數(shù)據(jù)集風(fēng)格的限制，增強(qiáng)圖像風(fēng)格與真實(shí)圖像風(fēng)格產(chǎn)生較大差異，且會導(dǎo)致細(xì)節(jié)模糊(如圖3(e)中的第1張圖像水草紋理模糊，圖5(e)中第2張圖像整體顏色風(fēng)格改變)．UGAN、FUnIE-GAN和Water-Net是基于有監(jiān)督學(xué)習(xí)的方法，基于UGAN方法的增強(qiáng)圖像存在對比度較低和細(xì)節(jié)模糊的現(xiàn)象(如圖4(f)第3張圖像整體對比度低，海底物體邊緣特征不明顯)．FUnIE-GAN方法不能有效解決色偏問題(如圖3(g)中的第3張圖和圖4(g)第2張圖整體色調(diào)偏紅)．Water-Net方法與本文方法皆可有效增強(qiáng)圖像視覺效果，恢復(fù)圖像細(xì)節(jié)．通過圖3和圖4特征對比發(fā)現(xiàn)，本文方法相比Water-Net方法，其圖像對比度增強(qiáng)效果顯著，圖像細(xì)節(jié)特征增強(qiáng)明顯；圖4(j)第2張圖像和圖5(j)第1張圖像顯示，本文方法相比Water-Net方法亮度更高，視覺效果更好；圖5(j)第2張圖像表明，本文方法恢復(fù)圖像顏色更自然．UDAE方法采用傳統(tǒng)的上、下采樣方式，復(fù)原圖像細(xì)節(jié)損失嚴(yán)重(如圖3(i)中的第1張圖，圖4(i)第3張圖和圖5(i)的第1張圖存在細(xì)節(jié)模糊現(xiàn)象)．綜上所述，本文方法增強(qiáng)了圖像對比度，完善了圖像細(xì)節(jié)，改善了色偏，圖像亮度得到較大提升，視覺效果理想．

為了進(jìn)一步驗(yàn)證各方法的性能，本文對增強(qiáng)后的水下圖像進(jìn)行邊緣檢測．采用Canny算子[23]對增強(qiáng)圖像進(jìn)行邊緣檢測，各方法檢測結(jié)果如圖6所示．由圖6可知，CLAHE方法增強(qiáng)圖像銳度過高，海底的水草和生物表面的細(xì)小紋理過于密集；GW、UDCP以及Water-Net方法保留圖像邊緣信息能力較差，圖像細(xì)節(jié)較少；UCycleGAN、UGAN以及FUnIE-GAN可以有效保持圖像邊緣，但與本文方法相比，缺少局部細(xì)節(jié)紋理．本文方法復(fù)原的水下圖像邊緣細(xì)節(jié)清晰，取得理想的邊緣檢測效果．

圖6?不同方法的邊緣檢測

2.3?消融實(shí)驗(yàn)

表2?消融實(shí)驗(yàn)的無參考評價(jià)指標(biāo)

Tab.2?Unsupervised evaluation indicators of ablation experiments

注：帶*數(shù)值表示該結(jié)果取得對應(yīng)指標(biāo)的最高值.

圖7?消融實(shí)驗(yàn)

3?結(jié)?語

本文提出一種基于視覺質(zhì)量驅(qū)動(dòng)的無監(jiān)督水下圖像復(fù)原框架．網(wǎng)絡(luò)主體采用編解碼結(jié)構(gòu)，通過跳層連接將淺層特征與深層特征融合，實(shí)現(xiàn)特征復(fù)用；設(shè)計(jì)殘差增強(qiáng)模塊，有效防止梯度消失和過擬合現(xiàn)象的產(chǎn)生；使用小波變換替代傳統(tǒng)的上、下采樣，保留更多的細(xì)節(jié)特征和邊緣信息．基于EUVP、UIEB和RUIE數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，本文方法泛化能力強(qiáng)，且無需任何參考圖像，復(fù)原圖像主觀效果優(yōu)于部分有監(jiān)督復(fù)原方法，可實(shí)際應(yīng)用于水下場景；基于損失函數(shù)的消融實(shí)驗(yàn)結(jié)果表明，從改善視覺質(zhì)量角度出發(fā)所設(shè)計(jì)的損失函數(shù)，有效恢復(fù)了水下圖像細(xì)節(jié)特征，改善了顏色、提高了對比度和清晰度；基于小波變換的消融實(shí)驗(yàn)結(jié)果表明，本文方法的Entropy、UCIQE和UIQM指標(biāo)分別提高了3.0%、4.7%和8.5%，充分驗(yàn)證了小波變換的有效性.

未來工作中，將進(jìn)一步改進(jìn)基于視覺質(zhì)量改善角度設(shè)計(jì)的無參考損失函數(shù)，增強(qiáng)網(wǎng)絡(luò)的泛化能力，提高網(wǎng)絡(luò)的性能．

［1］Ghani A S A，Isa N A M. Enhancement of low quality underwater image through integrated global and local contrast correction[J]. Applied Soft Computing，2015，37：332-344.

［2］Buchsbaum G. A spatial processor model for object colour perception[J]. Journal of the Franklin Institute，1980，310(1)：1-26.

［3］Fu X，Zhuang P，Huang Y，et al. A retinex-based enhancing approach for single underwater image[C]//2014 IEEE International Conference on Image Processing(ICIP). Paris，F(xiàn)rance，2014：4572-4576.

［4］Li S，Li H，Xin G. Underwater image enhancement algorithm based on improved retinex method[J]. Comput Sci Appl，2018，8：9-15.

［5］Ancuti C O，Ancuti C，de Vleeschouwer C，et al. Color balance and fusion for underwater image enhancement[J]. IEEE Transactions on Image Processing (TIP)，2018，27(1)：379-393.

［6］He K，Sun J，Tang X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI)，2010，33(12)：2341-2353.

［7］Drews P L J，Nascimento E R，Botelho S S C，et al. Underwater depth estimation and image restoration based on single images[J]. IEEE Computer Graphics and Applications，2016，36(2)：24-35.

［8］Peng Y T，Cao K，Cosman P C. Generalization of the dark channel prior for single image restoration[J]. IEEE Transactions on Image Processing(TIP)，2018，27(6)：2856-2868.

［9］楊愛萍，楊炳旺，曲?暢，等. 基于透射率融合與優(yōu)化的水下圖像復(fù)原[J]. 天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版)，2019，52(10)：1033-1044.

Yang Aiping，Yang Bingwang，Qu Chang，et al. Transmission fusion and optimization for single underwater image restoration[J]. Journal of Tianjin University(Science and Technology)，2019，52(10)：1033-1044(in Chinese).

［10］Wang Y，Zhang J，Cao Y，et al. A deep CNN method for underwater image enhancement[C]//2017 IEEE International Conference on Image Processing(ICIP). Beijing，China，2017：1382-1386.

［11］Naik A，Swarnakar A，Mittal K. Shallow-UWnet：Compressed model for underwater image enhancement(student abstract)[C]//Proceedings of the AAAI Conference on Artificial Intelligence. California，USA，2021：15853-15854.

［12］Li C，Guo C，Ren W，et al. An underwater image enhancement benchmark dataset and beyond[J]. IEEE Transactions on Image Processing(TIP)，2020，29：4376-4389.

［13］Fabbri C，Islam M J，Sattar J. Enhancing underwater imagery using generative adversarial networks[C]//2018 IEEE International Conference on Robotics and Automation(ICRA). Brisbane，Australia，2018：7159-7165.

［14］Zhu J Y，Park T，Isola P，et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE International Conference on Computer Vision(ICCV). Venice，Italy，2017：2223-2232.

［15］Hashisho Y，Albadawi M，Krause T，et al. Underwater color restoration using U-Net denoising autoencoder [C]//2019 11th International Symposium on Image and Signal Processing and Analysis(ISPA). Dubrovnik，Croatia，2019：117-122.

［16］Islam M J，Xia Y，Sattar J. Fast underwater image enhancement for improved visual perception[J]. IEEE Robotics and Automation Letters(RAL)，2020，5(2)：3227-3234.

［17］Li C，Guo J，Guo C. Emerging from water：Underwater image color correction based on weakly supervised color transfer[J]. IEEE Signal Processing Letters(SPL)，2018，25(3)：323-327.

［18］Barbosa W V，Amaral H G B，Rocha T L，et al. Visual-quality-driven learning for underwater vision enhancement[C]//2018 25th IEEE International Conference on Image Processing(ICIP). Athens，Greece，2018：3933-3937.

［19］Odena A，Dumoulin V，Olah C. Deconvolution and checkerboard artifacts[EB/OL]. http：//distill. pub/2016/ deconv-checkerboard，2016-10-17.

［20］Mahendran A，Vedaldi A. Understanding deep image representations by inverting them[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Boston，USA，2015：5188-5196.

［21］Aly H A，Dubois E. Image up-sampling using total-variation regularization with a new observation model [J]. IEEE Transactions on Image Processing(TIP)，2005，14(10)：1647-1659.

［22］Liu R，F(xiàn)an X，Zhu M，et al. Real-world underwater enhancement：Challenges，benchmarks，and solutions under natural light[J]. IEEE Transactions on Circuits and Systems for Video Technology(TCSVT)，2020，30(12)：4861-4875.

［23］Canny J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI)，1986(6)：679-698.

UnsupervisedUnderwater Image Restoration Based on Visual-Quality-Driven

Yang Aiping，Shao Mingfu，Wang Jinbin，Wang Qian，Zhang Tengfei

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

Deep learning has achieved quite promising results in underwater image restoration. However，most of them are supervised learning methods，which typically require massive high-quality images as reference images and cannot be applied to practical underwater settings. Therefore，we proposed a visual-quality-driven unsupervised underwater image restoration method from the perspectives of underwater image degradation mechanism and visual quality improvement. The backbone network adopts the encoder-decoder structure based on a wavelet transform and learns an end-to-end data map，which includes some symmetric convolutional and deconvolutional layers. To enable feature reuse，a skip connection was added to the corresponding layers of the codec to enhance the feature extraction capability. We used wavelet transform to replace traditional up-sampling and down-sampling to preserve more details in the feature extraction process. In addition，the residual enhancement module was designed to effectively relieve gradient disappearance and overfitting phenomena. More importantly，we designed a series of no-reference loss functions，including perceptual loss，total variation regularization loss，color loss，and contrast loss，to restore the visual quality of underwater images. The network can realize the direct output from the degraded images to sharp ones. The experimental results show that the proposed unsupervised underwater image restoration method outperforms partially supervised methods. The no-reference evaluation indices Entropy and UIQM achieve the highest values of 7.38 and 3.31，respectively，and the restored image has rich details and natural colors. It has a strong generalization capability and can be better used in real underwater scenarios.

underwater image enhancement；unsupervised；visual-quality-driven；wavelet transform

10.11784/tdxbz202206039

TN911.73

A

0493-2137(2023)11-1217-09

2022-06-30；

2022-11-05.

楊愛萍（1977—??），女，博士，副教授.Email：m_bigm@tju.edu.cn

楊愛萍，yangaiping@tju.edu.cn.

國家自然科學(xué)基金資助項(xiàng)目(62071323，62176178).

the National Natural Science Foundation of China(No.62071323，No.62176178).

(責(zé)任編輯：孫立華)