陳 輝，王 碩，許家昌，肖哲璇

安徽理工大學 計算機科學與工程學院，安徽 淮南 232001

海洋是人類賴以生存和發(fā)展的資源寶庫，為人類的各種活動提供了重要支持，因此，海洋資源勘探和水下生態(tài)環(huán)境保護至關重要[1]。探尋水下資源和了解水下生態(tài)環(huán)境的重要途徑是進行水下拍攝，其可為相關部門和人員提供大量且直觀的水下環(huán)境信息，便于進一步分析和研究。然而，水下拍攝環(huán)境不同于地面，水下圖像易受到水下環(huán)境的嚴重影響，導致圖像對比度低、色偏和模糊等問題[2-3]。水下圖像的質量問題給水下機器人以及計算機視覺系統(tǒng)的正常有效工作帶來挑戰(zhàn)。

水下成像常常伴隨著不同程度的顏色失真，這是由于不同波長的光在水下傳播時存在著不同的衰減率，而其中藍色和綠色光因其波長最短，有著最遠的水下傳輸距離。通常情況下，光在水中的穿透力與波長成反比，因此拍攝的大部分水下圖像都呈現著藍綠色調[4-5]。為解決藍綠色偏問題，研究人員提出了白平衡算法。傳統(tǒng)的白平衡算法，有灰度世界[6]、完美反射[7]等?；叶仁澜缢惴ㄊ瞧渲刑幚硇Ч詈玫模涍^對比觀察發(fā)現，由于紅色光波長最長，這種算法處理的圖像存在嚴重的紅色偽影。為解決紅色偽影問題，Ancuti 等人[8]提出在采用灰度世界算法進行白平衡前對圖像的紅色通道進行補償，算法在矯正色偏的同時避免了過度補償的問題，能夠有效地恢復不同深度和光照條件下的水下圖像特征和邊緣信息。

為解決水下圖像退化問題，研究人員主要提出了三種圖像增強方法：空間域法、變換域法和基于深度學習的方法[9]?？沼驁D像增強方法基于灰度映射理論[10]，通過擴展灰度級完成灰度直方圖重分布。例如，Iqbal 等人[11]提出了一種基于無監(jiān)督色彩校正方法（UCM），通過拉伸RGB顏色空間和HSV顏色空間的動態(tài)像素范圍矯正對比度，有效去除了藍綠偏色并提高了圖像亮度，但是存在圖像局部過飽和和欠飽和現象。Ancuti等人[8]根據水下光學成像原理提出了一種色彩平衡與融合方法，通過改進后的水下白平衡算法處理光在水下因衰減率的不同而引起的偏色，增強后的圖像暗區(qū)曝光度更好，全局對比度和邊緣清晰度都能得到相應的改善，但當偏色問題較嚴重時直接應用于藍綠色偏水下圖像存在通道補償不足問題。變換域圖像增強方法大多是將空間域圖像變換到小波等頻域來處理，以達到抑制低頻分量和增強高頻分量的目的來實現對水下圖像的增強。Prabhakar等人[12]使用同態(tài)濾波器校正非均勻光照，然后采用各向異性濾波器對圖像進行平滑處理，雖然可以提高水下退化圖像的清晰度和對比度，但往往會過度放大噪聲，造成顏色失真。Khan等人[13]提出了一種基于小波的融合方法，利用HSV 顏色模型對原始圖像進行全范圍的拉伸，并通過CLAHE算法增強得到兩幅融合圖像，由一組低通濾波器和高通濾波器來進行融合，消除圖像中不需要的低頻和高頻?；谏疃葘W習的方法主要有卷積神經網絡（CNN）和生成對抗網絡（GAN）構成，利用網絡模型的學習能力將模糊圖像轉化為清晰圖像，不需要太多的先驗約束，泛化能力較強[14]。特別是基于GAN的網絡模型，以端到端的方式，在對水下圖像的去霧、增強對比度和清晰度等方面表現良好。然而，由于在深海環(huán)境下難以獲取大量的訓練數據，WaterGAN[15]利用地面上正常的彩色圖像和對應的深度圖人工合成水下圖像，CycleGAN[16]在未失真圖像的基礎上重建失真圖像，擴充了數據集并有效地提高了圖像對比度和清晰度。受深度卷積神經網絡（DCNN）技術在多尺度特征提取方面的優(yōu)勢啟發(fā)，Liu 等人[17]提出一種深度多尺度特征融合網絡，以GAN 為基本架構從多個尺度增強圖像特征，在對比度和細節(jié)保留方面有著較好的性能，但依然存在偏色校正效果不佳的問題。為了更好地解決圖像偏色問題，范新南等人[18]提出一種特征融合生成對抗網絡，融合白平衡算法與U-Net提取的圖像特征來獲得色彩更好的圖像，但由于GAN 模型直接學習模糊圖像到清晰圖像的映射，在處理偏色情況較重的圖像時會出現色彩不真實和過度增強的問題。

針對現有方法存在的問題，本文結合傳統(tǒng)圖像增強方法與深度學習方法，通過改進后的白平衡算法對偏色圖像進行矯正并提取特征，與多尺度生成器增強的特征相融合，再利用卷積神經網絡將高維特征重建為清晰圖像。本文算法較好地解決了水下圖像顏色失真和模糊問題，針對偏色情況復雜的水下場景也可以有效矯正偏色問題，提高圖像清晰度和對比度。

本文的主要貢獻如下：

（1）針對現有方法在偏色較復雜情況下存在的問題，結合傳統(tǒng)圖像增強方法與深度學習方法，提出了一種多尺度特征融合的GAN模型。

（2）提出新的通道補償率來對白平衡算法進行針對性地改進，提高算法對偏色情況復雜的水下環(huán)境的適應性。

（3）將提出的殘差密集塊（residual density block，RDB）融入U-Net，在多個尺度上結合全局特征對局部特征進行自適應地增強。

1 網絡模型

1.1 網絡模型架構

本文提出的模型以GAN 網絡為基本結構，主要由生成器和判別器兩部分組成，模型總體框架如圖1 所示。其中生成器由偏色矯正模塊、多尺度增強模塊和重建模塊組成，判別器則采用全卷積網絡結構的馬爾科夫判別器。首先，在偏色矯正模塊中通過改進的白平衡算法來對偏色情況較復雜的圖像進行自適應的藍綠偏色矯正，再通過CNN 提取包含圖像邊緣信息等泛化信息的低級特征feature1。然后，在多尺度增強模塊中采用利于特征提取的編碼器-解碼器結構來增強圖像特征，利用提出的RDB 從多個尺度融合全局特征與局部特征，得到增強后的融合特征feature2。最后在重建模塊中將兩種特征以對應元素相乘的方式融合，并利用CNN將高維特征重建為增強圖像。判別器采用的結構為全卷積神經網絡，用于區(qū)分偽樣本與真實樣本。通過判別器對圖像是真實的還是偽造的判斷來評價生成器對于失真圖像的增強效果，然后通過判別情況指導生成器的訓練，而生成器也得以生成效果更好的圖像來訓練判別器的識別能力。兩者不斷對抗訓練，使模型達到最優(yōu)，最終得到增強圖像。

圖1 多尺度特征融合GAN結構Fig.1 Structure of multiscale feature fusion GAN

1.2 生成器模塊

1.2.1 偏色校正模塊

水下圖像常常會因為光在水下衰減率的不同而出現不同程度的偏色問題。當偏色問題較嚴重時白平衡算法直接應用于藍綠色偏水下圖像存在過度補償和補償不足問題，針對此問題Ancuti 等人[8]首先提出在采用灰度世界算法前對水下圖像的紅色通道進行補償，紅色通道補償公式定義為：

其中，α經實踐測試設為常數1，Ir和Ig分別表示水下圖像的紅色和綠色通道，每個通道經過歸一化處理處于區(qū)間[0，1]內；Iˉr和Iˉg表示Ir和Ig的平均值。在灰度世界算法的假設下，綠色通道均值與紅色通道均值之差反映著紅綠衰減之間的不平衡，上文補償策略為縮減紅綠衰減之間的差異將紅色通道的補償量與此差值設成正比。

但是，該算法直接應用于偏色情況較嚴重的水下環(huán)境時仍然存在補償過度的問題。因此本文對文獻[8]的算法進行改進，增大對圖像紅色通道較顯著區(qū)域的衰減，并通過顏色直方圖對比累加像素值來自適應地區(qū)分圖像偏藍或偏綠，從而進行針對性的補償。改進后的紅色通道補償公式為：

另外，由于有機物的過度吸收，藍色通道在一些場景也會出現大幅度的減弱。因此，為了使算法適用于更多水下場景，當圖像藍色通道過度衰減時，對其也進行相應的補償。改進后的藍色通道補償公式為：

在圖像進行自適應地偏色矯正之后，通過2個卷積核大小為3、步長為1 的卷積層對算法校正處理的水下圖像進行特征提取，并且在每個卷積層后添加Leaky ReLU激活層，提取包含顏色、邊緣信息等泛化信息的低級特征feature1。

利用3D 散點圖來客觀體現水下圖像的色彩分布，對比結果如圖2 所示。為體現本文算法對偏色情況較復雜環(huán)境的適應性，選取了綠色分布較廣的圖片樣本?？梢钥闯鑫墨I[8]算法所處理的圖像存在對紅色通道過度補償的現象，RGB三通道像素點分布較為集中，導致圖像色彩不夠豐富且整體色調偏灰。而本文改進后的算法所處理的圖像RGB三通道像素點在[0，255]范圍內分布較為均衡，圖像顏色豐富且真實。實驗結果表明本文算法可以更好地矯正水下圖像的色偏問題。

圖2 偏色矯正對比結果Fig.2 Contrast results of color correction

1.2.2 多尺度增強模塊

在深度學習方法相關的研究中，特征的提取可以通過簡單的沿空間維度的平均池化來實現[19]。而與平均池化不同，本文為獲得更多圖像細節(jié)，通過卷積層對圖像進行逐步的下采樣來提取維度為1×1×cg的全局特征，其中cg表示全局特征的通道數。逐步下采樣相比于平均池化好處在于兩方面：首先，可以自由選擇每個分辨率下的特征映射數量；其次，可以同時提取更多尺度的局部特征。而多尺度局部特征體現了圖像不同分辨率下的抽象信息，有利于生成細節(jié)精細的圖像。

在CNN中，隨著深度的增加，網絡處理復雜問題的性能就越強，訓練集loss逐漸降低直至趨于飽和。但當再增加網絡深度時，loss 反而會增大，訓練也隨參數的增加變得更困難。殘差塊[20]直接映射的加入可以降低CNN 訓練的復雜度。密集塊[21]通過在新的學習基礎上重復利用特征來解決深層網絡的梯度消失問題，使得網絡更加容易進行訓練。每個網絡層都讀取到前面層的狀態(tài)信息，并且將信息繼續(xù)傳遞給后續(xù)的網絡層，有助于特征的篩選和傳遞。同時，密集網絡本身也有正則化的效果，當訓練集較小時，可以降低過擬合效應。

受殘差網絡和密集卷積網絡的啟發(fā)，提出了一種RDB，結構如圖3 所示，包括密集連接層和利用局部殘差學習進行局部特征融合的網絡層，以自適應提取局部密集特征。RDB 不僅可以通過連續(xù)記憶機制從一個RDB 讀取狀態(tài)，還可以通過局部密集連接利用其中的所有層，然后通過局部特征融合自適應地保留累積的特征。為降低輸出維度，將RDB的最后一層設為一個1×1的卷積層，并且將各層輸入的特征信息進行像素累加，最終達到提取全局特征的目的。同時，在每個卷積層后添加了批歸一化層（batch normalization，BN）和Leaky ReLU激活函數，避免隨RDB循環(huán)次數的增加而導致的細節(jié)丟失問題。

圖3 殘差密集塊結構Fig.3 Structure of residual density block

為了使網絡更深入和更容易優(yōu)化，多尺度增強模塊基于編碼器-解碼器結構構建，編碼器部分采用上文提出的殘差構建塊來進行特征提取。其中編碼器(e1～e5)和解碼器(d1～d5)的鏡像層之間存在跳層連接，具體表現為(e1,d5)、(e2,d4)、(e3,d3)、(e4,d2)、(e5,d1)之間的連接，每個編碼器的輸出都被連接到各自的鏡像解碼器。這種基于U-Net 網絡架構的編碼器-解碼器設計有效地避免了特征提取時圖像的細節(jié)丟失問題。為將全局特征與局部特征動態(tài)融合，引入特征融合單元[22]。設尺度為i的局部特征圖fl，維數為hi×wi×ci，全局特征圖fg維數為1×1×cg。首先通過具有可學習權值的1×1卷積層調整全局特征以進行通道匹配。由于通常情況下，cg大于ci，因此該步驟旨在自適應地從全局特征中提取最有用的信息，用于增強尺度為i的局部特征。該卷積層的參數設置為：卷積核大小1×1，步長1，輸入通道數量cg，輸出通道數量ci。

特征融合過程表示為式（4）～式（8）：

通過卷積層學習不同區(qū)域的特征權重值，調整全局特征，其中W為可學習權值：

然后將調整后的特征fg-a復制hi×wi次

再將特征fg-b尺寸重塑為(hi,wi,ci)以匹配不同的特征通道：

之后，將具有相同尺寸的輸入特征fl和輸出特征fg-c沿通道尺寸進行拼接：

最后，通過卷積層和ReLU激活函數來穩(wěn)定fg-d不同像素點上的特征信息，并通過跳躍連接送到解碼器的相應層中：

局部特征和全局特征分別表現了圖像的不同尺度，因而也就表現了圖像的不同信息。通常，低級特征表現為如圖像邊緣信息等本地圖像特征，而全局特征代表高級信息，表現為總體光線條件、顏色特征、形狀特征或紋理特征等。不同尺度的高、低信息融合有助于生成色彩逼真、細節(jié)更好的圖像。此外，由于全局特征是局部特征的更高抽象體現，它們可以充當正則化器，以懲罰由于在低分辨率圖像中處理不當而在增強圖像中生成的偽影。并且，以自適應調整的權值來處理不同通道和不同像素的特征，來讓網絡更多地關注圖像的重要信息，避免了網絡在冗余信息上的無用計算，在提高了效率的同時也使得網絡能夠涵蓋所有像素和通道，更加靈活地適應不同的水下環(huán)境。因此，本文在每個分辨率上融合全局特征和低層次特征，如圖4所示。

圖4 多尺度增強網絡Fig.4 Multi-scale enhancement network

1.3 重建模塊

在生成器的最后，設計一個重建模塊將feature1 和feature2 相融合，再通過反卷積層將融合特征重建為增強圖像，圖5描述了重建過程的詳細結構。為將圖像不同尺度的局部特征充分利用起來，兩個拼接操作都分別包含三個不同的特征映射。前兩層卷積采用不同大小的卷積核，以處理不同尺度的特征信息。最后引入一層反卷積層來將高維特征重建為清晰圖像。

圖5 重建模塊Fig.5 Reconstruction module

圖5中重建操作可以表示為式（9）至式（13）：

L(x)表示Leaky ReLU 激活函數，上標表示卷積層數，下標表示對應的卷積核。[I1,R1,X]和[I2,R2,X]表示特征圖的拼接。在前兩層中，每一層分別使用一個具有5×5 卷積核和64 個特征映射的卷積層和一個3×3 卷積核和128 個特征映射的卷積層，并且都添加BN 層和Leaky ReLU激活函數。第三層采用1×1的反卷積層完成融合特征到增強圖像的映射，并且添加Leaky ReLU激活函數來提高計算效率。通過不同大小的卷積核和拼接操作實現對不同尺度的局部特征的充分利用，并且由于Leaky ReLU 激活函數避免了飽和現象的出現而導致的梯度消失，因此重建模塊能夠在保留圖像細節(jié)的同時融合圖像特征并重建為增強圖像。

1.4 判別器模塊

本文使用馬爾科夫判別器生成對抗網絡（Patch-GAN）[23]作為判別器，結構如圖6 所示，前4 層步長為2并添加了Leaky ReLU 激活層，最后一層步長為1 并添加了Sigmoid 激活層。PatchGAN 設計用于識別輸出的N×N的矩陣是真實的還是生成器偽造的，通過平均所有矩陣對應的感受野區(qū)域的真實概率來實現整體決策。當幾乎所有的區(qū)域都因為良好的細節(jié)而被認為是真實的，生成的圖像就會被判別為真實圖像。相比于全圖像鑒別器，PatchGAN所需的卷積層數更少，更能關注圖像細節(jié)從而有效獲取高頻信息。

圖6 判別器結構Fig.6 Structure of discriminator

1.5 損失函數

針對原有GAN在訓練過程中會出現梯度爆炸或消失的問題，為了穩(wěn)定訓練，一些GAN模型從損失函數入手進行改進，如LSGAN[23]、Wasserstein GAN（WGAN）[24]、帶梯度懲罰的Wasserstein GAN（WGAN-GP）[25]，其中WGAN-GP在圖像生成時效果相對較好，因此本文采用WGAN-GP作為對抗性損失，如式（14）所示：

其中，x和y分別為退化圖像和清晰圖像，x為生成的輸出圖像G(x)和y之間的直線上的樣本，λ代表權重因子。由于單純的對抗損失容易造成圖像細節(jié)的丟失，因此引入對像素角度的距離進行衡量的傳統(tǒng)損失，如L2或L1損失，結合對抗損失和傳統(tǒng)的距離損失有助于完成圖像到圖像的轉換。其中，L1損失能夠產生比L2更少的模糊結果，魯棒性更強，但會導致圖像信息的丟失；L2損失可以更好地放大異常點獲得更多圖像信息，但是可能會導致梯度爆炸。因此，為了穩(wěn)定地獲得信息更多的清晰圖像，同時引入L1和L2損失，如式（15）和式（16）所示：

其中，λ1、λ2為權重因子。

2 實驗結果與分析

2.1 數據集與訓練細節(jié)

本文所用訓練集為EUVP數據集[26]中的underwater imagenet集和underwater scenes集，共包含5 885幅水下圖像和對應的清晰圖像。隨機選取5 200對圖像作為訓練集，剩下的圖像用于驗證。此外，為了進一步評估本文方法的泛化能力，證明模型對偏色情況復雜的水下環(huán)境的適應性，選用UIEB數據集[27]進行測試，該數據集共包含950對多種水下場景的真實圖像。為方便處理，所有的圖像都被調整為256×256。

網絡模型基于Tensorflow深度學習框架實現，通過多次實驗，設置權重λ=10、λ1=2 和λ2=8。生成器和判別器均采用Adam 優(yōu)化器，學習率設置為0.000 1，一階動量項β1=0.5，二階動量項β2=0.999。批大小為8，網絡訓練100個epoch。GPU為NVIDIA GeForce 2080ti。

本文將多尺度特征融合GAN模型與幾種有代表性的水下圖像增強算法進行比較，包括無監(jiān)督顏色校正方法（UCM）[11]、直方圖均衡法（HE）[28]、限制對比度自適應直方圖均衡（CLHAE）[29]、水下暗通道先驗（UDCP）[30]、圖像模糊和光吸收（IBLA）[31]、快速水下GAN（Funie-GAN）[26]、水下GAN（UGAN）[32]。

2.2 主觀評價

首先，對不同方法在UIEB 和EUVP 數據集上提高圖像可見性的能力進行比較，定性比較如圖7 和圖8 所示。UCM 可以增強圖像的亮度和對比度，但在顏色恢復方面不夠均勻，整體色調偏紅并且存在紅色偽影。HE 極大地提升了圖像色彩和亮度，但缺乏足夠的對比度，圖像色彩也顯得不夠真實。CLHAE、UDCP和IBLA對偏色圖像恢復效果不佳，甚至加重了部分圖像的顏色失真，它們增強了圖像的對比度但會使圖像變暗。FunieGAN和UGAN整體上改善了圖像的偏色問題并且增強圖像了的對比度，但對于偏色情況嚴重的處理效果不夠理想。本文算法在提升圖像亮度和對比度的同時，較好地解決了藍綠色偏問題。

圖7 UIEB數據集不同算法處理效果Fig.7 Processing effect of different algorithms on UIEB dataset

圖8 EUVP數據集不同算法處理效果Fig.8 Processing effect of different algorithms on EUVP dataset

2.3 客觀評價

本文采用了兩種無參考指標：水下圖像質量度量（UIQM）[33]和水下彩色圖像質量評估（UCIQE）[34]，對UIEB和EUVP數據集上的水下圖像質量進行定量評估。UIQM包含水下圖像的三個屬性，如水下圖像色彩度測量（UICM）、水下圖像清晰度度量（UISM）和水下圖像對比度度量（UIConM）。該方法通過線性疊加三個度量來評估圖像質量，其計算公式為：

其中，c1、c2、c3分別為3 個屬性度量的加權系數，按照文獻[34]設定為0.028 2，0.295 3，3.575 3。UCIQE利用色度、飽和度和對比度的線性組合進行定量評估，分別量化不均勻的偏色、模糊和低對比度。其計算公式為：

UIQM和UCIQE指標越大，說明圖像質量越高。表1和表2分別定量顯示了圖7和圖8中的樣本圖像UIQM和UCIQE指標?？梢钥闯霰疚乃崴惴ù蟛糠纸Y果都獲得了最高指標，證明了本文算法能夠有效恢復圖像色彩、提高圖像對比度和清晰度。

表1 圖7樣本的UIQM/UCIQE值Table 1 UIQM/UCIQE value of fig.7

表2 圖8樣本的UIQM/UCIQE值Table 2 UIQM/UCIQE value of fig.8

無參考評價指標的量化結果在很大程度上取決于尺度因子的值，不需要考慮圖像的結構信息。由于度量是從像素計算的，雖然一些增強圖像可以得到更高的分數，但視覺質量較差。因此，本文還使用兩個全參考評估指標峰值信噪比（PSNR）和結構相似性（SSIM）通過對比亮度、對比度和結構來評估不同方法在數據集上的性能。表3 和表4 的對比結果表明，本文提出的算法在PSNR和SSIM方面都取得了最好的結果。

表3 不同算法在UIEB數據集上的PSNR和SSIM指標Table 3 PSNR and SSIM indicators of different algorithms on UIEB dataset

表4 不同算法在EUVP數據集上的PSNR和SSIM指標Table 4 PSNR and SSIM indicators of different algorithms on EUVP dataset

2.4 消融實驗

為了驗證模型相對于1.2.1小節(jié)中偏色矯正模塊對圖像清晰度的增強效果，選取部分未參與訓練的UIEB數據集和EUVP數據集水下圖像進行測試。圖9為部分測試結果。

圖9 消融實驗結果Fig.9 Results of ablation experiment

從圖9中可以觀察到，改進后的偏色矯正模塊和多尺度增強網絡處理后的圖像基本上消除了水下原始圖像中的藍綠色偏問題，但依然存在輕微的模糊和過飽和現象，圖像顏色不夠真實。以第一幅圖像舉例，偏色矯正后的圖像左右邊緣處仍存在模糊現象，多尺度增強網絡處理的圖像色調整體偏紅。而本文所采用的多尺度特征融合GAN結構所得到的增強圖像清晰度和對比度更高且顏色真實貼近現實，模糊問題也得到了有效的改善。

選取無參考指標UIQM 和UCIQE 作為消融實驗的客觀評價指標，如表5 所示。只用偏色矯正算法和只用多尺度增強網絡處理的圖像相較于原始圖像，UIQM和UCIQE 指標都有所提高，但是均低于本文算法。結果表明，偏色矯正模塊和多尺度增強模塊的引入對于算法的性能是有所提高的，且融合后的算法增強效果更好。

表5 消融實驗的客觀評價指標Table 5 Objective evaluation index of ablation experiment

3 結論

針對水下退化圖像清晰度低、藍綠色偏和對比度低等問題，本文設計了基于多尺度特征融合GAN 的水下圖像增強算法。通過采用針對偏色問題的自適應白平衡算法和保留更多圖像細節(jié)的多尺度增強網絡相融合的生成器模型，并結合馬爾可夫判別器將水下退化圖像增強為清晰圖像。本文算法將傳統(tǒng)圖像增強方法和深度學習方法相結合，獲得了增強效果更好更全面的水下圖像。主觀評價和客觀評價結果表明，本文算法對于普通水下場景和偏色情況較復雜的水下場景圖像的增強效果整體上都比對比算法表現更優(yōu)，提高了圖像的清晰度和對比度，顏色也更真實。