胡振宇，陳琦，2*，朱大奇，2

（1.上海海事大學(xué) 智能海事搜救與水下機器人上海工程技術(shù)研究中心，上海 201306；2.上海理工大學(xué) 機械工程學(xué)院，上海 200093）

1 引言

隨著人類對資源開發(fā)量日益增大，陸地資源已經(jīng)不能滿足需求，世界各國將資源開發(fā)的重點轉(zhuǎn)向了海洋［1］。海洋資源的開發(fā)依賴于海洋勘探技術(shù)，因此海洋勘探成為了研究熱點。在海洋勘探過程中，水下圖像增強是關(guān)鍵環(huán)節(jié)，在海洋環(huán)境監(jiān)測、水下設(shè)施檢測、海底生物研究等方面都發(fā)揮著重要作用。然而，水體對光具有散射和吸收作用［2］，水分子對光的吸收作用會減弱光的能量，光的衰減程度因光的顏色不同而產(chǎn)生差異，使水下圖像出現(xiàn)色偏和亮度低的現(xiàn)象，并且散射作用還會導(dǎo)致圖像細節(jié)模糊，對比度低。因此，水下圖像的退化極為嚴重，水下圖像增強十分重要，對海洋勘探技術(shù)的發(fā)展起著關(guān)鍵作用。

水下環(huán)境具有復(fù)雜性，傳統(tǒng)的圖像處理算法受到了極大的限制，圖像清晰度無法達到理想效果。為了提高水下圖像的清晰度，國內(nèi)外研究者做了大量工作［3］。He等［4］提出了暗通道先驗算法（Dark Channel Prior，DCP），根據(jù)光在水中傳播與霧中特點相似的原理來對水下圖像進行處理，但是水對不同顏色的光有選擇性吸收，該算法對圖像的恢復(fù)效果極微。Drews等［5］在DCP的基礎(chǔ)上提出了一種水下暗通道先驗算法（Underwater Dark Channel Prior，UDCP），根據(jù)紅光比藍光和綠光在水中衰減更嚴重的原理，僅在藍通道和綠通道中計算了暗通道的值，但是UDCP的魯棒性沒有被考慮到。Iqbal等［6］提出了利用直方圖結(jié)合無監(jiān)督顏色校正的方法，但顏色失真問題難以解決。Zhang等［7］提出了多尺度Retinex擴展的水下圖像增強算法，將帶有色彩恢復(fù)的視網(wǎng)膜增強算法（MSRCR）擴展到Lab空間，克服增強過程中出現(xiàn)的光暈現(xiàn)象，但是算法中需要調(diào)整的參數(shù)太多，實現(xiàn)難度大。Garg等［8］提出了一種限制對比度的自適應(yīng)直方圖均衡化的水下圖像增強方法，能夠有效增強對比度，但是難以有效去除圖像的色偏。Ma等［9］提出了一種將暗通道先驗法和灰度世界法結(jié)合的水下圖像增強方法，但是水下環(huán)境的特殊性導(dǎo)致圖像的增強效果不佳。范新南等［10］提出了一種基于MSRCR和多尺度融合的算法，用MSRCR對圖像進行色彩恢復(fù)后，再對圖像在Lab空間的亮度L通道進行限制對比度直方圖均衡化處理，并對處理后的圖像進行多尺度融合，然而圖像對比度提高不明顯。

為了使水下圖像得到有效增強，本文提出了一種多尺度圖像融合的圖像增強技術(shù)。針對水下光衰減程度差異造成的顏色失真問題，采用了一種顏色平衡方法來恢復(fù)顏色，再將處理后的圖像從RGB空間轉(zhuǎn)換到Lab空間，對L通道進行限制對比度的自適應(yīng)直方圖均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）處理來增強圖像對比度及邊緣細節(jié)，再將圖像轉(zhuǎn)換回RGB空間。然后，對顏色平衡和CLAHE處理后的圖像分別求出權(quán)重圖。最后，用金字塔算法分解權(quán)重圖和輸入圖像，并對分解后的圖像進行多尺度融合。實驗結(jié)果表明，圖像顏色得到恢復(fù)，對比度和細節(jié)得到增強，并且圖像光照均勻，達到了理想的視覺效果。

2 算法原理

水體對光有吸收和散射作用，水下圖像退化的過程具有復(fù)雜性。本文首先采用顏色平衡法對退化的水下圖像去除色偏，再用CLAHE法對圖像在Lab空間處理亮度通道L來增強對比度。對顏色平衡法和CLAHE法處理后的圖像分別求出飽和度權(quán)重圖、色彩權(quán)重圖和顯著性權(quán)重圖，并將這3個權(quán)重圖進行歸一化處理得到歸一化權(quán)重圖。然后，用拉普拉斯金字塔算法分解顏色平衡法和CLAHE法處理后的圖像，用高斯金字塔算法分解歸一化權(quán)重圖。最后，根據(jù)歸一化權(quán)重圖對顏色平衡法和CLAHE法處理后的圖像進行多尺度融合。本文的算法流程如圖1所示。

圖1 基于顏色平衡和多尺度融合的圖像增強算法流程Fig.1 Flow chart of underwater image enhancement algorithm based on color balance and multiscale fusion

2.1 顏色平衡

水對不同顏色光的吸收程度不同，不同顏色光在水中的衰減程度存在差異。紅光波長最長，相較于藍光和綠光等在水中更容易被吸收，衰減最嚴重。水對光的吸收作用會減弱光的強度，從而阻礙光能圖像的顏色形成，造成水下圖像與真實場景之間的顏色偏差，使得水下圖像顏色偏藍綠色。水對光的吸收情況如圖2所示［11］。

圖2 水對光的吸收情況示意圖Fig.2 Schematic diagram of light absorption by water

為了解決顏色失真問題，本文采用了一種顏色平衡法［12］，將基于積累直方圖分布的仿射變換用于R，G，B 3個顏色通道。假設(shè)圖像中R，G，B 3個通道的最高值均對應(yīng)于白色，最低值對應(yīng)于黑色。對R，G，B 3個通道進行仿射變換后，每個通道的值可以拉伸到的最大范圍為［0，255］。設(shè)在每個顏色通道直方圖上剪輯的像素有N個，在通道中對像素進行顏色平衡時，令直方圖左側(cè)像素個數(shù)的飽和極值為b，占總像素百分比為l1，右側(cè)像素個數(shù)的飽和極值為t，占總像素百分比為l2。b和t都可以在累積像素值的直方圖中找到，b是值小于或等于N×l1的最高直方圖標(biāo)簽，t是值大于或等于N×(1-l2)的最低直方圖標(biāo)簽。然后，用仿射變換法將像素區(qū)間[b，t]映射到［0，255］，公式如下：

其中：x是輸入像素，f（x）是輸出像素。百分比l1和l2的表達式如下：

其中：比率r(λ)是λ?{R，G，B}通道的調(diào)整因子，r(λ)的表達式為：

其中Iλ是圖像I在RGB空間的顏色通道值。

顏色平衡處理前后的圖像及圖像的顏色通道如圖3所示。從圖中可知，顏色平衡處理后圖像紅、綠、藍3個通道的灰度分布更均勻。

圖3 原始圖像及顏色平衡處理后的圖像Fig.3 Original and color balanced images

2.2 限制對比度自適應(yīng)直方圖均衡化

圖4 CLAHE算法原理Fig.4 Principle of CLAHE algorithm

顏色平衡能校正顏色，解決了水下圖像的顏色失真問題，然而，水中的懸浮粒子對光的散射造成圖像對比度低和邊緣細節(jié)損失的問題仍然存在，且圖像的光照也不均勻［13-14］。因此，本文采用限制對比度自適應(yīng)直方圖均衡化方法增強圖像對比度，首先將圖像轉(zhuǎn)換到Lab空間，“L”分量對應(yīng)的是亮度，“a”和“b”分量對應(yīng)的是色度，本文對“L”分量采用CLAHE法處理，而對“a”和“b”分量不做處理，CLAHE算法原理如圖4所示。限制對比度就是限制灰度分布，能夠去除擴大對比度時產(chǎn)生的噪聲，其原理如圖4（a）所示。圖中設(shè)定閾值將灰度直方圖分成上下兩區(qū)域，上區(qū)域是超過閾值的部分，將此區(qū)域像素點裁剪到直方圖下區(qū)域并進行均勻分布。自適應(yīng)直方圖均衡化是插值運算［15］，插值運算原理如圖4（b）所示（彩圖見期刊電子版）。圖中對每個方塊求出直方圖、直方圖積累函數(shù)（CDF）及相應(yīng)的變換函數(shù)，方塊中心點（圖4（b）左側(cè)的黑方塊）的變換函數(shù)符合原定義，其他像素點中，藍色區(qū)域像素是以其4個鄰域的變換函數(shù)做雙線性插值得到的，綠色區(qū)域像素是以其2個鄰域的變換函數(shù)做線性插值得到的，紅色區(qū)域像素是采用自身的變換函數(shù)得到的。本文將圖像分成尺寸相同的8×8個小方塊，裁剪系數(shù)為0.02。

原始圖像及其3個顏色通道直方圖如圖5所示，CLAHE處理后的圖像及其3個顏色通道的直方圖如圖6所示。從圖6中可知，CLAHE處理后的圖像R，G，B通道中，直方圖分布更均勻，圖像對比度更高，且細節(jié)清晰，光照變均勻。

圖5 原始圖像及其顏色通道直方圖Fig.5 Original image and histograms of its color channels

圖6 CLAHE處理后圖像及其顏色通道直方圖Fig.6 CLAHE processed image and histograms of its color channels

2.3 權(quán)重圖方法

權(quán)重圖包含圖像的信息特征，圖像的融合需要根據(jù)特征來進行［16-17］。本文選擇飽和度權(quán)重圖、色彩權(quán)重圖及顯著性權(quán)重圖。這些權(quán)重圖都采用像素方式進行設(shè)計來描述退化區(qū)域的空間關(guān)系，從而能夠?qū)γ總€輸入進行平衡。這些權(quán)重圖反映的圖像特征具有復(fù)雜性，不能用簡單的方法進行疊加融合，因此，本文將權(quán)重圖進行歸一化處理。

2.3.1飽和度權(quán)重圖

為了求解飽和度權(quán)重圖，首先對圖像的每個像素進行處理，再按照飽和度的高低分配權(quán)重，高飽和度區(qū)域分配高權(quán)重，其余區(qū)域分配低權(quán)重［18］。然后，按照RGB顏色通道數(shù)據(jù)計算權(quán)重值，圖像融合算法利用飽和度高的區(qū)域來適應(yīng)彩色信息。最后，在每個像素位置處，計算輸入亮度與R，G，B顏色通道之間的偏差，權(quán)重計算公式如下：

其 中：RLk(x)=(Rk(x)-Lk(x))2，GLk(x)=(Gk(x)-Lk(x))2，BLk(x)=(Bk(x)-Lk(x))2；Lk(x)為 圖像亮度 通道值，Rk(x)，Gk(x)，Bk(x)為顏色通道值，k表示輸入像素索引。

2.3.2色彩權(quán)重圖

色彩權(quán)重圖反映飽和度經(jīng)過增益后的輸入圖像［19］。色彩權(quán)重的計算公式如下：

其中：Sk(x)是圖像在某一像素點的顏色飽和度值；是顏色空間的最大飽和度值，設(shè)為1；σ是標(biāo)準(zhǔn)偏差，設(shè)為0.25。

2.3.3顯著性權(quán)重圖

圖像主要的數(shù)據(jù)信息集中在重要區(qū)域。顯著性權(quán)重圖能夠?qū)⒅匾獏^(qū)域與其他區(qū)域分開，突出水下不易觀察到的物體。這種方法的靈感來自于中心-環(huán)繞對比這一生物學(xué)概念［20］。顯著性權(quán)重的計算公式如下：

2.3.4權(quán)重圖歸一化處理

圖像加權(quán)融合前，要對每個權(quán)重圖進行歸一化處理。歸一化公式如下：

其中：i表示權(quán)重圖的索引，k表示輸入圖像索引，分別對應(yīng)顏色平衡后的圖像I1和CLAHE處理后的圖像I2，兩種圖像的權(quán)重如圖7所示。

2.4 圖像多尺度融合

單一的圖像融合方法用于水下圖像會出現(xiàn)嚴重的光暈［21-22］，本文選用高斯金字塔算法和拉普拉斯金字塔算法對圖像進行分解，分解后將得到的圖像進行多尺度融合。

圖7 兩種圖像的權(quán)重圖Fig.7 Weight maps of two images

2.4.1高斯金字塔

高斯金字塔通過圖像向下采樣獲得一組圖像的集合，采樣前需要對圖像進行高斯濾波。高斯金字塔的每層圖像GL的表達式如下：

其中：L表示金字塔的層數(shù)索引，本文中金字塔共有5層，Down（）表示對圖像向下采樣，采樣后的圖像在方向上的尺寸縮小為原來1/2；w（m，n）表示高斯內(nèi)核卷積，大小為5×5。

2.4.2拉普拉斯金字塔

拉普拉斯金字塔每層圖像PL的表達式如下：

其中：L表示金字塔層數(shù)的索引，N=5表示金字塔的總層數(shù)，G'L+1的表達式為：

其中：Up（）表示對圖像進行上采樣，采樣后的圖像在方向上的尺寸擴大為原來2倍；w（m，n）表示高斯內(nèi)核卷積，大小為5×5。

2.4.3融合技術(shù)

圖8 圖像融合過程Fig.8 Image fusion process

其中：ML(x)是融合圖像，L=5表示融合圖像的層數(shù)，K=2表示輸入圖像的總數(shù)。

3 實驗結(jié)果與分析

在多個權(quán)威圖像數(shù)據(jù)庫選取圖像［23］，采用本文算法與經(jīng)典的水下暗通道先驗（UDCP）法［5］、暗通道先驗與灰度世界結(jié)合法（IDCPAGW）［9］、多尺度Retinex擴展法［7］及對比度直方圖均衡化（CLAHE）法［8］對水下圖像進行處理，并在視覺效果和圖像質(zhì)量兩個方面評價處理效果。

3.1 視覺效果評價

水下圖像的顏色存在嚴重失真，為了驗證不同算法對顏色復(fù)原效果，選用水下色卡圖像進行實驗，結(jié)果如圖9所示（彩圖見期刊電子版）。

圖9 顏色復(fù)原效果Fig.9 Color restoration effects

圖9（b）中的色卡顏色失真嚴重，且淺綠色色塊和黃色色塊區(qū)分度低，色卡圖像的顏色總體偏深；圖9（c）中色卡圖像的顏色偏紅偏暗，有紅色偽陰影，且相鄰色系色塊的對比度低；圖9（d）中相鄰色系色塊之間的對比度有所提高，但色卡圖像的顏色偏藍，且紫色色塊、棕色色塊的顏色失真；圖9（e）中的色卡圖像亮度有所提高，但相鄰色系色塊之間的區(qū)分度較低；圖9（f）中色卡的顏色鮮明，不同色塊的顏色區(qū)分度高，相鄰色系色塊對比度高，色卡的顏色得到了有效的恢復(fù)。

然后，將本文算法與其他幾種算法分別應(yīng)用于退化程度不同的水下圖像，結(jié)果如圖10所示。

圖10（b）中的圖像顏色失真嚴重，清晰度較低；圖10（c）中的圖像亮度過低，整體視覺效果受到了極大的影響；圖10（d）的圖像顏色得到了有效的恢復(fù)，但是圖像對比度低，且細節(jié)模糊；圖10（e）中的圖像對比度有所提高，細節(jié)較為突出，但是存在色偏；從圖10（f）可知，本文算法對去除不同退化程度的水下圖像色偏均有良好的效果，且能夠提高圖像對比度，圖像細節(jié)更清晰，具有更完美的視覺效果。

3.2 圖像質(zhì)量評價

為了對不同算法的增強效果進行客觀評價，首先比較不同算法處理圖10中原始水下圖像的運行時間，如表1所示。在處理速度方面，CLAHE最快，本文算法排第四，這是因為本文算法的結(jié)構(gòu)復(fù)雜，具有復(fù)原顏色和提高對比度兩個功能。

然后，采用信息熵，UIQM，UCIQE3個指標(biāo)來評價圖像質(zhì)量。

信息熵衡量圖像所含的信息量，定義如下：

其中：pi為計算每個灰度值出現(xiàn)的概率，灰度值總數(shù)是256個。pi的表達式如下：

其中：N為圖像的像素總數(shù)，ni為每個灰度值對應(yīng)的像素個數(shù)。

UIQM是從色彩度量指標(biāo)（UICM）、清晰度度量指標(biāo)（UISM）和對比度度量指（UIConM）3個方面對圖像質(zhì)量進行評價。UIQM值越大，圖像的綜合質(zhì)量越好。UIQM的定義如下：

圖10 原始圖像和不同算法處理后的圖像Fig.10 Original images and images processed by different algorithms

表1 不同算法的運行時間Tab.1 Running time of different algorithms

其 中：c1，c2，c3為 加 權(quán) 系 數(shù)，c1=0.028 2，c2=0.295 3，c3=3.575 3［24］。

UICM的定義如下：

其中：μα（α∈{RG，YB}）表示平均值，表示方差。μα，σα2，RG和YB的表達式分別為：

其中：K為圖像的像素總數(shù)；TR和TL為選取的像素數(shù)量，分別由0.1K向下取整和向上取整求得；R，G，B為3個顏色通道的值。

UISM的定義如下：

其中：圖像區(qū)域為k1×k2，Iλimaxlk和Iλiminlk分別為每個區(qū)域亮度的最大值和最小值；i取1，2，3，分別表示在R，G，B顏色通道中的定義；λ1=0.299，λ2=0.587，λ3=0.114。

UIConM的定義如下：

其中：k1，k2，Iλimaxlk，Iλiminlk和i同式（20）；?是克羅內(nèi)克運算符，用于計算張量；?和⊕分別為同或和異或運算符；λ1，λ2，λ3的值均取1。

UCIQE從色調(diào)標(biāo)準(zhǔn)差Cv、飽和度平均值Sv及對比度Qv3個方面對水下彩色圖像質(zhì)量進行綜合測評。該值越大，圖像的綜合質(zhì)量越好。UCIQE定義如下：

其中：c1，c2，c3為加權(quán)系數(shù)，取值為c1=0.468 0，c2=0.257 6，c3=0.274 5［25］。Cv，Sv和Qv的 定 義如下：

其中：IL，Ia，Ib分別是Lab空間圖像L，a，b通道的灰度值；IL取值為[ILmin，ILmax]，tol2是出現(xiàn)概率不小于ILmax且值最接近ILmax的IL值，tol1是出現(xiàn)概率大于ILmin且值最接近ILmin的IL值。

用Entropy，UIQM及UCIQE3個 指 標(biāo) 評 價圖10中圖像質(zhì)量的結(jié)果分別如表2、表3及表4所示。

表2 圖像的信息熵值Tab.2 Entropy values of images

從表2可知，本文算法對原始圖像進行處理后，圖像的信息熵值均高于其他算法，相比原始圖像，信息熵值提高了5.2%以上。從表3可知，經(jīng)本文算法處理后，除了image8的UIQM值僅低于UDCP，其他圖像的UIQM值均為最高，圖像在色彩度量指標(biāo)、清晰度度量指標(biāo)和對比度度量指標(biāo)方面的綜合評價更好，相比原始圖像，圖像的UIQM值提高了1.25倍以上。從表4可知，經(jīng)本文算法處理后，除了image3的UCIQE值僅低于UDCP，其他圖像的UCIQE值均為最高，在平衡色調(diào)、飽和度、對比度方面的效果更好，相比原始圖像，圖像的UCIQE值提高了30.8%以上。綜上可知，本文算法對水下圖像的增強效果更佳。

表3 圖像的UIQM值Tab.3 UIQM values of images

表4 圖像的UCIQE值Tab.4 UCIQE values of images

3.3 消融實驗

本文的水下圖像增強算法包含顏色平衡和CLAHE兩個關(guān)鍵步驟。在多個權(quán)威數(shù)據(jù)庫中選取水下圖像，分別只用顏色平衡法或CLAHE法處理原始圖像，并與本文算法的處理結(jié)果進行比較。消融實驗結(jié)果如圖11所示。

由圖11可知，與原始圖像相比，CLAHE法處理后，圖像的對比度和細節(jié)有所增強，但是圖像仍然有色偏；顏色平衡法處理后，圖像顏色得到了校正，但是圖像對比度低，且細節(jié)不清晰；而本文算法分別采用顏色平衡和CLAHE法對原始圖像進行處理，并將處理后的圖像進行多尺度融合，不僅能夠校正圖像顏色，也能提高圖像對比度，使圖像細節(jié)變清晰。

選取信息熵、UIQM和UCIQE作為消融實驗的客觀評價指標(biāo)，如表5所示。只用顏色平衡法或CLAHE法處理原始圖像，圖像的信息熵、UIQM和UCIQE的平均值均小于本文算法的結(jié)果，證明了本文算法相比于單獨使用顏色平衡或CLAHE法的圖像增強效果更好。

圖11 消融實驗結(jié)果Fig.11 Results of ablation experiment

表5 消融實驗的客觀評價指標(biāo)Tab.5 Objective evaluation indexes of ablation experiment

4 結(jié)論

本文提出了一種基于多尺度融合的水下圖像增強算法。用一種顏色平衡法對圖像進行顏色校正，對顏色復(fù)原后的圖像在Lab空間用CLAHE法處理L通道來增強圖像的對比度，最后，根據(jù)權(quán)重圖對圖像進行多尺度融合。在視覺上，本文算法能夠有效校正水下圖像顏色，增強圖像細節(jié)，提高圖像的對比度和清晰度，增強后的圖像光照均勻。在圖像的質(zhì)量評價指標(biāo)上，本文算法在信息熵、UIQM和UCIQE方面均優(yōu)于其他算法，相比于原圖像，圖像的信息熵提高5.2%以上，UIQM提高1.25倍以上，UCIQE提高30.8%以上。本文算法對水下圖像有良好的增強效果。