王昊天，劉慶省，陳 亮，葉旺全，盧 淵，郭金家，鄭榮兒

（中國海洋大學(xué)信息科學(xué)與工程學(xué)部物理與光電工程學(xué)院，山東 青島 266100）

1 引 言

深海熱液礦床富含錳、銅、鎳和鈷等元素，是一種具有潛在開發(fā)價(jià)值的礦產(chǎn)資源，熱液中的微生物在礦物沉積和結(jié)核生成過程中發(fā)揮了重要作用［1-2］。同時(shí)，在海底深部生態(tài)系統(tǒng)中，菌席為生態(tài)系統(tǒng)中的生物群落提供了碳源和能量，一般因其不同部位微生物種類和地質(zhì)的差異而顯示出不同的色彩［3］。水下顯微成像技術(shù)具有高分辨率動(dòng)態(tài)監(jiān)測(cè)、無損觀測(cè)等特點(diǎn)，可實(shí)現(xiàn)從幾十微米到幾百微米的微觀尺度觀測(cè)，該技術(shù)可以很好地滿足海洋中針對(duì)微生物群體這一微觀領(lǐng)域研究的需求。但是，復(fù)雜的水下環(huán)境及惡劣的光照條件使得獲取的水下圖像出現(xiàn)嚴(yán)重的質(zhì)量退化。水下目標(biāo)物的顯微圖像質(zhì)量普遍較差，尤其會(huì)產(chǎn)生嚴(yán)重的顏色差，導(dǎo)致難以有效識(shí)別目標(biāo)。

現(xiàn)階段關(guān)于水下圖像的質(zhì)量復(fù)原研究，主要采用機(jī)器學(xué)習(xí)的方法。Zhang 等人［4］通過在神經(jīng)網(wǎng)絡(luò)中添加U-Net 網(wǎng)絡(luò)以及感知損失函數(shù)來提高網(wǎng)絡(luò)性能，達(dá)到對(duì)渾濁水下圖像顏色復(fù)原的目的。Wu 等人［5］提出了一種基于結(jié)構(gòu)分解的兩階段水下圖像卷積神經(jīng)網(wǎng)絡(luò)（UWCNN-SD）增強(qiáng)算法，對(duì)不同類型的水下圖像進(jìn)行顏色校正和增強(qiáng)。Han 等人［6］提出了一種新的螺旋生成對(duì)抗網(wǎng)絡(luò)框架，在目標(biāo)函數(shù)中包括由均方誤差和角度誤差組成的像素級(jí)損失，可以有效地恢復(fù)出具有更多細(xì)節(jié)、生動(dòng)色彩和更好對(duì)比度的真實(shí)水下圖像。Zong 等人［7］提出了一個(gè)局部CycleGAN 網(wǎng)絡(luò)來增強(qiáng)水下圖像，它結(jié)合了局部鑒別器和全局鑒別器來約束增強(qiáng)圖像的全局和局部視覺效果，有效地提升了水下圖像質(zhì)量，校正了圖像色彩。Fu 等人［8］提出了一種基于全局-局部網(wǎng)絡(luò)和壓縮直方圖均衡化的水下圖像顏色校正方法來解決顏色畸變問題。Song 等人［9］提出了背景光的統(tǒng)計(jì)模型和傳輸圖的優(yōu)化來增強(qiáng)水下圖像。然而，先驗(yàn)信息的獲取依賴于水下成像環(huán)境，導(dǎo)致該方法對(duì)成像假設(shè)和模型參數(shù)很敏感，因此該方法可能不適用于變化強(qiáng)烈的水下環(huán)境。褚金奎等人［10］提出了一種基于特定偏振態(tài)的水下圖像去散射方法，能簡單有效地抑制渾濁水體的散射，增加圖像對(duì)比度，改善圖像質(zhì)量。Zhuang 等人［11］提出了一種新穎的邊緣保持濾波Retinex 算法用于水下圖像增強(qiáng)，該算法將梯度域引導(dǎo)的圖像濾波反射和光照先驗(yàn)嵌入到基于Retinex 的變分框架中，以改善圖像結(jié)構(gòu)，減少偽影或噪聲。

對(duì)于水下顯微圖像，由于其具有更高的分辨率以及更低的像素差異度，一般的算法較難獲得很好的處理效果。因此，本文提出一種改進(jìn)的循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)（Cycle-consistent Adversarial Network，CycleGAN）對(duì)水下顯微成像系統(tǒng)拍攝的大量水下目標(biāo)物的數(shù)據(jù)集進(jìn)行訓(xùn)練處理，所獲結(jié)果在水下目標(biāo)物顯微圖像的顏色校正方面能得到廣泛的應(yīng)用。

2 改進(jìn)的CycleGAN

2.1 CycleGAN

CycleGAN［12］是由兩個(gè)鏡像的生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［13］構(gòu)成的環(huán)形網(wǎng)絡(luò)結(jié)構(gòu)，主要包括兩個(gè)生成器、兩個(gè)判別器，損失函數(shù)不僅有生成對(duì)抗損失，還加入了循環(huán)一致?lián)p失（Cycle-consistency Loss）。該網(wǎng)絡(luò)首先學(xué)習(xí)源域X到目標(biāo)域Y之間映射，然后又能從目標(biāo)域Y中還原回來，有效完成了非配對(duì)數(shù)據(jù)集在圖像顏色和紋理方面的轉(zhuǎn)換任務(wù)，具體過程如圖1 所示。

以圖1（a）正向網(wǎng)絡(luò)為例，在正向網(wǎng)絡(luò)中生成器G將源域X中數(shù)據(jù)x映射到目標(biāo)域Y中y?，鑒別器DY對(duì)生成圖像y?做出判斷；再通過生成器F將其還原成為域X中數(shù)據(jù)x?，而循環(huán)一致性損失則是為了讓x和x?盡可能相同。同理，目標(biāo)域Y到源域X的轉(zhuǎn)換與上述過程相同。生成器G和判別器DY之間的損失函數(shù)定義如下［12］：

其中，X，Y分別代表源域和目標(biāo)域，x?X，y?Y，Pdata（x）為源域X的數(shù)據(jù)分布，Pdata（y）為目標(biāo)域Y的數(shù)據(jù)分布，Ey～Pdata(y)代表y服從Pdata（y）的情況下求期望，Ex～Pdata(x)代表x服從Pdata（x）的情況下求期望。

同樣，生成器F和判別器DX之間的損失函數(shù)可以表達(dá)成如下形式［12］：

為避免源域X中部分圖像映射為目標(biāo)域Y中同一圖像的情況發(fā)生，CycleGAN 引入循環(huán)一致性損失（Cycle-Consistency Loss）函數(shù)用于計(jì)算x和x?之間的損失。利用F（G（x））≈y和G（F（x））≈x定義循環(huán)一致性損失Lcyc如式（3）［12］：

2.2 引入結(jié)構(gòu)相似性損失函數(shù)

通常自然圖像是高度結(jié)構(gòu)化的，降質(zhì)的水下圖像的像素與空氣中標(biāo)準(zhǔn)圖像的像素之間存在很強(qiáng)的相關(guān)性。特別是在空間環(huán)境相似的情況下，這些相關(guān)性攜帶著視覺場(chǎng)景中物體結(jié)構(gòu)的重要信息。文獻(xiàn)［14］在CycleGAN 網(wǎng)絡(luò)結(jié)構(gòu)中引入結(jié)構(gòu)相似性（Structure Similarity Index Measure，SSIM）損失函數(shù)［14］，其中，SSIM 可以從亮度、對(duì)比度和結(jié)構(gòu)三方面度量圖像x和圖像y的相似性，其定義如公式（4）所示：

其中：μx為x的均值，μy為y的均值，σxy為x，y的協(xié)方差，σx2為x的方差，σy2為y的方差，c1，c2為常數(shù)。

文獻(xiàn)［14］在CycleGAN 網(wǎng)絡(luò)中加入結(jié)構(gòu)相似性損失函數(shù)的目的就是使生成的空氣中圖像和輸入的水下顏色失真圖像，在紋理結(jié)構(gòu)、亮度和對(duì)比度上保持一定程度的相似性。但是，輸入的水下失真圖像一般對(duì)比度和亮度較低，且顏色失真嚴(yán)重，用該失真圖像去校正生成的空氣中圖像，效果未必理想。本文希望生成的空氣中圖像在顏色和對(duì)比度方面都可以得到進(jìn)一步增強(qiáng)。

受此啟發(fā)，本文使用的SSIM 損失函數(shù)只是限制輸入的原始水下降質(zhì)圖像X和重構(gòu)的水下圖像X?在顏色和邊緣紋理結(jié)構(gòu)上保持一致性。所以，在彩色圖像X和X?的R、G、B 三個(gè)通道上分別計(jì)算SSIM 損失函數(shù)的值。然后將三個(gè)通道的SSIM 值取平均值，得到最終的SSIM 值。該改進(jìn)可以加強(qiáng)對(duì)水下降質(zhì)圖像R、G、B 三通道顏色的精準(zhǔn)校正，進(jìn)一步增強(qiáng)CycleGAN 網(wǎng)絡(luò)的性能，改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 改進(jìn)的循環(huán)一致對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of improved cycle-consistent adversarial network

綜上，輸入圖像X和重構(gòu)圖像X?之間的損失函數(shù)可被定義為：

其中，

其中：N為一幅圖像中像素個(gè)數(shù)，P為圖像中心像素值。

改進(jìn)后的CycleGAN 網(wǎng)絡(luò)總損失函數(shù)為對(duì)抗損失、循環(huán)一致?lián)p失、結(jié)構(gòu)相似損失三部分的加權(quán)組合：

這里將權(quán)重系數(shù)λ與β賦值為1。

2.3 網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練細(xì)節(jié)

經(jīng)典的CycleGAN 網(wǎng)絡(luò)呈鏡像結(jié)構(gòu)，主要由兩部分構(gòu)成，每部分都是基于GAN 的子網(wǎng)絡(luò)。每個(gè)GAN 網(wǎng)絡(luò)的生成器均由編碼器、轉(zhuǎn)換器以及解碼器構(gòu)成。本文使用的生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of generator network

圖3中編碼器由三個(gè)卷積層構(gòu)成，可用來提取源域圖像的不同特征；解碼器由三個(gè)轉(zhuǎn)置卷積層構(gòu)成，通過特征向量完成對(duì)圖像的重構(gòu)，在編碼器和解碼器之間還添加了9 個(gè)殘差塊（Residual Block）［12］構(gòu)成轉(zhuǎn)換器，組合圖像的不同相近特征。

本文中GAN 網(wǎng)絡(luò)的判別器采用原網(wǎng)絡(luò)中70×70 的PatchGAN［12］，可以同時(shí)判別圖像中多個(gè)70×70 圖像塊真假，把所有圖像塊的判定結(jié)果的平均值作為圖像真假的判定結(jié)果，判別器網(wǎng)絡(luò)結(jié)構(gòu)如圖4。

圖4 判別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of discriminator network

3 水下圖像顏色恢復(fù)實(shí)驗(yàn)

本文模型訓(xùn)練使用計(jì)算機(jī)配置是CPU 為Intel Xeon W-2123、3.60 GHz、RAM 16 GB、顯卡為NVIDIA TITAN RTX，利用搭建的水下顯微成像系統(tǒng)，采集了模擬水體下的自制標(biāo)靶圖像。訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)量為550 張512×512 的模擬水體中自制標(biāo)靶及礦石圖像數(shù)據(jù)、550 張512×512 對(duì)應(yīng)的空氣中圖像數(shù)據(jù)。優(yōu)化器采用性能較好的Adam 算法，學(xué)習(xí)率設(shè)置為0.000 2，迭代次數(shù)80，批次（batch size）為1。

3.1 水下顯微成像系統(tǒng)

為研究水下顯微成像過程及其影響因素，在顯微成像的光學(xué)結(jié)構(gòu)基礎(chǔ)之上，搭建了如圖5 所示的水下顯微成像系統(tǒng)。該系統(tǒng)由圖像采集模塊、照明模塊和顯微成像模塊構(gòu)成。

圖5 水下顯微成像系統(tǒng)裝置簡圖Fig.5 Device diagram of underwater microscopic imaging system

圖像采集模塊主要采用了一臺(tái)200 萬像素的彩色相機(jī)（BFLY-PGE-23S6C-C）對(duì)水下目標(biāo)物進(jìn)行高分辨率的彩色成像。照明模塊由白色的環(huán)形LED 光源及光源控制器構(gòu)成，為水下顯微成像提供所需的均勻照明環(huán)境。顯微成像模塊由顯微物鏡（5×）和管透鏡（1×）組成，以實(shí)現(xiàn)對(duì)水下目標(biāo)的顯微成像，本文實(shí)驗(yàn)基于此套系統(tǒng)對(duì)水下目標(biāo)物進(jìn)行顯微圖像采集。

3.2 模擬水體及數(shù)據(jù)集制備

為了更好地模擬復(fù)雜海水環(huán)境以及懸浮顆粒對(duì)光的強(qiáng)散射與強(qiáng)吸收作用，文中在實(shí)驗(yàn)室條件下制備了模擬水體，即通過向清水中加入脫脂牛奶模擬海水的散射作用，脫脂牛奶主要含有酪蛋白分子，其平均直徑在0.04～0.3 nm 之間，可模擬瑞利散射的機(jī)制［15-16］；向清水中摻入具有特定光吸收特性的墨水來模擬海水對(duì)光的吸收效應(yīng)。實(shí)驗(yàn)中選用的是法國J. Herbin D 系列彩色染料墨水［17］。

如圖6 所示，在實(shí)驗(yàn)中所用照明光源波長范圍內(nèi)，該染料墨水的吸收光譜相對(duì)值曲線與海水的吸收光譜特性曲線的變化趨勢(shì)較為類似，均存在一個(gè)“海水透光窗口”，其所覆蓋的波長范圍為430～570 nm。實(shí)驗(yàn)所用照明光源的波長范圍都在650 nm 以下，避免了曲線特征變化趨勢(shì)不相似的波長區(qū)域。因此，墨水在長波長與海水吸收的差異不影響實(shí)驗(yàn)中對(duì)海水吸收特性的模擬效果。綜上，脫脂牛奶和染料墨水可以很好地模擬復(fù)雜海水環(huán)境的強(qiáng)吸收與強(qiáng)散射特性。

圖6 典型的海水和藍(lán)綠染料墨水的吸收光譜Fig.6 Absorption spectra of typical seawater and bluegreen dye inks

在樣品的選擇方面，由于天然巖石標(biāo)本顏色種類單一，水下礦物樣品難以獲得，無法滿足訓(xùn)練要求，為了增加訓(xùn)練神經(jīng)網(wǎng)絡(luò)的泛化能力。采用Photoshop 軟件中的顏色庫PANTONE+Color Bridge Uncoated 制作了顏色形狀種類豐富的水下目標(biāo)物標(biāo)靶，并以此作為訓(xùn)練網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)集，部分自制標(biāo)靶圖像如圖7所示。

圖7 部分自制標(biāo)靶圖像Fig.7 Some self-made target images

4 結(jié)果分析與對(duì)比

4.1 實(shí)驗(yàn)結(jié)果主觀分析

利用改進(jìn)的CycleGAN 算法對(duì)自制的水下目標(biāo)物標(biāo)靶數(shù)據(jù)集進(jìn)行訓(xùn)練處理；同時(shí)，為了對(duì)比處理效果，本文采用傳統(tǒng)圖像處理方法中的帶色彩恢復(fù)系數(shù)的多尺度Retinex 算法（Multi Scale Retinex With Color Restoration，MSRCR）［18-19］對(duì)目標(biāo)物進(jìn)行處理，結(jié)果如圖8所示。

圖8 不同算法處理水下自制標(biāo)靶圖像結(jié)果Fig.8 Results of underwater self-made target images processed by different algorithms

從主觀視覺角度可以看出，圖8 中帶色彩恢復(fù)系數(shù)的多尺度Retinex 算法（MSRCR）處理后的圖像，存在明顯的顏色過飽和現(xiàn)象，與空氣中的目標(biāo)物圖像顏色差距較大。在迭代次數(shù)和學(xué)習(xí)率相同情況下，原始的CycleGAN 網(wǎng)絡(luò)處理后的水下圖像在照明不足部分（暗區(qū)域）出現(xiàn)了大量偽色彩，且存在圖像顏色復(fù)原失真現(xiàn)象，圖像顏色恢復(fù)較原圖存在很大的差距。與此相比，改進(jìn)后的CycleGAN 處理的水下圖像顏色恢復(fù)得更加接近空氣中的原圖，圖像亮度得到明顯提升，且圖像周圍的干擾噪聲得到了有效抑制，網(wǎng)絡(luò)模型訓(xùn)練更加穩(wěn)定。從圖8 中可發(fā)現(xiàn)，實(shí)驗(yàn)采集的水下圖像普遍呈現(xiàn)藍(lán)綠色調(diào)，主要是由于模擬水體對(duì)可見光波段的強(qiáng)吸收具有明顯的波長選擇性，表現(xiàn)為短波長比長波長吸收少。此外，由于脫脂牛奶中酪蛋白分子產(chǎn)生強(qiáng)烈的后向散射效應(yīng)，導(dǎo)致水下圖像表面呈現(xiàn)“霧化”效果。經(jīng)本文算法處理后，以上兩種現(xiàn)象也得到了明顯改善。

本文利用訓(xùn)練好的改進(jìn)CycleGAN 網(wǎng)絡(luò)對(duì)天然礦石的水下降質(zhì)圖像進(jìn)行了處理。所選用天然礦石為斑點(diǎn)石（Dalmatian）、花綠石（Unakite）、圖畫石（Picture Jasper），這幾種礦石的表面顏色和紋理均有較為明顯的區(qū)別。通過對(duì)天然礦石特征區(qū)域的顯微圖像進(jìn)行處理，得到如圖9所示的實(shí)驗(yàn)結(jié)果。

圖9 不同算法處理水下天然礦石圖像結(jié)果對(duì)比Fig.9 Comparison of underwater natural stone images processed by different algorithms

從以上處理結(jié)果可以看出，帶色彩恢復(fù)系數(shù)的多尺度Retinex 算法（MSRCR）處理后圖像雖然亮度得到明顯提升，但顏色恢復(fù)效果不佳。改進(jìn)后的CycleGAN 算法圖像顏色恢復(fù)得更加自然真實(shí)，圖像亮度有了很大改善，紋理邊界更加清晰，顏色上也更加接近空氣中的原圖。

4.2 實(shí)驗(yàn)結(jié)果客觀評(píng)價(jià)

為了更加客觀地說明本文算法對(duì)水下顯微圖像處理的適用性和優(yōu)越性，本文通過客觀評(píng)價(jià)指標(biāo)峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和SSIM［20］，以及水下彩色圖像質(zhì)量評(píng)價(jià)指標(biāo)（Undewater Color Image Quality Evaluation，UCIQE）［21］對(duì)不同算法處理后的水下顯微圖像進(jìn)行定量分析比較。

要計(jì)算PSNR 必須先計(jì)算當(dāng)前圖像和參考圖像的均方誤差（MSE）。假設(shè)兩幅圖像X和Y，他們的分辨率均為m×n，則它們的均方誤差可以定義為：

則峰值信噪比PSNR 可通過MSE 得出來：

其中：MAXI代表圖像像素點(diǎn)的最大值，MSE的值越小，PSNR越大，說明處理后圖像的質(zhì)量越好。

UCIQE 是用CIELab 空間的色度、飽和度、對(duì)比度三者的加權(quán)組合來評(píng)價(jià)圖像質(zhì)量，其定義為：

其中：σc是色度的標(biāo)準(zhǔn)差，conl為對(duì)比度，μs是飽和度的平均值，c1，c2，c3是加權(quán)系數(shù)。

通過客觀評(píng)價(jià)指標(biāo)對(duì)水下目標(biāo)物圖像進(jìn)行處理，得到如表1 所示的客觀評(píng)價(jià)結(jié)果。

從表1 中可以看出改進(jìn)的CycleGAN 算法處理后的水下圖像的PSNR、SSIM 指標(biāo)均好于CycleGAN 算法，改進(jìn)的CycleGAN 算法的UCIQE指標(biāo)與空氣中標(biāo)準(zhǔn)圖像的UCIQE 指標(biāo)的差值最小，即改進(jìn)的CycleGAN 算法處理后的水下圖像更加接近空氣中的標(biāo)準(zhǔn)圖像；MSRCR 算法處理結(jié)果中的UCIQE 差值在幾種算法中最高，即該算法處理后的水下圖像與空氣中的標(biāo)準(zhǔn)圖像相去甚遠(yuǎn)，且PSNR 和SSIM 指標(biāo)也不及前者；評(píng)價(jià)指標(biāo)的客觀評(píng)價(jià)結(jié)果與主觀視覺感受相符。

表1 不同算法處理的水下顯微圖像客觀評(píng)價(jià)指標(biāo)Tab.1 Objective evaluation indexes of underwater microscopic images processed by different algorithms

5 結(jié) 論

為解決水下顯微圖像顏色失真的問題，本文提出了一種改進(jìn)的CycleGAN 算法。通過在原始水下降質(zhì)圖像和重構(gòu)水下圖像之間加入R、G、B 三個(gè)通道的SSIM 損失函數(shù)，度量二者圖像間的信息損失；并通過主觀視覺感受和客觀評(píng)價(jià)指標(biāo)驗(yàn)證了改進(jìn)算法對(duì)水下圖像色彩恢復(fù)的有效性。結(jié)果表明，在強(qiáng)吸收與強(qiáng)散射混合水體中，自制標(biāo)靶圖像組中本文所提改進(jìn)的CycleGAN算法處理后的效果表現(xiàn)良好，圖像的PSNR、SSIM 指標(biāo)分別較改進(jìn)前提高了12.89% 和5.78%，較傳統(tǒng)MSRCR 提高了41.85% 和35.62%，UCIQE 也與空氣中圖像最為接近；水下巖石樣品圖像的PSNR、SSIM 指標(biāo)分別較改進(jìn)前提高7.40%和5.78%，較傳統(tǒng)MSRCR 提高了20.65%和75.86%，達(dá)到對(duì)水下顯微圖像顏色校正的需求，為研究水下礦石表面微生物礦化過程和深海菌席的研究提供了技術(shù)支撐，有望在海洋地質(zhì)和海洋生物學(xué)方面得到應(yīng)用。