陳清江，石小涵，柴昱洲

（1.西安建筑科技大學(xué) 理學(xué)院，陜西 西安 710055；2.空間電子信息技術(shù)研究院，陜西 西安 710000）

引言

在圖像傳感過程中，噪聲污染是不可避免的，它嚴重地降低了獲取圖像的視覺質(zhì)量。從觀察到的圖像中去除噪聲是各種圖像處理和計算機視覺任務(wù)的一個重要步驟。圖像去噪的目的是從遵循圖像退化模型的噪聲觀測值中恢復(fù)出不含噪聲的圖像，因此研究優(yōu)化圖像去噪算法具有重要意義。小波變換具有低熵性、多分辨分析、去相關(guān)等優(yōu)點，基于小波變換的去噪算法得到了大量研究。1995年Donoho 等提出對小波系數(shù)進行閾值處理來進行圖像去噪[1]，此后小波閾值去噪算法開始發(fā)展[2-3]。小波閾值去噪算法面臨的問題主要在于閾值的選取，如果選取的閾值過小，會將一部分噪聲當(dāng)成圖像信息保留下來；如果選取的閾值過大，圖像中的一些信息特征會被濾除，造成圖像失真。Candes 和Donoho 在2000年提出了脊波變換，此后還出現(xiàn)了局部脊波變換和曲波變換，彌補了此前一些算法的不足之處[4-6]。2003年P(guān)ortilla J 等提出的使用混合高斯模型在小波域去噪[7]，該算法在當(dāng)時取得了良好的去噪效果，近年來小波變換在圖像處理領(lǐng)域應(yīng)用相對廣泛[8-10]。基于小波變換的去噪算法往往會破壞小波系數(shù)之間的空間關(guān)系，甚至影響尺度間和尺度內(nèi)小波系數(shù)的相關(guān)性，正交小波變換還會導(dǎo)致圖像失真的偽吉布斯現(xiàn)象，這些都會影響算法的去噪性能。

近年來深度學(xué)習(xí)受到相關(guān)研究人員的廣泛關(guān)注，并逐漸成為互聯(lián)網(wǎng)大數(shù)據(jù)以及人工智能的一個熱潮，卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)相結(jié)合，通過反向傳播算法訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)中的權(quán)重，從而實現(xiàn)深度學(xué)習(xí)的方法。這為圖像去噪提供了新思路?；谏疃葘W(xué)習(xí)的去噪算法也在不斷發(fā)展[11-17]，Harmeling S 等提出了基于MLP的去噪算法[12]，Zhang K 等提出了基于殘差的去噪算法[13-15]，基于深度學(xué)習(xí)的去噪算法憑借自身的優(yōu)勢取得了相對較好的去噪效果。但基于深度學(xué)習(xí)的去噪算法是從大量數(shù)據(jù)中提取特征和擬合非線性函數(shù)，因此往往面臨著參數(shù)量巨大、網(wǎng)絡(luò)層數(shù)過深、調(diào)參難度大、泛化能力差等問題，這些算法都是將整幅圖像輸入網(wǎng)絡(luò)進行去噪，會造成相對較多的圖像失真。基于小波變換圖像去噪算法[18-20]則是將圖像的分量輸入網(wǎng)絡(luò)，能有效減少圖像的失真。本文基于小波變換和卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢提出了一種性能優(yōu)良、耗時少的算法。該算法不同于其他算法直接輸入圖像進行訓(xùn)練，而是將圖像進行尺度為1 的小波分解，得到高頻分量和低頻分量分別輸入網(wǎng)絡(luò)進行訓(xùn)練，使用平穩(wěn)小波變換避免了空間信息損失，且在訓(xùn)練中使用殘差網(wǎng)絡(luò)，只學(xué)習(xí)殘差信息，可以避免使用過深的網(wǎng)絡(luò)結(jié)構(gòu)，加快網(wǎng)絡(luò)的收斂，使用尺寸和數(shù)量較小的卷積核來降低計算復(fù)雜度，減少參數(shù)個數(shù)。

1 相關(guān)理論

1.1 平穩(wěn)小波變換

具有平移不變性的平穩(wěn)小波變換能較好抑制正交小波變換導(dǎo)致圖像失真的偽吉布斯現(xiàn)象，已廣泛應(yīng)用于紅外圖像去噪?；谄椒€(wěn)小波變換的去噪算法，通常是先進行平穩(wěn)小波分解，得到與圖像大小相同的高頻和低頻分量，其中對于高頻分量可采用閾值法等估計小波系數(shù)，再通過平穩(wěn)小波逆變換得到去噪后的圖像。通常平穩(wěn)小波分解得到的各小波系數(shù)在尺度內(nèi)和尺度間具有很強的相關(guān)性，這些算法往往難以取得良好的去噪效果。本文算法對圖像進行尺度為1 的二維離散平穩(wěn)小波分解，得到一個低頻分量和3 個不同方向上的高頻分量：

式中：X表示待分解圖像；n表示分解尺度；L表示圖像經(jīng)二維離散平穩(wěn)小波分解后得到的低頻分量；H表示水平方向高頻分量；V表示垂直方向高頻分量；D表示對角方向的高頻分量；′haar′表示小波分解時使用haar 基。小波分解在空間比、方向和頻率范圍方面使圖像得以多尺度表示。我們使用小波多尺度表示回歸特征，訓(xùn)練用于圖像去噪的多重卷積神經(jīng)網(wǎng)絡(luò)?；谝患壭〔ǚ纸獾挠?xùn)練框架可訓(xùn)練4 個CNN，每個CNN 旨在回歸原始圖像的多尺度表示之一。我們通過將分解后的低頻分量和高頻分量分別輸入到多個網(wǎng)絡(luò)中來獲得對應(yīng)的預(yù)測分量然后將上述分量使用平穩(wěn)小波逆變換來獲得最終的預(yù)測圖像，這一過程可以表示為

式中iswt2表示小波逆變換。

1.2 殘差學(xué)習(xí)

CNN 的殘差學(xué)習(xí)[21]最初被提出來解決卷積神經(jīng)性能下降的問題，即隨著網(wǎng)絡(luò)深度的增加，甚至訓(xùn)練精度也開始下降。殘差網(wǎng)絡(luò)學(xué)習(xí)了殘差映射，利用這種殘差學(xué)習(xí)策略，可以容易地訓(xùn)練極深CNN 并提升網(wǎng)絡(luò)的精度，優(yōu)化算法性能。一般算法的輸入是噪聲觀測圖像y=x+n，其中x表示原始圖像，n表示加性噪聲，例如判別去噪模型MLP[12]和CSF[22]旨在學(xué)習(xí)映射函數(shù)F(y)=x來獲得預(yù)測圖像。殘差學(xué)習(xí)旨在學(xué)習(xí)映射R(y)=n，只學(xué)習(xí)噪聲圖像和原始圖像間的殘差，不學(xué)習(xí)它們共有的信息。殘差學(xué)習(xí)的策略可以很大程度上提升算法效率，訓(xùn)練過程中加快網(wǎng)絡(luò)的收斂。

2 結(jié)合小波變換與殘差網(wǎng)絡(luò)的去噪算法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的網(wǎng)絡(luò)框架主要包括4 個結(jié)構(gòu)完全相同的殘差網(wǎng)絡(luò)，除最后一個卷積層外，每個卷積層后都有線性修正單元激活函數(shù)ReLU 作為激活函數(shù)。完整的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。每個殘差網(wǎng)絡(luò)都包含2 個殘差塊，每個殘差塊由2 個完全相同的卷積層構(gòu)成，如圖1中的橘色模塊。紅色虛線框內(nèi)的網(wǎng)絡(luò)結(jié)構(gòu)借鑒SRCNN[23]結(jié)構(gòu)，3 個卷積層使用的卷積核大小分別為9×9，1 ×1，5×5，使用的卷積核個數(shù)分別為64，32，1。綠色虛線框內(nèi)的每個卷積層均使用大小為3×3的卷積核，綠色虛線框內(nèi)最后一層卷積核數(shù)目為1，其他層的卷積核數(shù)目均為64。紅色虛線框內(nèi)的網(wǎng)絡(luò)已經(jīng)達到收斂，主要作用在于去除不同方向上高、低頻分量中的噪聲。綠色虛線框內(nèi)的殘差網(wǎng)絡(luò)主要作用在于對高、低頻的紋理細節(jié)信息進行增強。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure diagram of proposed network

2.2 算法流程

本文提出的算法流程如圖2所示。訓(xùn)練過程中將原始圖像裁剪為大小相同的圖像塊，然后將這些圖像塊進行非下采樣的小波分解，將原始圖像塊加上噪聲進行同樣的小波分解，將分解后的圖像信息對應(yīng)起來輸入到事先設(shè)計好的網(wǎng)絡(luò)中，通過損失函數(shù)來進行反向調(diào)節(jié)參數(shù)，最終達到網(wǎng)絡(luò)收斂。測試階段，將一幅含有噪聲的圖像輸入網(wǎng)絡(luò)，可直接獲得一幅預(yù)測的清晰圖像。本文算法采用均方誤差損失函數(shù)：

式中：Lloss為損失值；Li表示第i幅輸入圖像的低頻分量；R(Li)為網(wǎng)絡(luò)的輸出；Ri表示實際殘差；K為網(wǎng)絡(luò)進行一次迭代訓(xùn)練輸入的圖像塊數(shù)量，實驗中取K=64。其余3 個網(wǎng)絡(luò)使用與第一個網(wǎng)絡(luò)相同的損失函數(shù)，將Li替換為對應(yīng)的高頻分量即可。

圖2 去噪算法流程Fig.2 Flow chart of denoising algorithm

3 實驗與結(jié)果分析

實驗訓(xùn)練的數(shù)據(jù)集為BSDS68 自然圖像集，本文采用ADAM 算法對損失函數(shù)進行優(yōu)化，參數(shù)beta1 為0.9，參數(shù)beta2 為0.999。本文的實驗結(jié)果皆為100 000 次迭代，學(xué)習(xí)率為固定值0.001。實驗仿真的計算機硬件配置為TntelCorei5-7300 與Nvidia GeForceGTX1060，操作系統(tǒng)為Windows10，使用Caffe 深度學(xué)習(xí)框架來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，該框架支持GPU 運算，用于測試的軟件為Matlab R2017a。

常用的圖像去噪的評測標準包括主觀評價和客觀量化。主觀評價即人為觀測圖像，評定輸出圖像的質(zhì)量。本文采用兩項評價指標對實驗結(jié)果進行量化：峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）。PSNR 是一種全參考的圖像質(zhì)量評價指標，它是基于對應(yīng)像素點間的誤差，即基于誤差敏感的圖像質(zhì)量評價指標。兩幅圖像間的PSNR 值（單位：dB）越高，則去噪后的圖像相對于原始圖像的失真越少。PSNR 的計算公式如（4）式和（5）式：

式中：X(i,j)，Y(i,j)表示像素矩陣；H和W分別表示圖像的高度和寬度；n取值為8。SSIM 也是一種全參考的圖像質(zhì)量評價指標，它分別從亮度、對比度、結(jié)構(gòu)三方面度量圖像的相似性，值越接近1，去噪圖像與原始圖像的相似度越高。SSIM 的計算公式如下式：

式中：μX和 μY分別表示圖像X和Y均值；σX和 σY分別表示圖像X和Y的方差；σXY表示兩幅圖像的協(xié)方差，C1，C2，C3為3 個常數(shù)。

3.1 不同算法處理結(jié)果對比

本文選取的對比算法有中值濾波（median filter，MF），基于小波的軟閾值去噪（soft thresholding，ST）[3]，EPLL[18]，NCSR[19]，WNNM[20]，用于測試的圖像隨機選取自set5，set14[13]和set12[14]。噪聲水平為σ=25時，我們選取4 幅圖像進行視覺效果對比，如圖3所示?？梢钥闯觯兄禐V波去噪以及軟閾值小波去噪效果比較差，WNNM[20]算法模糊較為嚴重。紅線框內(nèi)對應(yīng)綠線內(nèi)的局部放大，從局部放大的細節(jié)來看，本文算法的視覺效果優(yōu)于所對比的其他 算法。

圖3 不同算法去噪效果對比Fig.3 Comparison of denoising performance with different algorithms

表1是6 幅添加了 σ=25的高斯白噪聲的測試圖像經(jīng)不同算法處理后的PSNR 值，本文算法的PSNR 均值可以達到28.93 dB。本文算法處理后的圖像有5 幅的PSNR 值均高于其他對比算法，PSNR的均值相較于對比算法提升了0.45 dB～6.87 dB。表2是6 幅測試圖像經(jīng)不同算法處理后的SSIM值，其中有4 幅圖像的SSIM 值高于其他算法。表3是不同算法處理這6 幅圖像的平均耗時，雖然EPLL[18]和NCSR[19]也能達到相對較好的處理結(jié)果，但平均耗時遠遠超出本文算法。

表1 不同算法實驗結(jié)果的PSNRTable1 PSNR of experimental results with different algorithms dB

表2 不同算法實驗結(jié)果的SSIMTable2 SSIM of experimental results with different algorithms

表3 不同算法實驗結(jié)果的平均耗時Table3 Average time of experimental results with different algorithms

當(dāng)噪聲水平為σ =50時，我們選取lena，peppers，baby，bird 4 幅圖像進行視覺效果對比，如圖4所示。整體來看，NCSR[19]可以達到與本文算法相當(dāng)?shù)囊曈X效果，但從局部放大的細節(jié)信息來看，經(jīng)本文算法處理過的圖像的紋理細節(jié)更加清晰，peppers和bird 的處理結(jié)果尤為明顯。

表4是6 幅添加了標準差為50 的高斯白噪聲的測試圖像經(jīng)不同算法處理后達到的PSNR 值，本文算法處理后的圖像有5 幅的PSNR 值均高于其他對比算法。PSNR 的均值相較于對比算法提升了0.31 dB～8.16 dB。表5是6 幅測試圖像經(jīng)不同算法處理后的SSIM 值，其中有4 幅圖像的SSIM值高于其他算法，平均值可達到0.808 0。

圖4 不同算法去噪效果對比Fig.4 Comparison of denoising performance with different algorithms

表4 不同算法實驗結(jié)果的PSNRTable4 PSNR of experimental results with different algorithms dB

表5 不同算法實驗結(jié)果的SSIMTable5 SSIM of experimental results with different algorithms

3.2 對自然噪聲的去噪

在實驗中我們發(fā)現(xiàn)本文所提算法對未參加訓(xùn)練的自然噪聲也有很好的降噪效果，圖5為6 幅來自數(shù)據(jù)集RNI6[24]帶有自然噪聲的圖像，紅色框線內(nèi)對應(yīng)綠線框內(nèi)的局部放大信息，噪聲對圖像質(zhì)量影響較為嚴重。圖5是經(jīng)本文算法處理后的圖像，不僅有效去除了噪聲，而且圖像紋理細節(jié)完整。由于該數(shù)據(jù)集只有噪聲圖像，未提供原始清晰圖像，所以不再計算PSNR 和SSIM.

3.3 對遙感圖像的去噪

隨著航空航天通信技術(shù)的發(fā)展，人們的空間概念得到了極大的拓展，基于計算機技術(shù)、圖像處理技術(shù)、對地觀測技術(shù)而發(fā)展起來的遙感數(shù)字圖像相關(guān)技術(shù)也隨之得到了前所未有的關(guān)注與發(fā)展。但是在實際應(yīng)用中，遙感圖像的獲取與傳輸非常容易受到外界噪聲的干擾，從而使得整個圖像所包含的噪聲增大，質(zhì)量降低，增大遙感圖像的分析與處理難度，在遙感圖像應(yīng)用前對其進行去噪具有重要意義。本文選取UCMerced_LandUse 遙感圖像集中不同場景下的5 幅圖像進行去噪，實驗結(jié)果如圖6所示。

圖5 本文算法對自然噪聲圖像的處理結(jié)果Fig.5 Image denoising results of real noisy images based on proposed algorithm

圖6 本文算法對遙感圖像的去噪結(jié)果Fig.6 Image denoising results of remote sensing image based on proposed algorithm

4 結(jié)論

結(jié)合平穩(wěn)小波變換和深度學(xué)習(xí)的優(yōu)勢，提出了一種泛化能力較強的去噪算法。其特點有：1）利用平穩(wěn)小波變換和殘差學(xué)習(xí)的組合優(yōu)勢；2）使用結(jié)構(gòu)較為簡單的卷積神經(jīng)網(wǎng)絡(luò)，計算復(fù)雜度低，參數(shù)數(shù)量較少，避免出現(xiàn)梯度爆炸；3）所提算法相較于一般算法泛化能力較強，適用于自然噪聲，以及遙感圖像在成像或傳輸過程中產(chǎn)生的噪聲。通過仿真實驗對所提算法的去噪效果進行評估，與傳統(tǒng)的中值濾波去噪算法以及軟閾值小波去噪等算法相比，本文算法能達到較好去噪效果的同時，還較好地保持了圖像的紋理細節(jié)信息，同時具有低耗時性的優(yōu)良性能，在主觀視覺效果和客觀評價指標上均優(yōu)于對比算法。本文算法可以為后續(xù)的圖像處理工作提供有效的預(yù)處理，具有一定的實用價值。今后將對卷積神經(jīng)網(wǎng)絡(luò)進一步訓(xùn)練，提升算法的去噪性能。