劉利平，喬樂樂，蔣柳成

華北理工大學(xué) 人工智能學(xué)院，河北 唐山 063210

圖像在采集、傳輸過程中因環(huán)境、成像設(shè)備和人為等因素的影響會(huì)受到不同噪聲的干擾[1]，導(dǎo)致采集的圖像質(zhì)量下降，給后續(xù)的特征提取、文本檢測、圖像分割等圖像處理環(huán)節(jié)造成不可估計(jì)的影響，因此，需要對圖像進(jìn)行去噪處理。圖像去噪作為計(jì)算機(jī)視覺研究領(lǐng)域中一個(gè)重要的研究方向，其目的是盡可能地減少或消除噪聲對圖像的干擾，使處理后的圖像盡可能接近原始圖像。圖像去噪的實(shí)質(zhì)是對數(shù)據(jù)本身恢復(fù)和重建，以起到排除污染的作用。由于真實(shí)噪聲圖像的不足，加性白噪聲圖像（additive white noise image，AWNI）被廣泛用于訓(xùn)練去噪模型[2]。AWNI包括高斯、泊松、鹽、胡椒和乘性噪點(diǎn)圖像[3]。

圖像去噪有著悠久的歷史，最早的作品可以追溯到20 世紀(jì)50 年代[4]。最近的去噪方法激增主要?dú)w功于著名的塊匹配3D（block-matching and three-dimensional filtering，BM3D）框架[5]，該框架結(jié)合了自然圖像的非局部相似性特征和變換域中的稀疏表示[6]。在早期階段，圖像去噪的許多相關(guān)工作都集中在過濾單通道灰度圖像上。近年來，成像系統(tǒng)和技術(shù)的進(jìn)步極大地豐富了多維圖像（彩色圖像）保存和呈現(xiàn)的信息，可以為真實(shí)場景提供更真實(shí)的表示。圖像尺寸和維度的增長也對去噪提出了更高的要求。處理高維圖像的一個(gè)主要挑戰(zhàn)是如何有效利用多個(gè)通道或頻譜的相互關(guān)聯(lián)的信息，并且還要在噪聲消除和細(xì)節(jié)保留之間找到平衡。在過去的二十年中，具有代表性的BM3D 方法已經(jīng)以兩種不同的方式成功地?cái)U(kuò)展到了多維圖像。第一種策略是應(yīng)用某種相關(guān)變換，以使在變換后的空間中，每個(gè)通道可以由某個(gè)有效的單通道去噪器獨(dú)立過濾[7]。例如，CBM3D（color-BM3D）方法[8]對自然RGB 圖像建立的對比度或YCbCr 顏色變換可以提供顏色數(shù)據(jù)的近似最佳解相關(guān)[9]。另一種替代解決方案是利用信道或頻帶相關(guān)性通過聯(lián)合處理整個(gè)多維圖像數(shù)據(jù)集來建模。為了實(shí)現(xiàn)這一目標(biāo)，Maggioni等人[10]通過使用3D像素立方體將BM3D擴(kuò)展為稀疏4D變換域協(xié)作濾波（BM4D），將其堆疊為4D 組。

盡管傳統(tǒng)方法在圖像去噪方面已經(jīng)取得了相當(dāng)不錯(cuò)的性能，但它們?nèi)匀淮嬖谝恍┤秉c(diǎn)，包括需要針對測試階段的優(yōu)化方法，手動(dòng)設(shè)置參數(shù)以及單個(gè)降噪任務(wù)的特定模型。近年來，隨著神經(jīng)網(wǎng)絡(luò)架構(gòu)變得更加靈活，深度學(xué)習(xí)技術(shù)獲得了克服這些缺點(diǎn)的能力。

1 圖像去噪的基本框架

圖像中噪聲的來源有許多種，這些噪聲來源于圖像采集、傳輸、壓縮等各個(gè)方面。噪聲的種類也各不相同，比如椒鹽噪聲、高斯噪聲等，針對不同的噪聲有不同的處理算法。

對于輸入的帶有噪聲的圖像v(x)，其加性噪聲可以用一個(gè)方程式來表示：

其中，x是像素；u(x)是原來沒有噪聲的圖像；n(x)是噪聲項(xiàng)，代表噪聲帶來的影響；v(x)是像素的集合，也就是整幅圖像。從這個(gè)公式可以看出，噪聲是直接疊加在原始圖像上的，這個(gè)噪聲可以是椒鹽噪聲、高斯噪聲。理論上來說，如果能夠精確地獲得噪聲，用輸入圖像減去噪聲就可以恢復(fù)出原始圖像。但現(xiàn)實(shí)往往不是很理想，除非明確地知道噪聲生成的方式，否則噪聲很難單獨(dú)求出來。

1.1 傳統(tǒng)去噪

根據(jù)去噪方法的特性將傳統(tǒng)去噪方法分為了四類：（1）利用濾波去噪。湯成等人[11]提出了一種改進(jìn)的曲率濾波算法，用投影算子代替?zhèn)鹘y(tǒng)曲率濾波的最小三角切平面投影算子，并修正正則能量函數(shù)，達(dá)到增強(qiáng)去噪能力，該算法有很好的強(qiáng)噪聲去噪效果，但是不能自適應(yīng)調(diào)整鄰域內(nèi)切平面投影算子，而且運(yùn)行時(shí)間較長。張繪娟等人[12]通過設(shè)置適當(dāng)?shù)恼{(diào)整參數(shù)，動(dòng)態(tài)選取固定閾值，增加調(diào)節(jié)因子來降低原小波系數(shù)和估計(jì)小波系數(shù)之間的恒定偏差，從而完成圖像去噪。（2）利用稀疏編碼去噪。李桂會(huì)等人[13]通過自適應(yīng)匹配追蹤算法求解稀疏系數(shù)，然后利用K 奇異值分解算法將字典訓(xùn)練成能夠有效反映圖像結(jié)構(gòu)特征的自適應(yīng)字典，然后將稀疏系數(shù)與自適應(yīng)字典相結(jié)合來重構(gòu)圖像。袁小軍等人[14]通過全局的相似塊匹配，得到理想圖像的稀疏系數(shù)估計(jì)；基于類字典和估計(jì)的稀疏系數(shù)來實(shí)現(xiàn)圖像的去噪。（3）利用外部先驗(yàn)去噪。Buades 等人[15]提出了非本地圖像降噪算法。常圓圓等人[16]利用奇異值分解和硬閾值方法對獲得的多尺度相似矩陣進(jìn)行協(xié)同來實(shí)現(xiàn)圖像去噪。莫一過[17]將圖像的結(jié)構(gòu)先驗(yàn)和稀疏先驗(yàn)引入到圖像復(fù)原處理中，分別提出了基于全變分和稀疏表示的兩種改進(jìn)算法。（4）利用低秩去噪。劉成士等人[18]利用低秩表示（low-rank representation，LRR）模型中的系數(shù)矩陣施加全變差（total variation，TV）范數(shù)約束，提出了一種全新的圖像去噪方法。羅學(xué)剛等人[19]將相對全變差（relative total variation，RTV）融入加權(quán)核范數(shù)最小化（weighted nuclear norm minimization，WNNM），對WNNM 低秩表示模型施加RTV 范數(shù)約束，提出一種相對全變差加權(quán)核范數(shù)極小化（relative total variation and weighted nuclear norm minimization，RTV-WNNM）圖像去噪方法，但是在圖像去噪模型構(gòu)建矩陣和優(yōu)化求解過程中計(jì)算量較大，導(dǎo)致耗時(shí)較長。表1 顯示了更多的傳統(tǒng)去噪方法信息。

Table 1 Image denoising based on traditional methods表1 基于傳統(tǒng)方法的圖像去噪

在工程上，圖像中的噪聲常常使用高斯噪聲N(μ,σ2)來近似表示，其中μ=0，σ2是噪聲的方差，σ2越大，噪聲越大。一個(gè)有效的去除高斯噪聲的方式是圖像求平均，對N幅相同的圖像求平均的結(jié)果將使得高斯噪聲的方差降低到原來的N分之一。算法非局部平均（non-local means，NL-Means），就是基于這一思想來進(jìn)行算法設(shè)計(jì)的。在2005 年由Buades 提出，該算法使用自然圖像中普遍存在的冗余信息來去噪聲。與常用的雙線性濾波、中值濾波等利用圖像局部信息來濾波不同的是，它利用了整幅圖像來進(jìn)行去噪，以圖像塊為單位在圖像中尋找相似區(qū)域，再對這些區(qū)域求平均，能夠比較好地去掉圖像中存在的高斯噪聲。

對于傳統(tǒng)的降噪器，通常僅使用嘈雜的圖像來完成訓(xùn)練和降噪。許多有效的去噪算法都是以BM3D 算法作為基礎(chǔ)提出來的。該算法的思想跟NL-Means 有點(diǎn)類似，也是在圖像中尋找相似塊的方法進(jìn)行濾波，但是相對于NL-Means 要復(fù)雜得多。三維塊匹配算法流程圖如圖1 所示。該算法主要分為兩步：第一步是基礎(chǔ)估計(jì)，把待處理圖像分成固定大小的子模塊，對圖像中的每一塊進(jìn)行逐塊估計(jì)，通過塊與塊之間的相似程度對其分組，并將這些塊聚集到一個(gè)三維數(shù)組中，再對三維數(shù)組進(jìn)行3D 變換，最后通過聚集對有重疊的塊進(jìn)行加權(quán)得到圖像的基礎(chǔ)估計(jì)。第二步是利用第一步得到的基礎(chǔ)估計(jì)圖像，對每一塊進(jìn)行第二次估計(jì)，再次通過塊匹配找到與它相似的塊在基礎(chǔ)估計(jì)圖像中的位置，匹配之后得到兩個(gè)三維數(shù)組，對形成的兩個(gè)三維數(shù)組進(jìn)行聯(lián)合維納濾波，最后通過對重疊塊的估計(jì)進(jìn)行加權(quán)平均得到最終去噪圖像。BM3D 算法是目前最有效的傳統(tǒng)圖像去噪算法，但是由于圖像噪聲復(fù)合的特殊性和復(fù)雜性，在復(fù)雜的紋理區(qū)域（大多為邊緣區(qū)域）只有較少的相似塊，因此達(dá)不到很好的去噪效果，導(dǎo)致出現(xiàn)細(xì)節(jié)丟失、模糊等現(xiàn)象。

Fig.1 3D block matching algorithm flowchart圖1 三維塊匹配算法流程圖

1.2 深度學(xué)習(xí)去噪

根據(jù)圖像添加的噪聲類型將深度學(xué)習(xí)去噪算法分為了四類：（1）對加性高斯白噪聲圖像去噪。Zhang等人[42]提出了一個(gè)將批處理歸一化和殘差學(xué)習(xí)技術(shù)結(jié)合的前饋去噪卷積神經(jīng)網(wǎng)絡(luò)（denoising convolutional neural networks，DnCNN）圖像去噪模型，雖然這種去噪方法取得了異常突出的效果，但是整個(gè)算法需要迭代太多次才能獲得一個(gè)較好的訓(xùn)練模型，整個(gè)算法的快速性和收斂性不夠突出。Valsesia 等人[43]提出了一種基于圖卷積的操作來創(chuàng)造了非局域的感受野，通過動(dòng)態(tài)計(jì)算隱藏特征中圖的相似性來得到自相似性的高效表達(dá)的圖卷積神經(jīng)網(wǎng)絡(luò)（graph-convolutional image denoising，GCDN）模型，所提出的體系結(jié)構(gòu)尚不能擴(kuò)展到其他反問題，例如超分辨率。（2）對真實(shí)噪聲圖像去噪。Yan等人[44]直接從嘈雜的圖像中提取噪聲圖，從而實(shí)現(xiàn)無監(jiān)督的噪聲建模，完成非配對真實(shí)噪聲圖像去噪。其網(wǎng)絡(luò)架構(gòu)為自洽生成對抗網(wǎng)絡(luò)（selfconsistent generative adversarial networks，SCGAN）。Zhao 等人[45]提出了一種使用遞歸全卷積網(wǎng)絡(luò)對黑暗突發(fā)圖像進(jìn)行端到端去噪，將原始的突發(fā)圖像直接映射到sRGB（standard red green blue）輸出，以生成最佳圖像或生成多幀去噪圖像序列的循環(huán)全卷積網(wǎng)絡(luò)（recurrent fully convolutional network，RFCN）。雖然該去噪框架具有較高的靈活性，但并未將其框架擴(kuò)展到視頻去噪，并且該框架還沒有達(dá)到可以移植的要求。（3）對盲噪聲圖像去噪。Yang等人[46]提出了一種使用端到端架構(gòu)的多列卷積神經(jīng)網(wǎng)絡(luò)（multi-column convolutional neural network，MC-Net）從單幅圖像估計(jì)噪聲水平函數(shù)（noise level function，NLF）的新穎方法，但是該算法還沒有實(shí)現(xiàn)對自然圖像進(jìn)行去噪。Yu 等人[47]提出了一種用于圖像去噪的深度迭代向下卷積神經(jīng)網(wǎng)絡(luò)（deep iterative down-up convolutional neural network，DIDN），可以反復(fù)減少和增加特征圖的分辨率，它能夠使用單個(gè)模型處理各種噪聲級(jí)別，而無需輸入噪聲信息作為解決方法。Chen 等人[48]提出的去噪方法GCBD（GAN-CNN based blind denoiser）是利用GAN 對噪聲分布進(jìn)行建模，并通過建立的模型生成噪聲樣本，與干凈圖像集合構(gòu)成訓(xùn)練數(shù)據(jù)集，訓(xùn)練去噪網(wǎng)絡(luò)模型來進(jìn)行盲去噪。這種方法的局限性在于，假定噪聲為零均值的加性噪聲。（4）對混合噪聲圖像去噪。Zhang 等人提出的三層超分辨率網(wǎng)絡(luò)（super-resolution network for multiple degradations，SRMD）是具有維數(shù)擴(kuò)展策略的通用框架，可以處理多個(gè)甚至空間變化的降級(jí)。表2～表5 分別顯示了基于深度學(xué)習(xí)的有關(guān)加性高斯噪聲、實(shí)噪聲、盲噪聲和混合噪聲圖像去噪方法的更多信息。

Table 2 Additive white noise image denoising based on deep learning表2 基于深度學(xué)習(xí)的加性白噪聲圖像去噪

最初的深度學(xué)習(xí)技術(shù)在1980 年首次用于圖像處理，并由Sullivan 等人[83]以及Zhou 等人[84]首次將深度神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像去噪。深度神經(jīng)網(wǎng)絡(luò)具有相似或甚至比馬爾可夫隨機(jī)場模型在圖像去噪方面更好的表示能力。Burger 等人提出使用多層感知器（multilayer perceptron，MLP）進(jìn)行圖像去噪。此外，他們將稀疏編碼和預(yù)先訓(xùn)練過的深度神經(jīng)網(wǎng)絡(luò)結(jié)合起來。盡管這些深度神經(jīng)網(wǎng)絡(luò)在圖像去噪方面取得了很好的性能，但這些網(wǎng)絡(luò)并沒有有效地探索圖像的固有特征，因?yàn)樗鼈冎皇菍㈩愃芃LP 的網(wǎng)絡(luò)級(jí)聯(lián)起來。目前，經(jīng)典的深度卷積神經(jīng)網(wǎng)絡(luò)DCNN 吸引了越來越多的研究人員，因?yàn)樗梢酝ㄟ^大量數(shù)據(jù)來進(jìn)行很好的自學(xué)習(xí)，不需要嚴(yán)格選擇特征，只需要引導(dǎo)學(xué)習(xí)來達(dá)到期望的目的。它被廣泛應(yīng)用于圖像預(yù)處理領(lǐng)域，如圖像超分辨率。由于圖像超分辨率的成功，一些研究人員嘗試將DCNN應(yīng)用于圖像去噪。

Table 3 Real noise image denoising based on deep learning表3 基于深度學(xué)習(xí)的真實(shí)噪聲圖像去噪

Table 4 Blind noise image denoising based on deep learning表4 基于深度學(xué)習(xí)的盲噪聲圖像去噪

Table 5 Hybrid noise image denoising based on deep learning表5 基于深度學(xué)習(xí)的混合噪聲圖像去噪

前饋去噪卷積神經(jīng)網(wǎng)絡(luò)（DnCNN）用于圖像的去噪，使用了更深的結(jié)構(gòu)、殘差學(xué)習(xí)算法、正則化和批量歸一化等方法來提高圖像的去噪性能。DnCNN 算法流程圖如圖2 所示。DnCNN 的深度架構(gòu)：給定深度為D的DnCNN，由三種類型的層，展示在圖2 中有三種不同的顏色。（1）Conv+ReLU：對于第一層，使用64 個(gè)大小為3×3×c的濾波器生成64 個(gè)特征圖。然后將整流的線性單元ReLU 用于非線性。這里的c代表著圖像通道數(shù)，即c=1 時(shí)為灰色圖像，c=3 時(shí)為彩色圖像。（2）Conv+BN+ReLU：對應(yīng)于神經(jīng)網(wǎng)絡(luò)的2～(D-1)層，使用64 個(gè)大小3×3×64 的濾波器，并且將批量歸一化加在卷積層和ReLU 之間。（3）Conv：對應(yīng)于最后一層，c個(gè)大小為3×3×64 的濾波器被用于重建輸出。

Fig.2 DnCNN denoising framework圖2 DnCNN 去噪框架

總之，本文的DnCNN 模型有兩個(gè)主要的特征：采用殘差學(xué)習(xí)公式來學(xué)習(xí)，并結(jié)合批量歸一化來加速訓(xùn)練。通過將卷積和ReLU 結(jié)合，DnCNN 可以通過隱藏層逐漸將圖像結(jié)構(gòu)與噪聲分開。這種機(jī)制類似于EPLL（expected patch log likelihood）和WNNM等方法中采用的迭代噪聲消除策略，但本文的DnCNN是以端到端的方式來進(jìn)行訓(xùn)練的。

2 數(shù)據(jù)集

2.1 訓(xùn)練數(shù)據(jù)集

訓(xùn)練數(shù)據(jù)集[85]分為兩類：灰度噪聲圖像和彩色噪聲圖像。灰度噪聲圖像數(shù)據(jù)集可用于訓(xùn)練高斯去噪器和盲去噪器。它們包括BSD400 數(shù)據(jù)集和Waterloo Exploration 數(shù)據(jù)集。BSD400 數(shù)據(jù)集由.png 格式的400 張圖像組成，并裁剪為180×180 的尺寸以訓(xùn)練降噪模型。Waterloo Exploration 數(shù)據(jù)集包含4 744 個(gè).png格式的自然圖像。彩色噪聲圖像包括BSD432 數(shù)據(jù)集、Waterloo Exploration 數(shù)據(jù)集和polyU 數(shù)據(jù)集。具體來說，polyU 數(shù)據(jù)集由100 個(gè)真實(shí)的嘈雜圖像組成，由5 個(gè)相機(jī)獲得的尺寸為2 784×1 856 大小的圖像，相機(jī)類型包括尼康D800、佳能5D Mark II、索尼A7 II、佳能80D 和佳能600D。

2.2 測試數(shù)據(jù)集

測試數(shù)據(jù)集[85]包括灰度和彩色噪聲的圖像數(shù)據(jù)集。

灰度噪聲圖像數(shù)據(jù)集由Set12 數(shù)據(jù)集和BSD68數(shù)據(jù)集組成。Set12 包含12 個(gè)場景圖像。BSD68 包含68 張自然圖像。它們用于測試高斯降噪器和盲噪聲降噪器。

彩色圖像數(shù)據(jù)集包括CBSD68 數(shù)據(jù)集、Kodak24數(shù)據(jù)集、McMaster 數(shù)據(jù)集、CC 數(shù)據(jù)集、DND 數(shù)據(jù)集、NC12 數(shù)據(jù)集、SIDD 數(shù)據(jù)集和Nam 數(shù)據(jù)集。Kodak24數(shù)據(jù)集和McMaster 數(shù)據(jù)集分別包含24 和18 個(gè)彩色噪點(diǎn)圖像。cc 數(shù)據(jù)集包含15 個(gè)不同ISO 的真實(shí)噪點(diǎn)圖像，即1 600、3 200 和6 400。DND 包含50 個(gè)真實(shí)噪點(diǎn)圖像，干凈圖像由低ISO 圖像捕獲。NC12 包含12 個(gè)噪點(diǎn)圖像，沒有真實(shí)的干凈圖像。SIDD 包含來自智能手機(jī)的真實(shí)噪聲圖像，并且由320 對噪聲圖像和真實(shí)圖像組成。Nam 包含11 個(gè)場景，這些場景以JPGE 格式保存。

3 實(shí)驗(yàn)結(jié)果

為了比較傳統(tǒng)去噪方法及深度神經(jīng)網(wǎng)絡(luò)去噪方法的去噪性能，在Set12、BSD68、CBSD68、Kodak24、McMaster、DND、SIDD、polyU 和CC 上進(jìn)行了定量和定性評(píng)估實(shí)驗(yàn)。定量評(píng)估主要是使用不同去噪器的峰值信噪比（peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似性（structural similarity，SSIM）的值來測試去噪效果，定性評(píng)估是使用視覺圖形來顯示恢復(fù)的干凈圖像。

對于灰度高斯白噪聲圖像去噪，將傳統(tǒng)去噪方法與深度學(xué)習(xí)去噪方法進(jìn)行了比較，其中包括三種傳統(tǒng)的去噪模型方法（即BM3D、WNNM 和EPLL），16 種基于深度學(xué)習(xí)的去噪方法，可以分為兩類：分別針對每種噪聲水平學(xué)習(xí)單個(gè)模型即DnCNN、NLRN（non-local recurrent network）、RNAN（residual nonlocal attention networks）、FOCNet（fractional optimal control network）、DRUNet（dense residual and combines U-Net）等和基于CNN 的方法經(jīng)過培訓(xùn)可處理各種噪聲水平即IRCNN（CNN denoiser prior for image restoration）和FFDNet（fast and flexible denoising convolutional neural network）等。NLRN 和RNAN 在網(wǎng)絡(luò)體系結(jié)構(gòu)設(shè)計(jì)中采用非本地模塊，以便事先利用非本地映像。表6 顯示出了在噪聲水平為15、25 和50 的Set12 數(shù)據(jù)集上不同方法的平均PSNR 結(jié)果。加粗表示最優(yōu)結(jié)果，下劃線表示次優(yōu)結(jié)果。可以看出DRUNet 達(dá)到了最佳PSNR 結(jié)果。在噪聲水平為15、25 和50 的Set12 數(shù)據(jù)集上與傳統(tǒng)去噪（即BM3D）相比，DRUNet 的平均PSNR 增益約為0.9 dB，其他的深度學(xué)習(xí)去噪方法相比于傳統(tǒng)去噪方法也有很好的去噪性能，從中展現(xiàn)出了深度學(xué)習(xí)技術(shù)的優(yōu)勢。Set12數(shù)據(jù)集的平均PSNR 增益超過DnCNN、IRCNN 和FFDNet 約為0.5 dB。盡管NLRN、RNAN 和FOCNet針對每種噪聲水平都學(xué)習(xí)了一個(gè)單獨(dú)的模型，并且具有非常好的競爭性能，但它們無法勝過DRUNet。圖3 顯示了噪聲水平為25 的Set12 數(shù)據(jù)集上不同方法對“House”圖像的灰度白噪聲圖像去噪結(jié)果。其中去噪算法（c）～（e）是在Windows 10系統(tǒng)中的Matlab-R2019a 環(huán)境下完成，去噪方法（f）～（j）是在Windows 10 系統(tǒng)中的python3.6 搭載PyTorch 1.1.0 環(huán)境下完成的。從圖3 中可以看出，DRUNet 比BM3D、IRCNN、FFDNet 還原的圖像邊緣更加銳利。DRUNet 僅去除了高斯白噪聲，相比于BRDNet（batch-renormalization denoising network）保留了更多的細(xì)節(jié)，視覺去噪效果要優(yōu)于BRDNet還原的噪聲圖像。

Table 6 Average PSNR of different methods on Set12 data set表6 Set12 數(shù)據(jù)集上不同方法的平均PSNR dB

由于現(xiàn)有方法主要關(guān)注灰度圖像去噪，僅選用了幾種去噪方法來對比分析。其中包括一種傳統(tǒng)去噪（CBM3D）模型和六種深度學(xué)習(xí)方法來對彩色圖像進(jìn)行去噪。表7 顯示了在CBSD68、Kodak24 和Mc-Master 彩色數(shù)據(jù)集上針對噪聲水平15、25 和50 的不同方法的彩色圖像去噪結(jié)果。加粗表示最優(yōu)結(jié)果，下劃線表示次優(yōu)結(jié)果。與傳統(tǒng)去噪（即CBM3D）相比，在CBSD68 數(shù)據(jù)集上DRUNet 的平均PSNR 增益約為0.8 dB，在Kodak24 和McMaster 數(shù)據(jù)集上的平均PSNR 增益更是高達(dá)1.5 dB 左右。相比DnCNN、IRCNN 和FFDNet 深度學(xué)習(xí)算法，DRUNet 的增益也有約0.5 dB 的增益，盡管ADNet（attention-guided CNN for image denoising）和BRDNet 對比前幾種算法有了一定的提升，但是與DRUNet 相比還是有很大的不足，可以看出DRUNet 在三個(gè)彩色數(shù)據(jù)集上都表現(xiàn)出了較大的優(yōu)勢。圖4 顯示了來自噪聲水平為50 的CBSD68 數(shù)據(jù)集的圖像“296059”和McMaster 數(shù)據(jù)集的圖像“15”上幾種方法的視覺結(jié)果。其中CBM3D去噪算法在Windows 10 系統(tǒng)中的MatlabR2019a環(huán)境dB下運(yùn)行，去噪算法（c）～（f）是在Windows 10 系統(tǒng)中的python3.6 搭載PyTorch 1.1.0 版本下完成的。從圖4中可以看出，DRUNet 相比于其他方法可以恢復(fù)更多的細(xì)節(jié)和紋理。

Fig.3 Gray-scale image denoising results of different methods on“House”圖3“House”上不同方法的灰度圖像去噪結(jié)果

Table 7 Average PSNR of different methods on color data set表7 彩色數(shù)據(jù)集上不同方法的平均PSNR

Fig.4 Color image denoising results with different methods圖4 彩色圖像用不同方法的去噪結(jié)果

為了測試用于實(shí)噪聲圖像的深度學(xué)習(xí)技術(shù)的去噪性能，本文選擇了DND、SIDD、PolyU 和CC 等公共數(shù)據(jù)集來設(shè)計(jì)實(shí)驗(yàn)。本文選擇不使用NC12 數(shù)據(jù)集，是因?yàn)闊o法獲得來自NC12 的真實(shí)的干凈圖像。將4種傳統(tǒng)的降噪方法和16 種深度神經(jīng)網(wǎng)絡(luò)去噪方法進(jìn)行比較。表8 顯示了在DND 數(shù)據(jù)集和SIDD 數(shù)據(jù)集上不同去噪方法的PSNR（dB）和SSIM 值，加粗表示最優(yōu)結(jié)果，下劃線表示次優(yōu)結(jié)果。從表中可以看出深度學(xué)習(xí)去噪算法在DND 數(shù)據(jù)集和SIDD 數(shù)據(jù)集上要比傳統(tǒng)去噪算法有很大的優(yōu)勢，在SIDD 數(shù)據(jù)集上GMSNet（grouped multi-scale network）去噪算法比傳統(tǒng)去噪（EPLL、BM3D、WNNM 和KSVD）的平均PSNR 增益最大更是達(dá)到14 dB 左右，相似度也高出了0.14 左右。在DND 數(shù)據(jù)集上GMSNet 系列也比傳統(tǒng)的去噪方法高出了約5 dB，在兩個(gè)數(shù)據(jù)集上與最近的深度學(xué)習(xí)算法相比GMSNet 系列算法同樣也具有很大的優(yōu)勢。在DND 數(shù)據(jù)集和SIDD 數(shù)據(jù)集上的測試充分展現(xiàn)出了深度神經(jīng)網(wǎng)絡(luò)在圖像去噪領(lǐng)域要比傳統(tǒng)去噪方法有更好的去噪性能。值得注意的是，盡管MIRNet 在SIDD 數(shù)據(jù)集上表現(xiàn)出色，但在DND 數(shù)據(jù)集上表現(xiàn)不佳。這種差異突出了減少訓(xùn)練和圖像降噪測試之間的圖像域差距的重要性。表9顯示了在CC15、CC60 及PolyU 數(shù)據(jù)集上不同去噪方法的PSNR（dB）和SSIM 值，加粗表示最優(yōu)結(jié)果，下劃線表示次優(yōu)結(jié)果。可以看出傳統(tǒng)去噪方法CBM3D、MCWNNM（multi-channel weighted nuclear norm minimization）和NLH（non-local Haar）在三個(gè)數(shù)據(jù)集上相比于深度神經(jīng)網(wǎng)絡(luò)算法DNCNN、FFDNet 和MIRNet展現(xiàn)出了非常有競爭力的性能，而深度神經(jīng)網(wǎng)絡(luò)方法并不總是展示出優(yōu)于傳統(tǒng)去噪器的優(yōu)勢，這在很大程度上是由于缺乏訓(xùn)練數(shù)據(jù)。

Table 8 PSNR and SSIM of different methods on two data sets表8 兩個(gè)數(shù)據(jù)集上不同方法的PSNR、SSIM

眾所周知，噪聲在現(xiàn)實(shí)世界中是復(fù)雜的，并且不受制于規(guī)則。這就是為什么開發(fā)盲降噪技術(shù)，尤其是深度學(xué)習(xí)技術(shù)。比較不同深度學(xué)習(xí)技術(shù)的降噪性能是非常有用的。選擇了在BSD68 數(shù)據(jù)集上用最新的去噪方法例如DnCNN、FFDNet、ADNet、SCNN（shrinkage convolutional neural network）和DudeNet（dual denoising Network）來設(shè)計(jì)實(shí)驗(yàn)。如表10 所示，顯示了BSD68 數(shù)據(jù)集在不同噪聲水平下每種圖像去噪方法的PSNR（dB）值，加粗表示最優(yōu)結(jié)果，下劃線表示次優(yōu)結(jié)果，可以看出DudeNet的PSNR優(yōu)于SCNN約0.3 dB，ADNet 在SCNN 上的增益約為0.2 dB，而FFDNet 也有與DnCNN 不弱的去噪性能。FFDNet、ADNet 和DudeNet 在盲去噪方面有不弱于其他去噪方法的性能。

用于混合噪聲圖像降噪的深度學(xué)習(xí)技術(shù)在現(xiàn)實(shí)世界中，損壞的圖像可能包含不同種類的噪聲，這使得恢復(fù)潛在的干凈圖像非常困難。為了解決這個(gè)問題，已提出了基于深度學(xué)習(xí)技術(shù)的多退化思想。在這里，本文介紹了多退化模型的降噪性能。如表11所示，顯示了在Set5、Set14、BSD100 和Urban100 數(shù)據(jù)集上不同方法在Bicubic 降采樣退化下的PSNR 和SSIM 結(jié)果比較。加粗表示最優(yōu)結(jié)果，下劃線表示次優(yōu)結(jié)果。SRMDNF 大大超過了SRCNN，相比DRRN（deep recursive residual network）和DnCNN-3 也 有0.1～0.4 dB 的增益。SRMDNF 無論是在小比例因子上還是在大比例因子上都取得了最佳的結(jié)果。

Table 10 Average PSNR of different methods on BSD68 data set表10 BSD68 數(shù)據(jù)集上不同方法的平均PSNR dB

Table 11 PSNR and SSIM under Bicubic downsampling degradation表11 Bicubic降采樣退化下的PSNR、SSIM

4 結(jié)束語

近年來，圖像去噪已成為具有潛在重要應(yīng)用的有吸引力的研究課題。BM3D 方法的巨大成功極大地推動(dòng)了許多相關(guān)降噪方法的出現(xiàn)，從傳統(tǒng)的高斯去噪器到深度神經(jīng)網(wǎng)絡(luò)方法不等。本文比較、研究和總結(jié)了用于圖像去噪的傳統(tǒng)方法以及深層神經(jīng)網(wǎng)絡(luò)。首先，本文展示了用于圖像降噪的經(jīng)典的傳統(tǒng)去噪的基本框架。然后，展示了用于圖像降噪的深度學(xué)習(xí)的基本框架并且介紹了用于有噪聲圖像降噪的深度學(xué)習(xí)技術(shù)，包括加性白噪聲、盲噪聲、真實(shí)噪聲和混合噪聲圖像降噪。接著比較了基準(zhǔn)數(shù)據(jù)集上不同網(wǎng)絡(luò)的去噪結(jié)果。盡管深度學(xué)習(xí)技術(shù)在圖像去噪領(lǐng)域已經(jīng)取得了巨大的成功，但最新的方法仍然存在一些局限性，將它們的應(yīng)用限制在關(guān)鍵的實(shí)際場景中。最近，一種新趨勢集中在如何共同處理圖像去噪和其他計(jì)算機(jī)視覺任務(wù)[86]上，例如去霧[87]、去馬賽克[88]、超分辨率[89]和分類。收集真實(shí)的基準(zhǔn)數(shù)據(jù)集來進(jìn)一步探索它們之間的相互影響是一件非常有趣的事情。