涂 強(qiáng)

(廣東省水利水電科學(xué)研究院，廣州 510635)

1 概述

數(shù)字化時代的背景下，智慧水利已成為水利領(lǐng)域內(nèi)的發(fā)展趨勢。智慧水利的核心是數(shù)字孿生平臺，它依賴于物聯(lián)網(wǎng)平臺提供的大量數(shù)據(jù)來支持復(fù)雜模型的運行。物聯(lián)網(wǎng)平臺搜集的圖像數(shù)據(jù)，特別是從全省范圍內(nèi)的各類監(jiān)控設(shè)備、無人機(jī)、攝像頭、衛(wèi)星等采集而來的圖像，為數(shù)字孿生平臺提供了豐富的基礎(chǔ)數(shù)據(jù)源。這些圖像數(shù)據(jù)的精度對于提高數(shù)字孿生中模型的魯棒性和識別率具有至關(guān)重要的影響。

然而，由于傳感器的多樣性和環(huán)境因素的影響，這些圖像數(shù)據(jù)常常存在質(zhì)量不一的問題。例如，日落時的低光照、復(fù)雜的天氣條件、不穩(wěn)定的網(wǎng)絡(luò)環(huán)境等因素都可能導(dǎo)致圖像噪聲的顯著增加，進(jìn)而影響模型的準(zhǔn)確性和可靠性。在這種背景下，圖像降噪技術(shù)顯得尤為重要。

智慧水利系統(tǒng)中，圖像降噪處理面臨著獨特的挑戰(zhàn)。水利工程中的圖像通常表現(xiàn)出紋理密集程度的兩極化特征：水面圖像的紋理非常稀疏，而岸邊植物的紋理則非常密集。這種特殊的圖像特征要求我們采用針對性強(qiáng)、效果顯著的圖像降噪算法，以確保數(shù)字孿生平臺中的模型能夠基于高質(zhì)量數(shù)據(jù)運行，從而提升智慧水利系統(tǒng)的整體效能和準(zhǔn)確性。因此，選取和優(yōu)化適合智慧水利特點的圖像降噪技術(shù)，對于提升數(shù)字孿生平臺的模型計算精度和系統(tǒng)整體性能，具有至關(guān)重要的意義。

2 圖像降噪技術(shù)的發(fā)展歷史

降噪技術(shù)的發(fā)展經(jīng)歷了從濾波器、轉(zhuǎn)換域等傳統(tǒng)方法，近年來發(fā)展為機(jī)器學(xué)習(xí)廣泛應(yīng)用的各類方法的演變過程。最初，線性濾波器[1]、非線性濾波器和轉(zhuǎn)換域[3]被用于圖像應(yīng)用，線性濾波器包括均值濾波器、高斯濾波器、盒式濾波器等；非線性濾波器包括雙邊濾波器、非局部均值濾波器等，它們簡單易實現(xiàn)，但對圖像邊緣及噪聲類型較敏感；轉(zhuǎn)換域方法包括傅立葉變換、小波變換、Z變換和余弦變換等，它們噪聲抑制及邊緣效果較好，但計算復(fù)雜度及實現(xiàn)難度較高。隨后，基于機(jī)器學(xué)習(xí)的方法，如非局部集中稀疏表示[4](NCSR)、馬爾可夫隨機(jī)場[5](MRF)先驗知識、梯度直方圖估計[6]等方法，被應(yīng)用于圖像降噪。這些方法雖然在圖像降噪方面取得了一定成效，但它們存在一些局限性，例如需要手動設(shè)置及優(yōu)化參數(shù)，以及模型效果針對單一降噪任務(wù)有較好的效果，而泛化性不足。

深度學(xué)習(xí)技術(shù)在1980年代首次用于圖像處理[7]，到2015年開始廣泛應(yīng)用于圖像降噪領(lǐng)域，如(Dcnn)[8]等。其中，卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像處理中取得巨大成功。LeNet[9]作為CNN技術(shù)的先驅(qū)，使用不同尺寸的卷積核來提取特征并在圖像分類中表現(xiàn)出色。隨后，AlexNet[10]、VGG[11]和GoogLeNet[12]等深度網(wǎng)絡(luò)架構(gòu)被提出并廣泛應(yīng)用于各種低層次計算機(jī)視覺任務(wù)。特別是，生成對抗網(wǎng)絡(luò)(GAN)[13]在處理真實噪聲圖像和復(fù)雜噪聲圖像方面表現(xiàn)出獨特的優(yōu)勢。

在神經(jīng)網(wǎng)絡(luò)的初期發(fā)展階段，受限于計算能力的不足，尤其是在處理高維度和大規(guī)模數(shù)據(jù)的任務(wù)時，神經(jīng)網(wǎng)絡(luò)并未能在圖像降噪等復(fù)雜領(lǐng)域中得到廣泛應(yīng)用。隨著1999年英偉達(dá)發(fā)布第一代GPU架構(gòu)GeForce 256，標(biāo)志著GPU時代的開始。GPU等并行計算技術(shù)的進(jìn)步，以及如Caffe、Theano、Matconvnet、TensorFlow、Keras和PyTorch等軟件工具的支持，從而使得我們能夠有效訓(xùn)練各種復(fù)雜的神經(jīng)網(wǎng)絡(luò)，進(jìn)而可使用深度學(xué)習(xí)算法有效處理復(fù)雜的圖像數(shù)據(jù)。

3 基于深度學(xué)習(xí)的圖像降噪技術(shù)

3.1 圖像降噪模型機(jī)制

基于深度學(xué)習(xí)的圖像降噪技術(shù)已經(jīng)迅速發(fā)展，形成了多種不同的類別，從模型機(jī)制分類，主要包括以下幾種：卷積神經(jīng)網(wǎng)絡(luò)(CNN)降噪、自編碼器降噪、生成對抗網(wǎng)絡(luò)(GAN)降噪、基于轉(zhuǎn)換域的降噪、注意力機(jī)制降噪、深度遞歸網(wǎng)絡(luò)降噪、弱監(jiān)督和無監(jiān)督學(xué)習(xí)降噪等?？紤]到圖像降噪技術(shù)應(yīng)用到真實圖像上的實際情況，本文將基于深度學(xué)習(xí)的圖像降噪技術(shù)分為兩大類：單一端到端的卷積神經(jīng)網(wǎng)絡(luò)(下稱CNN)降噪和結(jié)合先驗知識的CNN降噪方法，并將這兩大類方法總結(jié)如下。

單一端到端CNN降噪，通過改變網(wǎng)絡(luò)架構(gòu)，如使用不同階段特征的CNN[14]、雙U-Net結(jié)構(gòu)[15]、批量重標(biāo)準(zhǔn)化[16]和擴(kuò)張卷積[17]等，可以有效去除真實損壞圖像中的噪聲。這些方法利用多尺度知識和特殊設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)，能夠針對低光照條件下的遙感[18]和醫(yī)學(xué)圖像[19]以及未知真實噪聲圖像進(jìn)行有效處理。此外，采用遞歸連接、殘差結(jié)構(gòu)、注意力機(jī)制等方法可以進(jìn)一步提高對噪聲圖像的處理能力，同時CNN在無監(jiān)督學(xué)習(xí)方面的應(yīng)用也顯示出處理無配對噪聲圖像的優(yōu)勢，顯示出了在處理水利工程中的復(fù)雜江河湖海圖像的潛力。

結(jié)合CNN和先驗知識的降噪方法則可以更有效率地處理復(fù)雜的真實圖像噪聲類型。例如，半二次分割(HQS)和CNN結(jié)合[20]用于估計真實噪聲圖像中的噪聲，或者通過多階段降噪方法[21]，先把高斯噪聲和機(jī)內(nèi)成像通道用來合成噪聲圖像，再進(jìn)行噪聲估計和圖像恢復(fù)。針對特定場景如低光照圖像增強(qiáng)，采用結(jié)合CNN和先驗知識的半監(jiān)督方法[22]也十分有效，如半監(jiān)督學(xué)習(xí)方法和分層深度GAN(HD-GAN)的使用，首先使用聚類算法對江河湖海圖像進(jìn)行多類別分類，然后通過收集不同江河、岸邊類別的圖像建立數(shù)據(jù)集。此外，還可以使用GAN來處理得到的數(shù)據(jù)集進(jìn)行圖像降噪和分類[23]。這些方法通過結(jié)合深度學(xué)習(xí)的強(qiáng)大能力和先驗知識的具體指導(dǎo)，實現(xiàn)了對復(fù)雜噪聲條件下圖像的有效降噪。

深度學(xué)習(xí)進(jìn)入圖像降噪領(lǐng)域以來，多種算法被開發(fā)出來以應(yīng)對不同的噪聲挑戰(zhàn)。我們以經(jīng)典的BM3D[24](Block-Matching and 3D Filtering)為對比對象，進(jìn)行一些經(jīng)典算法與深度學(xué)習(xí)算法之間的性能對比；WNNM[25](Weighted Nuclear Norm Minimization)采用低秩矩陣近似技術(shù)，特別適合處理高斯噪聲；DnCNN[26](Deep Convolutional Neural Network for Image Denoising)通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)去除噪聲，適用于多種噪聲類型；BRDNet[27](Boosted Residual Dense Network)通過增強(qiáng)的殘差學(xué)習(xí)和密集連接提高降噪性能，擅長處理復(fù)雜噪聲模式；ADNet[28](Adaptive Denoising Network)是一種自適應(yīng)降噪網(wǎng)絡(luò)，能夠根據(jù)不同噪聲條件調(diào)整降噪策略；IRCNN[29](Image Restoration Convolutional Neural Network)作為一種多功能圖像恢復(fù)網(wǎng)絡(luò)，不僅能夠降噪，還能恢復(fù)圖像質(zhì)量；DudeNet[30](Dual-Domain Network)結(jié)合了圖像域和變換域的處理方法，通過在這兩個域內(nèi)同時進(jìn)行降噪來提高效果，特別適用于處理復(fù)雜和多樣的噪聲環(huán)境。此外，還有CIMM[31]、EPLL[32]、MLP[33]、TNRD[34]、ECNDNet[35]、FFDNet[36]等較為有代表性的算法。

3.2 圖像降噪的物理成像機(jī)制

在基于深度學(xué)習(xí)的圖像降噪技術(shù)中，按成像的物理方式，可分為單幀降噪和多幀降噪，先引用圖像信噪比(SNR)的公式：

(1)

式中：

Sn——散粒噪聲(shot noise)；

Rn——讀出噪聲(readout noise)；

Qn——其他噪聲(Other noises)；

T——快門時間；

F——鏡頭光圈數(shù)值。

由式(1)可見，從物理角度分析，在光線捕獲方面，單幀降噪和多幀降噪存在顯著區(qū)別。單幀降噪處理的是單張圖像，因此它所捕獲的光子信息量Q受限于該圖像的單次曝光時間T。相比之下，多幀降噪通過分析和處理一系列連續(xù)的圖像幀，實際上延長了總的曝光時間T，從而能夠捕獲更多的光子信息。這種增加的光子信息量使多幀降噪在提高圖像質(zhì)量方面具有天然的優(yōu)勢，尤其是在低光照條件下。

單幀降噪的主要優(yōu)點在于其處理速度快且計算要求相對較低，使其非常適合于實時或快速響應(yīng)的應(yīng)用場景，如實時監(jiān)控和即時通信。此外，由于只依賴于單張圖像，單幀降噪在處理時對拍攝時的震動或移動較為魯棒，不需要考慮多幀間的對齊問題。同時，由于水利工程的地理位置遍布城市與郊野，受到網(wǎng)絡(luò)傳輸條件限制，有許多監(jiān)測點位只能使用4G、5G等蜂窩網(wǎng)絡(luò)傳輸單幀圖像，單幀圖像在水利工程中的適用范圍更廣。然而，這種方法的局限性在于，由于可用信息量有限，其在處理復(fù)雜或高度噪聲的圖像時的降噪效果可能不如多幀降噪。

多幀降噪則在PSNR和圖像細(xì)節(jié)恢復(fù)(下稱SSIM)方面表現(xiàn)更為出色。通過分析和處理一系列連續(xù)的圖像幀，能夠在延長總曝光時間的同時捕獲更多的光子信息，從而在PSNR和SSIM方面表現(xiàn)出色。這種方法尤其適用于低光照條件下的圖像處理，能夠有效地提高噪聲抑制效果并恢復(fù)圖像細(xì)節(jié)。然而，多幀降噪在處理如江河湖海中流動水面這樣的動態(tài)場景時面臨著特定的挑戰(zhàn)和限制。

在江河湖海等流動水面的場景中，多幀降噪的優(yōu)點在于能夠通過合成多個幀的信息來降低噪聲，提高圖像質(zhì)量，尤其是在低光照或遠(yuǎn)距離拍攝的條件下。這對于提高水文監(jiān)測、海洋研究或自然景觀攝影的圖像清晰度和細(xì)節(jié)表現(xiàn)非常有幫助。然而，這種場景的主要缺點是流動的水面會導(dǎo)致連續(xù)幀之間的內(nèi)容變化，給圖像對齊和穩(wěn)定性帶來挑戰(zhàn)。流動的水面會引入額外的動態(tài)變化，這可能影響多幀間的一致性和對齊，從而降低降噪效果。此外，處理這類動態(tài)場景需要更高的計算資源和更復(fù)雜的算法，可能不適合需要快速響應(yīng)或?qū)崟r處理的應(yīng)用。因此，雖然多幀降噪在提高圖像質(zhì)量方面具有明顯優(yōu)勢，但在動態(tài)水面等場景的應(yīng)用中，需要特別考慮圖像對齊和處理時間的問題。

基于深度學(xué)習(xí)的多幀降噪代表性工作為谷歌發(fā)布的KPN[37](Kernel Prediction Networks)方法，后來發(fā)展為L-KPN[38]，通過更大的預(yù)測核心區(qū)域，對低質(zhì)量圖像的恢復(fù)PSNR更佳；M-KPN[39]通過預(yù)測核的動態(tài)變化，實現(xiàn)密集紋理區(qū)域采用小尺寸預(yù)測核，平滑紋理區(qū)域采用大尺寸預(yù)測核，在保持PSNR的前提下，圖像的不同區(qū)域均能獲得良好的SSIM還原；AME-KPN[40]將注意力模塊整合到KPN模型中，輸出每個像素的空間自適應(yīng)核、殘差圖和權(quán)重圖，細(xì)化特征圖并利用圖像連拍中的幀間和幀內(nèi)冗余，以達(dá)到更好的降噪質(zhì)量。近期的進(jìn)展還包括NTIRE-BSRC[41]出現(xiàn)于NTIRE 2022挑戰(zhàn)賽，它展示了超分辨率技術(shù)在多幀降噪的應(yīng)用，特別是在低分辨率和高噪聲環(huán)境下的應(yīng)用；NERF-BSRC[42]方法利用神經(jīng)輻射場(NeRF)技術(shù)處理低光照和高噪聲條件下的圖像，優(yōu)勢為極端低光下圖像的質(zhì)量恢復(fù)；MM-BSN[43]方法使用多掩碼技術(shù)處理真實世界中的圖像序列，以實現(xiàn)有效的降噪。以谷歌發(fā)布的KPN為代表及其基礎(chǔ)上改進(jìn)的一系列算法，特別適用于處理現(xiàn)實水利工程條件下，噪聲模式復(fù)雜且多變，環(huán)境光不充足時的圖像。

4 案例研究

通過本次案例研究，我們旨在評估基于深度學(xué)習(xí)的單幀和多幀降噪算法在實際應(yīng)用中的表現(xiàn)，特別是在復(fù)雜的自然環(huán)境和挑戰(zhàn)性的光照條件下。我們期望這項研究能夠為水文監(jiān)測、水質(zhì)污染物識別和環(huán)境保護(hù)等領(lǐng)域提供更有效的圖像數(shù)據(jù)源，從而提升這些領(lǐng)域的識別、分類模型的應(yīng)用效果。

4.1 數(shù)據(jù)收集

實驗的第一步是收集大量的弱光圖像數(shù)據(jù)，這些數(shù)據(jù)將來源于不同時間段(如日出前后和日落時分)以及不同天氣條件(如陰天、霧天)下的江河湖海等流動水面。為了確保數(shù)據(jù)的多樣性和代表性，我們將使用多種類型的攝像頭和傳感器進(jìn)行圖像捕獲，包括無人機(jī)搭載的攝像頭和固定的監(jiān)控攝像頭。這些設(shè)備將提供單幀和多幀圖像，以供后續(xù)的降噪處理和分析。

參考Intel實驗室“Learning to See in the Dark”[44]中(SID)數(shù)據(jù)集的方式來生成我們案例研究的測試數(shù)據(jù)集。SID數(shù)據(jù)集包含5094張原始短曝光圖像，使用索尼A7SII和富士X-T2兩臺相機(jī)拍攝。SID數(shù)據(jù)集中，每一組各檔ISO的弱光噪聲圖像都有對應(yīng)的長曝光參考(ground truth)圖像。噪聲圖像和相應(yīng)的參考圖像在水利工程的江河湖海是多樣化的，為了保證圖像的質(zhì)量，參考圖像是以噪聲圖像100～300倍的曝光時間拍攝的：即10～30 s。由于參考圖像的曝光時間必然較長，因此SID數(shù)據(jù)集中的所有場景都是靜態(tài)的。

在案例研究中，采用無人機(jī)進(jìn)行江河圖像的拍攝。由于飛行震動，無人機(jī)的穩(wěn)定性較差，無法采用SID數(shù)據(jù)集的方式：直接把索尼α7S II等相機(jī)固定在三腳架進(jìn)行穩(wěn)定，拍攝100～300倍曝光時間的參考圖像，因此采用不同的方法來生成測試數(shù)據(jù)集，以評估不同降噪算法在江河湖海等流動水面場景下的弱光圖像處理效果。首先，使用Dji Mavic 3 Mini無人機(jī)在江河湖海的上空捕獲大量弱光圖像，Dji Mavic 3 Mini的圖像CMOS傳感器較小(1/2.5英寸)，與很多水利工程中的攝像頭CMOS尺寸相近，很容易獲得質(zhì)量不高的噪聲圖像。這些圖像覆蓋多種低光照條件，包括清晨、傍晚以及陰天或霧天等環(huán)境，確保數(shù)據(jù)集的多樣性和實際應(yīng)用場景的代表性。

為了在無人機(jī)飛行條件下獲得高質(zhì)量的參考圖像(Ground Truth)，選用了Dji Inspire 3及其搭載的蟬思相機(jī)進(jìn)行拍攝。由于Dji Inspire 3的傳感器尺寸(4/3英寸)遠(yuǎn)大于Dji Mavic 3 Mini(1/2.5英寸)，其面積約為后者的11倍，因此在相同的低光照條件下，Inspire 3所需的曝光時間會比SID數(shù)據(jù)集中的參考圖像少得多。這一點非常符合無人機(jī)拍攝的實際工況，能夠在遠(yuǎn)小于噪聲圖100倍曝光時間的條件下，拍攝出足夠質(zhì)量的參考圖像。

圖1 江河場景的參考及噪聲示意

4.2 評估標(biāo)準(zhǔn)

在水利工程領(lǐng)域，圖像識別和分類模型的準(zhǔn)確率受到PSNR[45](峰值信噪比)和SSIM(結(jié)構(gòu)相似性指數(shù))這兩個圖像質(zhì)量指標(biāo)的顯著影響。例如，在大壩裂縫識別、水面污染物識別和水面漂浮物分類等應(yīng)用中，模型的性能高度依賴于輸入圖像的質(zhì)量。高PSNR值意味著圖像中的噪聲水平較低，低噪聲圖片可以清晰地展示裂縫的形狀、大小或污染物的顏色和紋理。圖像中的噪聲如果過高，可能會掩蓋或扭曲這些關(guān)鍵特征，從而降低模型在識別和分類任務(wù)中的準(zhǔn)確性。PSNR采用下式計算：

(2)

式中，分母為MSE均方誤差的計算公式，反映的是降噪圖像與參考圖像的像素之間的差異。M、N為圖像的像素長度、像素寬度，B為圖像的動態(tài)范圍DR，B=2n-1，n表示像素的動態(tài)范圍的深度，即8bit圖像的255級亮度。

同樣，SSIM作為衡量圖像與原始場景結(jié)構(gòu)相似度的指標(biāo)，在水利工程的圖像處理中也扮演著關(guān)鍵角色。高SSIM值表明圖像在結(jié)構(gòu)、亮度和對比度方面與原始場景高度一致，這對于模型來說是學(xué)習(xí)和分析水面環(huán)境中各種物體和現(xiàn)象的重要基礎(chǔ)。例如，在水面漂浮物分類任務(wù)中，圖像的視覺質(zhì)量直接影響模型對不同類別物體的判別能力。SSIM采用下式計算：

(3)

式中：

ux，uy——圖像像素矩陣中x，y的平均值；

σx，σy——像素矩陣中x，y的標(biāo)準(zhǔn)差；

σxy——圖像矩陣中x，y的協(xié)方差；

D1，D2——是一個常量，它們的作用為穩(wěn)定比值。

4.3 案例實驗

在案例研究中，第三步驟是進(jìn)行實際的降噪實驗。在收集了大量的弱光圖像數(shù)據(jù)并確定了PSNR和SSIM作為評估標(biāo)準(zhǔn)之后，將這些圖像輸入到主流的單幀降噪和多幀降噪模型中，以評估其在實際應(yīng)用場景中的表現(xiàn)。這一步驟的核心目的是比較和分析不同降噪技術(shù)在處理低光照條件下江河湖海等流動水面場景的效果。

在實驗過程中，將使用如KPN、L-KPN、MM-BSN、AME-KPN等多幀降噪算法，以及一些經(jīng)典的單幀降噪算法。這些算法將被用來處理我們收集的弱光圖像，目的是降低圖像噪聲，同時盡可能保留重要的細(xì)節(jié)和特征，如水面紋理、污染物的形狀和顏色等。通過對比降噪前后的圖像，使用PSNR和SSIM指標(biāo)來量化降噪效果，從而客觀評估每種算法的性能。

4.3.1江河場景

江河場景使用Dji Mavic 3 Mini無人機(jī)在江河的上空拍攝傍晚時分的弱光圖像，江河的水流緩慢流動，對多幀降噪的圖像對齊具有一定的要求，拍攝8～16幀為一組的同參數(shù)圖像作為多幀降噪模型的輸入。參考圖像由Dji Inspire 3及其搭載的蟬思相機(jī)進(jìn)行拍攝。

江河場景實驗結(jié)果如圖1～圖3及表1所示。多幀降噪算法如KPN、AME-KPN和MM-BSN在稀疏紋理區(qū)域(如流動水面)及密集紋理區(qū)域(如岸邊樹木建筑)的PSNR和SSIM指標(biāo)都較高，這表明它們能夠更有效地從多幀圖像中提取信息，實現(xiàn)較好的降噪效果。相比之下，單幀降噪算法如BM3D、BRDNet在這些指標(biāo)上的表現(xiàn)相對較差，部分原因可能是由于單幀處理無法聚合多個圖像幀中的信息，從而物理上接收的光子信息量較少。在處理如江河湖海這樣的動態(tài)紋理場景時，因為這些場景中的細(xì)節(jié)和紋理信息特別豐富，因此，在光線不足的條件下，多幀算法通過累積多個圖像幀的信息來提升降噪性能，多幀的光信息量具有一定的優(yōu)勢，而單幀算法則受限于單個圖像幀的光信息，無法獲得更好的降噪效果。由于江河的水流動態(tài)較為緩慢，因此，多幀降噪的SSIM并未受到幀間對齊的影響，依然高于單幀降噪。在單幀降噪中，基于機(jī)器學(xué)習(xí)的BRDNet效果仍優(yōu)于BM3D。

圖3 典型的單幀降噪和多幀降噪算法稀疏紋理區(qū)域表現(xiàn)示意

表1 典型降噪模型在江河場景的性能表現(xiàn)

4.3.1湖泊場景

湖泊場景使用Dji Mavic 3 Mini無人機(jī)在湖泊的上空拍攝夜晚的弱光圖像，湖泊的水面基本靜止，拍攝8～16幀為一組的同參數(shù)圖像作為多幀降噪模型的輸入。參考圖像由Dji Inspire 3及其搭載的蟬思相機(jī)進(jìn)行拍攝。

江河場景實驗結(jié)果如圖4～圖6及表2所示。KPN、AME-KPN等多幀降噪算法在稀疏紋理區(qū)域(湖泊靜止的水面)的PSNR和SSIM指標(biāo)遠(yuǎn)高于單幀降噪算法。這表明當(dāng)拍攝對象靜止時，多幀圖像更為容易對齊，因此多幀算法在降噪同時保留細(xì)節(jié)方面更加有效，尤其是在低光照環(huán)境中。單幀算法如BM3D在密集紋理區(qū)域的性能相對較差，這可能是因為它們?nèi)狈ψ銐虻男畔硖幚磉@些區(qū)域的復(fù)雜紋理。多幀算法通過利用多個圖像幀提供的額外信息，在提高降噪效果的同時更好地保留了圖像的紋理和細(xì)節(jié)。

圖4 湖泊場景的參考及噪聲示意

圖5 典型的單幀降噪和多幀降噪算法密集紋理區(qū)域表現(xiàn)示意

圖6 典型的單幀降噪和多幀降噪算法稀疏紋理區(qū)域表現(xiàn)示意

表2 典型降噪模型在江河場景的性能表現(xiàn)

5 結(jié)語

在水利工程領(lǐng)域的應(yīng)用中，圖像質(zhì)量是提高圖像識別和分類模型準(zhǔn)確率的關(guān)鍵因素?；谏疃葘W(xué)習(xí)的單幀及多幀降噪技術(shù)能夠通過整合多個連續(xù)幀的信息來提高PSNR和SSIM值，這對于江河、湖泊等場景的圖像處理尤為重要。由于這些場景往往存在光照不足或是動態(tài)變化的情況，多幀降噪通過累積更多的光子信息，能夠在保留關(guān)鍵特征如裂縫形狀、污染物顏色和紋理的同時，有效降低噪聲水平，從而產(chǎn)生清晰度更高、質(zhì)量更好的圖像。

單幀降噪技術(shù)由于僅處理單個圖像，其性能在光照不足或復(fù)雜場景下的表現(xiàn)不如多幀降噪。單幀降噪在計算上更為高效，適用于需要快速響應(yīng)的場合，但由于缺乏足夠的光子信息累積，難以達(dá)到多幀降噪技術(shù)在PSNR和SSIM上的表現(xiàn)。因此，在有條件進(jìn)行多幀圖像采集時，對于圖像質(zhì)量要求較高的水利工程應(yīng)用，如大壩裂縫識別和水面污染物分類中，多幀降噪更能有效提升模型的識別和分類準(zhǔn)確率。

盡管單幀降噪在PSNR和SSIM上的表現(xiàn)較弱，但由于神經(jīng)網(wǎng)絡(luò)對環(huán)境特征及訓(xùn)練集采用的傳感器性質(zhì)具有強(qiáng)大的學(xué)習(xí)的能力，基于深度學(xué)習(xí)的單幀降噪仍取得了相對BM3D等傳統(tǒng)算法的顯著進(jìn)步，在不便于采用多幀降噪的場景下，仍具有良好的應(yīng)用前景。

總體而言，深度學(xué)習(xí)技術(shù)通過學(xué)習(xí)大量的圖像數(shù)據(jù)，對于多幀降噪，它可以有效地整合多個圖像幀的信息，提取更多的細(xì)節(jié)和降低噪聲；對于單幀降噪，通過其強(qiáng)大的特征提取能力，即便在僅有單一圖像的情況下也能最大化地恢復(fù)原始圖像的結(jié)構(gòu)和紋理信息。深度學(xué)習(xí)的應(yīng)用顯著提高了圖像降噪模型性能，進(jìn)而提高了水利工程中依賴圖像輸入進(jìn)行識別、分類的各個模型在實際應(yīng)用中的可靠性和準(zhǔn)確性。