江齊，蔡若君，葉武劍，劉怡俊，李海濤，何雯軒，劉峰

（1.廣東工業(yè)大學(xué)，廣州 510006；2.廣東訊通科技股份公司，廣州 510030；3.南京郵電大學(xué)圖像處理與圖像通信重點實驗室，南京 210046）

0 引言

隨著智能時代的快速發(fā)展，如今手機、攝像機已經(jīng)存在于千家萬戶，這樣就導(dǎo)致大量的視頻存在。但這些拍攝的視頻很多由于天氣的云霧情況與四周環(huán)境的原因，導(dǎo)致視頻內(nèi)容可能存在著雨霧的遮擋[1]。有很多傳統(tǒng)的方法也能實現(xiàn)些許的去雨霧，傳統(tǒng)的關(guān)于視頻圖像去雨霧技術(shù)主要采用自適應(yīng)容差的方法，通過分離圖像內(nèi)容和背景[2]，對其分別研究可以達到去除雨霧的效果[7]。

然而傳統(tǒng)的方法需要對視頻內(nèi)容進行大量的處理，這樣導(dǎo)致處理的時間會很久，不能達到實時的視頻處理。同時對視頻圖像內(nèi)容的處理容易使圖片的完整性遭到破壞，不能很好地保持內(nèi)容的原始性。

為了能更好地得到視頻內(nèi)容的去雨霧的效果，本文使用U-GAN的卷積神經(jīng)網(wǎng)絡(luò)[5]作用于含雨霧的視頻圖像，可以得到很好的去雨霧效果，同時能很好地保存視頻的完整性。而由于如今神經(jīng)網(wǎng)絡(luò)在因為GPU的快速發(fā)展，處理速度得到極速提升，能很好地滿足視頻關(guān)于圖像的處理的速度，以達到能夠?qū)崟r處理的效果。

1 相關(guān)工作

視頻圖像處理作用于模糊圖像在很早之前就有存在了，對于雨霧現(xiàn)象的圖像處理更是屢見不鮮，在這些基于各種原理的圖像去雨霧技術(shù)能夠?qū)崿F(xiàn)一定的去雨霧的效果。

傳統(tǒng)算法中關(guān)于圖像的去雨霧方法中基于圖像增強技術(shù)[2]的去霧方法是通過改變圖片的明亮程度和對比度來改善圖片的視覺效果，這種方法能在一定程度上提高雨霧天視頻圖像內(nèi)容的清晰度，但是該方法在真實操作可能會大范圍影響圖片的顯示效果，使視頻的視覺效果遭到破壞。去雨的算法有從視頻圖像出發(fā)的，通過建立雨滴在視頻圖像中的成像模型，達到去除雨滴的目的。在文獻[3]中采用圖像高頻部分幾何分量的去雨方法[3]，首先使用平滑濾波做圖像分解，得到雨圖像的高頻部分；然后結(jié)合稀疏表示與近鄰傳播算法分離出圖像高頻部分的雨分量，用圖像的高頻部分減去雨分量并做平滑處理，以此作為幾何分量；此外，對稀疏表示過程得到的字典進行再分類，完善雨分量與非雨分量的區(qū)分，最后完成圖像恢復(fù)。

同時在以往的工作中也存在著基于深度學(xué)習(xí)的方法對雨霧圖像進行處理，在以往的這些辦法中僅僅只能對單一的雨圖或者霧圖進行圖像的去雨[4]和去霧的圖像增強。

而在現(xiàn)實的視頻圖像中很多都是雨霧同時存在，所以本方法運用GAN網(wǎng)絡(luò)的模型，使用U-GAN算法對視頻內(nèi)容進行整體處理，通過卷積神經(jīng)網(wǎng)絡(luò)對雨霧圖進行圖像特征的提取與處理，以達到同時能去雨與去霧的圖像的增強[10]。

2 基于GAN網(wǎng)絡(luò)的監(jiān)控視頻去雨霧的增強技術(shù)

我們都了解，對于視頻的處理大多都是對視頻進行視頻幀先提取，然后再進行逐幀處理，最后還原成視頻。這樣處理能降低視頻處理的難度，同時達到處理的精確度。本文也是對針對圖像進行處理，再推廣到視頻。

2.1 數(shù)據(jù)預(yù)處理

在運用GAN神經(jīng)網(wǎng)絡(luò)進行圖像處理時首先需要對數(shù)據(jù)圖像進行預(yù)處理[5]，我們通過拍照、搜索等方式獲取現(xiàn)實環(huán)境中大量沒有雨霧的清晰圖像，然后用圖像合成以及各種方法，獲得到清晰圖像對應(yīng)到雨霧圖。將所有圖像一一編碼，形成對應(yīng)。由于我們對圖像要做去雨霧的圖像處理，所以制作數(shù)據(jù)集時存在著大量的雨霧圖，同時按一定的比例在其中存在這只有雨干擾或者只有霧干擾的數(shù)據(jù)集，這樣在訓(xùn)練數(shù)據(jù)時能提高其容錯性及魯棒性[9]。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)集流程圖

該網(wǎng)絡(luò)的數(shù)據(jù)輸入流程如圖1所示，根據(jù)數(shù)據(jù)集的數(shù)量多少通過一定的比例設(shè)置訓(xùn)練集驗證集，將訓(xùn)練集以及驗證集一起輸入到系統(tǒng)中，獲得去雨霧的模型。

圖1 結(jié)構(gòu)流程圖

2.3 模型參數(shù)設(shè)置

GAN代表了一種基于博弈論的生成模型，其中，生成器網(wǎng)絡(luò)與對手競爭。從分類的角度來看，生成器網(wǎng)絡(luò)G產(chǎn)生了一些實例，這些實例積極地試圖“愚弄”鑒別器網(wǎng)絡(luò)工作D，其目標(biāo)是使鑒別器網(wǎng)絡(luò)能夠區(qū)分來自數(shù)據(jù)集的“真實”和生成器網(wǎng)絡(luò)產(chǎn)生的“虛假”[7]。

而原始的GAN網(wǎng)絡(luò)用于處理數(shù)據(jù)是為了得到一個最小最大值：

E代表每個bath_size圖片的均值，D(y|x)代表在將霧圖或者雨圖作為標(biāo)簽時將清晰圖像判別為正確的清晰圖像的概率；D(z|x)代表在將霧圖或雨圖作為標(biāo)簽時將生成圖像判別為正確圖像的概率。

本文由于要處理含模糊雨霧特征的圖像，可能在處理大量數(shù)據(jù)是會有模糊圖像，參考文獻[4]正文本文采用U-GAN的算法，其損失函數(shù)表示如下[4]：

所以，本文采用的算法總損失：

Px'沿著直線定義為樣本來自真正的雙點之間數(shù)據(jù)分布，λGD為其線性參數(shù)；Ll1為兩數(shù)據(jù)集的損失。

設(shè)置參數(shù)調(diào)節(jié)，通過初始化各函數(shù)值，設(shè)置學(xué)習(xí)率以及循環(huán)次數(shù)，通過觀察循環(huán)次數(shù)獲得最理想的模型。

3 實驗結(jié)果

通過2.3實時調(diào)節(jié)參數(shù)，獲得該理想模型，將所需的視頻圖像輸入到模型中，得到所需的清晰圖像：

圖2 圖像雨霧處理結(jié)果

通過結(jié)果圖可以看出該深度學(xué)習(xí)GAN網(wǎng)絡(luò)可以同時處理含雨霧的視頻圖像，達到很好的去雨霧的效果。

4 結(jié)語

視頻圖像的清晰美化效果在現(xiàn)代圖像處理占據(jù)著很大的比重，本文的基于U-GAN網(wǎng)絡(luò)的圖像去雨霧技術(shù)可以同時解決圖像被雨霧遮擋的現(xiàn)象，同時比傳統(tǒng)的圖像處理更加地快速和有效，能更好地保存視頻圖像的完整性，得到更準(zhǔn)確和清晰的圖像。