繆 斯，祝永新

（中國科學(xué)院上海高等研究院，上海 201210）

0 概述

圖像盲去模糊是在運動軌跡未知的情況下將模糊圖像轉(zhuǎn)變?yōu)榍逦鷪D像的過程，在生活和安防等領(lǐng)域有廣泛的應(yīng)用，例如修復(fù)拍攝時因手抖而模糊的照片，以及去除監(jiān)控中物體的運動模糊，提升監(jiān)控清晰度。圖像模糊分為兩種：均勻模糊和非均勻模糊。若圖像的各個像素運動軌跡相同（例如相機抖動），則稱為均勻模糊，反之若像素的運動軌跡不同（例如物體移動），則稱為非均勻模糊。

傳統(tǒng)的圖像去模糊方法，例如基于零范數(shù)先驗［1-2］、暗通道先驗［3-4］和LMS 自適應(yīng)［5］的算法，通過交替估計清晰圖像和模糊軌跡去模糊。其中，模糊軌跡通常使用一個二維的卷積核表示。這種方法去除大面積的均勻模糊有很好的效果。然而，真實世界中的模糊大部分是非均勻的，使用二維的卷積核表示非均勻的模糊軌跡會有較大的誤差，因此傳統(tǒng)算法在去除非均勻模糊時表現(xiàn)欠佳。

近年來，神經(jīng)網(wǎng)絡(luò)的方法在圖像復(fù)原領(lǐng)域的應(yīng)用取得了較大進展。文獻［6］提出使用深度學(xué)習(xí)的方法提取特征圖，再利用模糊圖像和清晰圖像的特征圖估算模糊核。此后一些研究者開始探索不需要模糊核估計的端到端卷積神經(jīng)網(wǎng)絡(luò)。文獻［7］提出了一個簡單的全卷積網(wǎng)絡(luò)用于去除文本圖像的模糊。文獻［8］提出了一個多層的神經(jīng)網(wǎng)絡(luò)并將其運用于自然圖像處理。文獻［9］提出了基于LSTM［10］的多層神經(jīng)網(wǎng)絡(luò)。文獻［11］提出了DeblurGAN，一種基于對抗生成網(wǎng)絡(luò)（GAN）［12］的去模糊神經(jīng)網(wǎng)絡(luò)。盡管這些研究取得了不錯的實驗結(jié)果，但神經(jīng)網(wǎng)絡(luò)的訓(xùn)練仍然是一個難題，研究人員必須通過海量實驗選取最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。為解決該問題，一些研究者開始探索通過神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)自動搜索出一個優(yōu)質(zhì)的去模糊神經(jīng)網(wǎng)絡(luò)。

Google公司最早提出基于強化學(xué)習(xí)的NASNet［13］用于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索。NASNet 使用LSTM 作為控制器用于生成目標(biāo)的網(wǎng)絡(luò)結(jié)構(gòu)，并用目標(biāo)網(wǎng)絡(luò)在驗證集上的誤差作為損失函數(shù)訓(xùn)練控制器。然而，NASNet 每生成一個目標(biāo)網(wǎng)絡(luò)都必須通過完整訓(xùn)練并測試該目標(biāo)網(wǎng)絡(luò)來評價該網(wǎng)絡(luò)的質(zhì)量，這嚴(yán)重降低了NASNet 的搜索速度。NASNet 需要500 塊GPU訓(xùn)練28 天才能在CIFAR10 數(shù)據(jù)集上取得不錯的實驗結(jié)果。為了加快訓(xùn)練速度，文獻［14］提出可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（DARTS）。DARTS 將網(wǎng)絡(luò)結(jié)構(gòu)變?yōu)榭晌⒎值膮?shù)，使得網(wǎng)絡(luò)的訓(xùn)練和架構(gòu)的調(diào)優(yōu)能夠同時進行，能夠一邊訓(xùn)練一邊評價直至收斂，因此DARTS 可以在4 小時內(nèi)在CIFAR10 上搜索出性能超過ResNet［15］的網(wǎng)絡(luò)。

目前，DARTS 多用于圖像分類問題，如行為識別［16］，圖像識別［17-19］等，尚未應(yīng)用于圖像去模糊領(lǐng)域。這是因為分類問題輸出的維度較少（僅為類別數(shù)），使用少于20 個卷積層的神經(jīng)網(wǎng)絡(luò)（如VGG16［20］）就可以取得不錯的效果，使用過深的神經(jīng)網(wǎng)絡(luò)反而容易過擬合。而圖像去模糊問題對圖像細節(jié)要求高，淺層神經(jīng)網(wǎng)絡(luò)無法清晰地恢復(fù)模糊圖像的細節(jié)，因此圖像去模糊一般使用超深的神經(jīng)網(wǎng)絡(luò)，例如SRN-DeblurNet［9］和DeblurGAN［11］都擁有超過60 個卷積層。因此，將可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)應(yīng)用于圖像去模糊領(lǐng)域的難度顯著大于應(yīng)用于分類問題。此外，由于最初的DARTS 只考慮了分類問題，其搜索空間是專門為分類問題而設(shè)計的，輸出是維度等于類別數(shù)的向量而不是圖像，因此，DARTS 的搜索空間不能直接用于圖像去模糊。

本文將DARTS 應(yīng)用于圖像去模糊領(lǐng)域，提出U型殘差搜索空間，并將搜索空間分割為9 個不同分辨率的單元，通過多尺度結(jié)構(gòu)有效地提取圖像在不同分辨率上的特征，并通過殘差結(jié)構(gòu)加快訓(xùn)練和搜索的速度。最終將本文方法與UNet［21］、DeblurGAN等模型進行對比實驗驗證。

1 可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索

超邊結(jié)構(gòu)是可微分神經(jīng)網(wǎng)絡(luò)（DARTS）算法的核心，其基本結(jié)構(gòu)如圖1 所示。

圖1 超邊結(jié)構(gòu)的抽象圖Fig.1 Illustration of the superedge structure

超邊結(jié)構(gòu)包括n種可能的操作和n個結(jié)構(gòu)參數(shù)。假設(shè)x為張量，θ為神經(jīng)網(wǎng)絡(luò)的參數(shù)，簡稱“網(wǎng)絡(luò)參數(shù)”（如卷積核張量或全連接層矩陣），f1（x，θ），f2（x，θ），…，fn（x，θ）為n種可微分的運算（如普通卷積，空洞卷積和恒同映射），DARTS 的目標(biāo)是在這n個運算中選取最優(yōu)的操作。DARTS 引入n個結(jié)構(gòu)參數(shù)a1，a2，…，an并用Softmax 函數(shù)歸一化，如式（1）所示：

定義輸出y為f1（x，θ），f2（x，θ），…，fn（x，θ）的凸組合如式（2）所示：

DARTS 的搜索策略如圖2 所示。

圖2 DARTS 的搜索流程Fig.2 Overview of the searching process of DARTS

由圖2 可以看出，DARTS 算法的優(yōu)點是可以一邊訓(xùn)練網(wǎng)絡(luò)參數(shù)，一邊優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，而無需等到訓(xùn)練完成后再調(diào)優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，這顯著減少了優(yōu)化時間。

2 基于DARTS 的圖像盲去模糊方法

2.1 U 型殘差搜索空間

結(jié)合式（1）與式（2）定義超邊，再將這些超邊組成一個神經(jīng)網(wǎng)絡(luò)，這個由超邊組成的神經(jīng)網(wǎng)絡(luò)稱為“搜索空間”。如圖3 所示。

圖3 提出的U 型殘差搜索空間Fig.3 The proposed U-Shape search space

每條超邊包括多種運算，因此，DARTS 算法比較消耗內(nèi)存。和圖像分類不同的是，為了達到較好的實驗效果，圖像去模糊的神經(jīng)網(wǎng)絡(luò)一般比較大，因此無法做到神經(jīng)網(wǎng)絡(luò)的每兩個數(shù)據(jù)節(jié)點都有超邊連接，搜索一個圖像去模糊的神經(jīng)網(wǎng)絡(luò)難度也遠大于搜索一個分類網(wǎng)絡(luò)。

基于分治的思路，本文將搜索空間分為9 個單元3 個分辨率尺度，每個分辨率尺度由3 個單元組成，不同分辨率尺度之間使用圖3 所示U 型殘差結(jié)構(gòu)串聯(lián)。單元內(nèi)部使用自定義的搜索空間。這樣設(shè)計充分考慮了各分辨率尺度的信息。最高分辨率尺度中的3 個單元C1、C2、C3 有64 個特征圖，中等分辨率尺度的3 個單元C4、C5、C6 有128 個特征圖，最低分辨率尺度中的三個單元有C7、C8、C9 有256 個特征圖。較高分辨率的圖像長寬均為較低分辨率圖像的2 倍。在相同分辨率的張量之間使用跳躍連接。每個單元后都使用ReLU激活函數(shù)。盡管9 個單元的搜索空間是相似的，但訓(xùn)練完成后每條超邊的結(jié)構(gòu)參數(shù)可能互不相同，因此，訓(xùn)練結(jié)束后，即使在同一分辨率上，不同的單元可能搜索到不同的網(wǎng)絡(luò)結(jié)構(gòu)。

每個單元包括6 個數(shù)據(jù)節(jié)點和8 條超邊。每條超邊有5 種可能的操作：1）恒同連接；2）普通卷積，卷積核尺寸3×3；3）普通卷積，卷積核尺寸5×5；4）空洞卷積，卷積核尺寸3×3，膨脹系數(shù)為1；5）普通卷積，卷積核尺寸1×1。由于內(nèi)存限制，本文所選用的大多數(shù)為小卷積核。每個單元的設(shè)計如圖4 所示。

圖4 搜索單元的定義Fig.4 Definition of our proposed search cell

x是單元的輸入，E1～E8為該單元的8 條超邊，輸出y如式（3）所示。

2.2 損失函數(shù)和訓(xùn)練過程

本文使用均方損失函數(shù)，即比較復(fù)原后圖像和基準(zhǔn)圖像的均方誤差。設(shè)模糊圖像為B，結(jié)構(gòu)參數(shù)為a，網(wǎng)絡(luò)參數(shù)為θ，復(fù)原后圖像為I，基準(zhǔn)圖像為Igt，神經(jīng)網(wǎng)絡(luò)為f，則損失函數(shù)Loss 如式（4）所示：

基于本文提出的U 型殘差搜索空間可以在顯存僅8GB 的NVIDIA GPU 上訓(xùn)練，所選用的優(yōu)化器為Adam［22］。結(jié)構(gòu)參數(shù)和網(wǎng)絡(luò)參數(shù)采用不同的學(xué)習(xí)率。結(jié)構(gòu)參數(shù)的初始學(xué)習(xí)率為0.002 5，網(wǎng)絡(luò)參數(shù)的初始學(xué)習(xí)率為0.000 1。訓(xùn)練總共進行50 輪，每輪訓(xùn)練完畢后網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)參數(shù)的學(xué)習(xí)率均變?yōu)樯弦惠唽W(xué)習(xí)率的0.96，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的框架是PyTorch 1.0。

由于圖像去模糊的公開訓(xùn)練集較少（例如GOPRO 數(shù)據(jù)集只包括2 103 張訓(xùn)練圖像），圖2 所示的訓(xùn)練流程在GOPRO 數(shù)據(jù)集上收斂到的結(jié)果較差，因此本文使用自己生成的模糊圖像作為訓(xùn)練集和驗證 集。從MSCOCO［23］數(shù) 據(jù)集中選取 了56 000 張 圖像，40 000 張作為訓(xùn)練集，16 000 張作為驗證集。對每一張圖像I，采用基于隨機游走的算法（算法1）隨機生成正方形模糊核k，k的邊長從［7，75］中的奇數(shù)隨機采樣。算法1 的思路是，定義一個游標(biāo)（x，y），從模糊核中的任意一點出發(fā)，隨機選取運動角度α并更新游標(biāo)位置（算法1 第4 步）。在游標(biāo)所在的位置處，使用雙線性插值更新模糊核（算法1 第5 步）。最后更新運動角度α（算法1 第6 步）。生成模糊核后，使用式（5）生成模糊圖像B：

其中：?為卷積運算。

算法1基于隨機游走的模糊核生成算法

輸入模糊核邊長N（N是奇數(shù)），步長S

輸出模糊核k（N×N二維矩陣）

使得模糊核k 中的元素和為1

由算法1 生成的模糊核和得到的模糊圖像如圖5所示。

圖5 由算法1 生成的模糊核和模糊圖像Fig.5 The blur kernel and the blurred image generated by algorithm1

在算法1 中，步長S是一個［300，500］之間的隨機整數(shù)。算法1 采取雙線性插值時在一臺I7 CPU的PC 機上生成一張256×256 的圖像平均耗時約0.50 s。通過實驗發(fā)現(xiàn)，使用最近鄰插值取代算法1 步驟5 中的雙線性插值可以將生成時間從0.50 s降到約0.40 s，且兩種插值之間的訓(xùn)練效果差別可以忽略不計。最近鄰插值法在GOPRO 數(shù)據(jù)集上PSNR 為28.56/0.871，和雙線性插值的28.55/0.873較為接近。

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)集

為了客觀評價本文的方法，使用兩個公開的數(shù)據(jù)集Kohler［24］和GOPRO［8］作為測試集。Kohler 是一個仿真數(shù)據(jù)集，數(shù)據(jù)集包括由4 個原始圖像和12 個卷積核生成的48 張分辨率為800 像素×800 像素的模糊圖像，模糊類型均為均勻模糊。GOPRO 數(shù)據(jù)集包括真實拍攝的1 111 個分辨率為1 280 像素×720 像素的模糊圖像，模糊類型為非均勻模糊。

本文采用兩種客觀的圖像評價指標(biāo)：峰值信噪比PSNR 和結(jié)構(gòu)相似度SSIM［25］。為充分體現(xiàn)搜索得到的網(wǎng)絡(luò)的性能，本文選取了近年來在頂級會議/期刊上發(fā)表的論文中具有較高PSNR 與SSIM 的模型作為比較對象。此外，文獻［26］指出，雖然這兩個評價指標(biāo)在絕大多數(shù)情況下非常重要，但有時具有較好視覺效果的圖像未必在PSNR 和SSIM 指標(biāo)上表現(xiàn)出色。因此，本文也和一些經(jīng)典算法比較了去模糊的視覺效果。

3.2 實驗結(jié)果

在GOPRO 數(shù)據(jù)集上的實驗結(jié)果如表1 所示。在Kohler 數(shù)據(jù)集上的實驗結(jié)果如表2 所示。

表1 GOPRO 數(shù)據(jù)集上的實驗結(jié)果Table 1 Experimental results on the GORPO dataset

表2 Kohler 數(shù)據(jù)集上的實驗結(jié)果Table 2 Experimental results on the Kohler dataset

在GOPRO 數(shù)據(jù)集上，本文方法和UNet、暗通道先驗的去模糊效果比較如圖6 所示。在Kohler數(shù)據(jù)集上，本文方法和UNet、DeblurGAN的去模糊效果比較如圖7 所示。為了增加實驗效果的說服力，本文方法和當(dāng)前最好的模型DeblurGAN 的比較結(jié)果如圖8所示。使用算法1 對數(shù)據(jù)集擴增前的視覺效果對比如圖9 所示。本文方法相對于UNet，在性能與搜索過程的自動化程度方面有巨大提升，同時運行速度與LINet 只相差0.02 s。本文方法與UNet方法的視覺效果對比如圖10 所示。

圖6 GOPRO 數(shù)據(jù)集上的視覺效果比較Fig.6 Visual quality comparisons on the GOPRO dataset

圖7 Kohler 數(shù)據(jù)集上的視覺效果比較Fig.7 Visual quality comparisons on the Kohler dataset

圖8 本文方法與DeblurGAN 的視覺效果對比Fig.8 Visual comparisons between the proposed method and DeblurGAN

圖9 使用算法1 進行數(shù)據(jù)集擴增前后視覺效果對比Fig.9 Effectiveness of data augmentation using algorithm 1

圖10 本文方法與UNet 的視覺效果對比Fig.10 Visual comparisons between the proposed method and UNet

本文搜索得出的網(wǎng)絡(luò)和開源模型的運行時間比較結(jié)果如表3 所示。

表3 模型在分辨率為800 像素×800 像素的圖像上的運行時間Table 3 Running time on an image of resolution 800×800 pixel

3.3 實驗結(jié)果分析

從表1 和表2 可以看出，基于可微分神經(jīng)網(wǎng)絡(luò)搜索技術(shù)（DARTS）搜索得到的神經(jīng)網(wǎng)絡(luò)，在去模糊領(lǐng)域兩個知名公開數(shù)據(jù)集GOPRO 和Kohler 上的表現(xiàn)優(yōu)于基于暗通道先驗的經(jīng)典方法，峰值信噪比相對于基線模型UNet 分別提升3.10 dB 和1.17 dB，與當(dāng)前最先進的DeblurGAN 性能基本相當(dāng)。

從圖6 和圖7 看出，本文提出的方法有較好的視覺效果。如圖6 的第1 行所示，原始圖像文字部分的模糊非常嚴(yán)重，使用UNet［21］和暗通道先驗［4］算法，均無法看清圖像中的文字，使用本文的算法，圖像中的“ISTANBUL”和“SANAT”字樣依稀可見。圖6的第2行展示了一個模糊的車輛，使用文獻［21］和［4］算法均產(chǎn)生了明顯的振鈴偽影，而使用本文的算法可以較清晰地恢復(fù)出車輛的輪廓和車牌信息。從圖7 可以看出，使用本文的算法可以更清晰地恢復(fù)教堂的細節(jié)。從圖8第2 行可以看出，本文的算法可以從非常模糊的圖像中部分恢復(fù)出人臉，而DeblurGAN 完全無法恢復(fù)鏡頭前的人臉。

由表3 可知，本文搜索得到的網(wǎng)絡(luò)測試一張分辨率為800 像素×800 像素的圖像僅需要0.40 s，顯著小于DeblurGAN［28］。這表明本文的結(jié)構(gòu)不僅有不錯的去模糊效果，而且具有較快的運行速度。

雖然DeepDeblur［8］和暗通道先驗方法［4］在Kohler數(shù)據(jù)集上的PSNR 超過了本文的算法，但它們的運算時間分別是本文算法的7.175 倍和2 700 倍，由于DeepDeblur 使用了金字塔結(jié)構(gòu)，其測試時間較長。文獻［4］不僅使用了金字塔結(jié)構(gòu)，而且還采用了迭代優(yōu)化，因此很難在GPU 上并行優(yōu)化，只能在CPU 上串行解決，這使得文獻［4］的方法幾乎不可能做到實時。此外，文獻［4］的迭代算法是基于均勻模糊的數(shù)學(xué)模型，而在實際應(yīng)用中模糊一般是非均勻的，因此文獻［4］的實用性并不強。

采用本文方法，搜索得到神經(jīng)網(wǎng)絡(luò)后，重新訓(xùn)練這個神經(jīng)網(wǎng)絡(luò)大概需要一天時間。根據(jù)開發(fā)經(jīng)驗，傳統(tǒng)設(shè)計神經(jīng)網(wǎng)絡(luò)很難一次成功，調(diào)試出一個既好又快的神經(jīng)網(wǎng)絡(luò)大約需要10-15 次嘗試，這需要花費研究人員大量的時間和計算資源。顯然，本文方法對開發(fā)效率有顯著的提升。此外，前人已經(jīng)探索得到了大量的結(jié)構(gòu)（如基于多尺度特征的DeepDeblur［8］，基于對抗生成網(wǎng)絡(luò)的DeblurGAN［11］），然而，通過引入當(dāng)前最先進的可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)（DARTS［14］），并結(jié)合本文設(shè)計的搜索空間，能夠在不經(jīng)過人為干預(yù)的情況下在兩天內(nèi)搜索得到性能和速度不遜于DeepDeblur 和DeblurGAN 的神經(jīng)網(wǎng)絡(luò)，這充分體現(xiàn)了可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)的強大潛力：只要搜索空間的定義合理，可微分神經(jīng)網(wǎng)絡(luò)搜索技術(shù)就可以遷移到圖像分類、分割以外的領(lǐng)域。

3.4 搜索結(jié)果

以圖3 中搜索單元C1 為例，本文方法搜索得到的C1 的結(jié)構(gòu)如圖11 所示。

圖11 搜索得出的單元C1 的結(jié)構(gòu)Fig.11 The structure of C1 searched by the proposed method

圖11 中，超 邊E1、E5、E6為3×3 卷積，超邊E2為5×5 卷積，超邊E3為3×3 空洞卷積，超邊E4為1×1 卷積，超邊E7、E8均為恒同連接（skip-connect）。

在單元C1～C9 中，5 種運算的分布如圖12 所示。

圖12 5 種候選操作的比重分布圖Fig.12 Distribution of the five candidate operations

本文提出的搜索空間總共包括9 個單元，每個單元8 條超邊共計72 條超邊。其中，有2 條恒同連接，11 個3×3 空洞卷積，22 個5×5 卷積，20 個3×3 卷積和17 個1×1 卷積。從圖12 可以看出，5×5 普通卷積占了很大的比重，這是符合預(yù)期的。文獻［29］表明，增大感受野對圖像去模糊等復(fù)原問題有重要作用，而5×5 卷積的感受野較大。恒同連接只有兩個且全部出現(xiàn)在單元C1 中，這也同樣符合預(yù)期，因為恒同連接不能提取特征。

4 結(jié)束語

本文將可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)（DARTS）引入圖像去模糊領(lǐng)域，提出了U 型殘差搜索空間，基于分治的思路，將搜索空間劃分為9 個搜索單元，顯著降低了搜索的計算難度。在不需要人工調(diào)參的情況下搜索得出的網(wǎng)絡(luò)，在GOPRO 和Kohler 數(shù)據(jù)集上，峰值信噪比相對于基準(zhǔn)網(wǎng)絡(luò)UNet分別提升3.10 dB和1.17 dB，與當(dāng)前最先進的DeblurGAN 性能基本相當(dāng)。本文提出的搜索方法簡化了繁重的調(diào)參工作，使得研究人員可以更加集中精力于算法和整體架構(gòu)的設(shè)計。目前，搜索得到的神經(jīng)網(wǎng)絡(luò)較深，只能在性能強大的服務(wù)器上實驗，難以在移動設(shè)備上測試。下一步將結(jié)合神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索與神經(jīng)網(wǎng)絡(luò)量化、剪枝等技術(shù)，同時引入低延遲模塊，以搜索出一個可在移動端使用的輕量去模糊神經(jīng)網(wǎng)絡(luò)。