陳 燦，周 超，張登銀

1.南京郵電大學(xué) 物聯(lián)網(wǎng)學(xué)院，南京 210003

2.南京郵電大學(xué) 通信與信息工程學(xué)院，南京 210003

從數(shù)學(xué)上講，成像系統(tǒng)可以刻畫(huà)為一個(gè)函數(shù)F(?)：X→Y，該函數(shù)將圖像空間域X映射到觀測(cè)空間域Y。因此，經(jīng)由給定成像系統(tǒng)觀測(cè)而來(lái)的退化圖像或測(cè)量值y∈Y可以通過(guò)下式進(jìn)行表示：

其中，ε為噪聲，∈X為原始圖像。圖像逆問(wèn)題聚焦于從經(jīng)由給定系統(tǒng)觀測(cè)而來(lái)的退化圖像或測(cè)量值y中重構(gòu)原始圖像，即y→，是圖像信號(hào)處理領(lǐng)域的研究熱點(diǎn)之一，被成功應(yīng)用于諸如圖像去噪、圖像超分辨率和圖像壓縮感知等低級(jí)視覺(jué)應(yīng)用。

原始圖像與重構(gòu)圖像x*之間的誤差一般可以通過(guò)某種衡量標(biāo)準(zhǔn)H(,x*)來(lái)度量。然而，由于無(wú)法獲得原始圖像，故H(,x*)實(shí)際無(wú)法求得，因此退而求其次，將H(,x*)弱化為H(x*)，通過(guò)測(cè)量域的誤差間接度量：

值得注意的是，公式（2）采用了最小二乘構(gòu)建度量標(biāo)準(zhǔn)，這只是諸多度量標(biāo)準(zhǔn)之一。通過(guò)最小化重構(gòu)誤差即可獲得重構(gòu)圖像：

然而，該最小化問(wèn)題為欠定問(wèn)題，即一個(gè)問(wèn)題對(duì)應(yīng)著多個(gè)解，并且對(duì)輸入數(shù)據(jù)尤為敏感。傳統(tǒng)求解方法通過(guò)引入先驗(yàn)信息，將上述無(wú)約束最優(yōu)化問(wèn)題轉(zhuǎn)化為帶約束的優(yōu)化問(wèn)題，再通過(guò)迭代求解重構(gòu)信號(hào)，該類(lèi)方法也被稱(chēng)為基于分析模型的方法。近年來(lái)，人工智能的發(fā)展推動(dòng)了該領(lǐng)域從基于分析模型的方法到基于深度學(xué)習(xí)的方法的演變，深度學(xué)習(xí)已被成功應(yīng)用于圖像逆問(wèn)題。然而，無(wú)論是基于分析模型的傳統(tǒng)方法還是基于深度學(xué)習(xí)的非傳統(tǒng)方法，充分利用先驗(yàn)信息是成功求解圖像逆問(wèn)題的關(guān)鍵。

信號(hào)或其特征的某些固有性質(zhì)被稱(chēng)為先驗(yàn)信息。研究者圍繞先驗(yàn)信息進(jìn)行了廣泛的探索，提出多種手動(dòng)設(shè)計(jì)的先驗(yàn)信息，例如，稀疏先驗(yàn)[1-4]和去噪先驗(yàn)[5-6]等。然而，這些手動(dòng)設(shè)計(jì)的先驗(yàn)信息在表征具體應(yīng)用場(chǎng)景時(shí)過(guò)于籠統(tǒng)。為了更好地表征具體應(yīng)用場(chǎng)景的先驗(yàn)信息，研究者提出利用深度學(xué)習(xí)的方法，從具體任務(wù)的訓(xùn)練數(shù)據(jù)中自適應(yīng)地學(xué)習(xí)先驗(yàn)信息。

在過(guò)去的幾十年中，研究者對(duì)圖像逆問(wèn)題進(jìn)行了廣泛的探索，取得了一定的成果，但仍面臨著諸多挑戰(zhàn)[7-9]。本文創(chuàng)新性地從如何利用先驗(yàn)信息求解圖像逆問(wèn)題的角度出發(fā)，將領(lǐng)域的研究過(guò)去、現(xiàn)狀總結(jié)歸納為以下三類(lèi)（如圖1 所示）：基于分析模型的方法、基于深度學(xué)習(xí)的方法和混合分析模型和深度學(xué)習(xí)的方法。然后，對(duì)三類(lèi)方法進(jìn)行簡(jiǎn)潔的分析對(duì)比，展望未來(lái)的研究方向。

圖1 圖像逆問(wèn)題研究現(xiàn)狀總覽Fig.1 Overview of state-of-the-art methods in image inverse problems

1 基于分析模型的方法

基于分析模型的方法通過(guò)分析物理過(guò)程設(shè)計(jì)該領(lǐng)域明確的先驗(yàn)信息S(x)，以正則化的方式引入S(x)，將式（3）轉(zhuǎn)化為一個(gè)帶約束的優(yōu)化問(wèn)題：

通過(guò)迭代求解該優(yōu)化問(wèn)題，從退化圖像或測(cè)量值中重構(gòu)原始圖像。從貝葉斯的角度理解，式（4）等價(jià)于求解一個(gè)最大后驗(yàn)估計(jì)問(wèn)題：

其中，p(y|x)為y在給定x情況下的條件概率，通常也被稱(chēng)為似然概率，p(x)為x的先驗(yàn)概率。在實(shí)際應(yīng)用中，通常在式（4）的基礎(chǔ)上引入正則化參數(shù)λ＞0 來(lái)平衡H(x)和S(x)對(duì)解的影響：

值得注意的是，H(x) 獨(dú)立于S(x)，且僅與成像系統(tǒng)F(x)有關(guān)，而S(x)僅與具體應(yīng)用場(chǎng)景的明確先驗(yàn)信息有關(guān)。求解式（6）主要有兩類(lèi)算法，直接求解法和變量分離求解法。

如圖2 所示（I(?)代表一次迭代求解），直接求解法通過(guò)迭代求解式（6）直接進(jìn)行重構(gòu)?；谔荻认陆档乃枷?，文獻(xiàn)[10]提出迭代閾值收縮算法（Iterative Shrinkage Thresholding Algorithm，ISTA），該算法在每次迭代中采用閾值進(jìn)行Landweber 迭代。文獻(xiàn)[11]在ISTA 算法的基礎(chǔ)上，結(jié)合Nesterov 加速策略，提出了快速迭代閾值收縮算法（Fast Iterative Shrinkage Thresholding Algorithm，F(xiàn)ISTA），進(jìn)一步提升了算法的收斂速度。相類(lèi)似的，文獻(xiàn)[12]基于概率圖思想，通過(guò)狀態(tài)演化預(yù)測(cè)下次迭代，并通過(guò)軟閾值迭代進(jìn)行相關(guān)去噪，提出近似消息傳遞算法（Message Passing Algorithm，AMP）。在AMP算法的基礎(chǔ)上，文獻(xiàn)[13]提出D-AMP算法，該算法在迭代過(guò)程中通過(guò)利用適當(dāng)?shù)腛nsager 校正項(xiàng)，迫使每次迭代中的信號(hào)擾動(dòng)接近白高斯噪聲，再利用去噪器進(jìn)行去噪。

圖2 直接求解法Fig.2 Direct methods

為了進(jìn)一步加速算法的收斂，研究者提出利用分離變量算法將單變量的優(yōu)化問(wèn)題轉(zhuǎn)化為多變量的優(yōu)化問(wèn)題，再利用直接求解法迭代求解子優(yōu)化問(wèn)題獲得重構(gòu)圖像，該類(lèi)方法被稱(chēng)為變量分離求解法。以文獻(xiàn)[14]為例，首先將式（6）進(jìn)行改寫(xiě)，將單變量的優(yōu)化問(wèn)題轉(zhuǎn)化為兩個(gè)變量的優(yōu)化問(wèn)題：

再利用交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）[15]將上述優(yōu)化問(wèn)題轉(zhuǎn)化為兩個(gè)子優(yōu)化問(wèn)題：

其中，β為懲罰參數(shù)，u為對(duì)偶變量。相類(lèi)似的，文獻(xiàn)[16]和文獻(xiàn)[17]分別提出NLR-CS 算法和TVAL3 算法用于解決圖像壓縮感知問(wèn)題。除了采用ADMM算法劃分子優(yōu)化問(wèn)題之外，文獻(xiàn)[18]和文獻(xiàn)[19]分別提出利用半二次方分裂算法（Half Quadratic Splitting，HQS）和分離布雷格曼迭代算法（Split Bregman Iteration，SBI）[20]將原優(yōu)化問(wèn)題轉(zhuǎn)化為兩個(gè)子優(yōu)化問(wèn)題，最后利用直接求解法迭代求解兩個(gè)子優(yōu)化問(wèn)題獲得重構(gòu)圖像。

基于分析模型的方法具有可解釋的先驗(yàn)信息，但是由于需多次迭代求解才能獲得較為理想的重構(gòu)結(jié)果，重構(gòu)效率較低。除此之外，這些手動(dòng)設(shè)計(jì)的先驗(yàn)信息并沒(méi)有利用潛在的訓(xùn)練數(shù)據(jù)，在表征具體應(yīng)用場(chǎng)景時(shí)過(guò)于籠統(tǒng)，效果有限。

2 基于深度學(xué)習(xí)的方法

得益于優(yōu)化算法，硬件和大數(shù)據(jù)的發(fā)展，過(guò)去十年見(jiàn)證了深度學(xué)習(xí)的革命。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)任務(wù)上的成功應(yīng)用，研究者開(kāi)始致力于利用深度學(xué)習(xí)解決圖像逆問(wèn)題。與基于分析模型的方法不同，基于深度學(xué)習(xí)的方法無(wú)需利用明確的先驗(yàn)信息建立模型，而是將重構(gòu)問(wèn)題建模成一個(gè)帶參數(shù)的網(wǎng)絡(luò)，通過(guò)最小化損失函數(shù)L(?)，優(yōu)化目標(biāo)參數(shù)，從訓(xùn)練數(shù)據(jù)中自適應(yīng)挖掘先驗(yàn)信息。根據(jù)優(yōu)化目標(biāo)參數(shù)的不同，可以將基于深度學(xué)習(xí)的方法分為基于判別模型的方法和基于生成模型的方法兩類(lèi)。

如圖3所示，基于判別模型的方法旨在直接構(gòu)造一個(gè)判別網(wǎng)絡(luò)，將輸入退化圖像或測(cè)量值y直接映射到輸出原始圖像x，是對(duì)條件概率p(x|y)直接進(jìn)行建模，以網(wǎng)絡(luò)的參數(shù)θ作為優(yōu)化對(duì)象：

圖3 基于判別模型的方法Fig.3 Discriminative model-based methods

如何構(gòu)建具體的網(wǎng)絡(luò)框架，優(yōu)化參數(shù)θ，是該類(lèi)方法的研究重點(diǎn)。文獻(xiàn)[21]首次提出利用多層感知器（Multilayer Perceptron，MLP）進(jìn)行圖像去噪，獲得了與傳統(tǒng)方法相當(dāng)?shù)男阅堋Ｏ囝?lèi)似的，文獻(xiàn)[22]首次提出利用堆疊去噪自編碼器（Stacked Denoising Autoencoder，SDA）作為無(wú)監(jiān)督的特征學(xué)習(xí)器，讓網(wǎng)絡(luò)自適應(yīng)地從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)信號(hào)的結(jié)構(gòu)信息，進(jìn)行圖像壓縮感知重構(gòu)。在文獻(xiàn)[21]的基礎(chǔ)上，文獻(xiàn)[23]提出在去噪網(wǎng)絡(luò)之前進(jìn)行線(xiàn)性均值平移處理，能夠有效增強(qiáng)去噪網(wǎng)絡(luò)的魯棒性。MLP 理論上具有逼近任意函數(shù)的能力，但是往往需要建立足夠大的網(wǎng)絡(luò)，高維的參數(shù)給優(yōu)化和存儲(chǔ)帶來(lái)了巨大的挑戰(zhàn)。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）利用卷積層替換全連接層，能夠有效減少參數(shù)規(guī)模，捕獲圖像的局部相似性，被廣泛應(yīng)用于視頻圖像處理。針對(duì)圖像壓縮感知問(wèn)題，文獻(xiàn)[24]提出一種名為ReconNet的網(wǎng)絡(luò)，先利用該網(wǎng)絡(luò)進(jìn)行初始重構(gòu)，再利用去噪器進(jìn)行后處理得到最終的重構(gòu)結(jié)果。在此基礎(chǔ)上，文獻(xiàn)[25]結(jié)合殘差模塊，提出一種名為DR2-Net的深度殘差卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)一步提升了重構(gòu)質(zhì)量。自編碼器（Autoencoders，AE）作為另一種網(wǎng)絡(luò)框架，由編碼器和解碼器兩部分組成，能夠通過(guò)自監(jiān)督訓(xùn)練，學(xué)習(xí)信號(hào)的特征表示。文獻(xiàn)[26]首次提出利用AE獲得的信號(hào)特征表示進(jìn)行圖像去噪。在此基礎(chǔ)上，文獻(xiàn)[27]通過(guò)堆疊多個(gè)AE，并對(duì)參數(shù)進(jìn)行稀疏約束，進(jìn)一步提高了圖像去噪的效果。相類(lèi)似的，文獻(xiàn)[28]利用AE 進(jìn)行壓縮感知的醫(yī)學(xué)圖像重構(gòu)，有效提高了重構(gòu)效率。相比于MLP、CNN 和AE，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）更適合于處理順序信號(hào)。針對(duì)多測(cè)量向量問(wèn)題，文獻(xiàn)[29]提出利用RNN捕獲稀疏向量之間的未知依賴(lài)關(guān)系。相類(lèi)似的，文獻(xiàn)[30]將CNN 和RNN 進(jìn)行結(jié)合，構(gòu)建了一個(gè)端到端的網(wǎng)絡(luò)，充分挖掘視頻圖像序列的時(shí)空相關(guān)性。

基于判別模型的方法盡管重構(gòu)圖像具有較高的峰值信噪比，但缺乏自然真實(shí)感。研究者結(jié)合判別模型和生成模型提出了生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）[31]，該網(wǎng)絡(luò)利用對(duì)抗博弈思想進(jìn)行訓(xùn)練。訓(xùn)練結(jié)束后，生成模型就能夠?qū)⑵漭斎肟臻g中的任何點(diǎn)轉(zhuǎn)換為一張真實(shí)可信的圖像。因此，基于生成模型的方法成為研究的熱點(diǎn)。如圖4所示，基于生成模型的方法旨在構(gòu)造一個(gè)生成網(wǎng)絡(luò)，將隱變量的分布映射到目標(biāo)數(shù)據(jù)的分布。值得注意的是，區(qū)別于基于判別模型的方法，基于生成模型的方法將研究重點(diǎn)從優(yōu)化網(wǎng)絡(luò)參數(shù)θ轉(zhuǎn)移至優(yōu)化隱變量z，往往采用預(yù)訓(xùn)練好的現(xiàn)有網(wǎng)絡(luò)模型，以隱變量為優(yōu)化目標(biāo)參數(shù)：

圖4 基于生成模型的方法Fig.4 Generative model-based methods

文獻(xiàn)[32]首次提出利用生成模型解決圖像壓縮感知問(wèn)題，并驗(yàn)證該模型相比于分析模型更能準(zhǔn)確地表征數(shù)據(jù)的分布，并且其可微性能夠允許快速重構(gòu)。在此基礎(chǔ)上，文獻(xiàn)[33]將測(cè)量過(guò)程整合進(jìn)生成對(duì)抗網(wǎng)絡(luò)中，提出一種名為AmbientGAN的生成對(duì)抗網(wǎng)絡(luò)。文獻(xiàn)[34]提出深度網(wǎng)絡(luò)在未經(jīng)過(guò)任何學(xué)習(xí)之前就能捕獲先驗(yàn)信息，也就是說(shuō)，先驗(yàn)信息可能并不是從大量的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)而來(lái)，而是存在于網(wǎng)絡(luò)的架構(gòu)中，該種先驗(yàn)信息被稱(chēng)為深度圖像先驗(yàn)。因此，文獻(xiàn)[35]首次提出同時(shí)優(yōu)化網(wǎng)絡(luò)參數(shù)與隱變量進(jìn)行圖像重構(gòu)：

相類(lèi)似的，文獻(xiàn)[36]提出同時(shí)優(yōu)化網(wǎng)絡(luò)參數(shù)與隱變量進(jìn)行視頻重構(gòu)，并提出一種正則化策略，有效提高了重構(gòu)質(zhì)量。

通常情況下，深度網(wǎng)絡(luò)具有多層結(jié)構(gòu)，包含大量參數(shù)，因此能夠?qū)W習(xí)難以明確建模的復(fù)雜映射。當(dāng)具有足夠的訓(xùn)練數(shù)據(jù)和足夠大的模型規(guī)模時(shí)，這種深度網(wǎng)絡(luò)能夠建模難以表征的應(yīng)用場(chǎng)景。值得注意的是，深度網(wǎng)絡(luò)將重構(gòu)復(fù)雜度轉(zhuǎn)移到了訓(xùn)練階段，因此重構(gòu)效率較高，能夠滿(mǎn)足實(shí)時(shí)應(yīng)用需求。隨著現(xiàn)代平臺(tái)針對(duì)諸如卷積之類(lèi)的特殊運(yùn)算進(jìn)行了高度優(yōu)化，該類(lèi)方法的流行程度達(dá)到了一個(gè)新的高度。然而，該類(lèi)方法的可解釋性較差。

3 混合分析模型和深度學(xué)習(xí)的方法

盡管基于深度學(xué)習(xí)的方法能夠從訓(xùn)練數(shù)據(jù)中自適應(yīng)挖掘先驗(yàn)信息，但是這種自適應(yīng)的先驗(yàn)信息可解釋性較差，而可解釋性不論在理論還是實(shí)踐中都十分重要，是推進(jìn)概念理解和網(wǎng)絡(luò)框架發(fā)展的關(guān)鍵。因此，相比于基于分析模型的方法，缺乏可解釋性限制了基于深度學(xué)習(xí)的方法的發(fā)展。如何將領(lǐng)域先驗(yàn)信息轉(zhuǎn)移至深度網(wǎng)絡(luò)至今仍是一個(gè)非常具有挑戰(zhàn)性的開(kāi)放問(wèn)題。為了提高網(wǎng)絡(luò)的可解釋性，充分挖掘先驗(yàn)信息，研究者提出混合分析模型和深度學(xué)習(xí)的方法。該類(lèi)方法分為直接展開(kāi)法和黑盒法兩類(lèi)。

如圖5所示，直接展開(kāi)法將分析模型方法中的每次迭代求解過(guò)程展開(kāi)為網(wǎng)絡(luò)的一層，再堆疊這些層構(gòu)建一個(gè)深度網(wǎng)絡(luò)，最后利用訓(xùn)練數(shù)據(jù)自適應(yīng)地學(xué)習(xí)其參數(shù)。展開(kāi)后的深度網(wǎng)絡(luò)等效于執(zhí)行有限次數(shù)的迭代求解。文獻(xiàn)[37]首次提出將ADMM 算法的迭代求解過(guò)程（即式（8））進(jìn)行展開(kāi)，在此基礎(chǔ)上，文獻(xiàn)[38]提出一種名為ADMM-CSNet的網(wǎng)絡(luò)用于核磁共振壓縮感知重構(gòu)。相類(lèi)似的，文獻(xiàn)[39]將ISTA 算法的迭代求解過(guò)程進(jìn)行展開(kāi)，提出一種名為L(zhǎng)ISTA的網(wǎng)絡(luò)。區(qū)別于基于分析模型的方法，該類(lèi)方法將預(yù)先設(shè)定的參數(shù)（例如，正則化參數(shù)）轉(zhuǎn)化為深度網(wǎng)絡(luò)的參數(shù)，從實(shí)際的訓(xùn)練數(shù)據(jù)中直接學(xué)習(xí)獲得。并且，相比于傳統(tǒng)的深度網(wǎng)絡(luò)，該種深度網(wǎng)絡(luò)的參數(shù)更少，更易學(xué)習(xí)。

圖5 展開(kāi)法Fig.5 Unrolling methods

除此之外，研究者提出利用深度網(wǎng)絡(luò)作為“黑盒”嵌入基于分析模型的方法中執(zhí)行某些功能。文獻(xiàn)[40]提出利用深度網(wǎng)絡(luò)替代FISTA 算法中的近似投影。文獻(xiàn)[41]將預(yù)訓(xùn)練的生成網(wǎng)絡(luò)作為先驗(yàn)信息切入分析模型的迭代優(yōu)化求解。相類(lèi)似的，文獻(xiàn)[42]提出利用生成網(wǎng)絡(luò)替代正則化的近似投影。文獻(xiàn)[43]將D-AMP 算法進(jìn)行展開(kāi)，并用卷積神經(jīng)網(wǎng)絡(luò)替代D-AMP 算法中的去噪器，提出一種名為L(zhǎng)-DAMP的網(wǎng)絡(luò)。

混合分析模型和深度學(xué)習(xí)的方法可以自然地解釋為基于分析模型的方法，從而解決了深度網(wǎng)絡(luò)缺乏可解釋性的問(wèn)題。

4 方法的對(duì)比分析

基于分析模型的方法通常由預(yù)設(shè)的先驗(yàn)信息構(gòu)成，可解釋性較強(qiáng)。預(yù)設(shè)的先驗(yàn)信息使得基于分析模型的方法能夠在預(yù)設(shè)的場(chǎng)景中具有較好的表征能力，但在其余場(chǎng)景中的表征性能有限。并且，由于需多次迭代求解才能獲得較為理想的重構(gòu)結(jié)果，重構(gòu)效率較低。

基于深度學(xué)習(xí)的方法通常由大量的可訓(xùn)練參數(shù)組成，跨越了函數(shù)搜索空間中很大的子集，理論上具有最強(qiáng)的表征能力。并且，該類(lèi)方法將重構(gòu)復(fù)雜度轉(zhuǎn)移到了訓(xùn)練階段，重構(gòu)效率較高，能夠滿(mǎn)足實(shí)時(shí)應(yīng)用需求。盡管該類(lèi)方法通常被認(rèn)為能夠從數(shù)據(jù)中或者網(wǎng)絡(luò)框架中挖掘先驗(yàn)信息，但是依舊缺乏可解釋的先驗(yàn)信息。

混合分析模型和深度學(xué)習(xí)的方法屬于上述兩類(lèi)方法的折中，同時(shí)具備較好的可解釋性和重構(gòu)效率。該類(lèi)方法通常由相對(duì)少量的可訓(xùn)練參數(shù)組成，跨越了函數(shù)搜索空間中相對(duì)較小的子集，具有一般的表征能力。

綜上所述，表1 歸納總結(jié)了三類(lèi)方法在表征能力、重構(gòu)效率和可解釋性三個(gè)方面的對(duì)比。表2 展示了TVAL3 算法[17]、NLR-CS 算法[16]、SDA 網(wǎng)絡(luò)[22]、ReconNet網(wǎng)絡(luò)[24]、L-DAMP網(wǎng)絡(luò)[43]和ADMM-CSNet網(wǎng)絡(luò)[38]在圖像壓縮感知的應(yīng)用場(chǎng)景中的實(shí)驗(yàn)性能對(duì)比。該結(jié)果從近期發(fā)表的文獻(xiàn)中選取，更多信息詳見(jiàn)文獻(xiàn)[38]。不難看出，在重構(gòu)效率方面，相比于基于分析模型的方法，基于深度學(xué)習(xí)的方法和混合分析模型和深度學(xué)習(xí)的方法具有更高的重構(gòu)效率，其原因在于該兩類(lèi)算法將重構(gòu)時(shí)間復(fù)雜度轉(zhuǎn)移至了訓(xùn)練階段，在測(cè)試階段直接利用前向模型即可獲得重構(gòu)信號(hào)。然而，盡管理論上基于深度學(xué)習(xí)的方法具有最高的表征能力，相比于其余兩類(lèi)方法，該類(lèi)方法的性能優(yōu)勢(shì)并未充分展現(xiàn)，其原因主要有：（1）缺乏可解釋的先驗(yàn)信息和網(wǎng)絡(luò)框架設(shè)計(jì)；（2）現(xiàn)有設(shè)備難以支持大規(guī)模網(wǎng)絡(luò)的訓(xùn)練與部署；（3）現(xiàn)有網(wǎng)絡(luò)泛化性較低；（4）網(wǎng)絡(luò)魯棒性較低難以訓(xùn)練。

表1 方法的特征比較Table 1 Feature comparison

表2 圖像壓縮感知方法對(duì)比Table 2 Comparison of image compressive sensing

5 未來(lái)的研究方向

基于深度學(xué)習(xí)的方法因具有最高的表征能力受到了研究者的廣泛關(guān)注。針對(duì)上述問(wèn)題，在近幾年的頂級(jí)會(huì)議上，例如，CVPR、ICCV和ECCV等，每年都有10篇以上的研究發(fā)表，指引了未來(lái)的研究方向。

5.1 融合先驗(yàn)信息的深度網(wǎng)絡(luò)設(shè)計(jì)

充分利用先驗(yàn)信息是成功求解圖像逆問(wèn)題的關(guān)鍵?；谏疃葘W(xué)習(xí)的方法通常被認(rèn)為能夠從訓(xùn)練數(shù)據(jù)中自適應(yīng)地挖掘先驗(yàn)信息，然而文獻(xiàn)[34]提出先驗(yàn)信息可能并不是從大量的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)而來(lái)，而是存在于網(wǎng)絡(luò)的架構(gòu)中。盡管混合分析模型和深度學(xué)習(xí)的方法提供了一種融合先驗(yàn)信息的網(wǎng)絡(luò)設(shè)計(jì)方式，該類(lèi)方法易受分析模型的誤導(dǎo)，收斂至局部最優(yōu)。因此，如何進(jìn)一步融合先驗(yàn)信息設(shè)計(jì)具體的深度網(wǎng)絡(luò)是未來(lái)的研究方向之一。并且，針對(duì)特定深度網(wǎng)絡(luò)的性能界限理論分析有待進(jìn)一步探索。

5.2 輕巧高效的深度網(wǎng)絡(luò)設(shè)計(jì)

基于深度學(xué)習(xí)的方法通常由大量的可訓(xùn)練參數(shù)組成，理論上具有最強(qiáng)的表征能力。然而，大量的參數(shù)不僅增加了訓(xùn)練的難度，更對(duì)存儲(chǔ)空間提出了更高的要求，限制了其在資源受限的場(chǎng)景中的應(yīng)用。因此，如何設(shè)計(jì)輕便高效的深度網(wǎng)絡(luò)，促進(jìn)深度網(wǎng)絡(luò)的具體應(yīng)用部署，是未來(lái)的研究方向之一[44-46]。

5.3 泛化性的深度網(wǎng)絡(luò)設(shè)計(jì)

在實(shí)際應(yīng)用中，基于深度學(xué)習(xí)的方法即使面對(duì)同一應(yīng)用場(chǎng)景，參數(shù)的改變（例如，圖像超分辨率應(yīng)用中的退化系數(shù)），都需要單獨(dú)設(shè)計(jì)對(duì)應(yīng)的深度網(wǎng)絡(luò)，并重新進(jìn)行訓(xùn)練，需要花費(fèi)很高的學(xué)習(xí)成本。因此，對(duì)于泛化性深度網(wǎng)絡(luò)設(shè)計(jì)的研究必不可少[47-48]。

5.4 魯棒性的深度網(wǎng)絡(luò)設(shè)計(jì)

盡管基于深度學(xué)習(xí)的視頻壓縮感知重構(gòu)方法能挖掘訓(xùn)練數(shù)據(jù)中潛在的信息，該類(lèi)方法易受模型假設(shè)、訓(xùn)練崩塌和訓(xùn)練數(shù)據(jù)偏差的影響，重構(gòu)魯棒性較差，進(jìn)而導(dǎo)致重構(gòu)圖像包含錯(cuò)誤的特征，嚴(yán)重影響圖像的重構(gòu)質(zhì)量。針對(duì)這個(gè)問(wèn)題，研究者提出了一些解決方法[34-35，49-50]，然而這些方法在測(cè)試時(shí)仍需迭代優(yōu)化網(wǎng)絡(luò)的參數(shù)或者隱變量，重構(gòu)效率相對(duì)較低。因此，如何在提高視頻重構(gòu)魯棒性的同時(shí)，保證視頻的重構(gòu)效率，是一個(gè)重要的研究問(wèn)題[51-52]。

6 結(jié)束語(yǔ)

隨著國(guó)家將人工智能提升為國(guó)家戰(zhàn)略并發(fā)布《新一代人工智能發(fā)展規(guī)劃》，人工智能的研究迎來(lái)了新的熱潮。深度學(xué)習(xí)的發(fā)展推動(dòng)了圖像逆問(wèn)題領(lǐng)域從基于分析模型的方法到基于深度學(xué)習(xí)的方法的轉(zhuǎn)變。在近幾年的頂級(jí)會(huì)議，例如，CVPR、ICCV 和ECCV 等，每年都有10篇以上的研究發(fā)表?，F(xiàn)有相關(guān)綜述研究側(cè)重于介紹具體的深度網(wǎng)絡(luò)，而忽略了如何利用先驗(yàn)信息。因此，本文創(chuàng)新性地從如何利用先驗(yàn)信息求解圖像逆問(wèn)題的角度出發(fā)，歸納總結(jié)了該領(lǐng)域的研究現(xiàn)狀，并對(duì)不同方法進(jìn)行對(duì)比分析，最后展望了未來(lái)的研究方向。