景海釗，史江林，邱夢哲，齊勇，4，朱文驍

（1.陜西科技大學(xué) 陜西人工智能聯(lián)合實(shí)驗室，陜西 西安 710021；2.西安交通大學(xué) 系統(tǒng)工程研究所，陜西 西安 710049；3.西安衛(wèi)星測控中心，陜西 西安 710043；4.陜西科技大學(xué) 電子信息與人工智能學(xué)院，陜西 西安 710021）

1 引言

在空間目標(biāo)態(tài)勢感知領(lǐng)域，基于自適應(yīng)光學(xué)（Adaptive Optics，AO）圖像對空間目標(biāo)的結(jié)構(gòu)、載荷和姿態(tài)研判識別工作具有重要意義。空間目標(biāo)由于受距離遠(yuǎn)、運(yùn)動速度快、光照條件不佳和大氣湍流等外界因素的影響較大，地基望遠(yuǎn)鏡采集的圖像一般存在嚴(yán)重的降質(zhì)，降質(zhì)圖像表現(xiàn)出低分辨率和低信噪比的特點(diǎn)，成像模糊且細(xì)節(jié)無法分辨，可以獲得的目標(biāo)信息非常有限［1］。為獲得更清晰的圖像，現(xiàn)代大型望遠(yuǎn)鏡通常采用AO系統(tǒng)。由于采用了波前校正技術(shù)，AO系統(tǒng)采集的圖像像質(zhì)有一定程度的改善，但受變形鏡校正能力、波前傳感器探測精度，以及控制回路帶寬等因素的限制，通常存在校正殘余像差［2］，不能完全滿足校正需求。而且波前校正本身也會引入新的噪聲和誤差，因此，AO圖像中目標(biāo)的高頻信息仍然受到較大程度的抑制和衰減。通常采用傳統(tǒng)的AO圖像重建方法來提高圖像質(zhì)量，但圖像事后重建只能恢復(fù)圖像質(zhì)量達(dá)到光學(xué)系統(tǒng)的衍射極限，因此AO圖像的超分辨率重建成為空間目標(biāo)圖像細(xì)節(jié)重建的主要方法。

圖像超分辨重建主要有基于插值、基于建模以及基于深度學(xué)習(xí)的方法［3-4］?；诓逯岛突诮５某直媛手亟m然容易實(shí)現(xiàn)，但在處理圖像時會出現(xiàn)細(xì)節(jié)退化、處理速度慢和先驗知識依賴度高等問題。而深度學(xué)習(xí)作為一種能夠從數(shù)據(jù)中捕捉有效特征的強(qiáng)大方法［5-6］，現(xiàn)已廣泛應(yīng)用于圖像超分辨率處理中［7-9］。為了提高空間目標(biāo)AO圖像的清晰度，改善圖像質(zhì)量，本文針對AO圖像特點(diǎn)，提出一種基于密集殘差塊生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的AO圖像超分辨率重建方法，構(gòu)建了一個空間目標(biāo)AO圖像深度學(xué)習(xí)訓(xùn)練集，通過在數(shù)據(jù)集上對生成對抗超分辨率網(wǎng)絡(luò)的穩(wěn)定訓(xùn)練，提升了AO圖像分辨率，有效改善了AO圖像的質(zhì)量。

2 相關(guān)工作

2.1 AO圖像重建

傳統(tǒng)AO圖像重建方法主要包括盲解卷積法、斑點(diǎn)重建法和相位差法等［2］。其中，盲解卷積法采用單幀或連續(xù)幾幀退化圖像就可以完成圖像重建，對成像系統(tǒng)和處理對象沒有特殊要求，實(shí)際運(yùn)用最為靈活，但該方法需要大量的先驗信息對算法的求解加以約束，否則難以獲得理想的處理結(jié)果；斑點(diǎn)重建利用大氣湍流的統(tǒng)計特性分別重建目標(biāo)的相位和振幅，已大量應(yīng)用于太陽高分辨率圖像處理中，但該方法需要用到大氣湍流的統(tǒng)計信息，通常需要上百幀短曝光退化圖像才能完成一次圖像重建，因此在成像過程中目標(biāo)不能出現(xiàn)明顯變化；相位差法是一種基于波前像差探測的圖像復(fù)原技術(shù)，通過同時采集同一目標(biāo)經(jīng)不同光學(xué)通道的一組或多組短曝光圖像，不僅可以重建出退化目標(biāo)的清晰圖像，還可以獲得導(dǎo)致目標(biāo)退化的畸變波前，重建結(jié)果的可靠性得到大幅提高，但該技術(shù)需要一套額外的成像裝置，而且算法對系統(tǒng)參數(shù)比較敏感，在工程運(yùn)用中還存在一些技術(shù)難點(diǎn)。綜上所述，以上3種技術(shù)都有各自特點(diǎn)，適用于不同的應(yīng)用場景和處理對象，但是要應(yīng)用在AO系統(tǒng)中還需要有針對性地加以改進(jìn)。Matson等［10］提出一種基于最大似然估計（MLE）的多幀盲解卷積（MFBD）算法用來重建人造衛(wèi)星圖像，但在處理中需要支持度和正則化約束作為約束條件，同時需要多幀序列圖像以保證算法的魯棒性。田雨等［11］提出一種基于幀選擇與多幀降質(zhì)圖像盲解卷積的圖像處理方法用于AO圖像的高分辨率恢復(fù)，有效補(bǔ)償了AO系統(tǒng)校正帶來的影響，恢復(fù)出達(dá)到衍射極限的圖像。但該方法需要篩選出合適的多幀圖像進(jìn)行迭代盲解卷積，同時需要正則化約束作為先驗知識。

傳統(tǒng)AO圖像處理方法在空間目標(biāo)圖像重建中的廣泛應(yīng)用，證明了這些方法的可靠性［12-13］。但這類方法的缺點(diǎn)是需要先驗知識對計算進(jìn)行約束，迭代計算量大，并且針對特定任務(wù)需要使用專用的方法進(jìn)行重建，通用性不強(qiáng)。

現(xiàn)階段已有許多基于深度學(xué)習(xí)的智能模型被應(yīng)用于圖像重建任務(wù)［14-16］。深度學(xué)習(xí)方法的應(yīng)用可以有效提高處理效率，同時在一定程度上提高圖像的修復(fù)效果，最重要的是減少先驗知識的約束，削弱了圖像重構(gòu)中噪聲的影響。

Ramos等［17］提出一種基于深度神經(jīng)網(wǎng)絡(luò)的多幀太陽圖像重建方法，通過在網(wǎng)絡(luò)中輸入新的圖像幀，在輸出端直接獲取復(fù)原后的校正圖像，輸入的序列圖像會逐步提高輸出圖像的質(zhì)量，相比傳統(tǒng)方法獲得了更快的處理速度和更好的復(fù)原效果。史江林在2019年提出一種基于條件生成對抗網(wǎng)絡(luò)（cGAN）的空間目標(biāo)圖像盲復(fù)原方法［18］，該方法通過構(gòu)建生成模型和判別模型實(shí)現(xiàn)模糊觀測圖像到清晰圖像的映射，準(zhǔn)確恢復(fù)圖像的邊緣輪廓，有效改善了圖像的高頻細(xì)節(jié)。該方法不僅提高了復(fù)原精度，而且在相對較差的大氣湍流條件下提高了單幀圖像的復(fù)原效率。

基于深度學(xué)習(xí)的空間目標(biāo)AO圖像重建方法相較于傳統(tǒng)方法，優(yōu)點(diǎn)是處理速度快、計算時間短，便于實(shí)時重構(gòu)；缺點(diǎn)則是需要構(gòu)建針對任務(wù)特點(diǎn)的訓(xùn)練集與深度神經(jīng)網(wǎng)絡(luò)，且神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程耗時較長。

2.2 圖像超分辨率重建

圖像超分辨率重建即用特定算法將同一場景中的低分辨率圖像重建成高分辨率圖像［19］。高分辨率圖像因具有更高的像素密度，能夠突破衍射極限獲得圖像更多的細(xì)節(jié)特征，而在實(shí)際場景中得到了廣泛的應(yīng)用。

圖像超分辨率重建技術(shù)可根據(jù)輸入圖像的數(shù)量分為單幀圖像超分辨率和多幀圖像超分辨率。其中，單幀圖像超分辨率重建技術(shù)憑借其靈活性、簡便性及高實(shí)用性，已經(jīng)普遍應(yīng)用在圖像壓縮、醫(yī)學(xué)成像［20］、遙感成像［21］和公共安防［22］等領(lǐng)域，是目前圖像處理領(lǐng)域的研究熱點(diǎn)。但是傳統(tǒng)的單幀圖像超分辨率算法仍有一定的局限性，隨著放大倍數(shù)的增大，模型先驗信息的不足使算法無法實(shí)現(xiàn)圖像高頻信息的重建。傳統(tǒng)的單幀圖像超分辨率方法主要分為三類：基于插值的超分辨率算法（最近鄰內(nèi)插、雙三次插值等），這類算法雖簡單但重建圖像有偽影和振鈴；基于建模的超分辨率算法（最大后驗估計法［23］、迭代反向投影算法［24］等），這類算法相較于插值法重建效果較好，但模型運(yùn)算效率低且受放大因子的影響較大；基于學(xué)習(xí)的超分辨率算法（局部嵌入、稀疏編碼［25］等），該類算法的重建質(zhì)量最好，是目前研究的主要方向。這些方法都通過學(xué)習(xí)高分辨率圖像與低分辨率圖像樣本對的映射函數(shù)，或者利用圖像的內(nèi)部相似性來重建高分辨率圖像。

近年來，基于深度學(xué)習(xí)的超分辨率技術(shù)得到了積極的探索與發(fā)展。在自然圖像處理領(lǐng)域，基于深度學(xué)習(xí)的超分辨率算法在已公開的圖像數(shù)據(jù)集上取得了很好的重建效果。主流的網(wǎng)絡(luò)模型包括卷積神經(jīng)網(wǎng)絡(luò)和GAN，這兩個網(wǎng)絡(luò)模型都能有效地恢復(fù)出圖像的高頻細(xì)節(jié)。但是，在空間目標(biāo)AO圖像超分辨率重建領(lǐng)域，突破衍射極限的超分辨率重建算法研究卻不多見。一方面受限于AO圖像本身質(zhì)量不高，另一方面也受限于沒有公開的AO圖像訓(xùn)練集。本文將基于深度學(xué)習(xí)的GAN引入AO圖像超分辨率重建中，以期改善空間目標(biāo)AO圖像質(zhì)量，提高圖像清晰度。

圖1 密集殘差塊GAN生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Framework of residual in residual dense block GAN generator network

3 空間目標(biāo)AO圖像超分辨網(wǎng)絡(luò)

本文將GAN引入AO圖像超分辨率復(fù)原領(lǐng)域中，使用結(jié)合多級殘差網(wǎng)絡(luò)和密集連接形成的密集殘差塊來構(gòu)建GAN，以提高網(wǎng)絡(luò)深度，降低重建圖像偽影，使訓(xùn)練更加容易，如圖1所示。在判別網(wǎng)絡(luò)中使用相對平均判別器，以生成更穩(wěn)定、質(zhì)量更高的數(shù)據(jù)樣本，提升模型的訓(xùn)練穩(wěn)定性和圖像重建質(zhì)量。

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

GAN是一種生成模型，基本思想是從訓(xùn)練數(shù)據(jù)庫里獲取很多的訓(xùn)練樣本，從而學(xué)習(xí)這些訓(xùn)練案例生成的概率分布。本文生成器網(wǎng)絡(luò)的輸入為256×256的低分辨率空間目標(biāo)AO圖像，輸出為1 024×1 024超分辨率重建的空間目標(biāo)AO圖像。在AO圖像仿真訓(xùn)練集上進(jìn)行監(jiān)督訓(xùn)練，使生成器網(wǎng)絡(luò)學(xué)習(xí)低分辨率AO圖像到高分辨率AO圖像的映射關(guān)系，從而實(shí)現(xiàn)對AO圖像的超分辨率重建。

為了更好地改善圖像質(zhì)量，結(jié)合空間目標(biāo)AO圖像背景單一、分辨率有限且存在運(yùn)動模糊、湍流模糊以及過曝等特點(diǎn)，在SRGAN［8］網(wǎng)絡(luò)結(jié)構(gòu)上參考ESRGAN［9］方法，對生成器網(wǎng)絡(luò)進(jìn)行了兩項改進(jìn)。首先去掉網(wǎng)絡(luò)結(jié)構(gòu)中的批歸一化層（BN層），其次用多級殘差網(wǎng)絡(luò)和密集連接形成的密集殘差塊替代普通殘差塊（如圖1和圖2所示）。判別器網(wǎng)絡(luò)仍然采用基于SRGAN的VGG網(wǎng)絡(luò)結(jié)構(gòu)（如圖3所示），但是參考Relativistic GAN［26］改進(jìn)了判別器網(wǎng)絡(luò)損失函數(shù)。

對于不同的基于PSNR度量的任務(wù)（包括超分辨率和去模糊），去掉BN層能夠提高任務(wù)性能并減小計算復(fù)雜度。BN層在訓(xùn)練時，使用一個batch的數(shù)據(jù)的均值和方差對該batch特征進(jìn)行歸一化。測試時，使用在整個訓(xùn)練集上估計的均值和方差進(jìn)行特征歸一化。當(dāng)訓(xùn)練集和測試集的統(tǒng)計量相差很大時，BN層就會傾向于生成不好的偽影，并且限制模型的泛化能力。當(dāng)BN層在較深網(wǎng)絡(luò)層數(shù)的GAN框架下進(jìn)行訓(xùn)練時，圖像更容易產(chǎn)生偽影，降低了訓(xùn)練穩(wěn)定性。因此，本文去掉了BN層，這樣能提高模型的泛化能力，減少計算復(fù)雜度和內(nèi)存占用率。

圖2 SRGAN生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Framework of SRGAN generator network

圖3 SRGAN判別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Framework of SRGAN discriminator network

3.2 損失函數(shù)

本文采用相對平均判別器，其核心思想為：在訓(xùn)練中GAN應(yīng)該同時降低真實(shí)數(shù)據(jù)為真的概率。GAN的標(biāo)準(zhǔn)判別器直接將生成樣本xf或真實(shí)圖像xr作為輸入，判定該樣本是真實(shí)圖像的概率；而相對判別器將真假樣本對(xr，xf)作為輸入，預(yù)測真實(shí)圖像xr相對生成假圖像xf更加真實(shí)的概率（見圖4），從而使得判別器更穩(wěn)健，生成對抗網(wǎng)絡(luò)訓(xùn)練更穩(wěn)定。

圖4中，DRa表示相對平均判別器，σ表示sigmoid激活函數(shù)，C(x)表示未激活的判別器的輸出，E[?]表示一個小批次的圖像數(shù)據(jù)的平均操作。

在SRGAN中，標(biāo)準(zhǔn)判別器表示為：

本文采用相對平均判別器表示：

圖4 標(biāo)準(zhǔn)判別器和相對判別器的區(qū)別Fig.4 Difference between standard and relative discriminators

相對平均判別器的損失函數(shù)定義為：

與此對應(yīng)的生成器網(wǎng)絡(luò)的對抗損失函數(shù)為：

式中：xf=G(xi)，xi表示輸入的低分辨率圖像，xf表示生成的預(yù)測超分辨率圖像，xr表示原始真實(shí)高分辨率圖像。從式（4）可以看到，生成器網(wǎng)絡(luò)的對抗損失包含真實(shí)高分辨率圖像xr和預(yù)測超分辨率圖像xf兩部分，而SRGAN中僅包含預(yù)測超分辨率圖像xf。這有助于學(xué)習(xí)到更加清晰的邊緣和細(xì)節(jié)紋理。

生成器網(wǎng)絡(luò)最終損失函數(shù)LG由對抗損失，感知損失Lpercep和內(nèi)容損失L1組成，即：

其中：

其中：φi，j是預(yù)先訓(xùn)練好的VGG-19卷積網(wǎng)絡(luò)模型結(jié)構(gòu)中第i個池化層前、第j個卷積層輸出的特征圖，Wi，j和Hi，j是對 應(yīng)特征圖 的維數(shù)。

4 實(shí)驗與討論

4.1 構(gòu)建AO圖像訓(xùn)練數(shù)據(jù)集

本文中，空間目標(biāo)AO圖像是地基AO望遠(yuǎn)鏡CCD成像系統(tǒng)獲取的空間目標(biāo)和背景信息的二維圖像。受距離遠(yuǎn)、運(yùn)動速度快、光照條件不佳和大氣湍流等外界因素的影響，AO圖像具有背景單一、分辨率有限，且存在運(yùn)動模糊、湍流模糊以及過曝等特點(diǎn)。針對AO圖像特點(diǎn)，在構(gòu)建訓(xùn)練數(shù)據(jù)集時除了考慮運(yùn)動、湍流模糊之外，還需要考慮系統(tǒng)噪聲的影響。系統(tǒng)噪聲主要包括光子噪聲和電子噪聲。假設(shè)光子噪聲服從泊松分布，電子噪聲服從高斯分布，將這些噪聲分別添加到仿真退化圖像中。

在具體構(gòu)造訓(xùn)練數(shù)據(jù)集時，對積累的80個重點(diǎn)空間目標(biāo)的3D仿真模型分別進(jìn)行5種不同對地姿態(tài)渲染，得到400幀清晰的空間目標(biāo)圖像（1 024×1 024），并進(jìn)行數(shù)據(jù)增強(qiáng)（包括鏡像和翻轉(zhuǎn)）得到1 200幀1 024×1 024的高分辨率空間目標(biāo)灰度圖像。然后，對1 200幀高分辨率圖像IHR降采樣得到256×256的低分辨率圖像。在大氣湍流強(qiáng)度為的條件下，對1 200幀低分辨率圖像分別進(jìn)行Zernike多項式降質(zhì)仿真和功率譜反演法降質(zhì)仿真，以模擬大氣湍流相位屏對空間目標(biāo)圖像造成的降質(zhì)影響，此時得到2 400幀低分辨率降質(zhì)圖像。同時，對這2 400幀低分辨率降質(zhì)圖像添加泊松噪聲和方差為0.01的高斯噪聲，最終得到2 400對低分辨率降質(zhì)圖像ILR和對應(yīng)高分辨率圖像IHR的空間目標(biāo)自適應(yīng)光學(xué)圖像仿真數(shù)據(jù)集（ILR?IHR），如圖5所示。

圖5 空間目標(biāo)AO圖像仿真數(shù)據(jù)集（部分）Fig.5 Simulation data set（partial）of space target AO images

4.2 訓(xùn)練參數(shù)設(shè)置

實(shí)驗中，超分辨率因子為4，即輸入低分辨率圖像為256×256，輸出超分辨率圖像為1 024×1 024。訓(xùn)練生成對抗網(wǎng)絡(luò)在2塊NVIDIA Ge-Force RTX 3090 GPU圖像處理工作站上進(jìn)行，訓(xùn)練集為上節(jié)介紹的空間目標(biāo)AO仿真圖像。通過4倍降采樣獲取網(wǎng)絡(luò)輸入的低分辨率圖像，輸入數(shù)據(jù)的batchsize設(shè)為16。GAN的訓(xùn)練更新迭代次數(shù)為105，學(xué)習(xí)率設(shè)為10-4，交替更新生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)。本文中的生成器網(wǎng)絡(luò)有16個RRDB密集殘差塊。

4.3 評價指標(biāo)選取

這里以仿真圖像為例測試了基于GAN的AO圖像超分辨率性能，在仿真測試之前，定義了兩種圖像性能評價指標(biāo)，分別為：峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似度（Structural Similarity Index Measure，SSIM）。

PSNR是一種客觀圖像質(zhì)量評價指標(biāo)，它表示信號的最大功率與可能影響其表示精度的噪聲功率的比率，即最大信噪比，具體公式如下：

其中：

式 中：MSE表 示 參 考 圖 像I(i，j)和 噪 聲 圖 像K(i，j)之間的均方誤差，MAXI表示圖像點(diǎn)顏色的最大數(shù)值，如果每個采樣點(diǎn)用8位表示，那么就是255。MSE越小，PSNR越大，圖像質(zhì)量越好。

SSIM是兩個圖像相似性的另一個度量，它將圖像結(jié)構(gòu)相似性定義為3個不同因素的組合：亮度，對比度和結(jié)構(gòu)。均值用作亮度的估計值，標(biāo)準(zhǔn)差用作對比度的估計值，協(xié)方差用作結(jié)構(gòu)相似度的度量。具體公式如下：

其中：x和y表示兩幅圖像，L(x，y)表示亮度估計值，C(x，y)表示對比度估計值，S(x，y)表示結(jié)構(gòu)估計值，μx表示圖像x的均值，μy表示圖像y的均值，是圖像x的方差，表示圖像y的方差，σxy表示 圖 像x和 圖像y的 協(xié) 方 差，c1，c2和c3是 用 來保持穩(wěn)定的常數(shù)。當(dāng)c3=c2/2時，

SSIM值越大，兩張圖像越相似。在極端情況下，當(dāng)兩張圖像完全相同時，SSIM值為1。

4.4 實(shí)驗結(jié)果討論

從圖6中可以看出，哈勃望遠(yuǎn)鏡1的自適應(yīng)光學(xué)圖像經(jīng)過4種方法的超分辨率處理，圖像分辨率得到提升，圖像質(zhì)量有所改善。尤其是基于深度學(xué)習(xí)的BSRNet方法和本文的基于密集殘差塊的GAN方法，在圖像高頻細(xì)節(jié)方面表現(xiàn)更佳。太陽帆板和中間結(jié)構(gòu)件的高頻信息得到了有效的恢復(fù)及重建。表1通過客觀評價指標(biāo)進(jìn)一步驗證了主觀視覺評價，相較于傳統(tǒng)插值方法，PSNR提高11.6%以上，SSIM提高10.3%以上；相較于深度學(xué)習(xí)盲圖像超分辨率網(wǎng)絡(luò)方法，PSNR提高1.5%，SSIM提高5%。

圖7為sat1衛(wèi)星AO圖像4種不同方法的超分辨率結(jié)果。從圖中可以發(fā)現(xiàn)，BSRNet方法和本文GAN方法的重建效果較為明顯，BSRNet雖然在圖像恢復(fù)中能夠有效恢復(fù)圖像邊緣輪廓信息，但是在細(xì)節(jié)紋理上表現(xiàn)一般，有些紋理過于平滑，導(dǎo)致視覺評價效果不如GAN方法。這也可以從表2的客評價指標(biāo)中得到證實(shí)，相較于傳統(tǒng)插值方法，PSNR提高了17.5%以上，SSIM提高了13.4%以上；相較于深度學(xué)習(xí)盲圖像超分辨率網(wǎng)絡(luò)方法，PSNR提高了8.1%，SSIM提高了6.1%。

圖8進(jìn)一步驗證了基于深度學(xué)習(xí)方法在自適應(yīng)光學(xué)圖像超分辨領(lǐng)域的可行性。通過主觀對比可知，BSRNet方法和GAN方法在AO圖像超分辨率重建上明顯優(yōu)于傳統(tǒng)的Bicubic插值和Nearest插值。當(dāng)然，這也依賴于AO圖像訓(xùn)練集的先驗信息和強(qiáng)大的算力平臺支撐。本文方法在哈勃望遠(yuǎn)鏡2的AO圖像超分重建中，在邊緣輪廓、紋理細(xì)節(jié)等高頻信息方面都取得了最好的效果。表3的PSNR和SSIM客觀評價指標(biāo)進(jìn)一步證實(shí)了主觀判斷的可靠性，相較于傳統(tǒng)插值方法，PSNR提 高18.3%以 上，SSIM提 高11.8%以上；相較于深度學(xué)習(xí)盲圖像超分辨率網(wǎng)絡(luò)方法，PSNR提高10%，SSIM提高3.8%。

圖6 哈勃望遠(yuǎn)鏡1自適應(yīng)光學(xué)圖像4種不同方法的超分辨率結(jié)果對比（（a）是原始輸入為256×256的低分辨率仿真自適應(yīng)光學(xué)圖像，（b）～（e）是輸出為1 024×1 024的超分辨率圖像）Fig.6 Comparison of super-resolution results of AO images from Hubble Telescope 1（（a）is a low-resolution simulation adaptive optical image whose original input is 256×256，and（b）-（e）are 1 024×1 024 super resolution image network）

圖7 Sat1衛(wèi)星自適應(yīng)光學(xué)圖像4種不同方法的超分辨率結(jié)果對比（（a）是原始輸入為256×256的低分辨率仿真自適應(yīng)光學(xué)圖像，（b）～（e）是輸出為1 024×1 024的超分辨率圖像）Fig.7 Comparison of super-resolution results of AO images from sat1 Satellite（（a）is a low-resolution simulation adaptive optical image whose original input is 256×256，and（b）-（e）are 1 024×1 024 super resolution image network）

圖8 哈勃望遠(yuǎn)鏡2自適應(yīng)光學(xué)圖像4種不同方法超分辨率結(jié)果對比（（a）是原始輸入為256×256的低分辨率仿真自適應(yīng)光學(xué)圖像，（b）～（e）是輸出為1 024×1 024的超分辨率圖像）Fig.8 Comparison of super-resolution results of AO images from Hubble Telescope 2（（a）is a low-resolution simulation adaptive optical image whose original input is 256×256，and（b）-（e）are 1 024×1 024 super resolution image network）

表1 哈勃望遠(yuǎn)鏡1自適應(yīng)光學(xué)圖像4種不同方法超分辨率結(jié)果的客觀評價指標(biāo)Tab.1 Evaluation index of four super resolution methods of Hubble Telescope 1 AO image

表2 Sat1衛(wèi)星自適應(yīng)光學(xué)圖像4種不同方法超分辨率結(jié)果的客觀評價指標(biāo)Tab.2 Evaluation index of four super resolution methods of Sat1 Satellite AO image

5 結(jié)論

本文將GAN引入AO圖像超分辨率復(fù)原中，通過使用結(jié)合多級殘差網(wǎng)絡(luò)和密集連接形成的密集殘差塊來構(gòu)建生成網(wǎng)絡(luò)，以提高網(wǎng)絡(luò)深度，降低重建圖像偽影，使訓(xùn)練更加容易。構(gòu)建空間目標(biāo)AO圖像專用訓(xùn)練數(shù)據(jù)集，實(shí)現(xiàn)了基于密集殘差塊生成對抗超分辨率網(wǎng)絡(luò)的訓(xùn)練。將相對平均損失函數(shù)引入判別器網(wǎng)絡(luò)，使判別器更穩(wěn)健，GAN訓(xùn)練更穩(wěn)定。實(shí)驗結(jié)果表明，基于GAN的超分辨率方法相較傳統(tǒng)插值超分辨率方法，PSNR提 高11.6%以 上，SSIM提高10.3%以上；相較基于深度學(xué)習(xí)的盲圖像超分辨率方法，PSNR平均提高了6.5%，SSIM平均提高了4.9%。該方法提高了圖像分辨率水平，增強(qiáng)了圖像邊緣輪廓，銳化了圖像細(xì)節(jié)紋理，實(shí)現(xiàn)了對降質(zhì)觀測AO圖像的恢復(fù)重建。如何均衡密集差塊網(wǎng)絡(luò)深度與網(wǎng)絡(luò)訓(xùn)練效率之間的關(guān)系，是下一步需要研究解決的問題。

表3 哈勃望遠(yuǎn)鏡2自適應(yīng)光學(xué)圖像4種不同方法超分辨率結(jié)果的客觀評價指標(biāo)Tab.3 Evaluation index of four super resolution methods of Hubble Telescope 2 AO image