安平 陳欣 陳亦雷 黃新彭 楊超

（新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實驗室，上海先進(jìn)通信與數(shù)據(jù)科學(xué)研究院，上海大學(xué)通信與信息工程學(xué)院，上海 200444）

1 引言

普通的二維成像只能記錄場景內(nèi)光線在取景平面的2D 投影，僅能獲取光線的空間信息；而光場（Light Field，LF）成像［1］能夠記錄整個空間內(nèi)的光線分布，既能獲取光線的空間信息，也能獲取光線的角度信息［2］。光場圖像可通過特制的光場相機(jī)［3］獲取。光場相機(jī)由傳統(tǒng)相機(jī)在原有的感光元件和主透鏡之間放置一層微透鏡陣列改造而成，通過相機(jī)主透鏡的光線在到達(dá)感光元件之前，將通過微透鏡陣列發(fā)生二次折射。因此光場相機(jī)不僅能夠利用微透鏡位置記錄入射光線的位置，還能夠利用光線二次折射的折射角度記錄入射光線的方向，即同時獲取光線的空間信息和角度信息。利用光場成像技術(shù)可以實現(xiàn)深度估計［4］、圖像重聚焦［5］、三維建模［6］等應(yīng)用，具有十分重要的研究意義。

在實際應(yīng)用中，光場通常表現(xiàn)為視點(diǎn)圖像（Viewpoint Image，VI）陣列的形式，記作L(s，t，x，y)，其中，s和t是角度維度；x和y是空間維度。光場圖像的分辨率可以表示為S×T×X×Y，其中，S×T是角度分辨率，表示光場中包含的視點(diǎn)圖像數(shù)量；X×Y是空間分辨率，表示每一個視點(diǎn)圖像的尺寸。光場實現(xiàn)了高維的圖像數(shù)據(jù)表達(dá)，但是由于光場采集設(shè)備的限制，在有限的成像條件下，光場圖像的空間分辨率和角度分辨率需要折中。這導(dǎo)致了光場圖像的空間分辨率遠(yuǎn)低于傳統(tǒng)成像設(shè)備得到的二維圖像的分辨率，例如商用光場相機(jī)Lytro Illum獲取的光場圖像分辨率僅為14×14×376×540。因此，如何提高光場圖像的空間分辨率成為一個亟須解決的問題。

不同于傳統(tǒng)二維圖像基于場景內(nèi)容先驗的超分辨率，光場圖像超分辨率所需的像素信息實際存在于光場內(nèi)部的各個視點(diǎn)圖像中。傳統(tǒng)的光場超分辨率方法根據(jù)光場視點(diǎn)圖像視差和像素點(diǎn)之間的對應(yīng)關(guān)系，利用先驗的視差信息對視點(diǎn)圖像像素信息進(jìn)行顯式投影（Warp）來達(dá)到超分辨率的目的。但視差先驗信息嚴(yán)重依賴視點(diǎn)圖像本身的質(zhì)量，現(xiàn)有的視差估計方法通常不能滿足這類方法對視差先驗信息的高精確度要求。近年來，隨著深度學(xué)習(xí)的發(fā)展，許多基于深度學(xué)習(xí)的光場超分辨率方法被提出，利用卷積神經(jīng)網(wǎng)絡(luò)能夠隱式地學(xué)習(xí)視點(diǎn)圖像之間的視差關(guān)系?；谏疃葘W(xué)習(xí)的光場超分辨率方法無需先驗的視差信息，能夠直接通過網(wǎng)絡(luò)學(xué)習(xí)光場信息達(dá)到良好的超分辨率質(zhì)量。但現(xiàn)有基于深度學(xué)習(xí)的方法沒有充分利用光場特性，光場超分辨率的整體性能還有很大的提升空間。

固定光場的角度維度采集光場數(shù)據(jù)得到的二維圖像，即視點(diǎn)圖像。視點(diǎn)圖像記錄了在固定角度下對場景的觀察，能夠獲取場景中的主要紋理信息。固定光場的一維角度維度和一維空間維度采集光場數(shù)據(jù)得到的光場二維切片，即極平面圖像（Epipolar Plane Image，EPI）。場景中同一個可見的物體點(diǎn)由于不同視點(diǎn)圖像之間的視差關(guān)系，在EPI中形成一條連續(xù)的直線。該直線能夠有效地反映出光場圖像內(nèi)部的幾何一致性。同時，光場中存在水平和垂直兩個方向的EPI，能夠從兩個不同的角度維度反映出視點(diǎn)圖像之間的關(guān)聯(lián)性。因此，利用視點(diǎn)圖像和EPI 信息實現(xiàn)光場超分辨率，能夠充分探索光場的紋理信息及幾何一致性，學(xué)習(xí)光場圖像整體信息。結(jié)合以上光場特性，本文提出了一種基于視點(diǎn)圖像與EPI特征融合的端到端光場超分辨率方法。本方法主要創(chuàng)新性如下：

利用三維視點(diǎn)圖像堆棧包含EPI 信息的特點(diǎn)，將輸入的四維光場數(shù)據(jù)按照水平/垂直EPI 方向堆疊排列，使用3D 遞減卷積網(wǎng)絡(luò)提取特征，不僅能同時感知視點(diǎn)圖像和EPI 信息，還能學(xué)習(xí)光場圖像不同角度維度之間的聯(lián)系，有效增強(qiáng)了光場超分辨率質(zhì)量。

采用雙分支結(jié)構(gòu)的網(wǎng)絡(luò)設(shè)計，同時結(jié)合光場圖像水平和垂直EPI 信息進(jìn)行光場超分辨率，有效提高了超分辨率結(jié)果的幾何一致性。

采用端到端網(wǎng)絡(luò)設(shè)計，能夠同時超分辨率所有視點(diǎn)圖像。在真實和合成光場數(shù)據(jù)集上的實驗結(jié)果均表明，本方法相比于現(xiàn)有主流方法，取得了更好的超分辨率效果。同時，在網(wǎng)絡(luò)參數(shù)量和執(zhí)行速度上也具有更好的表現(xiàn)。

本文共分為五個部分。第一部分為引言；第二部分簡要介紹現(xiàn)有的光場超分辨率方法；第三部分闡述本文所提出的整體模型框架和具體實現(xiàn)方法；第四部分給出具體的實驗設(shè)置和結(jié)果分析；最后一部分是結(jié)論。

2 相關(guān)工作

傳統(tǒng)的光場超分辨率方法基于光場視點(diǎn)圖像之間的空間關(guān)聯(lián)性，利用先驗的視差信息對視點(diǎn)圖像像素信息進(jìn)行顯式Warp，通常需要復(fù)雜的優(yōu)化算法以獲取較優(yōu)的超分辨率結(jié)果。Bishop 等人［7］首次提出了光場超分辨率重建，利用盲反卷積提高了光場圖像的空間分辨率；而Mitra 等人［8］分析了EPI 的低秩性與視差之間的關(guān)系，提出了使用混合高斯模型的光場超分辨率方法。與方法［8］不同的是，Wanner 等人［9-10］在EPI 上應(yīng)用結(jié)構(gòu)張量計算視差圖，并利用變分模型進(jìn)行光場超分辨率。Rossi 等人［11］利用基于圖的正則化對光場超分辨率設(shè)計了全局優(yōu)化問題，通過計算Warp 矩陣優(yōu)化超分辨率結(jié)果。Ghassab 等人［12］在基于圖的正則化的基礎(chǔ)上，結(jié)合交替方向乘子法模型和邊緣保留技術(shù)實現(xiàn)光場超分辨率。然而，由于光場圖像中存在遮擋、噪聲等問題，缺少有效的像素信息，同時現(xiàn)有的視差估計方法也無法提供高精度的視差圖，因此傳統(tǒng)光場超分辨率方法難以獲得高質(zhì)量的超分辨率結(jié)果。

Dong 等人［13］首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用至單圖像超分辨率，通過特征提取、非線性映射和重建等步驟達(dá)到良好的超分辨率結(jié)果，隨著單圖像超分辨率的發(fā)展［14］，卷積神經(jīng)網(wǎng)絡(luò)也逐漸被應(yīng)用于光場超分辨率。Yuan 等人［15］提出了一種基于EPI 的聯(lián)合卷積神經(jīng)網(wǎng)絡(luò)，首先將單圖像超分辨率方法應(yīng)用于光場圖像，隨后使用EPI 增強(qiáng)網(wǎng)絡(luò)提高超分辨率結(jié)果的幾何一致性。Zhang 等人［16］將視點(diǎn)圖像按照四個方向堆疊輸入殘差網(wǎng)絡(luò)中提取特征，并利用不同的視點(diǎn)圖像組合方案實現(xiàn)對所有視點(diǎn)圖像的空間超分辨率。Yeung 等人［17］提出了一種空間-角度可分離卷積，在卷積過程中不斷變換光場圖像的表達(dá)形式以實現(xiàn)空間超分辨率。Farrugia 等人［18］使用光流對齊所有視點(diǎn)圖像，結(jié)合低秩先驗和深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)光場超分辨率。Jin 等人［19］提出了一種以其余視點(diǎn)圖像作為輔助信息，利用視點(diǎn)圖像之間的互補(bǔ)性提升參考視點(diǎn)圖像分辨率的方法，并使用結(jié)構(gòu)一致性正則化網(wǎng)絡(luò)提高超分辨率結(jié)果的幾何一致性。Wang 等人［20］利用普通卷積和膨脹卷積分別從光場原始圖像中提取出空間特征和角度特征，并利用網(wǎng)絡(luò)進(jìn)行特征融合實現(xiàn)光場超分辨率。Liang 等人［21］提出了一種混合角度分辨率訓(xùn)練策略，使用解耦融合模型實現(xiàn)了適用于多角度分辨率光場的空間超分辨率，有效提升了超分辨率性能。

對光場進(jìn)行空間超分辨率處理時，需要著重考慮光場原有的特性，而不是將不同的視點(diǎn)圖像作為獨(dú)立的個體來考慮。而現(xiàn)有的基于深度學(xué)習(xí)的超分辨率方法中，基于單圖像超分辨率的方法［15］忽視了光場的整體性；基于不同視點(diǎn)圖像組合的方法［16］沒有充分利用視點(diǎn)圖像信息；基于不同類型特征提取的方法［17-21］沒有充分利用光場特有的EPI 信息。因此本文提出了一種基于視點(diǎn)圖像與EPI特征融合的端到端光場超分辨率方法，使用雙分支網(wǎng)絡(luò)充分學(xué)習(xí)視點(diǎn)圖像信息以及水平和垂直EPI 信息，能夠同時完成所有視點(diǎn)圖像的高質(zhì)量超分辨率。

3 本文方法

3.1 方法框架

本文利用三維視點(diǎn)圖像堆棧包含EPI信息的特點(diǎn)，提出了一種基于視點(diǎn)圖像與EPI 特征融合的端到端光場超分辨率方法。本方法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要分為三個模塊：特征提取模塊、特征融合模塊、上采樣模塊。特征提取模塊分為水平和垂直兩個分支，分別由三層3D 遞減卷積層組成，能夠同時感知視點(diǎn)圖像和EPI 信息，用于對四維光場數(shù)據(jù)提取中間特征；特征融合模塊的設(shè)計參考Yeung 等人［17］，由一層2D 卷積層和Q層空間角度卷積組成，用于將中間特征轉(zhuǎn)換為全局特征；上采樣模塊主要由一層2D 反卷積層和一層2D 卷積層組成，用于對全局特征進(jìn)行上采樣，獲取高分辨率殘差信息。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Proposed network structure

整體的超分辨率過程可以簡要描述如下：首先將低分辨率的光場圖像按照水平/垂直EPI 方向堆疊排列得到兩組四維光場數(shù)據(jù)，輸入雙分支結(jié)構(gòu)的特征提取模塊得到兩個中間特征；隨后利用特征融合模塊將兩個中間特征轉(zhuǎn)換為全局特征并對其進(jìn)行優(yōu)化；最后將優(yōu)化后的全局特征輸入上采樣模塊得到高分辨率光場殘差，與同樣經(jīng)過反卷積上采樣的垂直分支中間特征相加，得到最終的超分辨率結(jié)果。選用垂直分支中間特征的具體原因?qū)⒃?.3節(jié)給出解釋。

3.2 視點(diǎn)圖像堆棧中的EPI

已知四維光場數(shù)據(jù)L(s，t，x，y)，固定角度維度s和空間維度x得到的EPI 稱為水平EPI，記作；固定角度維度t和空間維度y得到的EPI稱為垂直EPI，記作。而固定角度維度s或t堆疊視點(diǎn)圖像，即按照水平或垂直EPI 方向堆疊視點(diǎn)圖像，可以得到三維水平或垂直視點(diǎn)圖像堆棧，記作。如圖2所示，水平/垂直三維視點(diǎn)堆棧中包含一個水平/垂直EPI 切面。將按照水平EPI方向堆疊排列的四維光場數(shù)據(jù)輸入網(wǎng)絡(luò)時，輸入數(shù)據(jù)尺寸為N×S×T×X×Y，其中N是Batch 維度；S和T是視點(diǎn)圖像的角度維度；X和Y是視點(diǎn)圖像的空間維度。對上述四維光場數(shù)據(jù)進(jìn)行3D 卷積操作，角度維度S將作為卷積處理的通道維，角度維度T為卷積處理的深度維，3D 卷積核的直接卷積對象是尺寸為T×X×Y的三維視點(diǎn)圖像堆棧，其中包含了水平EPI切面。因此，這樣做不僅能夠同時學(xué)習(xí)S組三維視點(diǎn)圖像堆棧中的視點(diǎn)圖像和EPI 信息，還能夠?qū)W習(xí)S組三維視點(diǎn)圖像堆棧之間的聯(lián)系，即三維視點(diǎn)圖像堆棧在另一個角度維度的關(guān)聯(lián)，達(dá)到通過網(wǎng)絡(luò)學(xué)習(xí)光場圖像整體信息的效果。基于以上特點(diǎn)，本文將輸入的低分辨率四維光場圖像按照水平/垂直的EPI 方向堆疊排列，并采用雙分支結(jié)構(gòu)3D 遞減卷積網(wǎng)絡(luò)充分學(xué)習(xí)視點(diǎn)圖像、水平和垂直EPI信息，以達(dá)到更好的超分辨率效果。

圖2 光場的四維表示、EPI和三維視點(diǎn)圖像堆棧Fig.2 4D representation of light field，EPI and 3D viewpoint image stack

3.3 特征提取模塊

為了充分利用水平和垂直兩個方向的EPI 信息，特征提取模塊采用雙分支結(jié)構(gòu)設(shè)計，分為水平和垂直兩個分支。如3.2 節(jié)所述，不同于其他基于深度學(xué)習(xí)的光場超分辨率方法，本文為了充分利用光場圖像的幾何一致性，特征提取模塊采用3D 卷積層而非2D 卷積層進(jìn)行特征提取，特征提取模塊的水平和垂直分支分別由三層3D 遞減卷積層所組成。水平分支的輸入為按照水平EPI方向堆疊排列的四維光場數(shù)據(jù)，尺寸為N×S×T×X×Y，其中T×X×Y包含水平EPI 信息；垂直分支的輸入為按照水平EPI 方向堆疊排列的四維光場數(shù)據(jù)，尺寸為N×T×S×X×Y，其中S×X×Y包含垂直EPI信息。

按照水平/垂直EPI 方向堆疊排列的低分辨率四維光場數(shù)據(jù)通過三層3D 遞減卷積層，得到中間特征Fh和Fv，尺寸均為N×(S·T)×1×X×Y。在卷積過程中，特征的深度維逐層遞減為1。以本文所使用角度分辨率為7×7 的光場為例（即S=T=7），在此過程中特征尺寸變化如下所示：

用公式表達(dá)以上卷積過程為：

其中，h 和v 表示水平和垂直EPI 方向；Convi(·)表示第i個3D 卷積層，i=1，2，3；leakyrelu(·) 表示Leaky ReLU 激活函數(shù)；表示按照水平EPI 方向堆疊排列的低分辨率四維光場數(shù)據(jù)；表示按照垂直EPI 方向堆疊排列的低分辨率四維光場數(shù)據(jù)，用公式表達(dá)如下所示：

3.4 特征融合模塊

為了進(jìn)一步整合不同堆疊方向下學(xué)習(xí)到的視點(diǎn)圖像與EPI信息，以提升超分辨率結(jié)果的整體性，特征融合模塊采用了Q層空間角度卷積來融合優(yōu)化特征提取模塊得到的中間特征Fh和Fv。首先連接兩個中間特征得到全局特征Fg：

將得到的全局特征Fg輸入空間角度卷積中進(jìn)行進(jìn)一步的融合優(yōu)化?？臻g角度卷積由空間卷積和角度卷積兩個2D 卷積層順序組成，輸入空間卷積的特征尺寸為(N·S·T)×C×X×Y，2D 卷積核的直接卷積對象是尺寸為X×Y的視點(diǎn)圖像；輸入角度卷積的特征尺寸為(N·H·W)×C×S×T，2D卷積核的直接卷積對象是尺寸為S×T的宏像素，中間使用Reshape 操作來改變特征尺寸。利用空間角度卷積可以學(xué)習(xí)光場圖像的空間維度（視點(diǎn)圖像）和角度維度（宏像素）信息之間的聯(lián)系。以上步驟用公式表達(dá)如下：

其中，SAConvj(·)表示第j個空間角度卷積，j=1，2，…，Q；SpaConv(·)表示空間卷積；AngConv(·)表示角度卷積；表示通過Q層空間角度卷積后輸出的全局特征，尺寸為(N·S·T)×C×X×Y。

3.5 上采樣模塊

該殘差與同樣經(jīng)過一層2D 反卷積層上采樣后的垂直分支中間特征相加，即可得到最終的超分辨率結(jié)果Lsr。用公式表示如下：

其中，Conv(·)表示2D 卷積；Deconv(·)表示2D 反卷積。

3.6 訓(xùn)練細(xì)節(jié)

本文使用的訓(xùn)練數(shù)據(jù)集參照J(rèn)in 等人［19］，選定了來自Stanford Lytro LF Archive［22］中6 組不同類別的88 張真實光場圖像（光場相機(jī)圖像）、來自Kalantari 等人［23］的72 張真實光場圖像（光場相機(jī)圖像），以及來自HCI new［24］的20 張合成光場圖像，共180張光場圖像用于訓(xùn)練，具體信息如表1所示。

表1 訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集Tab.1 Training datasets and test datasets

本文僅針對角度分辨率為7×7 的光場圖像進(jìn)行空間超分辨率，用于訓(xùn)練的真實及合成光場數(shù)據(jù)集角度分辨率分別為14×14 和9×9，訓(xùn)練時對其進(jìn)行裁切，僅使用其中心區(qū)域的7×7 視點(diǎn)圖像。同時本文使用雙三次插值（Bicubic）的下采樣方式獲取訓(xùn)練所需的低分辨率光場圖像，訓(xùn)練時對原始空間分辨率的光場圖像進(jìn)行在線隨機(jī)裁切，使用尺寸為7×7×64×64 的光場圖像塊進(jìn)行訓(xùn)練。同時對訓(xùn)練數(shù)據(jù)進(jìn)行在線增強(qiáng)，對圖像塊隨機(jī)進(jìn)行上下或左右的翻轉(zhuǎn)以及90°、180°或270°的旋轉(zhuǎn)，以提高訓(xùn)練模型的魯棒性。

本文在RTX 3090 GPU上使用PyTorch 1.9對提出的模型進(jìn)行訓(xùn)練。特征提取模塊中的三層3D 遞減卷積層均包含49個卷積核，每層的卷積核尺寸分別為3×3×3、2×3×3 和2×3×3，卷積層之間加有Leaky ReLU 激活函數(shù)。特征融合模塊中所使用的2D 卷積均包含64 個卷積核，尺寸為3×3，卷積層之間加有ReLU 激活函數(shù)，空間角度卷積數(shù)量Q設(shè)置為6。本文使用Xaviers 算法初始化每個卷積層的權(quán)重，并使用Adam 優(yōu)化器對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，Batch 的大小設(shè)置為1，學(xué)習(xí)率初始值為10-4，每2000個epoch 學(xué)習(xí)率減半。網(wǎng)絡(luò)訓(xùn)練過程中，使用最終的超分辨率結(jié)果Lsr和原始參考圖像Lhr之間的L1損失函數(shù)對網(wǎng)絡(luò)進(jìn)行監(jiān)督：

4 實驗結(jié)果與分析

4.1 實驗設(shè)置

本文選取了四個常用的光場超分辨率數(shù)據(jù)集用于測試，分別為兩組真實光場數(shù)據(jù)集：Stanford Lytro LF Archive 的General 分類（共57 張光場相機(jī)圖像，分辨率為372×540）、Kalantari 等人［23］的測試數(shù)據(jù)（共30 張光場相機(jī)圖像，分辨率為372×540）；兩組合成光場數(shù)據(jù)集：HCI old［25］（5 張合成光場圖像，分辨率為786×786）、HCI new（4 張合成光場圖像，分辨率為512×512），共96 張光場圖像用于測試，具體信息如表1所示。

實驗結(jié)果的展示主要分為客觀評價和主觀評價兩個部分：客觀評價主要采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）作為評價指標(biāo)；主觀評價將對各方法的超分辨率結(jié)果及其誤差圖、圖像細(xì)節(jié)和紋理部分的EPI進(jìn)行展示和分析。

4.2 對比實驗

為了客觀評價所提出方法的有效性，本文主要選用了六個對比方法，包括四個現(xiàn)階段較為先進(jìn)的光場超分辨率方法：resLF［16］、LF-ATO［19］、SA-Inter［20］、LF-AFnet［21］，一種基于深度學(xué)習(xí)的經(jīng)典單圖像超分辨率方法：VDSR［26］和一個單圖像超分辨率基線方法：Bicubic。本文中所有的實驗數(shù)據(jù)均來自各論文作者給定的代碼和訓(xùn)練模型，VDSR 使用3.6 節(jié)中所述訓(xùn)練數(shù)據(jù)集中的所有光場視點(diǎn)圖像對其重新訓(xùn)練，網(wǎng)絡(luò)設(shè)置和訓(xùn)練方式參照原論文。此外，resLF原論文提供了使用Bicubic 下采樣的×2 模型和使用模糊（Blur）下采樣的×2和×4模型，本文對以上三個模型都進(jìn)行了客觀指標(biāo)展示，主觀實驗部分僅展示使用Bicubic 下采樣的超分結(jié)果。而SA-Inter 提供了針對5×5 光場圖像的×2 模型和針對7×7 光場圖像的×4模型，因此本文利用該×2模型分別超分4組5×5 光場圖像，重疊視點(diǎn)圖像部分取其客觀指標(biāo)最優(yōu)，以達(dá)到超分7×7光場圖像的效果。

上述方法在4.1 節(jié)中所述測試數(shù)據(jù)集上×2 及×4的超分辨率結(jié)果客觀指標(biāo)如表2和表3所示。表格中所展示的數(shù)據(jù)為該數(shù)據(jù)集中所有測試光場圖像的平均PSNR 和SSIM，加粗展示的為最優(yōu)數(shù)據(jù)，加下劃線展示的為次優(yōu)數(shù)據(jù)?？梢钥闯觯凇?的超分辨率任務(wù)下，本文方法僅在HCI new 數(shù)據(jù)集上的平均SSIM 略低于LF-AFnet 0.06%，而平均PSNR 相比提高了0.006 dB。在剩余三個測試數(shù)據(jù)集上的表現(xiàn)相比次優(yōu)數(shù)據(jù)分別提高了0.159 dB/0.03%、0.268 dB/0.07%、1.394 dB/0.55%；在×4 的超分辨率任務(wù)下，本文方法的平均PSNR 和SSIM 相比次優(yōu)數(shù)據(jù)分別提高了0.063 dB/0.27%、0.208 dB/0.96%、0.133 dB/0.52%、1.427 dB/3.52%。由此可證明，本文提出的方法無論在真實還是合成光場數(shù)據(jù)集上的測試結(jié)果均優(yōu)于其他方法，同時在×2 和×4 的超分辨率任務(wù)下，均能保持較高的超分辨率質(zhì)量。

表2 ×2超分辨率結(jié)果平均PSNR（dB）/SSIM對比Tab.2 Comparison of average PSNR（dB）/SSIM of ×2 super-resolution results

表3 ×4超分辨率結(jié)果平均PSNR（dB）/SSIM對比Tab.3 Comparison of average PSNR（dB）/SSIM of ×4 super-resolution results

同時，本文在測試數(shù)據(jù)集中挑選了四張測試光場圖像進(jìn)行超分辨率的主觀結(jié)果對比。圖3 為×2超分辨率主觀結(jié)果對比，展示了中心視點(diǎn)圖像Y 通道的誤差圖和超分辨率結(jié)果局部細(xì)節(jié)放大，同時繪制了局部紋理部分的水平和垂直EPI，圖像下方標(biāo)注了該圖像所有視點(diǎn)圖像的平均PSNR 和SSIM。其中誤差圖為超分辨率結(jié)果與原始參考圖像（Ground Truth）的差值，截斷值為0.1，顏色越暗表示誤差較小，反之則誤差較大。圖4 為×4 超分辨率主觀結(jié)果對比，展示了中心視點(diǎn)圖像超分辨率結(jié)果及其局部細(xì)節(jié)放大、局部紋理部分的水平和垂直EPI，以及其平均PSNR 和SSIM。通過主觀結(jié)果對比可以看出，本文方法的超分辨率結(jié)果和Ground Truth更為接近，相比其他方法具有更豐富的細(xì)節(jié)信息、更清晰的圖像紋理和邊緣。同時本文方法在EPI 上的表現(xiàn)也更為優(yōu)秀，連續(xù)性更好，EPI 中由于視差所形成的直線沒有斷連和錯連，也沒有出現(xiàn)明顯的鋸齒現(xiàn)象。尤其是bedroom 和general_23_eslf這兩張光場圖像的EPI，可以觀察到，本文方法得到的EPI 更接近Ground Truth 的EPI，而其他方法在超分辨率過程中丟失了圖像細(xì)節(jié)信息，EPI 中的視差線條信息不全，出現(xiàn)了斷連和錯連的現(xiàn)象。這也表明，本文方法相較于其他方法具有更好的幾何一致性。圖5 展示了×2 任務(wù)下，不同方法在測試光場圖像bicycle 上的視點(diǎn)圖像質(zhì)量可視化分布，顏色越深代表質(zhì)量越高，反之則質(zhì)量越差。方格內(nèi)為該角度位置視點(diǎn)圖像的PSNR，通過該圖也可以看出，本文方法在各個視點(diǎn)圖像上的超分辨質(zhì)量整體高于其他方法。

圖3 ×2超分辨率主觀結(jié)果對比，展示了中心視點(diǎn)圖像Y通道的誤差圖、局部細(xì)節(jié)放大、水平EPI（下左）和垂直EPI（下右），以及平均PSNR（dB）/SSIMFig.3 Comparison of ×2 super-resolution subjective results，which shows the error map of the Y channel of the central viewpoint image，the zoom-in of the partial details，horizontal EPI（bottom left），vertical EPI（bottom right），and the average PSNR（dB）/SSIM

圖4 ×4超分辨率主觀結(jié)果對比，展示了中心視點(diǎn)圖像的超分辨率結(jié)果、局部細(xì)節(jié)放大、水平EPI（下左）和垂直EPI（下右），以及平均PSNR（dB）/SSIMFig.4 Comparison of ×4 super-resolution subjective results，which shows the super-resolution result of the central viewpoint image，the zoom-in of the partial details，horizontal EPI（bottom left），vertical EPI（bottom right），and the average PSNR（dB）/SSIM

圖5 ×2任務(wù)下，測試光場圖像bicycle的視點(diǎn)圖像PSNR（dB）分布Fig.5 The PSNR（dB）distribution of viewpoint images of the test light field image bicycle under×2 task

為了進(jìn)一步驗證本文方法相較其他方法有更好的計算效率，本文還從網(wǎng)絡(luò)模型的參數(shù)量以及超分辨率任務(wù)執(zhí)行時間的角度來評估上述不同方法。表4 展示了×2 任務(wù)下，不同方法在Kalantari 等人［23］和HCI new 兩個測試數(shù)據(jù)集上使用RTX 3090 GPU進(jìn)行超分辨率的平均執(zhí)行時間，以及在上述四個測試數(shù)據(jù)集上的平均PSNR 和SSIM。從表格中可以看出，本文方法在保證超分辨率結(jié)果質(zhì)量的基礎(chǔ)上，還能夠較大幅度地縮減網(wǎng)絡(luò)參數(shù)量。在×2任務(wù)下，本文提出的方法與LF-AFnet和LF-ATO 相比，參數(shù)量分別縮減了69%和52%，同時執(zhí)行速度也是對比的光場超分辨率方法中最快的。

表4 ×2任務(wù)下，不同方法的計算效率和平均PSNR（dB）/SSIM對比Tab.4 Comparison of computational efficiency and average PSNR（dB）/SSIM of different methods under×2 task

4.3 消融實驗

為了進(jìn)一步驗證本文方法的有效性，本文在×4任務(wù)下主要針對特征提取模塊進(jìn)行了消融實驗，網(wǎng)絡(luò)其他部分均保持不變。消融實驗主要分為兩個部分，共設(shè)計了3 個變體，網(wǎng)絡(luò)模塊設(shè)計如圖6 所示，實驗結(jié)果客觀指標(biāo)如表5所示。

圖6 不同特征提取模塊的消融Fig.6 Ablation of different feature extraction module

1）為了驗證雙分支網(wǎng)絡(luò)結(jié)構(gòu)的有效性，本文設(shè)計了兩組單分支變體。單獨(dú)保留使用按照水平EPI方向堆疊排列的光場數(shù)據(jù)作為輸入的水平分支，記作消融A；單獨(dú)保留使用按照垂直EPI 方向堆疊排列的光場數(shù)據(jù)作為輸入的垂直分支，記作消融B。

如表5所示，消融A和消融B的實驗結(jié)果十分近似，可以看出，將視點(diǎn)圖像按照水平或垂直EPI方向堆疊排列得到的學(xué)習(xí)效果相近。而本文的雙分支結(jié)構(gòu)網(wǎng)絡(luò)的實驗結(jié)果明顯高于消融A和B，即雙分支結(jié)構(gòu)網(wǎng)絡(luò)相比單分支結(jié)構(gòu)網(wǎng)絡(luò)得到的超分辨率效果有著明顯提升，這驗證了本文雙分支結(jié)構(gòu)的有效性。同時消融B的實驗結(jié)果略高于消融A，因此網(wǎng)絡(luò)設(shè)計時，本文選擇使用垂直分支中間特征與高分辨率殘差信息相加，得到最終的超分辨率結(jié)果。

表5 ×4任務(wù)下，消融實驗參數(shù)量及超分辨率結(jié)果平均PSNR（dB）/SSIM對比Tab.5 Comparison of parameters and average PSNR（dB）/SSIM of super-resolution results of ablation experiments under×4 task

2）為了驗證將輸入的四維光場數(shù)據(jù)按照水平/垂直EPI 方向堆疊排列的有效性，本文還設(shè)計了將按照視點(diǎn)圖像順序排列的光場數(shù)據(jù)（尺寸為1×(S·T)×X×Y）直接整體輸入單分支結(jié)構(gòu)網(wǎng)絡(luò)的消融實驗，代替使用按照水平/垂直EPI 方向堆疊排列的光場數(shù)據(jù)（尺寸為S×T×X×Y或T×S×X×Y）作為輸入，記作消融C。

如表5 所示，消融C 的實驗結(jié)果明顯低于消融A 和B，可以看出，將輸入的光場數(shù)據(jù)按照EPI 方向堆疊排列能夠有效提高光場超分辨率性能，同時也驗證了，使用按照EPI 方向堆疊排列的四維光場數(shù)據(jù)作為網(wǎng)絡(luò)輸入能夠有效利用EPI信息。

仿照本文原本的網(wǎng)絡(luò)設(shè)計，以本文所使用角度分辨率為7×7 的光場為例（即S=T=7），消融C的輸入尺寸為1×49×X×Y，在輸入三層3D 遞減卷積網(wǎng)絡(luò)的過程中，特征尺寸變化如下：

相比原網(wǎng)絡(luò)設(shè)計，消融C增大了特征的深度維，同時增大了3D 卷積核的尺寸，相應(yīng)增大了3D 卷積的感受野。因此在網(wǎng)絡(luò)參數(shù)量上，該單分支設(shè)計的參數(shù)量為746K，與本文的雙分支網(wǎng)絡(luò)的參數(shù)量784K 基本相當(dāng)，高于消融A/B 的參數(shù)量688K。從實驗結(jié)果可以看出，消融C遠(yuǎn)低于本文的雙分支結(jié)構(gòu)網(wǎng)絡(luò)，這也印證了本文的雙分支網(wǎng)絡(luò)結(jié)構(gòu)以及將輸入光場數(shù)據(jù)按照EPI方向堆疊排列的有效性。

從以上分析可以看出，將低分辨率光場圖像按照EPI 方向堆疊排列形成的四維光場數(shù)據(jù)作為輸入，同時使用本文所設(shè)計的雙分支結(jié)構(gòu)網(wǎng)絡(luò)，能夠更加充分地利用光場視點(diǎn)圖像、水平和垂直EPI 信息，探索光場圖像原有的紋理信息和幾何一致性信息，有效提高了光場超分辨率性能。

5 結(jié)論

本文提出了一種基于視點(diǎn)圖像與EPI特征融合的端到端光場超分辨率方法。本方法強(qiáng)調(diào)了三維視點(diǎn)圖像堆棧包含EPI 信息這一特點(diǎn)，將四維光場數(shù)據(jù)按照水平/垂直EPI 方向堆疊排列，使用雙分支結(jié)構(gòu)的3D 遞減卷積網(wǎng)絡(luò)同時感知光場視點(diǎn)圖像和EPI 信息，提取光場特征。本方法充分利用了視點(diǎn)圖像信息、水平和垂直EPI信息，有效增強(qiáng)了光場超分辨率質(zhì)量，提高了超分辨率結(jié)果的幾何一致性。實驗結(jié)果表明，本文方法在多個數(shù)據(jù)集上的客觀指標(biāo)和主觀質(zhì)量均優(yōu)于其他主流方法。同時，相較于其他方法，本文的網(wǎng)絡(luò)模型參數(shù)量能夠保持在較低水平，在超分辨率任務(wù)執(zhí)行速度上也有較好的表現(xiàn)。未來，我們的工作方向是結(jié)合光場更多特性以獲得質(zhì)量更佳的超分辨率結(jié)果。