于迅博，李涵宇，高 鑫，桑新柱，顏玢玢，粟曦雯，溫旭東，徐 斌，王越笛

（北京郵電大學(xué) 電子工程學(xué)院，北京100876）

1 引 言

3D 光場(chǎng)顯示技術(shù)被認(rèn)為是實(shí)現(xiàn)裸眼3D 立體的一種非常有前途的方法。近幾十年來(lái)，3D光場(chǎng)顯示的成像技術(shù)取得了驚人的進(jìn)展，為觀眾提供了大量機(jī)會(huì)去了解裸眼3D 顯示技術(shù)。顯示設(shè)備的分辨率是3D 光場(chǎng)顯示系統(tǒng)中最重要的因素之一，為了進(jìn)一步提高3D 光場(chǎng)顯示的分辨率，人們做了很多努力［1-8］。3D 光場(chǎng)顯示系統(tǒng)通常由平面（2D）顯示設(shè)備和控光元件組成。提升分辨率的主要途徑有二：一是對(duì)背光刷新模組和顯示面板進(jìn)行時(shí)分復(fù)用［3-4］，二是通過(guò)空分復(fù)用增加二維顯示面板的分辨率［5-7］。上述兩種方法的本質(zhì)都是為了提高像素的數(shù)量，然而它們都大幅增加了系統(tǒng)的復(fù)雜度和制造難度。

除了增加像素?cái)?shù)量，還可以通過(guò)提高視覺(jué)分辨率改進(jìn)圖像質(zhì)量。目前有很多可行的方案來(lái)實(shí)現(xiàn)2D 顯示系統(tǒng)的視覺(jué)分辨率提升［9-14］。例如通過(guò)緊湊排列多個(gè)投影儀，并對(duì)其投影區(qū)域進(jìn)行特異化處理，以創(chuàng)造新的視覺(jué)像素［10］；通過(guò)將一對(duì)傳統(tǒng)顯示器分層，構(gòu)建一個(gè)級(jí)聯(lián)的顯示器架構(gòu)，進(jìn)而產(chǎn)生視覺(jué)子像素［11］；基于人眼視覺(jué)系統(tǒng)的特點(diǎn)，提高預(yù)顯示內(nèi)容的刷新頻率也可以提供更多的視覺(jué)像素［12］。最近有學(xué)者提出了新的思路，將提升視覺(jué)分辨率的方案應(yīng)用到了3D 顯示系 統(tǒng) 中［15-17］。Zhan 等 人 使 用Pancaratnam-Berry偏轉(zhuǎn)器，通過(guò)疊加兩個(gè)偏移的像素格來(lái)提升視覺(jué)分辨率［15］。高鑫等人設(shè)計(jì)了一個(gè)線性棱鏡陣列，將原始體素陣列在對(duì)角線上一分為二，以提高視覺(jué)分辨率［16］。

前期工作中為提高視覺(jué)分辨率需要引入新的光學(xué)結(jié)構(gòu)或顯示設(shè)備。我們提出了一種基于深度學(xué)習(xí)優(yōu)化基元圖像陣列的3D 光場(chǎng)顯示方法，該方法不需要引入額外的控光元件就可以提高視覺(jué)分辨率。在3D 光場(chǎng)顯示的成像過(guò)程中，由于透鏡存在像差，光線經(jīng)過(guò)透鏡會(huì)形成彌散斑。相鄰像素彌散斑之間的混疊區(qū)域可被視為新的視覺(jué)像素，并作為額外的信息載體。基于這個(gè)前提，我們搭建并訓(xùn)練了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN），以從高分辨率基元圖像陣列（HEIA）中訓(xùn)練得到預(yù)處理的基元圖像陣列（PEIA）。通過(guò)現(xiàn)有的透鏡陣列對(duì)PEIA 進(jìn)行加載顯示，實(shí)現(xiàn)了視覺(jué)分辨率提高的3D 光場(chǎng)顯示。在實(shí)驗(yàn)中，對(duì)現(xiàn)有的透鏡陣列進(jìn)行像差分析，提取其點(diǎn)擴(kuò)散函數(shù)陣列，并用高斯分布近似替代，方便后續(xù)網(wǎng)絡(luò)的搭建。通過(guò)使用LEIA和設(shè)計(jì)的復(fù)合透鏡陣列，演示了在70°視角下具有更好視覺(jué)分辨率的光場(chǎng)顯示。

2 基于LEIA 提升視覺(jué)分辨率

2.1 由透鏡像差引起的彌散斑交疊

我們?cè)谝郧暗墓ぷ髦刑岢隽艘粋€(gè)帶有透鏡陣列、LCD 和定向擴(kuò)散膜的光場(chǎng)顯示系統(tǒng)［17］。圖1中畫(huà)出了基本的顯示單元，并結(jié)合了3D 光場(chǎng)顯示系統(tǒng)的成像過(guò)程。像素1、2、3、4（表示為P1、P2、P3、P4）是LCD 上相鄰的不同像素。由于透鏡存在像差，使得單一像素在成像過(guò)程中形成了一個(gè)彌散斑。LCD 上兩個(gè)相鄰像素發(fā)出的光線經(jīng)過(guò)透鏡后在定向擴(kuò)散膜上形成的彌散斑之間產(chǎn)生了交疊區(qū)域，混疊區(qū)域可以被看作是新的視覺(jué)像素。如圖1 所示，新的視覺(jué)像素被標(biāo)記為SP1～SP5（SP 表示亞像素）。新視覺(jué)像素的強(qiáng)度可以用P1、P2、P3 和P4 的強(qiáng)度表示。例如SP5的強(qiáng)度可以用公式（1）表示：

圖1 由相鄰像素之間交疊區(qū)域產(chǎn)生的新視覺(jué)像素Fig.1 New visual pixels generated by aliasing areas between adjacent pixels

Intensity(SP5)=K1·Intensity(P1)+

K2·Intensity(P2)+K3·Intensity(P3)+

K4·Intensity(P4)， （1）

其中K1、K2、K3和K4分別表示P1、P2、P3 和P4 在SP5 位置的權(quán)重系數(shù)。權(quán)重系數(shù)可以通過(guò)分析定向擴(kuò)散膜上顯示的彌散斑強(qiáng)度分布得到。

如圖1 所示，在HFS 上顯示的視覺(jué)像素的強(qiáng)度分布可以通過(guò)卷積運(yùn)算來(lái)表示：

VI(x,y)=PI(x,y)*h(x,y)， （2）

其中：*代表卷積運(yùn)算，VI（x，y）代表視覺(jué)像素在定向擴(kuò)散膜上的強(qiáng)度分布，PI（x，y）代表像素在LCD 上的強(qiáng)度分布，h（x，y）表示對(duì)應(yīng)的點(diǎn)擴(kuò)散函數(shù)（PSF）。單一透鏡下不同視場(chǎng)角的每個(gè)像素的PSF 可以被近似看作高斯分布，因此彌散斑的均方根半徑（RMS）的2 倍可被視為等于高斯分布的半高全寬（FWHM）［18］。根據(jù)高斯公式，任意RMS 半徑彌散斑的PSF 可以表示為：

其 中：R是RMS 半 徑，μx是 沿x軸 方 向 的 期 望，μy是沿y軸方向的期望。當(dāng)基元圖像（EI）經(jīng)過(guò)透鏡時(shí)，透鏡不同視場(chǎng)角下彌散斑的RMS 半徑都不相同，與其對(duì)應(yīng)的PSF 也不相同。基于公式（3）及上述的討論分析，我們可以用不同的高斯分布近似替代不同視場(chǎng)角下的PSF。因此單一透鏡下復(fù)雜繁瑣的PSF 分布情況可以用一個(gè)高斯核陣列（GKA）來(lái)表示。那么EI 的成像過(guò)程可以看作是EI 的強(qiáng)度分布與高斯核陣列之間的卷積運(yùn)算，如圖2 所示。

圖2 像素經(jīng)過(guò)透鏡的過(guò)程可被視為與高斯核的卷積Fig.2 Process of pixel blurring after passing through a lens which can be regarded as convolution with a Gaussian kernel

2.2 基于CNN 提升視覺(jué)分辨率

為了將交疊區(qū)域變成可利用的視覺(jué)像素，我們?cè)O(shè)計(jì)了一個(gè)用于分辨率增強(qiáng)的CNN，用于從HEIA 中獲得PEIA。圖3 解釋了視覺(jué)分辨率增強(qiáng)是如何實(shí)現(xiàn)的。首先用虛擬相機(jī)陣列（VCA）對(duì)三維模型采集一系列高分辨率的視差圖，然后以15 360×8 640（16K）的分辨率合成HEIA。

圖3 使用CNN 實(shí)現(xiàn)視覺(jué)分辨率增強(qiáng)的3D 光場(chǎng)顯示過(guò)程Fig.3 Process of using CNN to realize visual resolution enhanced 3D display

將HEIA 輸入至CNN，經(jīng)過(guò)CNN 的處理，得到分辨率為7 680×4 320（8K）的PEIA。輸出的PEIA 被加載到LCD 面板上，經(jīng)過(guò)透鏡陣列的光學(xué)變換后，觀眾可以在定向擴(kuò)散膜上觀察到具有視覺(jué)分辨率增強(qiáng)的光場(chǎng)顯示3D 圖像。我們使用16K 分辨率的HEIA 作為網(wǎng)絡(luò)輸入的原因有二：一是真實(shí)物理分辨率與視覺(jué)分辨率目前難以通過(guò)簡(jiǎn)單的公式進(jìn)行衡量，選擇橫向分辨率乘以2和縱向分辨率乘以2 的訓(xùn)練方式與文中所提的兩個(gè)相鄰像素相互交疊產(chǎn)生一個(gè)新視覺(jué)信息的模型更加契合；二是如果選用更高分辨率的合成圖作為輸入，將會(huì)加劇虛擬相機(jī)采集視差圖時(shí)所帶來(lái)的時(shí)間成本。

圖4 展示了用分辨率增強(qiáng)的CNN 獲取PEI的過(guò)程。其中HEI 作為CNN 的輸入。將HEI 輸入至分辨率增強(qiáng)的CNN 得到PEI。然后對(duì)圖像依次進(jìn)行雙線性插值放大和卷積點(diǎn)擴(kuò)散函數(shù)陣列操作，上述操作是模擬真實(shí)系統(tǒng)中的光學(xué)成像過(guò)程：雙線性插值對(duì)應(yīng)著像素經(jīng)過(guò)透鏡的放大過(guò)程，卷積對(duì)應(yīng)著光線經(jīng)過(guò)透鏡形成彌散斑相互影響的過(guò)程。最終將仿真得到的圖像與HEI 計(jì)算結(jié)構(gòu)相似性差異（SSIM）作為網(wǎng)絡(luò)的損失函數(shù)，進(jìn)行梯度優(yōu)化反向傳播。CNN 是用TensorFlow 框架編程的，并在NVIDIA RTX 2070 GPU 上運(yùn)行。當(dāng)訓(xùn)練過(guò)程迭代到50 000 次時(shí)，所采用的網(wǎng)絡(luò)收斂性良好。每次迭代耗時(shí)約0.036 s，總訓(xùn)練時(shí)間為1 800 s。CNN 中共有5 個(gè)卷積層，每個(gè)卷積層依次包括32、64、128、256 和512 個(gè)特征。

圖4 分辨率增強(qiáng)的CNN 的示意圖Fig. 4 Schematic diagram of the resolution-enhanced CNN

為了驗(yàn)證上述的構(gòu)想，并且考慮到設(shè)計(jì)制造的難度和光學(xué)加工的成本，我們使用了實(shí)驗(yàn)室中現(xiàn)有的透鏡陣列模組，其基本透鏡單元為兩個(gè)透鏡的復(fù)合透鏡，如圖5（a）所示。我們對(duì)該透鏡不同視場(chǎng)角下的彌散斑分布進(jìn)行了定量分析，并使用GKA 表示了PSF 陣列?？紤]到讀者的直觀感受，我們只列出了透鏡在0°、19.7°和34.6°視場(chǎng)角下的彌散斑示意圖和RMS 半徑，如圖5（b）所示。

圖5 （a）復(fù)合透鏡的結(jié)構(gòu)參數(shù)；（b）復(fù)合透鏡在3 個(gè)視角下的彌散斑分布情況（RMS 半徑：0°視場(chǎng)角：4 035.04 μm，19.7°視場(chǎng)角：3 843.27 μm，34.6°視場(chǎng)角：4 198.41μm）。Fig. 5 （a）Structural parameters of the compound lens；（b）Spot diagrams of the compound lens in three viewing angles（RMS radius：0° viewing angle：4 035.04 μm，19.7°viewing angle：3 843.27 μm，34.6°viewing angle：4 198.41 μm）.

3 仿真和實(shí)驗(yàn)

我們分別使用標(biāo)準(zhǔn)分辨率圖和三維街道場(chǎng)景來(lái)驗(yàn)證所提出方法的有效性。如圖6 和圖7 所示，通過(guò)引入基于CNN 的視覺(jué)分辨率增強(qiáng)方法，仿真圖像的細(xì)節(jié)更加清晰。在街道場(chǎng)景的仿真當(dāng)中可以看到，視覺(jué)分辨率有所提升，并且圖像的SSIM 值也有提升。

圖6 標(biāo)準(zhǔn)分辨率圖的仿真結(jié)果。（a）未使用優(yōu)化方法；（b）采用視覺(jué)分辨率增強(qiáng)方法。Fig. 6 Simulation results of standard resolution chart.（a）Without the proposed visual resolution-enhanced method；（b）With the visual resolution-enhanced method.

圖7 街道場(chǎng)景的仿真結(jié)果。（a）高分辨率的原始圖像；（b）未優(yōu)化的仿真圖像；（c）使用視覺(jué)分辨率增強(qiáng)方法的仿真圖像。Fig. 7 （a）Original image with high resolution；（b）Simulation image without visual resolution-enhanced method；（c）Simulation image with the visual resolution-enhanced method.

在光學(xué)實(shí)驗(yàn)中，我們展示了一個(gè)由定向擴(kuò)散膜、透鏡陣列和LCD 組成的光場(chǎng)顯示系統(tǒng)。透鏡陣列被放置在距離LCD 上方8.151 mm 處，定向擴(kuò)散膜被放置在透鏡陣列上方180.0 mm 處。透鏡陣列的規(guī)模為53×30，相鄰?fù)哥R單元之間的中心距離是13 mm。LCD 的尺寸為81.28 cm（32 in），分辨率為7 680×4 320。圖8 展示了從3 個(gè)角度下拍攝的實(shí)際顯示圖像的照片，并放大了一些局部的細(xì)節(jié)。圖8 的頂部為未進(jìn)行優(yōu)化的3D 圖像，底部為使用基于CNN 的視覺(jué)分辨率提升的3D 圖像，中間兩種圖像之間的局部對(duì)比。很明顯，在70°的視角內(nèi)，由視覺(jué)分辨率增強(qiáng)方法產(chǎn)生的3D圖像更加清晰，并提供了更多的街道細(xì)節(jié)信息。

圖8 未使用優(yōu)化方法（a）和采用視覺(jué)分辨率增強(qiáng)方法（b）的街道場(chǎng)景的三維光場(chǎng)顯示Fig. 8 3D light field display for a street scene without the proposed visual resolution-enhanced method（a）and with the visual resolution-enhanced method（b）

4 結(jié) 論

本文提出了一種基于深度學(xué)習(xí)提升視覺(jué)分辨率的3D 光場(chǎng)顯示方法。該方法的核心是將彌散斑的交疊區(qū)域視為新的視覺(jué)像素，并作為額外的信息載體使用。為了將交疊區(qū)域轉(zhuǎn)化為可用的視覺(jué)像素，構(gòu)建了一個(gè)CNN，從HEIA 中獲得PEIA。將PEIA 加載到LCD 上，經(jīng)過(guò)透鏡陣列的光學(xué)變換和定向擴(kuò)散膜的擴(kuò)散作用，為觀眾提供視覺(jué)分辨率增強(qiáng)的3D 圖像。在實(shí)驗(yàn)中，通過(guò)利用PEIA 和復(fù)合透鏡陣列，實(shí)現(xiàn)了視覺(jué)分辨率提高的光場(chǎng)顯示。