何 偉，李 強(qiáng)，郭兆達(dá)，鄧 歡

（四川大學(xué) 電子信息學(xué)院，四川 成都610065）

1 引 言

3D 顯示能夠真實(shí)地再現(xiàn)出物體的深度和視差信息，加強(qiáng)了觀看者對(duì)三維物體的立體感知，是人類(lèi)追求的終極顯示方式。在醫(yī)療診斷、軍事演練、工業(yè)設(shè)計(jì)和科學(xué)研究等領(lǐng)域有著重要的應(yīng)用價(jià)值，不僅能夠帶來(lái)視覺(jué)沉浸感，更能夠提高工作效率和專(zhuān)注力。但是傳統(tǒng)的裸眼3D 顯示存在輻輳調(diào)節(jié)沖突的問(wèn)題［1-3］，觀察者長(zhǎng)時(shí)間注視容易造成眩暈和視覺(jué)疲勞等不適感，嚴(yán)重影響了觀看體驗(yàn)。因此，發(fā)展出了基于光場(chǎng)理論［4-5］的真3D 顯示技術(shù)，主要包括全息顯示技術(shù)［6-7］、體3D顯示技術(shù)［8-9］和集成成像顯示技術(shù)［10-12］，通過(guò)重構(gòu)出真實(shí)場(chǎng)景的光場(chǎng)信息，克服了輻輳調(diào)節(jié)沖突并實(shí)現(xiàn)了自然的觀看體驗(yàn)，從而吸引了研究者的廣泛關(guān)注。集成成像顯示技術(shù)具有結(jié)構(gòu)簡(jiǎn)單，不需要相干光源，可以實(shí)現(xiàn)真彩色、準(zhǔn)連續(xù)視差的3D圖像等優(yōu)點(diǎn)，被認(rèn)為是最接近市場(chǎng)化的真3D 顯示技術(shù)之一。

盡管集成成像顯示技術(shù)有很多優(yōu)點(diǎn)，但是其顯示性能存在相互制約的關(guān)系［13］，難以突破空間帶寬積的限制。分辨率表征了再現(xiàn)圖像的精細(xì)程度，直接影響重構(gòu)3D 圖像的視覺(jué)效果。集成成像的觀看分辨率主要由透鏡陣列的空間分辨率［14］和顯示器的分辨率共同決定。隨著現(xiàn)代制造工藝的進(jìn)步，透鏡的空間分辨率遠(yuǎn)大于顯示器的分辨率，因此顯示器的分辨率決定了3D 圖像分辨率的下限。一方面，顯示器的像素尺寸越小，在空間中重構(gòu)出的3D 體素就越小，顯示的內(nèi)容越細(xì)致；另一方面，顯示器的像素?cái)?shù)量越多，對(duì)應(yīng)的3D 體素就越多，重構(gòu)的3D 圖像越豐富。在提升集成成像3D 圖像分辨率方面，國(guó)內(nèi)外學(xué)者做了較多的研究。在增加像素?cái)?shù)量方面，康涅狄格大學(xué)提出了同步移動(dòng)記錄和顯示透鏡陣列的方法來(lái)增加對(duì)顯示器的采樣頻率，進(jìn)而提高像素?cái)?shù)量［15］。釜慶大學(xué)提出在透鏡陣列前面增加一層動(dòng)態(tài)掩模板，快速切換掩模板的位置，并配合LCD 快速刷新片源，在空間中實(shí)現(xiàn)像素點(diǎn)的增加［16］。東京大學(xué)設(shè)計(jì)了基于多臺(tái)投影機(jī)的集成成像顯示系統(tǒng)，將兩臺(tái)投影機(jī)投影的片源通過(guò)光路折轉(zhuǎn)系統(tǒng)轉(zhuǎn)移到一個(gè)平面，實(shí)現(xiàn)像素?cái)?shù)量的倍增［17］。此外，還提出了基于旋轉(zhuǎn)棱鏡片的方法，在透鏡陣列后面增加一個(gè)快速旋轉(zhuǎn)的棱鏡陣列，通過(guò)時(shí)分復(fù)用將像素?cái)?shù)量增加到原來(lái)的4 倍［18］。此外還有一些通過(guò)空分復(fù)用或時(shí)分復(fù)用的方法改變定向背光的方向?qū)崿F(xiàn)點(diǎn)光源的倍增，進(jìn)而增加3D 圖像的體素［19-22］。上述方法主要通過(guò)時(shí)分復(fù)用或空分復(fù)用技術(shù)，或者使用多臺(tái)投影系統(tǒng)，來(lái)提升像素?cái)?shù)量，對(duì)顯示器的刷新率具有較高的要求，存在矯正困難等問(wèn)題。在減小像素尺寸方面，西安大學(xué)通過(guò)在商用顯示器上設(shè)計(jì)子像素掩模板，通過(guò)時(shí)分復(fù)用實(shí)現(xiàn)對(duì)子像素的控制，從而減小像素尺寸［23］。臺(tái)灣交通大學(xué)將顯示器的每個(gè)像素分成3 個(gè)子像素，實(shí)現(xiàn)像素尺寸的減小，并通過(guò)相應(yīng)的子像素重組算法生成相應(yīng)的EIA，將分辨率提高為原來(lái)的2.41 倍［24］。北京郵電大學(xué)設(shè)計(jì)了一個(gè)分光棱鏡陣列將顯示器上特定的片源發(fā)出光線分成多數(shù)細(xì)光線，再將細(xì)光束錯(cuò)位疊加在一起形成更小的像素單元，進(jìn)而實(shí)現(xiàn)分辨率的增強(qiáng)［25］。如何在現(xiàn)有的商用顯示器的基礎(chǔ)上進(jìn)一步減小像素尺寸并同時(shí)增加像素?cái)?shù)量仍是一個(gè)挑戰(zhàn)。

本文提出了一種使用回返器和反射偏振片來(lái)提高集成成像分辨率的方法。該方法通過(guò)偏振復(fù)用技術(shù)將EIA 光線在空間中分離，并錯(cuò)位疊加形成高密度小像素點(diǎn)的高分辨率EIA，并通過(guò)像素索引關(guān)系反向計(jì)算出顯示器上EIA 的像素值用作顯示片源。該方法可根據(jù)顯示器的參數(shù)靈活地調(diào)整片源的錯(cuò)位距離來(lái)匹配各種顯示器尺寸，不需要復(fù)雜的機(jī)械運(yùn)動(dòng)和投影矯正，可有效減小像素尺寸并增加像素?cái)?shù)量，突破2D 顯示屏的分辨率限制，實(shí)現(xiàn)3D 圖像分辨率的提升。

2 結(jié)構(gòu)原理及片源生成方法

2.1 系統(tǒng)結(jié)構(gòu)原理

本文提出了基于回返器和反射型偏振片的高分辨率集成成像顯示裝置。裝置結(jié)構(gòu)和實(shí)際光路的俯視圖如圖1 所示，主要由2D 顯示器、反射型偏振片、四分之一波片、回返器和透鏡陣列組成，XY平面平行俯視平面，Z軸垂直XY平面。2D 顯示器在XZ面內(nèi)以45°角放置，其像素對(duì)角線平行于X軸方向，反射型偏振片反射S 光透射P光，其垂直于XY面，并與X軸成45°夾角。平板顯示器發(fā)出的光線經(jīng)過(guò)反射型偏振片1，被分成透射光路和反射光路，如圖1（a）中紅色箭頭所示。在反射光路中，四分之一波片1 的光軸與S偏振光的振動(dòng)方向成45°，S 偏振光經(jīng)過(guò)四分之一波片1 后變成左旋圓偏振光（left-hand circularly polarization，LCP），并向回返器1 方向傳播?；胤灯饔山清F棱鏡陣列構(gòu)成，如圖1（b）所示，每個(gè)角錐棱鏡由3 個(gè)相互正交的反射面組成，入射光線在3 個(gè)反射面上依次反射，最后出射光線沿原入射光方向原路返回。由于每個(gè)角錐棱鏡的尺寸為微米級(jí)，出射光線和入射光線的位置誤差相對(duì)于像素尺寸來(lái)說(shuō)可以忽略。由于入射光在回返器里面反射3 次，存在半波損失，左旋圓偏振光變成右旋圓偏振光（right-hand circularly polarization，RCP），再次經(jīng)過(guò)四分之一波片1 后變成P 偏振光。P 偏振光透過(guò)兩個(gè)反射型偏振片在顯示器關(guān)于反射型偏振片1 對(duì)稱的位置上形成P 偏振分量的EIA；同理，在透射光路中，P 偏振光經(jīng)過(guò)四分之一波片2 和回返器2 變成S 偏振光，再由反射型偏振片2 反射，在顯示器關(guān)于反射型偏振片2 對(duì)稱的位置形成S 偏振分量的EIA。P偏振分量和S 偏振分量EIA 將錯(cuò)位疊加，如圖1（c）所示，圖中的每個(gè)小方格的長(zhǎng)度是像素對(duì)角線的長(zhǎng)度，為其中d是像素節(jié)距。P 偏振分量EIA 由顯示屏光線先被反射偏振片1 反射，再透過(guò)間距為Δt的兩個(gè)反射偏振片產(chǎn)生，如綠色光線所示。而S 偏振分量EIA 由顯示器光線先透過(guò)兩個(gè)反射偏振片，再由反射偏振片2 反射而產(chǎn)生，如藍(lán)色光線所示。P 偏振分量EIA 和S 偏振分量EIA 沿對(duì)角線方向存在Δr的位移，其中通過(guò)控制兩個(gè)反射偏振片的垂直間距Δt為（1/2）d，使得兩個(gè)偏振EIA 沿對(duì)角線方向的相對(duì)位移Δr為，分解到水平和豎直方向上的相對(duì)位移均為1/2 個(gè)像素，疊加之后的像素尺寸為原來(lái)的1/4，從而形成尺寸更小、密度更高的像素點(diǎn)。經(jīng)過(guò)透鏡陣列實(shí)現(xiàn)光線的方向性調(diào)制，最終在空間中重構(gòu)出尺寸更小數(shù)量更多的體素，從而提高3D 圖像的分辨率。

圖1 所提出分辨率增強(qiáng)集成成像系統(tǒng)的結(jié)構(gòu)圖Fig.1 Structure diagram of the proposed resolution-enhanced integral imaging system

2.2 EIA 生成方法

為了能夠正確重建出3D 圖像，需要根據(jù)疊加后的高分辨率EIA 和偏振EIA 之間的像素關(guān)系，反向計(jì)算出偏振EIA 的像素值。兩個(gè)偏振EIA 的像素與高分辨率EIA 的像素索引關(guān)系如圖2 所示，假設(shè)平板顯示器的像素?cái)?shù)為n×n，經(jīng)過(guò)反射型偏振片分離出的灰度值相同的兩個(gè)偏振EIA，像素?cái)?shù)均為n×n，并在水平和豎直方向上均有 半 個(gè) 像 素 的 相 對(duì) 位 移。S（i，j）和P（i，j）分 別 代 表S 偏 振EIA 和P 偏 振EIA 的 像 素 值，下 標(biāo)i和j是兩個(gè)偏振EIA 的坐標(biāo)索引。P 偏振EIA 的每個(gè)像素都與S 偏振EIA 上坐標(biāo)相鄰的4 個(gè)像素疊加，形成4 個(gè)更小的像素。因此，高分辨率EIA 的像素值H（u，v）和兩個(gè)偏振EIA 的像素關(guān)系可用公式（1）表示：

圖2 像素索引關(guān)系Fig.2 Relationship of the pixel index

其中：u和v是高分辨率EIA 的坐標(biāo)索引，根據(jù)公式（1）可 知，P（i，j）與S（i，j），S（i+1，j），S（i，j+1）和S（i+1，j+1）4 個(gè)像素疊加形成新的4 個(gè)小像素，因此，疊加后的像素總數(shù)為4n2-4n+1，接近顯示屏像素?cái)?shù)的4 倍。為 了 能 夠 疊 加 形 成 目 標(biāo) 高 分 辨 率H（u，v），需 要計(jì)算出偏 振EIA 的像素值，根 據(jù)H（u，v）與S（i，j）和P（i，j）的 像 素 索 引 關(guān) 系，可 以 反 向 計(jì) 算 出S（i，j）或P（i，j）的像素值。由于反射偏振片對(duì)光線亮度有一半 的 損 失，反 向 計(jì) 算 出 的S（i，j）或P（i，j）的 像 素 值 需乘以2 倍，即獲得顯示屏上待顯示的EIA。

3 實(shí)驗(yàn)驗(yàn)證

在實(shí)驗(yàn)中，我們利用3Ds Max 軟件搭建了3D 場(chǎng)景，通過(guò)OpenGL 建立虛擬相機(jī)陣列來(lái)代替透鏡陣列渲染光場(chǎng)圖像，將采集到的光場(chǎng)圖像合成目標(biāo)高分辨率EIA，根據(jù)公式（1）反向計(jì)算出偏振EIA 的像素值，進(jìn)而獲得顯示器上待顯示的EIA。圖3 為搭建的分辨率增強(qiáng)集成成像3D 顯示實(shí)驗(yàn)裝置，其中2D 顯示屏為iPad 2019，其分辨率為2 150 pixels×1 620 pixels，像素節(jié)距為0.096 mm，將其在XZ面內(nèi)旋轉(zhuǎn)45°放置，使其像素的對(duì)角線方向平行于光學(xué)平臺(tái)方向。透鏡陣列中透鏡節(jié)距為1 mm，焦距為3.3 mm，透鏡元為方形無(wú)間隙緊密排布，透鏡個(gè)數(shù)為100×100。透鏡陣列位于疊加的高分辨率EIA 右側(cè)3.5 mm 處，為了將其與EIA 匹配，將其在YZ平面內(nèi)旋轉(zhuǎn)45°放置。反射型偏振片的工作波長(zhǎng)在420～750 nm 之間，在可見(jiàn)光范圍內(nèi)對(duì)S 偏振光的反射率基本維持在88%，對(duì)P 偏振光透過(guò)率基本在90%，避免了色差對(duì)圖像質(zhì)量的影響。兩個(gè)反射偏振片中間加入一個(gè)0.048 mm 的透明薄膜，用于控制S 偏振光和P 偏振光的偏移量，反射型偏振片的光軸與四分之一波片的光軸夾角為45°。四分之一波片的工作波長(zhǎng)為400～750 nm，保證了在可見(jiàn)光范圍內(nèi)具有正確的相位延遲。

圖3 實(shí)驗(yàn)裝置圖Fig.3 Configuration of the experimental setup

使用多個(gè)彩色氣球和上下兩個(gè)紫色矩形框作為3D 模型，在模型中將最前面的粉色氣球和最后面的黃色氣球間距設(shè)置為15 mm，模型排布的側(cè)視圖和對(duì)應(yīng)的EIA 如圖4 所示，3D 圖像的中心深度平面位于透鏡陣列前57.75 mm 處。將相機(jī)聚焦在中心深度平面的位置，觀察重構(gòu)圖像細(xì)節(jié)處的分辨率來(lái)證明所提方法的可行性和有效性。圖5 對(duì)比顯示了使用傳統(tǒng)集成成像方法和本文所提出的方法重構(gòu)的3D 圖像。圖5（a）是基于傳統(tǒng)集成成像方法重構(gòu)的3D 像，其中的黑色線條是顯示器的黑色網(wǎng)格經(jīng)過(guò)透鏡陣列放大后形成的。圖5（b）是使用本文提出的方法重構(gòu)的3D 像，可以看到疊加后的像素網(wǎng)點(diǎn)更小且密度增加，同時(shí)減輕了像素間的黑網(wǎng)格問(wèn)題，亮度更加均勻，從而提高3D 圖像的質(zhì)量。雖然分辨率有所提高，但是圖像的邊緣存在光暈，這主要是由掠入射到回返器上的光造成的，未來(lái)可通過(guò)準(zhǔn)直器控制光束的發(fā)散角來(lái)改善這種情況［26］。圖5 中重建的3D 圖像上半部分有些模糊，這是由于相機(jī)僅聚焦在中心深度平面的位置，其他深度的圖像處于離焦?fàn)顟B(tài)。

圖4 3D 場(chǎng)景和生成的EIA Fig.4 3D scene and generated elemental image array

圖5 光學(xué)重構(gòu)的3D 圖像對(duì)比Fig.5 Comparison of reconstructed 3D images

為了驗(yàn)證重構(gòu)3D 圖像的視差效果，以及不同深度氣球的清晰再現(xiàn)效果，采用大景深的光圈進(jìn)行拍攝，圖6 展示了從不同方向觀看到的3D 圖像，觀看視角為16°，黃色矩形框中展示了水平和豎直方向上的運(yùn)動(dòng)視差，不僅所有深度的氣球都能夠被清晰地重建，而且沒(méi)有出現(xiàn)明顯的畸變。因此，所提方法能有效地提高3D 圖像的分辨率。

圖6 重構(gòu)3D 圖像的不同視圖Fig.6 Different perspectives of reconstructed 3D images

4 結(jié) 論

本文分析了影響集成成像分辨率的主要因素，透鏡陣列分辨率和顯示器分辨中較小的一個(gè)決定了集成成像系統(tǒng)的分辨率上限，且顯示器的像素尺寸對(duì)重構(gòu)圖像的分辨率影響較大?；诖耍疚奶岢隽耸褂没胤灯骱头瓷湫推衿瑢?shí)現(xiàn)偏振復(fù)用的方法，該方法能夠有效減小像素尺寸，同時(shí)增加像素的數(shù)量，提高了整個(gè)系統(tǒng)的空間帶寬積。實(shí)驗(yàn)表明，通過(guò)所提出的方法增加了3D 圖像的分辨率，改善了顯示器的黑網(wǎng)格效應(yīng)，圖像亮度更加均勻，提升了重建3D 圖像的質(zhì)量。所提方法不會(huì)損失觀看視角和景深，同時(shí)不需要復(fù)雜的機(jī)械結(jié)構(gòu)，可以通過(guò)控制兩個(gè)反射型偏振片的距離靈活地匹配各種像素尺寸的平板顯示器，能夠突破現(xiàn)有顯示器的分辨率極限，尤其適用于大像素點(diǎn)的顯示器。