張宇翔,吳天昊,鮮 明,張洪江
(1 國(guó)防科技大學(xué)電子科學(xué)學(xué)院,長(zhǎng)沙 410073; 2 安康學(xué)院電子與信息工程學(xué)院,陜西 安康 725000)
圖像記錄了光的信息,也是人類記錄三維世界的手段。 縱覽人類歷史,實(shí)際上也是人類對(duì)于光學(xué)信息的研究發(fā)展史,從簡(jiǎn)筆繪畫到精美的寫實(shí)畫,從手工繪制地圖到如今的數(shù)字實(shí)景地圖。 然而目前的相機(jī)成像技術(shù)仍依賴于針孔成像模型,是使用傳感器記錄空間中某一平面的光強(qiáng)二維分布,是對(duì)七維全光函數(shù)進(jìn)行二維采樣的過程。 在傳統(tǒng)成像技術(shù)的基礎(chǔ)上,計(jì)算攝影學(xué)從記錄多維光學(xué)信息的角度,克服了傳統(tǒng)成像方法的以下局限:
(1)景深和光圈大小的局限性。 傳統(tǒng)光學(xué)成像的鏡頭光圈限制成像的景深[1]。 光圈越大,鏡頭對(duì)光信號(hào)的采集能力越強(qiáng),成像質(zhì)量越好。 但與之同時(shí)出現(xiàn)的問題是景深范圍小,不利于全場(chǎng)景成像。
(2)二維采樣的局限性。 針孔成像模型中的圖片為三維世界坐標(biāo)系的點(diǎn)在二維上的投影,因此傳統(tǒng)成像模型無法采集深度信息。
(3)鏡頭成本的局限性。 傳統(tǒng)相機(jī)要想獲得更好的成像質(zhì)量,需要更大體積、更大光圈的鏡頭,費(fèi)用較為高昂[1]。
在計(jì)算攝影學(xué)中,近十多年逐漸成熟的光場(chǎng)成像(Light Field Imaging)已經(jīng)成為現(xiàn)代光學(xué)成像的新興領(lǐng)域。 光場(chǎng)成像設(shè)備可以同時(shí)記錄光線的強(qiáng)度和方向,人們利用這一點(diǎn)可以提取出場(chǎng)景的三維信息。利用三維信息,光場(chǎng)數(shù)據(jù)可以生成場(chǎng)景深度圖。 深度圖像是三維場(chǎng)景重建的基礎(chǔ),利用此信息可以實(shí)現(xiàn)更多復(fù)雜算法。 此外,光場(chǎng)成像還可以實(shí)現(xiàn)光場(chǎng)重聚焦[2-3]、光場(chǎng)超分辨等功能。
在計(jì)算機(jī)視覺中,可靠的數(shù)據(jù)是算法訓(xùn)練的基礎(chǔ)。 目前,知名的公開光場(chǎng)數(shù)據(jù)集有斯坦福大學(xué)利用真實(shí)陣列相機(jī)建立的光場(chǎng)數(shù)據(jù)集STF-gantry,Lytro 官網(wǎng)公開的數(shù)據(jù)集EPFL 以及INRIA。 這些數(shù)據(jù)集都具有場(chǎng)景內(nèi)容豐富、成像質(zhì)量高的特點(diǎn)。 真實(shí)數(shù)據(jù)集的優(yōu)勢(shì)在于拍攝的場(chǎng)景全部源于真實(shí)世界,但是真實(shí)數(shù)據(jù)集依賴于現(xiàn)實(shí)條件,例如昂貴的相機(jī)設(shè)備、還有拍攝的環(huán)境需要仔細(xì)選擇,否則成像質(zhì)量難以保證。 而HCI 數(shù)據(jù)集提供了一種新思路,利用現(xiàn)在成熟的3D 建模技術(shù),在電腦中先構(gòu)建虛擬場(chǎng)景,再通過渲染方式生成光場(chǎng)圖片。 由于在虛擬場(chǎng)景中生成圖片是嚴(yán)格按照針孔成像模型進(jìn)行3 維到2 維的映射,這種方式得到的光場(chǎng)圖片免去了繁瑣的校正步驟,而且由于整個(gè)場(chǎng)景的人工搭建,還可以渲染出深度圖作為深度的真值,這是真實(shí)場(chǎng)景數(shù)據(jù)集做不到的。
然而,目前主流的仿真數(shù)據(jù)集還有一個(gè)未能實(shí)現(xiàn)的功能是調(diào)節(jié)陣列相機(jī)基線,因此本文基于3dsMax 建模軟件構(gòu)建了一個(gè)基線可變的原創(chuàng)光場(chǎng)數(shù)據(jù)集—BVSL-34,還開創(chuàng)性加入了對(duì)于同一場(chǎng)景的可變基線的功能,并且后文對(duì)于光場(chǎng)算法的實(shí)現(xiàn)也將基于此數(shù)據(jù)集進(jìn)行。
陣列相機(jī)的原理是在四維光場(chǎng)中,在多個(gè)位置放置相機(jī)對(duì)四維光場(chǎng)進(jìn)行二維切片,相當(dāng)于對(duì)光場(chǎng)進(jìn)行多角度的二維采樣。
文獻(xiàn)[4]設(shè)計(jì)了一個(gè)8×8 的陣列相機(jī)。 這種設(shè)備的特點(diǎn)是能夠?qū)\(yùn)動(dòng)的光場(chǎng)進(jìn)行感知。 文獻(xiàn)[5]設(shè)計(jì)了一個(gè)6×8 的光場(chǎng)成像設(shè)備,可以渲染不在6×8 視角位置的視角圖像。 就是通過對(duì)各子相機(jī)位置視角進(jìn)行重排列,通過這種手段獲得更優(yōu)的成像品質(zhì)。 文獻(xiàn)[6]制作了一個(gè)8×12 的陣列相機(jī),并且將獲取的光場(chǎng)數(shù)據(jù)制作成公開數(shù)據(jù)集。 各種體制陣列相機(jī)如圖1 所示。
圖1 各種體制陣列相機(jī)Fig. 1 Various institutional array cameras
來自西北工業(yè)大學(xué)的研究團(tuán)隊(duì),研制了一種8×8 的相機(jī)陣列[7],見圖1(a)。 他們基于這種陣列相機(jī)在相機(jī)校正[8]等課題進(jìn)行了深度研究。 以上提到的陣列相機(jī)均為大型的光場(chǎng)成像設(shè)備,價(jià)格昂貴。另一方面,隨著相機(jī)逐漸向小型化發(fā)展,也有團(tuán)隊(duì)將陣列相機(jī)的小型化作為目標(biāo)。 PiCam 是一款超薄4×4 的陣列成像設(shè)備,整體體積與硬幣相當(dāng),由Venkataraman 的團(tuán)隊(duì)研制[9],見圖1(c)。 綜上,陣列相機(jī)具有如下特點(diǎn):
(1)陣列相機(jī)可以瞬時(shí)獲取光場(chǎng)。
(2)陣列相機(jī)可以大型化、也可以小型化,并且在成像設(shè)備集成度越來越高的情況下,小型化的陣列相機(jī)也有不俗表現(xiàn)。
3D Studio Max,常簡(jiǎn)稱為3d Max 或3ds MAX,是Discreet 公司開發(fā)的(后被Autodesk 公司合并)基于PC 系統(tǒng)的3D 建模渲染和制作軟件。 其前身是基于DOS 操作系統(tǒng)的3D Studio 系列軟件,在設(shè)計(jì)3D 模型的2D 橫截面形狀中發(fā)揮著巨大作用。
3ds Max 軟件由一些重要的要素組成,包括主工具欄、命令面板、Maxscript 編輯器、視口、材質(zhì)編輯器和渲染框窗口。 主工具欄位于窗口頂部,包括選項(xiàng)和工具;命令面板位于窗口界面的右側(cè),包括了操作者需要的所有命令;Maxscript 編輯器作用是對(duì)腳本、實(shí)用程序和插件進(jìn)行編碼操作;視口是從上、左、前、透視圖這4 個(gè)不同角度顯示場(chǎng)景的視圖框,通過視口使得操作3ds Max 工作更加輕松快捷;材質(zhì)編輯器的作用是對(duì)場(chǎng)景對(duì)象單元進(jìn)行紋理處理,并實(shí)現(xiàn)有關(guān)對(duì)象單元的材質(zhì)和貼圖操作;渲染框窗口是查看最終渲染場(chǎng)景的視窗圖,支持用戶使用材質(zhì)和照明查看其場(chǎng)景。 由于3ds Max 具有一套便捷實(shí)用的命令、工具以及內(nèi)置基礎(chǔ)形狀,例如圓錐形、橢球形、立方體、茶壺形、金字塔形等,極大地提升了建模效率和操作體驗(yàn)。 同時(shí),3ds Max 加入了對(duì)頭發(fā)、皮膚、毛皮和衣服的仿真,這些內(nèi)置工具減少了角色建模所需的時(shí)間并增強(qiáng)了細(xì)節(jié)。 另外,3ds Max還支持NURBS 功能,使操作者可利用數(shù)學(xué)公式進(jìn)行平滑建模。
3ds Max 是一種三維建模軟件,具有建模速度快、功能豐富的特點(diǎn),并且結(jié)合主流渲染器V-ray,可以做到照片級(jí)渲染,在城市渲染圖和建筑仿真制作中應(yīng)用廣泛。 而3ds Max 可以做到場(chǎng)景搭建、模擬真實(shí)光照以及場(chǎng)景內(nèi)多視角觀測(cè),使得3ds Max更加適合用來制作陣列相機(jī)的光場(chǎng)仿真圖像。 本文使用該軟件進(jìn)行仿真數(shù)據(jù)集制作,制作流程如圖2所示。
圖2 數(shù)據(jù)集制作流程圖Fig. 2 Flow data set production
本文提出的制作方法共分為5 個(gè)步驟:
(1)在3ds Max 軟件中進(jìn)行特定三維場(chǎng)景建模,定義出所有物體單元的形狀與尺寸。
(2)對(duì)場(chǎng)景中的物體單元進(jìn)行配置,賦予各個(gè)場(chǎng)景中單元材質(zhì)與物理屬性。
(3)在已構(gòu)建場(chǎng)景中添加光照并進(jìn)行參數(shù)調(diào)節(jié)。
(4)在已構(gòu)建場(chǎng)景中的不同位置架設(shè)虛擬相機(jī),并且搭建不同基線的虛擬相機(jī)陣列。
(5)利用已搭建完畢的虛擬陣列相機(jī)進(jìn)行渲染成像,以實(shí)現(xiàn)光場(chǎng)仿真圖像的制作。
以下將對(duì)各個(gè)步驟進(jìn)行闡述。
首先需要在3ds Max 中搭建三維場(chǎng)景,此過程要精確搭建每一個(gè)三維物體的空間配合關(guān)系,并且指定物體的長(zhǎng)寬高等基本空間物理屬性,一次搭建即可以實(shí)現(xiàn)三維場(chǎng)景的多次快速?gòu)?fù)用。 圖3 展示了在3ds Max 軟件中搭建場(chǎng)景的界面。
圖3 三維場(chǎng)景建模Fig. 3 3D scene modeling
場(chǎng)景構(gòu)建完畢后,需要對(duì)三維場(chǎng)景中的物體單元進(jìn)行貼圖操作,同時(shí)為每個(gè)物體單元賦予相關(guān)材質(zhì)和物理屬性,包括物體反射系數(shù)、折射系數(shù)、顏色等固有屬性。 圖4 展示了場(chǎng)景單元參數(shù)配置的相關(guān)操作。
圖4 場(chǎng)景單元參數(shù)配置Fig. 4 Scene unit parameter configuration
為了更貼近現(xiàn)實(shí)世界,在模擬三維環(huán)境中添加光照調(diào)節(jié)是關(guān)鍵的步驟之一,圖5 展示了在已構(gòu)建的三維場(chǎng)景中進(jìn)行光照參數(shù)調(diào)節(jié)的相關(guān)操作。 通過設(shè)置光源的位置、形狀、指向、光照強(qiáng)度等一系列參數(shù)以添加光源,同時(shí)可以便捷、快速地進(jìn)行參數(shù)調(diào)整以滿足符合特定環(huán)境要求的光照條件。
圖5 場(chǎng)景光照參數(shù)調(diào)節(jié)Fig. 5 Scene lighting parameter adjustment
場(chǎng)景構(gòu)建及相關(guān)配置完畢后,需要在虛擬場(chǎng)景中的不同位置放置用于成像的虛擬陣列相機(jī)。 根據(jù)場(chǎng)景光場(chǎng)圖像成像的要求,在指定位置搭建不同基線的虛擬陣列相機(jī)。 圖6 展示了在3ds Max 中搭建虛擬陣列相機(jī)的界面,圖中白色陣列結(jié)構(gòu)即為虛擬陣列相機(jī)。
圖6 建立虛擬陣列相機(jī)Fig. 6 Build a virtual array of cameras
場(chǎng)景中的虛擬陣列相機(jī)搭建完畢后,就可開始進(jìn)行光場(chǎng)圖像的渲染成像,這是整個(gè)制作過程中的核心步驟。 在不同基線情況下,對(duì)場(chǎng)景進(jìn)行渲染,本質(zhì)是對(duì)于每一個(gè)陣列相機(jī)的子相機(jī)獲得的場(chǎng)景進(jìn)行渲染,渲染的過程實(shí)際上是仿真相機(jī)成像的過程。最后得到所需的光場(chǎng)仿真圖像。 圖7 展示了基線為5 mm 的一組場(chǎng)景,圖片的排布與實(shí)際陣列相機(jī)的分布一致。
圖7 基線為5 mm 的一組光場(chǎng)仿真圖像Fig. 7 A set of light field simulation images with a baseline of 5 mm
BVSL-34:基線可變化的仿真光場(chǎng)數(shù)據(jù)集(Baseline-variable simulated lightfield-34)有以下特點(diǎn):
(1)陣列相機(jī)參數(shù)一致性完全可控。 為了陣列相機(jī)成像質(zhì)量的穩(wěn)定性,往往需要陣列中的每個(gè)子相機(jī)具備完全相同的參數(shù),顯然在現(xiàn)實(shí)世界中,這種絕對(duì)意義上的精準(zhǔn)與相同是無法達(dá)到的。 但是利用本文提出的方法,在構(gòu)建場(chǎng)景中搭建的虛擬陣列相機(jī)可以實(shí)現(xiàn)嚴(yán)格意義上的精準(zhǔn),子相機(jī)的等距陣列分布以及相機(jī)參數(shù)都可以做到完全相同。
(2)理想化渲染成像。 在3ds Max 中構(gòu)建的場(chǎng)景中,通過搭建的虛擬陣列相機(jī)可實(shí)現(xiàn)理想化的渲染成像。 由于虛擬陣列相機(jī)成像模型完全按照理想針孔成像模型進(jìn)行渲染成像,相比于現(xiàn)實(shí)世界中的陣列相機(jī),省去了相機(jī)校正和去畸變的過程,提高了光場(chǎng)圖像的成像質(zhì)量,在后續(xù)進(jìn)行算法驗(yàn)證時(shí)減少了預(yù)處理操作,提供了更加快捷的方式,提升了整體效率。
(3)相機(jī)基線可調(diào)節(jié)。 相較于傳統(tǒng)光場(chǎng)圖像制作方式,該方法最突出的優(yōu)勢(shì)是開創(chuàng)性加入了對(duì)于相同場(chǎng)景下可變基線的成像功能,可以實(shí)現(xiàn)場(chǎng)景中同一角度的陣列相機(jī)基線可變地成像,滿足了場(chǎng)景基線可變化的需求。 圖8 很好地展示了該方法對(duì)于仿真場(chǎng)景如何實(shí)現(xiàn)基線變化,圖8 中使用3×3 的陣列相機(jī)作為展示,其中不同基線的陣列相機(jī)使用不同的顏色進(jìn)行標(biāo)注。
圖8 陣列相機(jī)場(chǎng)景基線可變示意圖Fig. 8 Schematic diagram of the variable baseline of the array camera scene
(4)具備深度圖渲染能力。 該方法同時(shí)具備深度圖渲染能力,可同時(shí)生成場(chǎng)景圖與對(duì)應(yīng)的深度圖,如圖9 所示,其中深度圖可作為深度的真值圖像使用。 與傳統(tǒng)光場(chǎng)深度圖制作方式需要進(jìn)行深度估計(jì)不同,該方法制作深度圖的原理是直接基于對(duì)三維場(chǎng)景的深度采樣得到。 這是因?yàn)樵谶M(jìn)行三維建模時(shí),所有物體的三維信息都是精確確定的,并且在場(chǎng)景中均可直接觀測(cè)到。 圖9(a)和圖9(b)對(duì)比表明,生成的深度圖與原場(chǎng)景完全貼合,并且具備顯示深度全部細(xì)節(jié)的能力。
圖9 場(chǎng)景圖與對(duì)應(yīng)深度圖Fig. 9 Scene graph and corresponding depth map
本數(shù)據(jù)集具有34 個(gè)場(chǎng)景、覆蓋3 大類,每個(gè)場(chǎng)景均進(jìn)行了多基線的渲染,具有多種基線可供選擇。3 個(gè)大類分別為:自然風(fēng)景、微距物體、室內(nèi)場(chǎng)景,大類的選擇是依據(jù)盡可能覆蓋生活中拍攝可能出現(xiàn)的典型深度。 自然風(fēng)景為大場(chǎng)景、最遠(yuǎn)深度可達(dá)百米;微距物體則是小場(chǎng)景范圍、最遠(yuǎn)深度在1~2 m;室內(nèi)場(chǎng)景則為二者折中。 圖10 依據(jù)場(chǎng)景展示了該數(shù)據(jù)集的部分?jǐn)?shù)據(jù)。
圖10 部分?jǐn)?shù)據(jù)集展示Fig. 10 Part of the dataset
下面是針對(duì)本數(shù)據(jù)集和其他主流光場(chǎng)數(shù)據(jù)集的質(zhì)量對(duì)比,對(duì)比范圍選取BRISQUE、NIQE、CEIQ 和ENIQA 指標(biāo)。 本數(shù)據(jù)集和其他主流光場(chǎng)數(shù)據(jù)集特點(diǎn)對(duì)比結(jié)果見表1。本數(shù)據(jù)集和其他主流光場(chǎng)數(shù)據(jù)集關(guān)鍵指標(biāo)對(duì)比結(jié)果見表2。 由表1 和表2 可知,本文的數(shù)據(jù)集具有良好的性能表現(xiàn),表2 中的加粗?jǐn)?shù)據(jù)為最優(yōu)結(jié)果。
表1 本數(shù)據(jù)集和其他主流光場(chǎng)數(shù)據(jù)集特點(diǎn)對(duì)比Tab. 1 Comparison of the characteristics of this dataset and other mainstream light field datasets
表2 本數(shù)據(jù)集和其他主流光場(chǎng)數(shù)據(jù)集關(guān)鍵指標(biāo)對(duì)比Tab. 2 Comparison of key indicators between this dataset and other mainstream light field datasets
可見,本數(shù)據(jù)集在4 個(gè)數(shù)據(jù)指標(biāo)中有3 個(gè)領(lǐng)先、1 個(gè)次優(yōu),在各種功能綜合表現(xiàn)上也處于全面領(lǐng)先,場(chǎng)景數(shù)量多,具有深度數(shù)據(jù),能進(jìn)行基線變化。
重聚焦是光場(chǎng)相機(jī)對(duì)比傳統(tǒng)成像設(shè)備的特有功能,重聚焦技術(shù)是指光場(chǎng)成像設(shè)備獲取光場(chǎng)數(shù)據(jù)后,利用重聚焦算法,將成像的圖片調(diào)焦到場(chǎng)景中的任意位置,利用重聚焦技術(shù)可以實(shí)現(xiàn)“先拍照后聚焦”的功能,顛覆了傳統(tǒng)的拍照成像模式。 因此,本節(jié)將利用光場(chǎng)圖像具備重聚焦這一特性,采用基于重投影的陣列相機(jī)重聚焦實(shí)驗(yàn)來對(duì)數(shù)據(jù)集仿真圖像進(jìn)行測(cè)試,驗(yàn)證本數(shù)據(jù)集的光場(chǎng)圖像是否符合光場(chǎng)圖像處理任務(wù)的需求。
(1)基于重投影的陣列相機(jī)重聚焦方法。 2000年,文獻(xiàn)[10]提出的動(dòng)態(tài)參數(shù)法可以將光場(chǎng)數(shù)據(jù)聚焦到不同的深度。 2004年,文獻(xiàn)[11]基于單應(yīng)性方法提出:在相機(jī)校正得到外參數(shù)的前提下,將光場(chǎng)圖像反投影到人為指定的參考平面上,對(duì)參考平面上的子圖像重投影到參考相機(jī)平面進(jìn)行平移重疊相加,獲取聚焦在指定深度參考平面上的重聚焦圖像。
該方法流程及原理如圖11 所示。 利用重投影思想將光場(chǎng)圖像反投影到一個(gè)指定深度的參考平面上,對(duì)參考平面上的子圖像重投影到參考相機(jī)平面進(jìn)行平移重疊相加,獲取聚焦在指定深度的重聚焦圖像。 在聚焦過程中,對(duì)于沒有嚴(yán)格對(duì)齊的像素位置采取一次插值方法獲取插值圖像。 相較于多次插值方法,一次插值可以盡可能減少插值產(chǎn)生的誤差。
圖11 重聚焦算法流程示意圖Fig. 11 Flow diagram of refocusing algorithm
(2)重聚焦。 重聚焦是光場(chǎng)成像方式中一種基本方法。 核心是使用“三維空間中不同位置的物體在不同位置的子相機(jī)成像中產(chǎn)生的視差(disparity)信息偏差”理論。 將光場(chǎng)圖像投影到一個(gè)參考平面上,對(duì)參考平面上的子圖像進(jìn)行不同位置的位移后求和,取均值獲取聚焦在指定深度的重聚焦圖片。圖12 展示了雙目相機(jī)對(duì)同一物體的不同視角的視差區(qū)別及聚焦和虛化原理。
圖12 雙目重聚焦原理示意圖Fig. 12 The schematic of binocular refocusing principle
圖12 中,雙目相機(jī)從2 個(gè)視角獲取的圖像信息具有視差,處于聚焦平面的物體在2 個(gè)視角的圖片中視差為0,即是聚焦。 而不在聚焦平面上的點(diǎn),由于具有視差,在圖像疊加過程中就會(huì)產(chǎn)生模糊,也就是攝影學(xué)中常說的虛化效果。
(3)重投影。 重投影是將每個(gè)相機(jī)投影在聚焦面上的三維點(diǎn)重新投影到其他相機(jī)(通常是中心參考相機(jī))的像平面上。 設(shè)三維點(diǎn)坐標(biāo)仍為(xw,yw,zw),那么該點(diǎn)代入第r個(gè)相機(jī)的成像模型中,在第r個(gè)相機(jī)像平面上的像素坐標(biāo)為(ur,vr),可得:
得到了每個(gè)相機(jī)重新投影到中心參考相機(jī)像平面的重投影圖像,聚焦就是將這些重投影圖像進(jìn)行疊加取均值。 為此可推得:
對(duì)于在聚焦平面上的點(diǎn),所有相機(jī)的反投影點(diǎn)都在同一點(diǎn),經(jīng)過重投影仍然匯聚在同一個(gè)像素點(diǎn);對(duì)于不在聚焦平面的點(diǎn),所有相機(jī)的反投影點(diǎn)并不重合,因此重投影會(huì)形成一個(gè)模糊的范圍,也就是焦外虛化。 經(jīng)過求均值,最終便得到光場(chǎng)圖像的重聚焦圖像。
使用基于重投影的陣列相機(jī)重聚焦方法進(jìn)行驗(yàn)證,實(shí)驗(yàn)數(shù)據(jù)采用按照本文方式制作的光場(chǎng)仿真圖像,進(jìn)行不同相機(jī)基線場(chǎng)景下的重聚焦算法測(cè)試與結(jié)果分析。
圖13 展示了理論上不同基線對(duì)重投影像斑的影響。 圖13 中,△m2為非聚焦平面上的點(diǎn)在重聚焦時(shí)產(chǎn)生的重投影像斑的直徑,對(duì)于同一個(gè)點(diǎn)M2,大基線陣列相機(jī)產(chǎn)生的重投影像斑大于小基線陣列相機(jī)產(chǎn)生的重投影像斑。
圖13 不同基線對(duì)重投影像斑的影響Fig. 13 Effect of different baselines on reprojected image spots
實(shí)驗(yàn)選擇2 組不同基線的光場(chǎng)仿真圖像進(jìn)行重聚焦實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖14 所示,展示了同一場(chǎng)景下不同基線的重聚焦結(jié)果。
圖14 相機(jī)基線對(duì)于光場(chǎng)重聚焦結(jié)果的影響Fig. 14 Effect of camera baseline on light field refocusing results
實(shí)驗(yàn)結(jié)果表明,2 組光場(chǎng)仿真圖像重聚焦后均聚焦在床架上,在相機(jī)基線為2.5 mm 時(shí),重聚焦的景深范圍較大,前后景略有虛化;在相機(jī)基線為5 mm時(shí),景深范圍比2.5 mm 場(chǎng)景小,前后景虛化比2.5 mm 更明顯,實(shí)驗(yàn)結(jié)果與理論預(yù)期一致。
整個(gè)實(shí)驗(yàn)過程及結(jié)論表明,本文提出的基于3ds Max 三維重建的光場(chǎng)圖像仿真制作方法所生成的光場(chǎng)仿真圖像具備光場(chǎng)圖像的特有屬性,完全符合光場(chǎng)圖像實(shí)驗(yàn)要求。 同時(shí),與傳統(tǒng)方法相比,實(shí)際的相機(jī)獲取的光場(chǎng)數(shù)據(jù)在進(jìn)行光場(chǎng)算法實(shí)驗(yàn)時(shí)需要考慮畸變,而通過本文方法制作的光場(chǎng)數(shù)據(jù)在實(shí)驗(yàn)過程中完全不必考慮這一復(fù)雜的畸變處理過程。 另外,本方法還實(shí)現(xiàn)了同一場(chǎng)景中陣列相機(jī)基線可變地成像,滿足了同一場(chǎng)景基線可變化的實(shí)驗(yàn)需求,且圖像質(zhì)量均衡、自動(dòng)化程度高,能夠有效提高特定場(chǎng)景下光場(chǎng)圖像的制作效率。
本文構(gòu)建了一個(gè)基線可變的仿真光場(chǎng)數(shù)據(jù)集BVSL-34,包含3 個(gè)大類,共計(jì)34 個(gè)場(chǎng)景,534 個(gè)實(shí)例,并詳細(xì)介紹了數(shù)據(jù)集的制作方法,該方法解決了傳統(tǒng)光場(chǎng)圖像制作中存在的過于依賴現(xiàn)實(shí)世界條件、成像質(zhì)量難以保證、陣列相機(jī)基線不可變等難點(diǎn)問題,極大地拓寬了光場(chǎng)圖像的應(yīng)用場(chǎng)景。 與現(xiàn)有主流數(shù)據(jù)集HCInew[12]、HCIold[13]、STFgantry[14]相比,BVSL-34 數(shù)據(jù)集具有相機(jī)參數(shù)穩(wěn)定,成像基線可變,同時(shí)呈現(xiàn)深度圖等優(yōu)勢(shì)特點(diǎn),對(duì)比顯示,本數(shù)據(jù)集在成像質(zhì)量以及各項(xiàng)相關(guān)指標(biāo)上均表現(xiàn)優(yōu)異。最后,基于重投影的陣列相機(jī)重聚焦實(shí)驗(yàn)驗(yàn)證了BVSL-34 數(shù)據(jù)集仿真圖像具備光場(chǎng)數(shù)據(jù)的特性,整體制作與實(shí)驗(yàn)流程效果較傳統(tǒng)方法有顯著的優(yōu)勢(shì),結(jié)果驗(yàn)證了BVSL-34 數(shù)據(jù)集功能全面且質(zhì)量?jī)?yōu)異,可以將該方法應(yīng)用于相關(guān)光場(chǎng)圖像處理任務(wù)中。