呂曉波,劉宇豐,李毅威,朱帥帥,林 杰*,金 鵬*
(1.哈爾濱工業(yè)大學(xué)儀器科學(xué)與工程學(xué)院,黑龍江哈爾濱150080;2.微系統(tǒng)與微結(jié)構(gòu)制造教育部重點(diǎn)實(shí)驗(yàn)室(哈爾濱工業(yè)大學(xué)),黑龍江哈爾濱150080;3.西安航天動(dòng)力試驗(yàn)技術(shù)研究所,陜西西安710100)
來(lái)自目標(biāo)場(chǎng)景的光線攜帶著豐富的信息。Adelson和Bergen[1]首次提出使用全光函數(shù)P(x,y,z,θ,φ,λ,t)來(lái)表示這些信息,其中(x,y,z)表示空間維,(θ,φ)表示光線的傳播角度,λ表示光的波長(zhǎng),t表示光子的發(fā)出時(shí)間。Gao和Wang[2]又加入了兩維偏振信息(Ψ,χ),將該函數(shù)擴(kuò)展到九維。傳統(tǒng)的成像系統(tǒng)通常僅獲取目標(biāo)場(chǎng)景的空間二維信息(x,y),而忽略了其他維度的信息。光譜成像具備(x,y,λ)三維成像能力,光譜信息能夠反映物質(zhì)的化學(xué)和分子特性[3],因此光譜成像被廣泛應(yīng)用于生物醫(yī)學(xué)[4-5]、遙感[6]及食物質(zhì)量檢測(cè)[7]等領(lǐng)域。另一方面,目標(biāo)物的三維空間信息(x,y,z)表征了其形態(tài)和位置,因此三維空間成像技術(shù)在生物醫(yī)學(xué)[8-9]、攝影[10]、目標(biāo)識(shí)別[11-13]以及粒子圖像測(cè)速[14]等領(lǐng)域得到了廣泛的應(yīng)用。
在過(guò)去幾十年里,學(xué)者們付出大量努力突破成像系統(tǒng)的限制,以獲得更多維度的光信息。其中,光譜-立體(x,y,z,λ)成像備受關(guān)注。大多數(shù)光譜-立體成像系統(tǒng)基于掃描或者多次拍照,這會(huì)導(dǎo)致拍照時(shí)間的延長(zhǎng)并因此限制它應(yīng)用于動(dòng)態(tài)場(chǎng)景。將多個(gè)探測(cè)器的信息進(jìn)行融合可以在一次快照獲取(x,y,z,λ)信息,然而這樣的系統(tǒng)比較笨重并且存在對(duì)準(zhǔn)誤差。本文提出一種快照式光譜-光場(chǎng)成像方法,將聚焦光場(chǎng)成像結(jié)構(gòu)引入到快照式傅里葉變換光譜儀中,在不損失系統(tǒng)橫向分辨率的基礎(chǔ)上,一次快照就能記錄目標(biāo)場(chǎng)景的(x,y,z,λ)信息。
快照式光譜光場(chǎng)成像系統(tǒng)的光路示意圖如圖1所示。來(lái)自目標(biāo)場(chǎng)景的光線由物鏡成像至視場(chǎng)光闌,形成第一中間像,然后再經(jīng)過(guò)中繼鏡頭Ⅰ到達(dá)微透鏡陣列。需要注意的是,此處的視場(chǎng)光闌與單個(gè)微透鏡形狀都為方形。通過(guò)調(diào)節(jié)視場(chǎng)光闌的大小,能夠限制微透鏡成像子圖之間的互相混疊,同時(shí)能夠抑制雜散光。中繼鏡頭Ⅰ所成的像為虛像(第二中間像),位于微透鏡陣列之后。光線經(jīng)過(guò)微透鏡陣列后形成一系列的子圖像,構(gòu)成一個(gè)子圖陣列(Elemental Image Array,EIA),即第三中間像。最后,第三中間像經(jīng)過(guò)檢偏器由中繼鏡頭Ⅱ成像至CCD上。此時(shí)CCD上的子圖陣列的視差記錄了目標(biāo)場(chǎng)景的光場(chǎng)信息(x,y,θ,φ),并可以重建出其深度信息。
快照式光譜光場(chǎng)成像系統(tǒng)中包含一個(gè)快照式傅里葉變換型成像光譜儀(Snapshot Hyperspectral Imaging Fourier Transform,SHIFT),它由微透鏡陣列和雙折射偏振干涉儀(Birefringent Polarization Interferometer,BPI)組成。其中,BPI由兩片偏振片和一個(gè)沃拉斯頓棱鏡組成。沃拉斯頓棱鏡由兩片石英光楔膠合而成,其光軸方向如圖1(b)中紅色雙箭頭和圓圈所示(彩圖見(jiàn)期刊電子版)。兩片偏振片的透光軸方向均與沃拉斯頓棱鏡的光軸成45°。經(jīng)過(guò)偏振片Ⅰ后,入射光變?yōu)榫€偏振光,其偏振方向與偏振片Ⅰ的透光軸相同?;谖掷诡D棱鏡的雙折射特性,該棱鏡將入射光線分成兩束。由于入射光線的偏振方向與沃拉斯頓棱鏡的光軸成45°,兩路光線的強(qiáng)度相同,偏振方向相互垂直。隨后,這兩束光線經(jīng)過(guò)偏振片Ⅱ后,其偏振方向與沃拉斯頓棱鏡的光軸重新成45°。最后,中繼鏡頭Ⅱ?qū)陕饭饩€匯聚并于CCD上發(fā)生干涉。兩束光線在沃拉斯頓棱鏡中的傳播過(guò)程中,由于尋常光和非尋常光的折射率不同,兩路光線之間產(chǎn)生了一定的光程差,該光程差的大小與光線在CCD上匯聚的位置(x,y)有關(guān)。如圖1(c)所示,由于雙折射偏振干涉儀繞z軸旋轉(zhuǎn)了一個(gè)很小的角度δ,此時(shí)CCD上的光程差可表示為:
圖1 快照式光譜-光場(chǎng)成像系統(tǒng)Fig.1 Snapshot light-field-spectral imaging system
式中:B為石英的雙折射率;α為沃拉斯頓棱鏡中光楔的角度;MR2為中繼鏡頭Ⅱ的放大倍率;x0為y=0處零光程差點(diǎn)的位置。由于雙折射偏振干涉儀繞z軸旋轉(zhuǎn)了一個(gè)很小的角度δ,每一個(gè)子透鏡所帶的光程差信息不同,最后呈現(xiàn)在CCD上的每個(gè)子圖像就帶有相應(yīng)的光程差信息。通過(guò)控制δ的角度,令前一行子圖像對(duì)應(yīng)點(diǎn)與行間相鄰子圖像對(duì)應(yīng)點(diǎn)的光程差間距相等,構(gòu)成等間距采樣的子圖序列。沿著光程差從小到大的方向,對(duì)子圖所有坐標(biāo)點(diǎn)進(jìn)行遍歷,就可以采樣得到一個(gè)三維干涉數(shù)據(jù)立方體(x,y,OPD)。經(jīng)過(guò)快速傅里葉變換(Fast Fourier Transform,F(xiàn)FT)后,即可得到目標(biāo)場(chǎng)景的光譜信息。
如圖2所示,在軸對(duì)稱光學(xué)系統(tǒng)中,來(lái)自物點(diǎn)A的入射光[y′,φ′]T與到達(dá)其共軛像點(diǎn)B的出射光[y,φ]T之間的關(guān)系可表示為:
式中:M為光學(xué)系統(tǒng)的放大倍率,f為光學(xué)系統(tǒng)的焦距。
圖2 光線在軸對(duì)稱光學(xué)系統(tǒng)中的傳播Fig.2 Propagation of light rays in axisymmetric optical system
在快照式光譜-光場(chǎng)成像系統(tǒng)中,由于微透鏡陣列的存在,在對(duì)各個(gè)子圖像內(nèi)的像點(diǎn)進(jìn)行光線追跡時(shí),需要先將光軸平移至相應(yīng)的子透鏡的中心,然后通過(guò)式(2)變換進(jìn)行光線追跡,最后再將光軸平移回原來(lái)的位置。根據(jù)上述步驟,對(duì)于穿過(guò)y軸方向上第v個(gè)子透鏡的光線,光線到達(dá)相應(yīng)像點(diǎn)的出射光可表示為:
式中dv為光軸到y(tǒng)軸方向上第v個(gè)子透鏡中心的距離。如2.1節(jié)所述,光線經(jīng)過(guò)雙折射偏振干涉儀之后會(huì)在探測(cè)器上產(chǎn)生干涉條紋,而且該條紋的相位由兩路光線之間的光程差決定。所以,到達(dá)CCD光線的全光函數(shù)可表示為:
式中P′為來(lái)自目標(biāo)場(chǎng)景光線的全光函數(shù)。將式(4)一般化至三維空間并對(duì)光線傳播角度(θ,φ)以及波長(zhǎng)(λ)進(jìn)行積分,即可得到CCD采集的原始圖像,那么有:
其中x′,y′,θ′,φ′均由式(2)得出。
假設(shè)目標(biāo)物為朗伯體,即來(lái)自目標(biāo)物光線的光譜(λ)獨(dú)立于其傳播角度(θ,φ)。則式(5)可進(jìn)一步化為:
式中:l(x′,y′,θ′,φ′)為目標(biāo)場(chǎng)景的四維光場(chǎng)立方體;s(x,y,λ)為目標(biāo)場(chǎng)景的三維光譜立方體。
本文設(shè)計(jì)的快照式光譜-光場(chǎng)信息重建算法可分為三步:第一步,光場(chǎng)-干涉信息解耦;第二步,從系統(tǒng)記錄的光場(chǎng)信息(x,y,θ,φ)中重建目標(biāo)場(chǎng)景的三維立體信息(x,y,z);第三步,重建目標(biāo)場(chǎng)景的三維光譜數(shù)據(jù)立方體(x,y,λ)。
2.2.1 光場(chǎng)-干涉信息解耦
探測(cè)器獲得的數(shù)據(jù)中混疊有光場(chǎng)信息和干涉條紋信息。為了將光場(chǎng)和干涉信息的耦合方式從相乘轉(zhuǎn)換為相加,對(duì)式(6)的兩邊分別取對(duì)數(shù),得到:
圖3 信息重建算法流程。(a)光場(chǎng)-干涉信息解耦卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu);(b)光場(chǎng)圖像;(c)從光場(chǎng)圖像提取的極平面圖像;(d)視差圖;(e)深度圖;(f)從原始圖像提取的極平面圖像;(g)單個(gè)像素點(diǎn)的干涉序列;(h)單個(gè)像素點(diǎn)的光譜;(i)光譜立方體Fig.3 Flowchart of spectral-light-field datacube reconstruction.(a)Framework of the light-field-interferogram decoupling convolutional neural network;(b)Light-field image;(c)Extraction of an epipolar plane image;(d)Disparity map from the light-field image;(e)Depth map;(f)Extraction of an epipolar plane image from the raw image;(g)Interferogram of a single pixel;(h)Spectrum of a single pixel;(i)Spectral datacube
此時(shí),光場(chǎng)-干涉信息解耦問(wèn)題轉(zhuǎn)化為如何去除圖像上疊加的條紋。如圖3(a)所示,為實(shí)現(xiàn)二者的解混,采用去耦合卷積神經(jīng)網(wǎng)絡(luò)(Decoupling Convolutional Neural Network,DC-CNN)進(jìn)行光場(chǎng)信息和干涉條紋的解耦,從而將光場(chǎng)信息和干涉信息從原始數(shù)據(jù)中分別提取出來(lái)。因?yàn)楣鈭?chǎng)圖像比條紋復(fù)雜得多,這里將條紋設(shè)置成學(xué)習(xí)對(duì)象。所設(shè)計(jì)的DC-CNN架構(gòu)包含兩個(gè)中間層和一個(gè)輸出層。該神經(jīng)網(wǎng)絡(luò)的傳遞方式可以分為以下三個(gè)步驟:
式中:Ii為訓(xùn)練集中第i幅圖像;H1(Ii)為第一層隱藏層的輸出;H2(Ii)為第二層隱藏層的輸出;ReLU(·)為線性整流函數(shù),ReLU(x)=max(0,x);Wl(l=1,2,3)為DC-CNN第l層的權(quán)重參數(shù);bl=(1,2,3)為DC-CNN第l層的偏差參數(shù)。
神經(jīng)網(wǎng)絡(luò)構(gòu)架好后,本文采用ICVL數(shù)據(jù)庫(kù)來(lái)生成用于訓(xùn)練DC-CNN的訓(xùn)練集,并進(jìn)行訓(xùn)練。如前所述,本系統(tǒng)涉及的干涉條紋是一種規(guī)律性很強(qiáng)的圖像模式,這會(huì)大大降低DC-CNN的訓(xùn)練難度。在訓(xùn)練的過(guò)程中,DC-CNN的核函數(shù)被定義為:
式中:N為訓(xùn)練集中圖像的數(shù)量;Ii為訓(xùn)練集中第i幅帶有干涉條紋的圖像;Ei為訓(xùn)練集中第i幅不帶干涉條紋的圖像。經(jīng)過(guò)訓(xùn)練后,DC-CNN的輸出圖像即為干涉條紋,將輸入圖像和輸出圖像逐個(gè)像素點(diǎn)相除,即可得到光場(chǎng)圖像。
2.2.2 三維立體信息重建
去除干涉條紋的光場(chǎng)圖像,可認(rèn)為是一個(gè)立體相機(jī)陣列(微透鏡陣列)拍攝目標(biāo)物而成。該光場(chǎng)圖像可以表示為:
將子圖陣列進(jìn)行重排之后,可得到一個(gè)四維的光場(chǎng)數(shù)據(jù)立方體LF(x,y,m,n),其中(m,n)分別代表某子圖在x軸和y軸的位置坐標(biāo),而(x,y)代表該子圖的像素坐標(biāo)。本文采用一種尺度-深度空間變換(Scale-depth Space Transform,SDST)算法[11來(lái)重建目標(biāo)場(chǎng)景的視差圖。如圖3(c)所示,是該四維數(shù)據(jù)立方體沿y-n平面的切片,稱之為極線平面圖。虛線兩端是兩個(gè)不同子圖上的同名點(diǎn)(目標(biāo)場(chǎng)景中同一個(gè)點(diǎn)),其連線傾角β即代表該同名點(diǎn)在不同子圖中的視差信息,對(duì)應(yīng)該點(diǎn)在目標(biāo)物空間的深度信息[15]。要得到目標(biāo)場(chǎng)景的深度信息,首先,計(jì)算極線平面圖中兩同名點(diǎn)的差異為:
其中h為極線平面圖沿著n軸方向的寬度。然后遍歷所有同名點(diǎn),就可以得到目標(biāo)場(chǎng)景中所有點(diǎn)的差異圖。最后,經(jīng)過(guò)深度校正得到目標(biāo)場(chǎng)景的深度圖,該深度圖可以直觀地體現(xiàn)本系統(tǒng)記錄得到的目標(biāo)場(chǎng)景的光場(chǎng)信息。
2.2.3 光譜信息重建
本文直接使用帶有干涉條紋的系統(tǒng)采集圖來(lái)重建目標(biāo)場(chǎng)景的(x,y,λ)光譜信息。將所有子圖按照光程差由小到大的方向重排之后,即可得到一個(gè)干涉數(shù)據(jù)立方體。圖4(a)為某個(gè)像素點(diǎn)處的干涉序列,橫坐標(biāo)為干涉序列各元素的光程差。對(duì)上述干涉序列做傅里葉變換后,經(jīng)過(guò)光譜校正、強(qiáng)度校正等操作后即可得到相應(yīng)像素點(diǎn)的光譜,光譜密度曲線如圖4(b)所示。
圖4 某像素點(diǎn)的干涉序列以及光譜密度曲線Fig.4 Interferogram and spectrum of single pixel
為了驗(yàn)證快照式光譜-光場(chǎng)成像方法的可行性,本文搭建了相應(yīng)的快照式光譜-光場(chǎng)成像實(shí)驗(yàn)系統(tǒng),并對(duì)它在空間、光譜以及時(shí)間維度上的表現(xiàn)進(jìn)行了評(píng)價(jià)。圖5為快照式光譜-光場(chǎng)成像實(shí)驗(yàn)系統(tǒng)的實(shí)物圖。其中,起偏器和檢偏器采用大恒光電GCL-050004;物鏡采用佳能EF-S 24 mmf/2.8;視場(chǎng)光闌采用大恒光電GCM-5711M;中繼鏡頭Ⅰ采用佳能EF 50 mmf/1.4;微透鏡陣列采用Advanced Microoptic Systems GmbH APO-Q-P1000-R5,焦距為10.9 mm,子透鏡間距為1 mm;Wollaston棱鏡為自主設(shè)計(jì)外協(xié)加工,材料為石英;中繼鏡頭Ⅱ采用大恒光電GCO-232204,其放大倍率為0.44;CCD采用JAI BM-500GE。
圖5 快照式光譜-光場(chǎng)成像系統(tǒng)實(shí)物Fig.5 Prototype of snapshot spectral-light-field imaging system
為了量化分析系統(tǒng)的深度重建精度,采用如圖6(a)所示的兩個(gè)帶有字母的白色平板作為目標(biāo)物,其中距離成像系統(tǒng)較遠(yuǎn)的平板與系統(tǒng)光軸垂直,另一平板則垂直于xoz平面并與x軸成約45°。圖中遠(yuǎn)端平板上的黃色陰影區(qū)域?yàn)榻似桨逭趽醯膮^(qū)域(彩圖見(jiàn)期刊電子版)。使用直角規(guī)和鋼尺測(cè)量?jī)善桨宓匠上裣到y(tǒng)前端的距離,并將該距離作為目標(biāo)物深度的真值,測(cè)量結(jié)果如圖6(b)所示。圖6(c)和6(d)分別為快照式光譜-光場(chǎng)成像系統(tǒng)重建的目標(biāo)物深度以及該深度的誤差。從圖中可以看出,由于近端平板對(duì)遠(yuǎn)端平板的遮擋效應(yīng),近端平板邊緣區(qū)域的誤差較大。圖中其他部分的深度誤差均小于10 mm,整圖范圍內(nèi)的均方根(Root Mean Square,RMS)誤差為7.7 mm。同時(shí),通過(guò)設(shè)置使系統(tǒng)只具有光場(chǎng)成像的功能,此時(shí)其深度重建精度如圖6(e)所示。其整圖范圍內(nèi)的RMS誤差為7.4 mm,與快照式光譜-光場(chǎng)成像系統(tǒng)得到的結(jié)果(RMS=7.7 mm)很接近。
圖6 系統(tǒng)獲取目標(biāo)物深度信息的精度Fig.6 Depth accuracy of spectral-light-field imaging system
為了測(cè)試快照式光譜-光場(chǎng)成像系統(tǒng)的光譜分辨力,本文使用3個(gè)不同顏色的激光器(紅色:Melles Griot,25-LHP-925-230,632.8 nm;綠色:Oxxius,532S-100-COL-PP,532 nm;藍(lán)色:Coherent,OBIS 488-60 LS,488 nm)照射一個(gè)黑色平板。該平板放置在距離成像系統(tǒng)前端大約900 mm處。圖7(a)為系統(tǒng)重建的目標(biāo)物圖像,其中紅色、綠色以及藍(lán)色激光光點(diǎn)分別由“Red”、“Green”和“Blue”標(biāo)識(shí)。圖7(b)~7(d)分別為系統(tǒng)重建的光譜立方體在3個(gè)光點(diǎn)內(nèi)的光譜曲線,圖中的實(shí)線為根據(jù)實(shí)測(cè)數(shù)據(jù)擬合的高斯曲線,內(nèi)嵌圖分別為光譜立方體在632.6,531.6,487.1 nm處的光譜切片。從這些光譜切片可以看出,圖像僅在相應(yīng)的激光光點(diǎn)處有較高的亮度。本文使用激光光譜曲線的半高全寬(Full Width at Half Maximum,F(xiàn)WHM)來(lái)表示系統(tǒng)在該波長(zhǎng)位置的光譜分辨力。在BPI中,使用一個(gè)定制的沃拉斯頓棱鏡,其光楔的角度為7.6°。同時(shí),根據(jù)式(1)設(shè)置x與x0的偏差為1.5 mm,此時(shí)系統(tǒng)的最大光程差為28.5μm,其理論光譜分辨力應(yīng)為350.9 cm-1,它在632.8,532以及488 nm處的理論光譜分辨力分別為14.1,9.9以及8.3 nm。如圖7(b)~7(d)所示,系統(tǒng)在632.8,532以及488 nm處的實(shí)際光譜分辨力分別為15.4,10.7以及8.4 nm。結(jié)果表明,實(shí)測(cè)分辨力與系統(tǒng)設(shè)計(jì)的理論分辨力較為接近。
圖7 快照式光譜-光場(chǎng)成像系統(tǒng)的光譜分辨力。(a)重建的目標(biāo)物;(b~d)紅色、綠色以及藍(lán)色激光光點(diǎn)處的光譜曲線Fig.7 Spectral resolution of snapshot spectral-light-field imaging system.(a)Reconstructed image;(b-d)Spectra at the red,green,and blue laser points
為了評(píng)價(jià)快照式光譜-光場(chǎng)成像系統(tǒng)的光譜重建精度,這里使用愛(ài)色麗色卡作為系統(tǒng)成像目標(biāo)物。如圖8(a)所示,色卡中的16個(gè)色塊分別用數(shù)字“1~16”標(biāo)識(shí)。本實(shí)驗(yàn)中,色卡被放置在距離成像系統(tǒng)約780 mm處,并使用鹵素?zé)糇鳛檎彰鞴庠础?shí)驗(yàn)使用商業(yè)光纖光譜儀(Avantes,AvaSpec-2048)測(cè)量各個(gè)色塊的反射光譜,并作為參考和本系統(tǒng)測(cè)得的結(jié)果進(jìn)行比對(duì),比對(duì)結(jié)果如圖8(c)~8(r)所示。從圖中可以看出,快照式光譜-光場(chǎng)成像系統(tǒng)重建的光譜曲線與商業(yè)光纖光譜儀測(cè)得的光譜曲線非常接近。
圖8 快照式光譜-光場(chǎng)成像系統(tǒng)的光譜重建能力。(a)愛(ài)色麗色卡;(b)各個(gè)色塊內(nèi)NRMSE的平均值以及標(biāo)準(zhǔn)差;(c)~(r)在不同色塊內(nèi)系統(tǒng)獲取的光譜曲線與真值的對(duì)比Fig.8 Spectra-reconstruction ability of snapshot spectral-light-field imaging system.(a)Photo of the ColorChecker;(b)Average normalized RMS errors of the reconstructed spectra in color blocks;(c-r)Reconstructed spectra from the SSVI system and the Avantes spectrometer in color blocks
為了量化快照式光譜-光場(chǎng)成像系統(tǒng)重建光譜信息的精度,本實(shí)驗(yàn)在每個(gè)色塊區(qū)域內(nèi)選10×10個(gè)像素點(diǎn),并以商業(yè)光纖光譜儀測(cè)得的光譜作為真值計(jì)算各像素點(diǎn)光譜的歸一化均方根誤差(Normalized Root Mean Square Error,NRMSE)。圖8(b)中的藍(lán)色誤差棒表示各個(gè)色塊內(nèi)NRMSE的平均值以及標(biāo)準(zhǔn)差(彩圖見(jiàn)期刊電子版),所有色塊中的平均NRMSE為6.87%。
本系統(tǒng)采用CCD型號(hào)為JAI BM-500GE,像素?cái)?shù)為2 058×2 456,同時(shí)采用的微透鏡陣列包含15×15個(gè)子透鏡。理論上子透鏡對(duì)CCD像面進(jìn)行分割后,最終系統(tǒng)的成像像素?cái)?shù)應(yīng)為137×137。然而,本系統(tǒng)的實(shí)際空間分辨力為130×130像素,沒(méi)有利用CCD的所有像素。這是因?yàn)樵谧訄D間隔中留有空白區(qū)域,以容許微透鏡邊緣的加工誤差。同時(shí),通過(guò)本系統(tǒng)對(duì)19511951 USAF分辨率板(R3L3S1N,Thorlabs)作為目標(biāo)物進(jìn)行成像,來(lái)評(píng)價(jià)系統(tǒng)的橫向分辨力,結(jié)果如圖9所示。由圖可以看出,實(shí)驗(yàn)結(jié)果略低于理論值,其主要原因有二:首先,光學(xué)棱鏡的像差,尤其是微透鏡的數(shù)值孔徑較小,導(dǎo)致模糊;其次,重建過(guò)程中算法誤差也會(huì)導(dǎo)致成像降質(zhì)。
圖9 系統(tǒng)的橫向分辨力Fig.9 Lateral resolution of proposed system
透鏡陣列子透鏡間距為1 mm,焦距約為10.9 mm,在CCD被完全利用的情況下,有:
系統(tǒng)的理論視場(chǎng)角為5.25°。而實(shí)際測(cè)試中,本系統(tǒng)視場(chǎng)角為5.2°,其原因在于子圖間隔中留有空白區(qū)域,CCD像面并未完全利用。
為了驗(yàn)證成像系統(tǒng)快速獲取目標(biāo)場(chǎng)景空間以及光譜信息的能力,本文使用如圖10(a)所示的動(dòng)態(tài)場(chǎng)景作為成像系統(tǒng)的目標(biāo)場(chǎng)景。該場(chǎng)景包含一個(gè)帶有字母的白色平板,以及一個(gè)沿光軸方向前后擺動(dòng)的綠葉。其中,白色平板靜止放置在距離成像系統(tǒng)大約850 mm的位置,而綠葉在距離成像系統(tǒng)約420~660 mm內(nèi)以約2 s為周期前后晃動(dòng)。圖11(c)所示為本實(shí)驗(yàn)中使用的綠葉的高清RGB圖像,其上粘有一個(gè)L形的綠色紙片。
圖10 光譜-立體視頻。(a)實(shí)驗(yàn)場(chǎng)景示意圖;(b~i)不同時(shí)刻下重建的深度圖以及三維圖像;(j~m)在不同時(shí)刻下成像系統(tǒng)聚焦到450 mm(上行)以及850 mm(下行)處的圖像Fig.10 Real-time spectral-volumetric video.(a)Schematic diagram of the experimental setup;(b-i)Reconstructed depth and image frames at different times;(j-m)Samples of image frames reconstructed when the system focuses at 450 mm(upper row)and 850 mm(lower row)
圖11 快照式光譜-光場(chǎng)成像系統(tǒng)對(duì)同色異譜現(xiàn)象的重建Fig.11 Reconstruction of metamerism by snapshot spetral-light-field imaging system
本實(shí)驗(yàn)使用快照式光譜-光場(chǎng)成像實(shí)驗(yàn)系統(tǒng)對(duì)該目標(biāo)場(chǎng)景拍攝了一段包含100幀圖像、時(shí)長(zhǎng)約6 s的視頻,并使用光譜-深度重建算法對(duì)每幀圖像進(jìn)行處理。圖10(b)~10(i)分別為系統(tǒng)在不同時(shí)刻下重建的深度圖以及三維圖像。從圖中可以看出,快照式光譜-光場(chǎng)成像系統(tǒng)很好地重建了動(dòng)態(tài)目標(biāo)的空間三維信息。同時(shí),為了驗(yàn)證系統(tǒng)的再聚焦能力,在后期信息重建的過(guò)程中分別將系統(tǒng)聚焦在450 mm和850 mm。圖10(j)~10(m)分別為系統(tǒng)在不同時(shí)刻下聚焦到450 mm(上行)以及850 mm(下行)處的圖像。從圖中可以清晰地看出,快照式光譜-光場(chǎng)成像系統(tǒng)具有很好的再聚焦能力,展示了本系統(tǒng)記錄光線傳播角度(θ,φ)的能力。
快照式光譜-光場(chǎng)成像系統(tǒng)能夠獲取目標(biāo)場(chǎng)景豐富的光譜信息,因此該系統(tǒng)對(duì)色彩的識(shí)別能力遠(yuǎn)優(yōu)于RGB相機(jī)。如圖11(a)和11(c)所示,綠色紙片和綠葉的顏色十分接近,所以兩者之間的對(duì)比度在系統(tǒng)重建的全色圖像以及高清的RGB圖像中都很低。圖11(b)為圖11(a)中A,B兩點(diǎn)的光譜密度曲線,其中A點(diǎn)和B點(diǎn)分別位于綠色紙片以及綠葉上。從圖11(b)可以看出,由于葉綠素在近紅外波段的吸收特性,A,B兩點(diǎn)的光譜密度曲線之間具有很大的差異。這種現(xiàn)象被稱為同色異譜現(xiàn)象,即在某一光照條件下,顏色相同的兩種物體具有不同的光譜曲線。此時(shí),人眼以及RGB相機(jī)很難將這兩種物體區(qū)分開(kāi)來(lái),但由于快照式光譜-光場(chǎng)成像技術(shù)具有多維成像能力,在它獲取的光譜立方體中取某一特征波段的光譜切片,即可清晰地分辨出同色異譜的物體。圖11(d)為系統(tǒng)重建的光譜立方體在728 nm處的光譜切片,從圖中可以清晰地分辨出L形紙片的邊緣,綠葉區(qū)域的亮度明顯高于紙片的亮度。與之相反,在圖11(e)所示的673.9 nm光譜切片中,綠葉區(qū)域的亮度低于紙片的亮度。
本文提出了一種快照式光譜-光場(chǎng)成像方法,使用單個(gè)探測(cè)器實(shí)現(xiàn)了對(duì)目標(biāo)場(chǎng)景光譜-光場(chǎng)信息的快速獲取。該方法將聚焦光場(chǎng)成像結(jié)構(gòu)引入到SHIFT光譜儀中,可獲取目標(biāo)場(chǎng)景的空間(x,y,z)、光線傳播角度(θ,φ)、光譜(λ)以及時(shí)間(t)等七維信息,大大提高了成像系統(tǒng)獲取信息的能力。本系統(tǒng)具有多維成像能力,可廣泛地應(yīng)用在生物分析、遙感、機(jī)器視覺(jué)等領(lǐng)域。
目前,快照式光場(chǎng)光譜成像系統(tǒng)大多依賴于多探測(cè)器陣列。它們通過(guò)在相機(jī)陣列前放置濾波片來(lái)獲得光譜信息,這限制了系統(tǒng)的光通量,并且光通量與光譜通道數(shù)成反比。得益于傅里葉變換成像光譜儀的多重優(yōu)勢(shì),本系統(tǒng)不存在這樣的問(wèn)題。此外,通過(guò)使用不同的沃拉斯頓棱鏡、微透鏡陣列,本系統(tǒng)可以靈活地調(diào)整系統(tǒng)的橫向分辨率、深度分辨率和光譜分辨率。
由于本系統(tǒng)包含兩個(gè)偏振片,系統(tǒng)的光通量較低。在未來(lái)工作中我們將使用偏振分束器取代系統(tǒng)中的第一個(gè)起偏器。穿過(guò)偏振分束器的光線進(jìn)入原系統(tǒng),偏振分束器反射的光線則接入另一個(gè)CCD,從而額外獲得目標(biāo)場(chǎng)景的高分辨率單色圖像。該單色高分辨率圖像可與原系統(tǒng)的較低橫向分辨率圖像進(jìn)行融合,進(jìn)而提高整個(gè)系統(tǒng)的橫向分辨力。