喬 霈,閆學(xué)文,李德源,牛蒙青
(中國輻射防護(hù)研究院,山西 太原 030006)
目前,放射治療廣泛應(yīng)用于癌癥等人體疾病治療中,在放射治療過程中,劑量的估算至關(guān)重要,準(zhǔn)確的劑量估算可以避免患者出現(xiàn)超劑量照射風(fēng)險(xiǎn)[1]。光場成像技術(shù)作為現(xiàn)代圖像測量的一個(gè)分支,廣泛應(yīng)用于工業(yè)制造、機(jī)器視覺等領(lǐng)域。使用光場成像技術(shù),通過獲取光場的二維圖像,利用深度估計(jì)算法進(jìn)行反演,進(jìn)而獲取光場三維分布信息。場景的三維信息包括高度、寬度和深度。深度信息能更好的展示物體在三維空間中的結(jié)構(gòu),獲取物體深度信息,可以廣泛應(yīng)用于計(jì)算機(jī)視覺、成像、醫(yī)療影像等方面?;诠鈭鰣D像的深度信息提取方法主要通過計(jì)算視差來實(shí)現(xiàn)。通過獲取空間中同一物體在不同視點(diǎn)下的兩幅或者多幅視差信息,利用光學(xué)傳播的幾何原理,計(jì)算出物體的深度信息。
目前,深度估計(jì)方法主要分為兩大類:主動(dòng)深度估計(jì)方法和被動(dòng)深度估計(jì)方法[2]。主動(dòng)深度估計(jì)方法是根據(jù)場景信息,控制攝像機(jī)系統(tǒng)和成像環(huán)境,然后,獲得場景信息。該方法獲取深度信息的準(zhǔn)確度較高,但是其測量系統(tǒng)體積較大,成本較高,一般不被大家廣泛使用。被動(dòng)深度估計(jì)方法,與主動(dòng)方法差異較大,通過調(diào)整攝像機(jī)鏡頭的光圈,找到拍攝圖片時(shí)各個(gè)像素點(diǎn)最佳的拍攝角度,然后,根據(jù)相機(jī)的成像原理,計(jì)算各像素的清晰度,用清晰的像素點(diǎn)構(gòu)成一張全聚焦圖像,對這張圖進(jìn)行深度估計(jì),最后進(jìn)行優(yōu)化處理,得到圖像的場景深度信息。這種方法雖然操作較復(fù)雜,但是得到的深度信息準(zhǔn)確。光場相機(jī)通過在主鏡頭組和圖像傳感器(CCD芯片或CMOS芯片)之間的特定位置加入微透鏡陣列[3],實(shí)現(xiàn)采集物體光強(qiáng)和記錄光線方向的信息[4],因此,它不僅可以捕獲圖像的平面信息,還可以通過深度估計(jì)方法得到圖像的深度信息。本項(xiàng)目組利用光場相機(jī)和組織等效的閃爍材料構(gòu)建三維劑量測量系統(tǒng),利用光場相機(jī)獲取質(zhì)子或重離子在組織等效閃爍材料中產(chǎn)生閃爍體光的三維分布信息來計(jì)算質(zhì)子或重離子在組織等效材料中三維劑量分布。為了獲取圖像的三維信息,需要用深度估計(jì)算法得到圖像的深度信息,現(xiàn)有的被動(dòng)深度估計(jì)算法主要有傳統(tǒng)的深度估計(jì)算法[5]和快速極線平面圖(epipolar plane image, EPI)的深度估計(jì)算法[6]。三維場景中物體在不同深度位置處獲得圖像的像素存在差異,為了在不同的深度得到圖像的最佳像素,引入圖像的縱向分辨率,即圖像在不同深度位置處的像素與尺寸的比例。并且,深度估計(jì)算法對圖像縱向分辨率的影響至關(guān)重要,而圖像的縱向分辨率又直接影響三維劑量的測量準(zhǔn)確性,因此,開展深度估計(jì)算法對圖像縱向分辨率影響的對比研究尤為重要。
盡管深度估計(jì)算法已取得顯著進(jìn)展,但是在三維劑量測量中,深度估計(jì)算法對圖像縱向分辨率的影響未有深入研究。因此,本文圍繞兩種深度估計(jì)算法對圖像的縱向分辨率影響進(jìn)行對比研究,結(jié)合其在三維劑量測量領(lǐng)域?qū)嶋H情況展開分析。
利用光場相機(jī)獲取實(shí)體的初始圖片,然后,采用傳統(tǒng)的深度估計(jì)算法和快速極線平面圖(epipolar plane image, EPI)算法得到圖像的深度信息,通過實(shí)驗(yàn)結(jié)果的對比及分析,比較兩種方法對圖像縱向分辨率的影響。
光場相機(jī)由鏡頭、微透鏡陣列和圖像傳感器組成。在圖像獲取中,為了得到清晰度高的圖像,采用聚焦型光場相機(jī)獲取圖像,成像原理如圖1所示,物體所有方向上的光線通過主透鏡匯聚到微透鏡上,每個(gè)微透鏡將得到主透鏡像面上的一個(gè)區(qū)域內(nèi)的圖像。由于方向不同,繼而散射到微透鏡后面的傳感器像元上,使得主透鏡像面上的景物二次成像。a、b分別為微透鏡到主透鏡像平面的距離、微透鏡到傳感器的距離,因此,光場相機(jī)對光場的方向分辨率為a/b,a、b滿足透鏡的基本成像公式,公式見(1),通過調(diào)整參數(shù)a、b來實(shí)現(xiàn)光場的方向采樣。
圖1 聚焦型光場相機(jī)的成像原理圖Fig.1 Imaging schematic of a focused plenoptic camera
(1)
式中,f為微透鏡的焦距,根據(jù)具體的微透鏡獲得,a為微透鏡到主透鏡像平面的距離,b為微透鏡到傳感器的距離。
聚焦型光場相機(jī)拍攝所得的圖像示于圖2,被拍攝物體會在多個(gè)微透鏡圖像中出現(xiàn),每個(gè)微透鏡圖像都與相鄰的圖像有重疊區(qū)域。由于微透鏡是圓形,為了方便后續(xù)的圖像處理,本文選擇微透鏡圖像中的一部分做處理,示于圖3,選取圓形圖像中長度為m的矩形區(qū)域,進(jìn)行整圖拼接得到重組后的圖像,重組后的圖像示于圖4。
圖2 聚焦型光場相機(jī)拍攝圖Fig.2 Photograph of a focused plenoptic camera
圖3 圖像塊的裁剪模型Fig.3 Cropping model of the image block
圖4 重組后的圖像Fig.4 The reorganized image
圖4中,微透鏡的個(gè)數(shù)為Nxx×Ny,各個(gè)微透鏡圖像的大小為nxx×ny,圖像塊的大小為m×m。
依據(jù)重組的圖像獲取圖片的深度估計(jì)信息。詳細(xì)的原理示于圖5。首先,將微透鏡圖像中m′×m′的圖像塊A表示為Am;然后,在與A相鄰的微透鏡子圖像B中平行的選取多個(gè)圖像塊Bm;計(jì)算Am與若干Bm的相關(guān)值,并記錄獲得最大相關(guān)值的圖像塊Bm的中心位置kx。以此類推,對微透鏡圖像A和C進(jìn)行上述操作,得到ky。最后,將水平方向的kx和豎直方向的ky求平均值k,k即為微透鏡子圖像A的相對深度。遍歷圖像中的每一個(gè)微透鏡子圖像,得到由k構(gòu)成的矩陣即為三維圖像的深度信息K。
圖5 深度估計(jì)算法原理圖Fig.5 Schematic of depth estimation algorithm
在光場成像的圖像處理過程中,由于序列圖像中的各個(gè)圖像單獨(dú)處理操作比較繁瑣,因此引入了EPI[7]結(jié)構(gòu),將序列圖像看成一個(gè)整體進(jìn)行切分[8],使得操作的復(fù)雜度降低。
圖6 極平面、極線示意圖Fig.6 Schematic diagram of polar plane and polar line
為了更好的理解EPI,首先需要清楚極平面、極線等的形成原理。假設(shè)兩個(gè)相機(jī)對場景中的點(diǎn)M成像,示意圖示于圖6。場景中的任意點(diǎn)M,均可以和兩個(gè)透鏡的中心連線形成平面,該平面為極平面。然后,極平面與兩個(gè)像面各自相交,所對應(yīng)的交線即為極線。極平面上的所有點(diǎn)在像面1上的投影都在像面1與極平面相交的極線上,同理,像面2上的投影也在對應(yīng)的極線上。因此,可以得出,所有極平面上的點(diǎn)在各自像面上的投影都在相應(yīng)的極線上。在搜索圖像的匹配點(diǎn)時(shí),可以依據(jù)其對應(yīng)的極線對,使二維平面的搜索降到一維極線的搜索,大大降低了匹配點(diǎn)的搜索范圍。因此,尋找點(diǎn)M在兩個(gè)像平面中的匹配點(diǎn),只需要在極線中搜索即可。
圖像在極平面上的點(diǎn)都可以投影到對應(yīng)的極線上,因此,圖像極平面中的信息可以包含在對應(yīng)的極線序列中。在分析圖像序列時(shí),為了能夠?qū)⑿畔⒓刑幚?,需要將這些極線序列對按照某種特定的順序進(jìn)行排列,形成一幅新的圖像,這個(gè)新的圖像即為EPI,它涵蓋了圖像極平面中所有的特征信息。
圖7 水平方向EPI序列表示Fig.7 Horizontal EPI sequence representation
EPI場景可以通過多個(gè)攝像機(jī)從不同的視角同時(shí)拍攝同一個(gè)場景,或者一個(gè)相機(jī)從不同的位置捕捉場景[9],這樣構(gòu)成的多個(gè)視圖圖像形成了EPI圖像;本研究中,在快速EPI深度全光相機(jī)獲取深度分辨率[6]中,首先將原始的光場圖像用EPI表示。EPI塊由水平方向EPI表示和豎直方向EPI表示兩塊構(gòu)成,水平和豎直方向各自EPI表示的獲取方式如圖7和圖8所示,每一個(gè)正方形代表一個(gè)圖像塊的像素矩陣分布,圖7依次從圖像塊A相鄰的幾個(gè)微透鏡構(gòu)成的像素塊矩陣中各抽取中間一行的像素,按照圖中Block1、Block2、Block3的排列方式構(gòu)成三行像素組矩陣,即為水平方向EPI。同理,可以得到圖8中豎直方向的EPI。將水平和垂直的EPI表示進(jìn)行連接構(gòu)成最終的EPI表示,示于圖9。
圖8 垂直方向EPI表示Fig.8 Vertical EPI sequence representation
由圖7可知,對于微透鏡陣列中的子圖像塊A,選擇其相鄰的各圖像塊中間一行像素點(diǎn),按照圖中的順序進(jìn)行排列和拼接,構(gòu)成新的水平EPI表示。圖8選取與子圖像塊A相鄰的各圖像塊中間一列像素點(diǎn),構(gòu)成新的垂直EPI表示。
接下來,需要利用圖像的EPI序列表示獲取圖像的深度估計(jì)信息。首先,引入一個(gè)差異值d,利用d值來移動(dòng)EPI序列中像素點(diǎn)的位置。EPI序列表示的第一行像素點(diǎn)不做改變,第二行像素點(diǎn)平移d,第三行像素點(diǎn)平移2d,以此類推(本文中只對三行做位移)。因此,得到一個(gè)平移后的EPI序列。然后,計(jì)算每一列重合像素的方差之和,具體計(jì)算如公式(2)所示,改變d值的大小,尋找方差值最小時(shí)對應(yīng)的d值為d′,如公式(3)所示,此時(shí),d′為微透鏡子圖像A的深度估計(jì)值;最后,遍歷每一個(gè)微透鏡子圖像,得到各個(gè)子圖像的d′值形成的深度信息矩陣D。
(2)
(3)
公式(2)中j為EPI序列中像素點(diǎn)所在的列。
圖9 最終的EPI序列表示Fig.9 Final EPI sequence representation
本文使用java語言實(shí)現(xiàn)上述第1節(jié)中的兩種深度估計(jì)算法,兩種算法的結(jié)果均由一個(gè)矩陣展示。傳統(tǒng)的深度估計(jì)算法獲取深度信息時(shí)得到的矩陣為K,該方法是從相鄰圖像塊間的相關(guān)度方面進(jìn)行考慮;快速EPI全光相機(jī)獲取深度信息的方法得到的矩陣為D,該方法從方差的角度分析并獲取每一列像素點(diǎn)的方差,然后選取方差最小值對應(yīng)的d,其含義是從相鄰的圖像塊中尋找差異最小(即偏離程度最小)值。通過比較兩種算法分別得到的矩陣K和D,來衡量方法對圖像縱向分辨率的影響程度。
本文以光場相機(jī)捕獲的圖像圖2為研究示例,通過圖像的初步處理得到圖2所示重組后的圖像,在圖3的基礎(chǔ)上,分別用傳統(tǒng)的深度估計(jì)算法獲取深度信息和快速EPI獲取深度信息算法得到各自對應(yīng)的深度信息矩陣K和D。兩種方法的實(shí)驗(yàn)結(jié)果列于表1。將傳統(tǒng)的深度估計(jì)算法簡稱為算法1,快速EPI獲取深度信息的方法簡稱為算法2。
表1 算法1和算法2獲取的深度信息矩陣結(jié)果Table 1 Depth information matrix results obtained by Algorithm 1 and Algorithm 2
由表1的圖像深度信息計(jì)算結(jié)果可知,算法1由于是相關(guān)度結(jié)果,因此范圍在0~1之間,整體的相關(guān)度結(jié)果比較離散,表示與各個(gè)圖像塊最相關(guān)的相關(guān)系數(shù)值;算法2得到的為差異值d′的分布結(jié)果,但是,從結(jié)果D可以看出深度信息均集中在d′為74的鄰近值。
兩種深度信息獲取算法都是通過獲取圖像的深度值,衡量圖像的三維信息。圖像的深度范圍一般比較廣,這樣才能充分體現(xiàn)圖像的縱向分辨率,并且為后期全聚焦圖像確定良好和健壯的深度估計(jì)[7]。結(jié)果值波動(dòng)越小,說明該圖像的深度值相差不大,不能很好的體現(xiàn)圖像的縱向分辨率。
從算法的原理角度進(jìn)行分析,我們發(fā)現(xiàn)算法2在深度信息獲取過程中,首先對圖像的EPI序列表示進(jìn)行位移變化,然后再計(jì)算每個(gè)重疊列的方差和,選擇最小方差對應(yīng)的d值。每次循環(huán)d的過程中,由于EPI序列長度較短,并且序列中的像素值較大,因此方差和的變化很微小,導(dǎo)致最終d值相差較小,而且在d臨近末端時(shí),由于像素值變少,使得方差更容易最小。因此,從原理的角度考慮,算法1在圖像范圍較小的情況下也能獲得高的縱向分辨率,然而,算法2需要在圖像分布范圍較廣的情況下才能發(fā)揮其算法的優(yōu)勢。
從算法獲得的結(jié)果進(jìn)行分析,表1中兩種算法的結(jié)果可以得知,算法1獲得子圖像塊的相關(guān)度值反映深度信息,矩陣K中各個(gè)相關(guān)度值k比較離散,可以較充分的反映圖像的深度信息,因而對圖像的縱向分辨率影響更大;然而,算法2得到的d′值差異較小,這樣很難展現(xiàn)出圖像的深度信息。
在三維劑量測量系統(tǒng)中,質(zhì)子或重離子在組織等效閃爍材料中沉積能量產(chǎn)生閃爍光,且產(chǎn)生的閃爍光的量與質(zhì)子或重離子所沉積的能量成正比。且能量以布拉格峰的形式沉積,產(chǎn)生的光分布的橫向分布較窄。在此種情況下,傳統(tǒng)的深度估計(jì)算法獲得圖像的縱向分辨率更好,因此,傳統(tǒng)的深度估計(jì)算法更適用于質(zhì)子或重離子放射治療過程中的三維劑量測量。
光場相機(jī)突破了傳統(tǒng)相機(jī)記錄三維場景的不完備性[10],相較于其他成像裝置而言,采集方式便捷,獲取的光場數(shù)據(jù)精確,這使得本文的圖像采集工作順利開展。在三維劑量測量系統(tǒng)中,通過光場相機(jī)獲得閃爍光的平面分布圖像,然后利用兩種深度信息獲取算法挖掘圖像中的三維信息,分析和比較兩種深度估計(jì)算法對圖像縱向分辨率的影響,由于質(zhì)子或重離子在組織等效的閃爍材料中以布拉格峰形式進(jìn)行能量沉積,使得光的橫向分布較窄,傳統(tǒng)的深度估計(jì)算法能夠針對該問題得到較高的圖像縱向分辨率。而快速EPI深度估計(jì)算法邏輯結(jié)構(gòu)更簡單,更適合于圖像分布范圍較大的應(yīng)用場合。