蔡李美，李新福，田學(xué)東

（河北大學(xué)網(wǎng)絡(luò)空間安全與計算機(jī)學(xué)院，河北保定 071000）

0 概述

基于深度圖像的繪制（Depth Image Based Rendering，DIBR）技術(shù)是自由視點電視中的關(guān)鍵技術(shù)［1］。通過紋理圖及其對應(yīng)的深度圖能夠繪制出任意視點的虛擬圖像，但目前DIBR技術(shù)繪制的虛擬圖像依然存在重疊、空洞等問題，影響圖像質(zhì)量，主要原因是由于遮擋和深度圖的不連續(xù)，在三維圖像變換后會出現(xiàn)多個像素點映射到同一位置，導(dǎo)致背景像素覆蓋前景像素的重疊問題。此外，由于物體之間的遮擋，在參考視點中被前景物體遮擋的區(qū)域繪制到目標(biāo)視點后會變得可見，從而形成空洞區(qū)域。

為提高繪制后目標(biāo)視點視圖的質(zhì)量，國內(nèi)外許多學(xué)者對此展開了研究。已有的方法可以分為在三維圖像映射前進(jìn)行處理、對三維圖像變換過程進(jìn)行處理和在三維圖像變換后進(jìn)行處理。在三維圖像映射前進(jìn)行處理的方法，如文獻(xiàn)［2］對深度圖中的背景區(qū)域進(jìn)行濾波，在減少空洞的同時能夠減輕幾何失真，文獻(xiàn)［3-5］將深度圖物體邊界擴(kuò)展到彩色圖像的過渡區(qū)域，解決偽影和空洞問題，文獻(xiàn)［6］利用具有深度置信度的圖像引導(dǎo)TGV 模型使深度圖和紋理圖邊緣對齊，對深度圖進(jìn)行恢復(fù)，文獻(xiàn)［7］采用圖像分割技術(shù)對圖像進(jìn)行分割處理再進(jìn)行三維映射，解決像素點的錯誤映射問題。對三維圖像變換過程進(jìn)行處理的方法，如文獻(xiàn)［8］采用鄰域插值法進(jìn)行裂縫填充，該方法只適合于空洞區(qū)域較小的情況，文獻(xiàn)［9］通過對多個映射像素點的深度和空間位置信息進(jìn)行加權(quán)插值操作來實現(xiàn)裂縫的填充。在三維圖像變換后進(jìn)行處理的方法，采用基于樣本的圖像修復(fù)方法［10］或雙向DIBR 技術(shù)［11］對虛擬圖像進(jìn)行后處理，如文獻(xiàn)［12-13］將深度信息引入優(yōu)先級計算中，提高修復(fù)準(zhǔn)確性，文獻(xiàn)［14］將待填充塊的優(yōu)先級以背景紋理優(yōu)先，抑制前景紋理的錯誤延伸，文獻(xiàn)［15］利用深度圖與最大化類間方差算法，解決相對背景的識別問題，文獻(xiàn)［16］利用深度值對融合后的空洞進(jìn)行判斷，將外側(cè)一定范圍的背景像素復(fù)制到前景，能夠減輕前景紋理的擴(kuò)散，文獻(xiàn)［17］對深度和紋理圖進(jìn)行分層映射解決了偽影和裂縫問題，但融合后仍需要進(jìn)行剩余小空洞的填充。

針對三維映射后出現(xiàn)的重疊問題和雙向DIBR圖像融合后對特殊位置空洞進(jìn)行處理時出現(xiàn)的前景像素擴(kuò)散問題，本文提出一種基于分層圖像融合的虛擬視點繪制算法。通過消除雙向DIBR 映射后左、右虛擬視點圖像的偽影，利用深度圖對左、右虛擬視點圖像進(jìn)行分層融合，填充分層融合后背景圖像中的空洞，最終生成虛擬視點圖像。

1 雙向DIBR 繪制技術(shù)

1.1 三維圖像變換

雙向DIBR 繪制技術(shù)是分別將左、右參考視點的參考圖像和其對應(yīng)的深度圖像通過三維圖像變換生成任意位置的虛擬視點圖像，其中，三維圖像變換技術(shù)是虛擬視點繪制過程中的關(guān)鍵技術(shù)，分為以下兩個步驟：

步驟1利用深度信息將參考圖像的每一個像素點投影到三維歐式空間，計算公式如下：

其中，(Xw，Yw，Zw)T表示三維歐式空間中像素點的位置，pr=(ur，vr)表示參考圖像平面上像素點的位置，Kr、Rr、tr分別表示參考圖像攝像機(jī)坐標(biāo)系的內(nèi)參矩陣、旋轉(zhuǎn)矩陣和平移矩陣，λr為參考圖像攝像機(jī)縮放系數(shù)，取值為深度值。

步驟2將三維歐式空間中的點投影到虛擬視點圖像平面上，計算公式如下：

其中，pv=(uv，vv)表示虛擬視點圖像平面上像素點的位置，Kv、Rv、tv分別表示虛擬視點圖像攝像機(jī)坐標(biāo)系的內(nèi)參矩陣、旋轉(zhuǎn)矩陣和平移矩陣，λv是虛擬視點圖像攝像機(jī)縮放系數(shù)，取值為深度值。

1.2 圖像融合技術(shù)

雙向DIBR 技術(shù)利用不同視點之間的信息冗余性，即左側(cè)虛擬視點圖像中的空洞在右側(cè)虛擬視點中不一定是空洞，因此可以用右側(cè)虛擬視點的信息進(jìn)行填補(bǔ)，反之亦然。傳統(tǒng)的基于距離的圖像融合公式如下：

其中，Iv(u，v)是虛擬視點圖像在(u，v)處的像素值，IL(u，v)、IR(u，v)分別表示映射后左側(cè)虛擬視點圖像和右側(cè)虛擬視點圖像在(u，v)處的像素值，α為權(quán)重因子，由參考視點與虛擬視點之間的距離決定，計算公式如下：

其中，tV、tL、tR分別為虛擬視點、左側(cè)參考視點和右側(cè)參考視點的平移向量。

傳統(tǒng)的基于距離的圖像融合方法能夠消除由遮擋引起的虛擬圖像中的大面積空洞，但是在圖像直接融合后會出現(xiàn)前景物體中殘留背景像素的重疊問題，如圖1（a）所示。由于物體邊緣的前景像素映射到背景中，在直接圖像融合后前景物體兩側(cè)均出現(xiàn)偽影，如圖1（b）所示。此外，圖像融合后仍會剩余小部分空洞，如圖1（c）所示。本文將空洞周圍在水平或垂直方向含有前景像素的這類空洞稱為“特殊位置空洞”，由于空洞周圍存在前景像素，直接融合后很難處理。

圖1 傳統(tǒng)圖像融合方法Fig.1 Traditional image fusion method

2 分層圖像融合方法

為解決傳統(tǒng)圖像融合方法存在的問題，本文提出一種基于分層圖像融合視點繪制算法。利用雙向DIBR 映射得到左、右虛擬視點圖像，再分別對其進(jìn)行偽影去除、前景和背景分割、分層融合等操作最終得到虛擬視點處的圖像。虛擬視點生成算法流程如圖2 所示，分層圖像融合是本文算法的重點，主要是對重疊問題和空洞問題的后處理。

2.1 圖像分層預(yù)處理

預(yù)處理工作包含兩部分：

1）消除裂縫。由于像素點位置的舍入誤差，在三維圖像變換過程中，參考圖像的像素點并不一定落到虛擬視點圖像的整數(shù)像素位置上，因此形成裂縫。對正向映射得到的深度圖進(jìn)行中值濾波，再利用濾波后的深度圖和虛擬視點圖像進(jìn)行逆向映射［18］消除裂縫，圖3（a）和圖3（b）為裂縫消除后的左、右虛擬視點圖像。

圖3 裂縫去除后的虛擬圖像Fig.3 Virtual image after crack removal

2）消除偽影。由于深度圖和紋理圖在前景物體邊緣處的不一致，導(dǎo)致前景物體的邊界像素點會被錯誤地映射到背景區(qū)域。解決偽影的一種簡單有效的方法是利用形態(tài)學(xué)對空洞區(qū)域進(jìn)行膨脹，將處于背景區(qū)域的偽影作為空洞進(jìn)行處理。具體步驟如下：

（1）提取深度圖的掩模圖記為mask，對深度值Depthv(u，v)為0 的空洞區(qū)域進(jìn)行標(biāo)記，公式如下：

（2）對提取的掩模圖mask 進(jìn)行形態(tài)學(xué)膨脹操作，計算公式如下：

其中，S表示大小為5×5 的矩形結(jié)構(gòu)元素，⊕表示形態(tài)學(xué)的膨脹操作。利用空洞膨脹后的掩模圖M就可以得到消除偽影后的左、右虛擬視點圖像，如圖4（a）和圖4（b）所示。

圖4 偽影去除后的虛擬圖像Fig.4 Virtual image after artifact removal

2.2 基于分層圖像融合的視點繪制

2.2.1 前景和背景分割

將深度信息引入到融合算法中，通過權(quán)重比例進(jìn)行融合能夠在一定程度上解決重疊問題，但不是使用原始真實的前景像素值進(jìn)行填充［19］。本文算法對重疊問題進(jìn)行后處理，在圖像融合之前先對左、右虛擬視點圖像進(jìn)行前景和背景分割，可以有效地將存在于前景物體中的背景像素分割到背景圖像中，這時原來前景物體中的背景像素區(qū)域?qū)⒆兂煽斩磪^(qū)域，然后再進(jìn)行分層融合，則使用的是真實的前景像素。

利用Canny 算子檢測深度圖中深度值存在突變的物體邊緣區(qū)域如圖5 所示，本文使用的深度值是場景的實際深度值。

圖5 Canny 算子邊緣檢測Fig.5 Canny operator edge detection

根據(jù)檢測得到的物體邊緣深度值的均值求取前景和背景分割的深度閾值T，通過深度閾值T指導(dǎo)左、右虛擬視點圖像的前景和背景分割。若左側(cè)虛擬視點在(u，v)的深度值DepthL(u，v)小于深度閾值T，則認(rèn)定為前景；若DepthL(u，v)大于深度閾值T，則認(rèn)定為背景，因此得到左側(cè)前景、背景分割圖像ILf(u，v)、ILg(u，v)的公式如下：

同理，可得右側(cè)前景和背景分割圖像IRf(u，v)和IRg(u，v)，最終的前景和背景分割圖像如圖6 所示。

圖6 前景和背景分割圖像Fig.6 Foreground and background segmentation image

2.2.2 圖像分層融合

根據(jù)深度閾值分割得到的左側(cè)虛擬視點前景和背景圖像ILf(u，v)、ILg(u，v)以及右側(cè)虛擬視點前景和背景圖像IRf(u，v)、IRg(u，v)， 利用基于距離的融合方法進(jìn)行分層圖像融合，可以使重疊問題得到解決。左側(cè)前景圖像和右側(cè)前景圖像在像素點(u，v)處進(jìn)行融合得到虛擬視點前景融合圖像If(u，v)，公式如下：

同理，可得背景融合圖像Ig(u，v)，此時，進(jìn)行分層融合后的前景物體中已經(jīng)不存在背景像素，如圖7（a）所示，融合后的背景圖像只有背景像素，如圖7（b）所示。

圖7 分層融合后的虛擬圖像Fig.7 Virtual image after layered fusion

2.2.3 空洞收縮和背景填充

為盡可能地保留原始像素的真實值，本文提出一種空洞收縮的處理方法對偽影消除過程中擴(kuò)大的空洞區(qū)域進(jìn)行收縮。首先利用偽影去除后的前景融合圖像If(u，v)和未進(jìn)行空洞膨脹的前景融合圖像Inf(u，v)，對需要空洞收縮區(qū)域進(jìn)行標(biāo)記holeshrink，再根據(jù)標(biāo)記后的圖像指導(dǎo)空洞收縮，公式如下：

在式（11）中，If(u，v)是最終空洞收縮后的前景融合圖像，如圖8（a）所示，同理可得最終空洞收縮后的背景融合圖像Ig(u，v)，如圖8（b）所示。

圖8 空洞收縮后的前景和背景融合圖像Fig.8 Foreground and background fusion image after holes contraction

在空洞的后處理中，特殊位置空洞的處理最為關(guān)鍵。本文對只含有背景像素的背景融合圖像Ig進(jìn)行空洞填充，由于周圍不存在前景像素，因此可以有效地解決特殊位置空洞的前景擴(kuò)散問題。

考慮到用于空洞填充的經(jīng)典的Criminisi 算法的復(fù)雜度相對較高，本文利用大小為W=(2n+1)×(2n+1)窗口求像素均值方法對Ig進(jìn)行背景空洞的填充。

最后將前景融合圖像If覆蓋空洞填充后的背景融合圖像Ig得到虛擬視點處的圖像，公式如下：

其中，Ivir(u，v)為最終的虛擬視點圖像，如圖9 所示。

圖9 分層融合后的虛擬視點圖像Fig.9 Virtual viewpoint image after hierarchical fusion

3 實驗與結(jié)果分析

為驗證本文算法的有效性，實驗將本文算法與經(jīng)典Criminisi算法、文獻(xiàn)［16］改進(jìn)的相鄰像素填充算法、文獻(xiàn)［19］改進(jìn)的視點合成算法、文獻(xiàn)［20］深度引導(dǎo)的視點繪制算法進(jìn)行主觀和客觀的比較。采用由微軟研究院的交互視覺媒體組提供的Ballet和Breakdancers圖像測試序列進(jìn)行實驗，共8 個視點，每個視點的紋理圖和深度圖均為100幀，圖像分辨率為1 024像素× 768像素。在三維圖像變換時，對于Ballet測試序列，以Cam3和Cam5 作為參考視點，以Cam4 作為目標(biāo)視點，對于Breakdancers 測試序列，以Cam2 和Cam4 作為參考視點，以Cam3 作為目標(biāo)視點，在不同幀之間進(jìn)行了實驗對比。Criminisi算法中的匹配塊的大小設(shè)置為9×9，匹配源圖是整幅虛擬圖像。

不同算法之間和不同幀之間的主觀質(zhì)量對比如圖10～圖12 所示。

圖10 Ballet 序列重疊問題對比結(jié)果Fig.10 Comparison results of Ballet sequence overlap problems

圖11 Ballet 序列空洞問題對比結(jié)果Fig.11 Comparison results of Ballet sequence hole problems

圖12 Breakdancers 序列空洞問題對比結(jié)果Fig.12 Comparison results of Breakdancers sequence hole problems

從圖10 可以看出，對于重疊問題，Criminisi 算法、文獻(xiàn)［16］算法、文獻(xiàn)［19］算法在胳膊處均存在背景像素，文獻(xiàn)［20］利用深度進(jìn)行插值避免背景像素覆蓋前景像素，本文算法用真實的前景像素填充背景像素。從圖11 和圖12 可以看出，對于處于特殊位置的空洞，其他4 種算法均出現(xiàn)了前景像素的錯誤擴(kuò)散，這是由于Criminisi 算法進(jìn)行空洞填充時不區(qū)分前景和背景像素進(jìn)行逐層收縮，受前景像素的干擾較大。文獻(xiàn)［16］利用一定范圍的背景像素替換前景像素，對于特殊位置空洞仍會出現(xiàn)前景紋理的擴(kuò)散，文獻(xiàn)［19］同樣受到前景像素的干擾，文獻(xiàn)［20］降低了前景像素的干擾。將前景和背景進(jìn)行分層融合，能夠排除前景像素的干擾，避免前景紋理出現(xiàn)在背景中。

為進(jìn)一步驗證本文算法的有效性，采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似度（Structural Similarity，SSIM）作為客觀質(zhì)量的評價指標(biāo)，其中，PSNR 值越高，SSIM 值越接近于1，則表明圖像的質(zhì)量越好。不同算法在Ballet 和Breakdancers 圖像測試序列上的PSNR 比較如圖13所示，可以看出本文算法和其他4 種算法相比具有一定的優(yōu)勢，尤其是在Ballet、Breakdancers 圖像測試序列中，存在個別圖像幀的PSNR 值低于其他4 種算法，但是整體上仍高于其他4 種算法。

圖13 不同序列的PSNR 比較Fig.13 PSNR comparison of different sequences

表1 和表2 給出了不同測試序列以及不同算法之間的平均PSNR 值和SSIM 值，其中，ΔPSNR1 表示Ballet 序列中本文算法的PSNR 值與其他4 種算法PSNR 的差值，ΔSSIM1 表示本文算法的SSIM 值和其他4 種算法的SSIM 的差值，同理，ΔPSNR2 和ΔSSIM2 表示Breakdancers 序列中的差值。通過表1和表2 可以看出本文算法優(yōu)于其他算法。

表1 不同算法的平均PSNR 比較Table 1 Comparison of average PSNR of different algorithmsdB

表2 不同算法的平均SSIM 比較Table 2 Comparison of average SSIM of different algorithms

4 結(jié)束語

本文針對三維映射后出現(xiàn)的重疊和空洞問題，提出一種基于分層圖像融合的視點繪制算法。對左、右虛擬視圖空洞區(qū)域進(jìn)行膨脹來消除偽影，利用深度圖進(jìn)行前景和背景分割以及分層融合解決重疊問題，對融合后的背景圖像進(jìn)行填充解決特殊位置空洞問題。實驗結(jié)果表明，與經(jīng)典Criminisi等算法相比，本文算法繪制出的圖像質(zhì)量較高。但隨著場景復(fù)雜度的增加，依靠單閾值進(jìn)行前景和背景分割會降低繪制圖像的準(zhǔn)確率，為提高繪制圖像的質(zhì)量，進(jìn)行合理的多閾值圖像分割將是下一步的研究內(nèi)容。