丁陳敏，呂昭宏，姚劍敏，許勝允，林博瑛，郭太良

(1.福州大學(xué)場(chǎng)致發(fā)射國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室，福建福州350000;2.冠捷顯示科技(廈門(mén))有限公司廈門(mén)創(chuàng)新中心，福建廈門(mén)361000)

近年來(lái)，隨著視頻顯示技術(shù)的發(fā)展，3D顯示技術(shù)已成為下一代具有立體感、真實(shí)感和交互性特點(diǎn)的視頻顯示技術(shù)的基礎(chǔ)［1］。目前，比較常見(jiàn)的方法是利用關(guān)鍵幀與其對(duì)應(yīng)的深度圖合成任意視點(diǎn)的圖像，然而采用DIBR合成的視圖往往存在空洞［2］。空洞產(chǎn)生的原因大致分為兩類(lèi):第一類(lèi)是將關(guān)鍵幀映射到新視點(diǎn)圖像時(shí)，二維圖像中的可見(jiàn)物體在新視點(diǎn)圖像上的投影發(fā)生了錯(cuò)誤而引起的;第二類(lèi)是由物體之間發(fā)生遮蔽現(xiàn)象引起的［3］。

針對(duì)視點(diǎn)合成時(shí)視圖中產(chǎn)生的空洞，現(xiàn)有技術(shù)采用的DIBR算法均是在同一個(gè)畫(huà)面中對(duì)空洞附近進(jìn)行水平像素的推測(cè)運(yùn)算，這樣得到的填洞像素值的正確率不高，容易造成圖像邊緣的失真［4］。

基于傳統(tǒng)空洞填補(bǔ)方法存在的局限性，本文提出一種基于時(shí)間導(dǎo)向的DIBR孔填充的方法，利用結(jié)構(gòu)相似性的方法查找連續(xù)視頻序列中與關(guān)鍵幀擁有相同背景信息的前后相似幀，然后比較前后相似幀的深度信息，利用背景信息對(duì)新視點(diǎn)中的空洞進(jìn)行填補(bǔ)。

1 傳統(tǒng)DIBR孔填充方法

如圖1所示，繪制新視點(diǎn)的過(guò)程中，變形后的新視點(diǎn)中有未被像素填充的區(qū)域，稱(chēng)之為空洞區(qū)域，空洞區(qū)域填補(bǔ)效果的好壞，決定了最終生成的多視點(diǎn)圖像的立體效果［5］。因此，空洞填補(bǔ)是視點(diǎn)繪制的一個(gè)重要步驟。

圖1 新視點(diǎn)圖像細(xì)節(jié)圖(其中黑色區(qū)域?yàn)榭斩磪^(qū)域)

針對(duì)如何解決DIBR產(chǎn)生空洞引起的新視點(diǎn)圖像中各種失真問(wèn)題，國(guó)內(nèi)外的學(xué)者提出了很多相關(guān)的填洞算法，主要分為兩類(lèi):

1)第一類(lèi)是采用圖像修復(fù)技術(shù)填補(bǔ)空洞。主要是利用二維圖像與其對(duì)應(yīng)的深度圖進(jìn)行圖像變形后，對(duì)生成的新視點(diǎn)中的空洞區(qū)域周?chē)南袼匦畔⑦M(jìn)行處理計(jì)算，以此找到合適的背景信息，對(duì)空洞進(jìn)行填補(bǔ)。比較常用的有水平鏡像方法，顧名思義，就是選取一條參照線，按照相對(duì)位置關(guān)系選取對(duì)應(yīng)的像素信息填洞［6］。利用水平鏡像方法得到的填洞后，圖像在物體的交界處畫(huà)面會(huì)產(chǎn)生偽影，造成圖像邊緣模糊的現(xiàn)象，如圖2所示。

圖2 水平鏡像填洞結(jié)果

2)第二類(lèi)是構(gòu)造全局背景填補(bǔ)空洞［7］。主要是利用視頻序列幀間信息的互補(bǔ)性生成一張全局背景圖像，并以此為輔助圖像，去填補(bǔ)從關(guān)鍵幀映射到新視點(diǎn)時(shí)產(chǎn)生的空洞，該方法相比于第一類(lèi)方法，對(duì)于簡(jiǎn)單場(chǎng)景中的空洞有很好的填補(bǔ)效果(如圖3a所示)。但該類(lèi)方法也存在一些不足，首先，構(gòu)造全局背景需要確保單鏡頭中序列沒(méi)有相機(jī)運(yùn)動(dòng)。目前，多數(shù)影片中的場(chǎng)景都不能做到這一點(diǎn)。其次，構(gòu)造全局背景，需要從序列中提取與關(guān)鍵幀相關(guān)的背景信息，這就需要很多的幀間信息。再次，全局背景圖像對(duì)于圖像中有多個(gè)物體移動(dòng)的情況不能起到很好的填補(bǔ)效果［8］，如圖3b、3c所示。最后，使用構(gòu)造的全局背景去填補(bǔ)空洞，不能完整地對(duì)新視點(diǎn)中的所有空洞區(qū)域進(jìn)行填補(bǔ)，填補(bǔ)后預(yù)留的空洞使用圖像修復(fù)方法進(jìn)行處理，增加了算法實(shí)施的運(yùn)算量。

圖3 構(gòu)造全局背景填洞效果

2 基于時(shí)間導(dǎo)向的DIBR空洞填補(bǔ)方法

2.1 算法思路

針對(duì)上述算法填洞效果會(huì)造成新視點(diǎn)在填洞后產(chǎn)生偽影、紋理失真以及運(yùn)算量過(guò)大等情況。本文提出了一種基于時(shí)間導(dǎo)向的空洞填補(bǔ)方法，對(duì)基于視頻序列生成一張全局背景圖像來(lái)填補(bǔ)空洞的方法進(jìn)行改進(jìn)。

首先，視頻序列的幀間信息具有關(guān)聯(lián)性，如圖4所示，中間幀第8幀缺失的背景像素可以在前后幀第7幀和第9幀中找到合適的背景像素信息。利用結(jié)構(gòu)相似性的方法得到擁有相同背景的系列圖像，以此作為依據(jù)，去填補(bǔ)新視點(diǎn)中空洞，得到的填補(bǔ)像素是真實(shí)存在的，優(yōu)于傳統(tǒng)填洞方法對(duì)空洞周?chē)袼剡M(jìn)行猜測(cè)得到填洞信息。其次，結(jié)構(gòu)相似性方法設(shè)定了相似幀的范圍，在采用相似幀填洞時(shí)，只用到了關(guān)鍵幀的前后幀序列，不僅節(jié)省了運(yùn)算量，還不用考量相機(jī)的角度就可以對(duì)新視點(diǎn)中的空洞進(jìn)行填補(bǔ)［8］。另外得到相似幀與關(guān)鍵幀在時(shí)間上關(guān)聯(lián)密切，對(duì)于關(guān)鍵幀中有多個(gè)物體移動(dòng)的情況，也能起到很好的填補(bǔ)效果。再次，采用相似幀填補(bǔ)空洞是遍歷整個(gè)新視點(diǎn)圖像，逐個(gè)像素進(jìn)行填補(bǔ)，不需要另外使用圖像修復(fù)方法進(jìn)行處理，減少了內(nèi)存的占用率，也大大增強(qiáng)了圖像填補(bǔ)的正確率［7］。

圖4 視頻序列幀間信息的關(guān)聯(lián)性

另外，采用相似幀填洞與構(gòu)造全局背景填洞方法比較，在影片拍攝要求、影片要求以及適用場(chǎng)景等方面均有所不同。首先，構(gòu)造全局背景對(duì)影片的拍攝有特殊的要求，全局背景的影片在拍攝時(shí)，攝像機(jī)是固定的，物體在移動(dòng)，而相似幀方法使用的影片拍攝時(shí)不需要攝像機(jī)固定。其次，為了構(gòu)造完整的全局背景，根據(jù)場(chǎng)景的不同，需要的影片數(shù)目不定，而相似幀方法不論何種場(chǎng)景對(duì)于影片的數(shù)目要求都是固定的。再次，兩種方法適用的場(chǎng)景也有所不同，相似幀方法對(duì)于場(chǎng)景沒(méi)有限制，而構(gòu)造全局背景只能用在特殊的場(chǎng)景。兩種方法的比較具體如表1所示。

表1 相似幀方法與構(gòu)造全局背景方法比較

2.2 算法框架

本算法的架構(gòu)由3個(gè)部分組成，如圖5所示。第1部分是利用已知的方法對(duì)二維圖像(即關(guān)鍵幀)及其深度圖進(jìn)行圖像變形;第2部分是在二維圖像所在的連續(xù)視頻序列中利用結(jié)構(gòu)相似性的方法(SSIM)查找滿足相似范圍的前后相似幀;第3部分是利用得到的相似幀圖像對(duì)變形后的新視點(diǎn)圖像做空洞填補(bǔ)。

圖5 本文系統(tǒng)架構(gòu)圖

2.3 圖像變形

圖像變形部分的輸入是二維圖像和它對(duì)應(yīng)的深度圖，利用文獻(xiàn)［9］中的使用方法求得像素視差，然后對(duì)圖像進(jìn)行變形(warping)，變形后，就會(huì)得到帶有空洞(holes)的新視點(diǎn)圖像(如圖6所示)。

圖6 新視點(diǎn)圖像(含有空洞區(qū)域)

2.4 基于結(jié)構(gòu)的相似幀查找方法(SSIM)

為了對(duì)新視點(diǎn)中的空洞區(qū)域進(jìn)行填補(bǔ)，本文采用結(jié)構(gòu)相似性的方法在連續(xù)視頻序列中查找與新視點(diǎn)擁有相同背景信息的前后幀圖像。結(jié)構(gòu)相似性方法是一種衡量?jī)煞鶊D像相似度的新指標(biāo)，其值越大，表示兩幅圖像結(jié)構(gòu)越接近，最大值為1。本文中對(duì)相似幀的查找，按照視頻序列幀間信息的關(guān)聯(lián)性，選取的是在時(shí)間上序列中物體有相對(duì)位移關(guān)系的前后幀圖像，所以對(duì)于相似幀的查找，按照實(shí)驗(yàn)結(jié)果，選取的前后幀與關(guān)鍵幀的相似范圍在［0.85 0.96］時(shí)，就可以作為填洞的參考圖像。

結(jié)構(gòu)相似性方法(SSIM)的基本框圖如圖7所示［10］。其中，信號(hào)x，y分別是原圖像信號(hào)和連續(xù)前后幀圖像信號(hào)。結(jié)構(gòu)相似性方法的核心函數(shù)定義為

圖7 結(jié)構(gòu)相似性方法(SSIM)基本框圖

式中:S(x，y)描述了原始圖像信號(hào)與連續(xù)視頻幀前后圖像信號(hào)之間的相似性，作為相似度度量;l(x，y)是亮度比較函數(shù);c(x，y)是對(duì)比度比較函數(shù);s(x，y)是結(jié)構(gòu)比較函數(shù);f(·)是整合函數(shù)，3個(gè)函數(shù)相對(duì)獨(dú)立。3個(gè)比較函數(shù)定義如下

式中:C1，C2，C3是用來(lái)增加計(jì)算結(jié)果的穩(wěn)定性，一般數(shù)值都比較小;L 為像素的最大值(通常為 255);K1，K2＜ ＜1;μx，μy是亮度均值，作為亮度的估計(jì);σx，σy是標(biāo)準(zhǔn)方差作為對(duì)比度的估計(jì)，σxy是x，y的協(xié)方差。結(jié)合上式定義信號(hào)x，y之間的SSIM指標(biāo)為

SSIM(x，y)=［l(x，y)α］·［c(x，y)］β·［s(x，y)］γ(3)式中:α，β，γ＞0，這3個(gè)參量對(duì)亮度、對(duì)比度和結(jié)構(gòu)信息進(jìn)行權(quán)值調(diào)整。在本文中 L=255，K1=0．03，K2=0．05，α =β =γ =1。

2.5 基于時(shí)間導(dǎo)向的空洞填補(bǔ)

圖8a是視頻序列“dancer”中的第40幀在變形后得到的新視點(diǎn)圖像，圖8b和8c是依照結(jié)構(gòu)相似性的方法查找到滿足相似范圍的第38幀和第41幀圖像。對(duì)應(yīng)空洞區(qū)域的細(xì)節(jié)如圖 8d，8e，8f，8g 所示。

圖8 結(jié)構(gòu)相似性方法查找得到的前后相似幀以及對(duì)應(yīng)的細(xì)節(jié)圖像

查找到關(guān)鍵幀的前后相似幀后，依照相似幀與其對(duì)應(yīng)的深度圖的像素信息，對(duì)新視點(diǎn)中的空洞進(jìn)行填補(bǔ)，填洞流程如圖9所示。按照流程圖所示，首先，輸入新視點(diǎn)圖像以及相似幀查找環(huán)節(jié)得到的前后幀圖像和其對(duì)應(yīng)深度圖。其次，對(duì)新視點(diǎn)中的空洞進(jìn)行分類(lèi)［11］。根據(jù)空洞所處的位置，本文將空洞分為單個(gè)像素的空洞和大范圍的空洞，即

圖9 填補(bǔ)空洞流程圖

對(duì)空洞區(qū)域進(jìn)行分類(lèi)，再選擇最佳的填洞方法對(duì)其進(jìn)行處理，不僅降低了運(yùn)算的時(shí)間，而且可以確保圖像填補(bǔ)后的品質(zhì)。再次，根據(jù)分類(lèi)的情況，單個(gè)像素的空洞采用直接復(fù)制的方法填補(bǔ)。對(duì)大范圍空洞的處理，是本文的重點(diǎn)，主要思路是比較前后相似幀對(duì)應(yīng)深度圖的像素值大小，選取像素值小的對(duì)應(yīng)位置的像素信息對(duì)大范圍空洞區(qū)域進(jìn)行填補(bǔ)。具體實(shí)施如圖10所示。

圖10 單個(gè)像素的空洞填補(bǔ)情況(其中像素值為0的區(qū)域?yàn)榭斩?

如圖8d所示，對(duì)于單個(gè)像素的洞，由于只有一個(gè)像素的關(guān)系，不論用什么方法填補(bǔ)，不會(huì)影響圖像填補(bǔ)后的整體效果，而且單個(gè)像素的洞基本上都出現(xiàn)在圖像中物體的中間，因此，對(duì)于單個(gè)像素的洞，采取的方法是使用臨近像素直接復(fù)制對(duì)其進(jìn)行填補(bǔ)，即用空洞對(duì)應(yīng)位置的前一個(gè)位置的像素信息對(duì)單個(gè)空洞進(jìn)行填補(bǔ)，如圖10所示。

為了填補(bǔ)圖8e中大范圍的空洞(圖中的黑色區(qū)域)，本文的實(shí)施方案如圖11～15所示，其中圖11是紅色方塊區(qū)域?qū)?yīng)的紅色通道部分像素值。

圖11 單通道部分像素值

圖12 第41幀深度圖對(duì)應(yīng)位置像素值

圖13 第38幀深度圖對(duì)應(yīng)位置像素值

圖14 第38幀對(duì)應(yīng)位置的像素值

圖15 填補(bǔ)后得到的單通道像素值

查找到空洞位置后，接下來(lái)，逐個(gè)像素比較結(jié)構(gòu)相似幀查找環(huán)節(jié)得到的第38幀圖像和第41幀圖像深度圖對(duì)應(yīng)位置的像素值，如圖12和圖13所示。

對(duì)于圖11中的空洞區(qū)域(像素值為0的區(qū)域)，逐個(gè)位置比較圖12和圖13空洞對(duì)應(yīng)位置的像素值，可以得出，第38幀深度圖像空洞對(duì)應(yīng)的所有位置的像素值都小于第41幀深度圖像對(duì)應(yīng)位置的像素值。一般的大范圍空洞區(qū)域?qū)?yīng)圖像中的背景區(qū)域，而背景區(qū)域的像素值偏小，所以應(yīng)選取第38幀圖像的像素信息逐個(gè)去填補(bǔ)空洞，其像素值如圖14所示。如果第38幀深度圖像對(duì)應(yīng)空洞位置的像素值與第41幀深度圖像相比，有的大有的小，那么也是選取像素值小的對(duì)應(yīng)位置的信息填補(bǔ)空洞。

將第38幀圖像對(duì)應(yīng)位置的像素值逐個(gè)填補(bǔ)到新視點(diǎn)中的空洞位置，得到的紅色通道像素值如圖15所示。因此，基于結(jié)構(gòu)相似幀方法查找得到的填補(bǔ)空洞像素是真實(shí)存在的，只要比較前后幀深度圖的像素值的大小，就可以得到正確的背景像素信息，對(duì)空洞區(qū)域進(jìn)行填補(bǔ)。另外，由于圖像是由RGB三色構(gòu)成的，對(duì)于綠色通道和藍(lán)色通道，也采用如流程圖7所示的方法，先對(duì)空洞進(jìn)行分類(lèi)，再根據(jù)分類(lèi)的情況使用不同的方法處理空洞區(qū)域來(lái)得到填補(bǔ)像素。實(shí)驗(yàn)證明，通過(guò)上述處理，RGB三通道都能找到合適的像素信息對(duì)空洞區(qū)域進(jìn)行填補(bǔ)。

3 實(shí)驗(yàn)結(jié)果

本文利用“dancer“序列，將采用直接復(fù)制方法、水平鏡像方法以及本文方法的填洞結(jié)果進(jìn)行了比較，如圖16所示。由于大部分序列在影片拍攝要求、影片要求以及使用場(chǎng)景等方面都不滿足構(gòu)造全局背景的條件，所以在實(shí)驗(yàn)中未和獲得全局背景的算法進(jìn)行比較。

圖16 已有方法和本文方法的填洞結(jié)果比較圖

從上面的實(shí)驗(yàn)結(jié)果可以看出，本文所采用的填補(bǔ)方法繪制得到的圖像在前后景的邊界處有較好的填補(bǔ)效果，可以真實(shí)地還原圖像的邊緣以及減少圖像邊緣的鬼影現(xiàn)象，使獲得的多視點(diǎn)圖像具有較高的填補(bǔ)質(zhì)量。

通過(guò)比較原始圖像和填洞后新視點(diǎn)圖像峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)以及結(jié)構(gòu)相似度(Structural Similarity Index，SSIM)來(lái)衡量新視點(diǎn)圖像繪制后的質(zhì)量［12］，比較結(jié)果如表2 所示。

表2 SSIM與PSNR結(jié)果比較

從表2可以看出，本文的填洞方法在數(shù)值上，相較于水平鏡像的方法峰值信噪比提高了12.7%，結(jié)構(gòu)相似度相較于水平鏡像方法，提高了8.38%。

4 結(jié)論

本文提出了一種基于時(shí)間導(dǎo)向的DIBR空洞填補(bǔ)方法，利用結(jié)構(gòu)相似性的方法查找連續(xù)視頻序列中與關(guān)鍵幀擁有相同背景信息的前后圖像，然后參照相似幀查找結(jié)果對(duì)圖像變形后的新視點(diǎn)中的空洞區(qū)域進(jìn)行填補(bǔ)。本文的方法能夠最大限度地還原真實(shí)圖像，減少了空洞填充時(shí)由于人為因素猜測(cè)得到填補(bǔ)信息而引起的圖像失真現(xiàn)象，可以得到正確的、質(zhì)量好的多視點(diǎn)圖像。

［1］柴宏穎，顏淑惠.具有方向性的3D影像修補(bǔ)技術(shù)［D］.臺(tái)灣:淡江大學(xué)，2012.

［2］王愛(ài)紅，王瓊?cè)A，李大海，等.立體顯示中立體深度與視差圖獲取的關(guān)系［J］.光學(xué)精密工程，2009(17):474-475.

［3］ OH K J，YEA S，HO Y S.Hole filling method using depth based in-painting for view synthesis in free viewpoint television and 3-D video［C］//Proc.Picture Coding Symposium.［S.l.］:IEEE Press，2009:1-4.

［4］ CHOI S，HAM B，SOHN K.Hole filling with random walks using occlusion constraints in view synthesis［J］.IEEE Int.Conf.Image Process，2011(9):1965-1968.

［5］ BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting［J］.Acm Siggraph，2000(7):417-424.

［6］ CHOIS，HAM B.Space-time hole filling with random walks in view extrapolation for 3D video［J］.IEEE Trans.Image Processing，2013(6):2429-2435.

［7］陳坤斌，劉海旭，李學(xué)明.構(gòu)造全局背景的虛擬視點(diǎn)合成算法［J］.信號(hào)處理，2013(10):1307-1311.

［8］ SCHMEING M，JIANG X Y.A backgound modeling faithful approach to the disocclusion problem［J］.International Journal of Pattern Recognition and Artificial Intelligence，2013(2):1-4.

［9］劉楷哲，吳其霖，黃偉豪，等.基于3D顯示器格式之實(shí)時(shí)3D內(nèi)容合成技術(shù)［J］.影像與識(shí)別，2010(2):87-91.

［10］佟雨兵，張其善，祁云平.基于PSNR與SSIM聯(lián)合的圖像質(zhì)量評(píng)價(jià)模型［J］.中國(guó)圖象圖形學(xué)報(bào)，2006(12):1758-1760.

［11］陳昭和，郭柏廷，宋俊毅，等.立體影像產(chǎn)生之有效破洞填補(bǔ)方法［C］//第十一屆離島信息技術(shù)與應(yīng)用研討會(huì)論文集.［出版地不詳］:華僑大學(xué)，2010:474-478.

［12］ WANG Z，BOVIK A C，SHEIKH H R，et al.Image quality assessment:From error visibility to structural similarity［J］.IEEE Trans.Image Process，2004(4):600-612.