莊 怡，汪劍春，胡新榮

（武漢紡織大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，湖北 武漢 430073）

IBR技術(shù)與應(yīng)用綜述

莊 怡，汪劍春，胡新榮*

（武漢紡織大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，湖北 武漢 430073）

IBR技術(shù)是一種全新的用于產(chǎn)生真實(shí)感圖像的技術(shù)，主要應(yīng)用于虛擬實(shí)景空間建立，虛擬實(shí)景空間漫游和虛擬對(duì)象展示。與傳統(tǒng)的技術(shù)相比，IBR技術(shù)的優(yōu)勢(shì)主要在于圖像的真實(shí)性，實(shí)時(shí)性和與用戶(hù)的交互性。本文主要介紹了幾種常用的IBR技術(shù)，以及IBR技術(shù)的主流應(yīng)用，并進(jìn)行一定的分析比較，總結(jié)了IBR技術(shù)發(fā)展的基礎(chǔ)和關(guān)鍵問(wèn)題。

IBR技術(shù)；全景圖技術(shù)；視圖差值；全光模型；光流場(chǎng)

IBR技術(shù)，作為現(xiàn)代圖像處理的一種新型技術(shù)，從提出到發(fā)展是一個(gè)迅速的過(guò)程。從最開(kāi)始的地形繪測(cè)技術(shù)，一直到現(xiàn)在，空間漫游，三維建模等應(yīng)用領(lǐng)域都或多或少的添加了IBR技術(shù)。該技術(shù)現(xiàn)在已經(jīng)成為平面圖像，三維圖像技術(shù)發(fā)展的一個(gè)必不可少的因素。IBR技術(shù)可以根據(jù)是否需要幾何信息大致分為兩種方法[1]。一種方法是：根據(jù)已有的幾何信息建立一個(gè)粗略的三維模型的場(chǎng)景。另外一種方法則是不需要任何幾何場(chǎng)景，但是需要大量的圖像數(shù)據(jù)。

IBR技術(shù)主要應(yīng)用于虛擬實(shí)景空間建立，虛擬實(shí)景空間漫游和虛擬對(duì)象展示。其優(yōu)勢(shì)在于計(jì)算的繪制量是與像素成正比，而不是與幾何模型的定點(diǎn)數(shù)相關(guān)。這樣，對(duì)復(fù)雜場(chǎng)景很有效；在繪制復(fù)雜場(chǎng)景的同時(shí)，也提高了圖像質(zhì)量。同時(shí)，該技術(shù)可有效平衡場(chǎng)景真實(shí)度和交互實(shí)時(shí)性之間的矛盾。但是，這種方法也存在一定問(wèn)題。對(duì)于某些環(huán)境而言，不僅要刻畫(huà)出逼真的復(fù)雜環(huán)境，同樣得考慮光影效果和視覺(jué)角度。在一定的數(shù)據(jù)量的前提下，如何優(yōu)化場(chǎng)景的光影效果和優(yōu)化視角等成為IBR技術(shù)的關(guān)鍵問(wèn)題。

針對(duì)這些問(wèn)題，本文對(duì)基于IBR技術(shù)的虛擬現(xiàn)實(shí)技術(shù)做了一些初步的探討。通過(guò)對(duì)各種IBR技術(shù)優(yōu)勢(shì)和劣勢(shì)的分析，提出目前IBR技術(shù)的不足，以及該技術(shù)發(fā)展的一些關(guān)鍵問(wèn)題。并給出一些技術(shù)性意見(jiàn)，從而緩和實(shí)時(shí)性和真實(shí)性的矛盾，提高IBR技術(shù)的應(yīng)用效率。

1 IBR技術(shù)

由于建模技術(shù)存在的問(wèn)題被人們不斷提出和改進(jìn)，例如不同視角之間的圖像變形問(wèn)題，復(fù)雜場(chǎng)景的逼真效果等。人們開(kāi)始引進(jìn)新的方法來(lái)拍攝，重繪圖像，以達(dá)到逼真的視覺(jué)效果以及加快圖像重繪的時(shí)間。

下面主要介紹了幾種目前常用的IBR技術(shù)。

1.1 全景圖技術(shù)

能放映全局場(chǎng)景的圖像被稱(chēng)為全景圖像[2]。全景圖技術(shù)源于80年代提出的環(huán)境映照技術(shù)，環(huán)境映照以景物中心為固定視點(diǎn)，觀察整個(gè)場(chǎng)景，并將周?chē)鷪?chǎng)景的圖像記錄在以該點(diǎn)為中心的環(huán)境映照球面或立方體表面上，實(shí)際上以全景圖像的方式提供了其中心視點(diǎn)出的場(chǎng)景描述。

圖1 拍攝場(chǎng)景

圖2 柱面全景圖映射

該算法首先繞一固定點(diǎn)旋轉(zhuǎn)拍攝場(chǎng)景，如圖1所示，得到具有部分重疊區(qū)域的圖像序列，將這個(gè)圖像序列無(wú)縫的拼接成一幅更大的畫(huà)面，投影到所選擇的簡(jiǎn)單形體的表面，如圖2所示。具有同一視點(diǎn)，但視線方向不同的兩幅部分重疊畫(huà)面間的投影變化函數(shù)可簡(jiǎn)單的表示成一個(gè)3*3矩陣。在計(jì)算機(jī)視覺(jué)中，有多種優(yōu)化迭代方法來(lái)決定該矩陣；將拼接后的整幅圖像變形投影到一個(gè)簡(jiǎn)單形體的表面上，即構(gòu)成一幅全景圖像。對(duì)全景圖像重采樣就可得到新的畫(huà)面[3]。常用的形體一般有立方體，球，圓柱等。

然而，上述算法仍然存在很大的局限性，它可以適用于以攝像機(jī)為中心，旋轉(zhuǎn)拍攝全景圖，從而產(chǎn)生中間畫(huà)面。但不適用于攝像機(jī)位置移動(dòng)的情形。

1.2 視圖插值法

當(dāng)視點(diǎn)連續(xù)移動(dòng)時(shí)，相鄰視點(diǎn)所看到的圖像大部分是重疊的，只是在位置，形狀上稍有不同，于是便產(chǎn)生通過(guò)相鄰圖像之間的插值來(lái)生成中間視點(diǎn)的新圖像。視圖插值法[4]根據(jù)從給定互相之間密集光溜的兩幅輸入圖像來(lái)重建任意視點(diǎn)的圖像。它能在相鄰采樣點(diǎn)圖像之間建立光滑自然的過(guò)度，從而真實(shí)再現(xiàn)了各相鄰采樣點(diǎn)間場(chǎng)景透視變化的變化。

圖3 原始圖像

圖4 視圖插值結(jié)果圖

上圖中[5]，圖3是通過(guò)相機(jī)拍攝的同一對(duì)象不同角度的兩幅圖像。對(duì)于相互之間已經(jīng)建立了對(duì)應(yīng)關(guān)系的兩幅圖像，存在一種光流的關(guān)系，即隨著視點(diǎn)的移動(dòng)，像素點(diǎn)在對(duì)應(yīng)點(diǎn)之間存在的移動(dòng)關(guān)系[6]。視圖插值技術(shù)采用線性插值來(lái)模擬這種移動(dòng)。圖4則是根據(jù)原始圖像圖3，基于視角的不同通過(guò)視圖插值算法所輸出結(jié)果。為了加速新圖像的生成速度考慮到像素點(diǎn)移動(dòng)時(shí)，相鄰像素常常是一起移動(dòng)的，因此可以將相鄰像素點(diǎn)組織成像素塊，進(jìn)行成塊移動(dòng)，這樣可以大大提高繪制速度。

視圖插值技術(shù)也存在一定的問(wèn)題，首先真實(shí)圖像之間的對(duì)應(yīng)關(guān)系一般很難尋找，所以視圖插值技術(shù)大多用于合成場(chǎng)景。其次，當(dāng)視點(diǎn)不平行于視平面時(shí)，視圖插值的結(jié)果會(huì)和真實(shí)的結(jié)果有所偏差。

1.3 全光模型

全光建模系統(tǒng)的大致實(shí)現(xiàn)流程如下：首先在選定的離散視點(diǎn)處進(jìn)行圖像采樣，使用迭代技術(shù)和優(yōu)化方法計(jì)算出原始圖像到圓柱映射的投影變換矩陣，將原始圖像拼接成柱面的環(huán)境映射；然后選取不同柱面圖像上的對(duì)應(yīng)點(diǎn)，利用匹配算法，確定圓柱的極線約束，最后利用已知的柱面全景參考圖和各圓柱之間的幾何約束，將參考圖像投影到任意的圓柱或者平面圖像中去[6]。全光建模系統(tǒng)忽略了時(shí)間和波長(zhǎng)參數(shù)，原始的七維全光線函數(shù)退化為五維。全光建模系統(tǒng)是采用柱面的全景圖，其關(guān)鍵問(wèn)題是如何從離散的采樣恢復(fù)連接的五維全光線函數(shù)。

圖5 全光建模中的全景拼圖

圖6 全光建模中的極線約束全景拼圖

圖5是通過(guò)全光建模的全景圖拼接，圖6在全光建模中加入了極線約束[6]。

全光建模系統(tǒng)對(duì)經(jīng)典的全光線函數(shù)在理論和時(shí)間方面做出了突破性的貢獻(xiàn)，可以說(shuō)它是第一個(gè)真正意義上的基于全光線函數(shù)的IBR系統(tǒng)。它的突出優(yōu)點(diǎn)是用戶(hù)可以在三維空間中自有的漫游，可以觀察任意角度的場(chǎng)景，同時(shí)也具有一般IBR系統(tǒng)的真實(shí)性和實(shí)時(shí)性的特點(diǎn)。但全光建模系統(tǒng)基于5維全光線函數(shù)，數(shù)據(jù)量非常龐大，特別是一些復(fù)雜場(chǎng)景等。非常稠密的采樣，導(dǎo)致數(shù)據(jù)海量，導(dǎo)致全光建模一直停留在實(shí)驗(yàn)室階段。

1.4 光流場(chǎng)技術(shù)

光流場(chǎng)技術(shù)是在全景函數(shù)重建基礎(chǔ)上發(fā)展起來(lái)的一種新的IBR技術(shù)。輸入圖像解釋為一個(gè)四維函數(shù)的二維切片，它的關(guān)鍵技術(shù)是將所輸入的二維圖像作為四維公式-光場(chǎng)的一個(gè)切片存儲(chǔ)起來(lái)，在瀏覽時(shí)從所獲得的光線提取出來(lái)重新采樣出一個(gè)切片[7]。這個(gè)函數(shù)完全刻畫(huà)了在固定光照條件下通過(guò)這個(gè)靜態(tài)場(chǎng)景無(wú)遮擋空間的光流。所獲得圖像可能是由來(lái)自所輸入的不同的圖像的光線組成，所以它可能與實(shí)際所獲得圖像中的實(shí)際一幅都不相似。

圖7 光場(chǎng)工作視圖

光場(chǎng)中的光線是由光線所在直線與兩個(gè)平面相交點(diǎn)在各自面上的坐標(biāo)來(lái)表示的。如圖7中光場(chǎng)中的光線由光線與兩個(gè)平面相交的坐標(biāo)(u, v)，(t, s)來(lái)表示。這樣可以方便的計(jì)算得到各幅圖像上個(gè)像素u，v，s，t的坐標(biāo),通過(guò)這些值計(jì)算得到新視圖中各像素的顏色值。

光場(chǎng)技術(shù)需要大量的圖像素材，在真實(shí)生活中，大量的圖像是很難得到的。即使是對(duì)于較小的對(duì)象也需要較大的數(shù)據(jù)存儲(chǔ)容量，而且在所存放的大量數(shù)據(jù)中，存在著大量的冗余信息，還需要對(duì)其進(jìn)行數(shù)據(jù)壓縮。

1.5 混合式IBR技術(shù)

混合式IBR技術(shù)是指同時(shí)采用幾何及圖像作為基本元素來(lái)繪制畫(huà)面的技術(shù)。該技術(shù)根據(jù)一定的標(biāo)準(zhǔn)，將部分場(chǎng)景簡(jiǎn)化為映射到簡(jiǎn)單幾何表面的紋理圖像。當(dāng)簡(jiǎn)化引起的誤差小于給定閾值時(shí)，混合式IBR技術(shù)直接利用紋理圖像取代原場(chǎng)景幾何來(lái)繪制畫(huà)面，由于簡(jiǎn)單幾何面置于被簡(jiǎn)化景物的中心，而簡(jiǎn)化誤差被嚴(yán)格的控制在給定的閾值內(nèi)，因而這種繪制技術(shù)仍保持正確的前后排序，所生成的圖形質(zhì)量亦非常高[8]。

混合式IBR技術(shù)最顯著的應(yīng)用是采用環(huán)境映射來(lái)表示遠(yuǎn)距離景物，而采用傳統(tǒng)的幾何繪制模式表示近距離景物。但由于對(duì)視點(diǎn)的不同把握，對(duì)整個(gè)場(chǎng)景均取同一的映射，使得所生成的圖像存在著較大的誤差。

1.6 其他IBR技術(shù)

除了上述的幾種基本的典型的IBR技術(shù)，還有視圖變形技術(shù)；基于3D重構(gòu)的IBR技術(shù)；基于分層深度圖像技術(shù)等。同樣在拍攝的基礎(chǔ)上，也可以?xún)?yōu)化了IBR技術(shù)。

2 IBR技術(shù)應(yīng)用

IBR技術(shù)，主要應(yīng)用于真實(shí)場(chǎng)景的描述。同樣，在虛擬實(shí)景空間建立，虛擬實(shí)景空間漫游，虛擬對(duì)象展示方面發(fā)揮了不可缺少的作用。

Chun-Fa Chang 介紹了一種基于IBR技術(shù)的移動(dòng)設(shè)備上的3D圖像顯示技術(shù)[9]?；贗BR技術(shù)的方法非常適合移動(dòng)設(shè)備，其基于圖像的渲染時(shí)間取決于屏幕分辨率，而不依賴(lài)輸入模式的復(fù)雜性。

在視頻技術(shù)中，利用IBR技術(shù)將現(xiàn)有的2D視頻材料轉(zhuǎn)換為三維顯示輸出。Sebastian Knorr 提出了一個(gè)基于單筒視頻序列，現(xiàn)實(shí)立體視圖展示的新方法[10]。

同樣，IBR技術(shù)在空間漫游系統(tǒng)中也被非常普遍的使用。該技術(shù)使三維場(chǎng)景的建立變得容易,使復(fù)雜的虛擬現(xiàn)實(shí)系統(tǒng)能在普通硬件平臺(tái)上推廣應(yīng)用。錢(qián)芬[11]其論文中，基于IBR技術(shù)實(shí)現(xiàn)了一個(gè)數(shù)字化校園系統(tǒng)。

除此之外，還有IBR技術(shù)在天空[12]地理顯示，三維游戲場(chǎng)景展示等方面的應(yīng)用。目前IBR技術(shù)已成為當(dāng)前計(jì)算機(jī)圖形學(xué)研究中的一個(gè)熱點(diǎn)，尤其是在虛擬環(huán)境的構(gòu)造上有著很好的前景。

3 結(jié)論

IBR技術(shù)的最終目標(biāo)是趕上虛擬現(xiàn)實(shí)等圖形學(xué)應(yīng)用對(duì)真實(shí)感的高要求，通過(guò)計(jì)算機(jī)平臺(tái)就能對(duì)復(fù)雜景物進(jìn)行實(shí)時(shí)真實(shí)感繪制的方法。同時(shí)，由于其技術(shù)發(fā)展本身的一些限制，讓其的應(yīng)用前景也受到限制。

根據(jù)IBR技術(shù)的基本特性，如下幾個(gè)關(guān)鍵問(wèn)題影響并制約了IBR技術(shù)的發(fā)展。

（1）數(shù)據(jù)量與實(shí)時(shí)性之間的沖突：由于IBR技術(shù)的逼真效果，則它所需的數(shù)據(jù)量是非常巨大的，其大量數(shù)據(jù)傳輸速度和重繪的速度影響了IBR技術(shù)的實(shí)時(shí)性，同時(shí)也產(chǎn)生了大量的冗余；

（2）光線技術(shù)的處理，必須解決困難的特征比配問(wèn)題；

（3）IBR技術(shù)的渲染技術(shù)，怎樣能根據(jù)不同的IBR技術(shù)來(lái)提高其繪制能力，增加輸出圖像的逼真度；

（4）IBR技術(shù)不必局限于單獨(dú)的算法優(yōu)化，可以在特定的場(chǎng)景中，針對(duì)不同對(duì)象的展示，對(duì)IBR技術(shù)進(jìn)行融合。

本論文介紹了IBR技術(shù)的幾種典型的方法，同時(shí)基于各種方法的特點(diǎn)，簡(jiǎn)要描述了幾種常用的IBR技術(shù)的應(yīng)用。最后，針對(duì)IBR技術(shù)發(fā)展的關(guān)鍵問(wèn)題上提出幾點(diǎn)觀點(diǎn)。使得IBR技術(shù)能夠快速發(fā)展，擴(kuò)大其應(yīng)用領(lǐng)域。

[1] Hynek BAKSTEIN, Tomas PAJDLA, Omnidirectional Image-based Rendering’[J]. Computer Vision Winter Workshop, 2006(2): 6-8.

[2] Green N. Environment Mapping and Other Application of World Projections [M]. Computer Graphics and Application, 1986.

[3] 鄭新,基于圖像的快速繪制技術(shù)的研究[D].北京：中國(guó)科學(xué)軟件研究所，2001.

[4] Chen S, William S L. View Interpolation for Image Synthesis Computer Graphics. (GIGGRA PH’93)[C],1993.

[5] Chen S.E. and Williams.L, View interpolation for image synthesis [J].Computer Graphics(SIGGRAPH’93), 1993(8): 279-188.

[6] 鐘云德,IBR中的插值與對(duì)應(yīng)點(diǎn)問(wèn)題研究[M]. 北京：中國(guó)科學(xué)院自動(dòng)化研究所, 2002.

[7] 吳躍冰. 基于圖形和圖像的虛擬場(chǎng)景繪制技術(shù)研究[D]. 大連：大連理工大學(xué),2005.

[8] 阮宗才. 基于圖像的快速繪制技術(shù)研究[M]. 安徽：安徽大學(xué),2002.

[9] Chun-Fa CHANG and Shyh-haur GER, Enhancing 3D Graphics on Mobile Devices by Image-based Rendering: LNCS[C]. 1105-1111, 2002.

[10] Sebastian KNORR, Thomas SIKORA, An Image-based Rendering Approach For Realistic Stereo View Synthesis of TV Broadcast Based On Structure From Motion: IEEE International Conference on Image Processing [C]. 2007.

[11] 錢(qián)芬，虛擬現(xiàn)實(shí)技術(shù)在數(shù)字化校園中的應(yīng)用研究[M].成都：電子科技大學(xué),2008.

[12] Mehlika Inanici, Applications Of Image Based Rendering In Lighting Simulation: Development And Evaluation Of Image Based Sky Models[J]. Building Simulation, 2009(7): 27-30.

[13] 鄒瓊兵，基于圖像的虛擬場(chǎng)景漫游技術(shù)研究：國(guó)防科學(xué)技術(shù)大學(xué)[M].哈爾濱：國(guó)防科學(xué)技術(shù)大學(xué).2004.

[14] H.-Y.Shum and S.B.Kang, A review of image based rendering techniques [J]. In IEEE/SPIE Visual Communications and Image Processing (CVIP), 2000(6): 2-13.

[15] T,Jebara, A. Azarbayejani and A. Pentland, 3D Structure from 2D Motion[J]. IEEE Signal Processing Magazine, 1999,16(3): 64-84.

[16] L. MacMillan, An Image based Approach to Three-dimensional Computer Graphics[M]. Carolina: University of North Carolina, 1997.

Survey on IBR Technology and Its Application

ZHUANG Yi, WANG Jian-chun, HU Xin-rong

(College of Computer Science, Wuhan Textile University, Wuhan Hubei 430073, China)

The IBR technology is a brand new technology utilized to produce realistic images, which is mainly used in the establishment of virtual space, virtual space tour as well as virtual objects display. Compared with traditional technologies, the advantage of IBR mainly lies in its authenticity of images, real-time property and the interaction of the users. The paper mainly introduces a number of commonly used IBR technologies and current application of IBR technology. Besides, it also makes an analytical comparison to summarize the basic and key issues of IBR technology.

IBR technology; panorama technology; view interpolation method; all-optical model; optical flow field

TP37

A

1009－5160(2010)03－0049－04

*通訊作者：胡新榮 (1973-)，女，副教授，研究方向：圖像處理與虛擬現(xiàn)實(shí).

湖北省重大項(xiàng)目（C2010036).