宋 濤，祁繼輝，侯培國,*，李 坤，趙明宇

(1.燕山大學(xué) 電氣工程學(xué)院，河北 秦皇島 066004；2.秦皇島視聽機械研究所，河北 秦皇島 066004；3.河北省數(shù)字影像裝備與數(shù)字顯示技術(shù)重點實驗室，河北 秦皇島 066004)

0 引言

隨著科技的發(fā)展，人們把虛擬現(xiàn)實技術(shù)應(yīng)用到娛樂與教育中，目前，佩戴VR頭盔或者VR眼鏡應(yīng)用最為廣泛，但是，佩戴輔助設(shè)備影響虛擬體驗的真實感，存在很大的局限性，因此，用戶對多通道投影系統(tǒng)產(chǎn)生極大需求，無須佩戴任何輔助設(shè)備，通過多個投影儀把各自的虛擬畫面投影至周圍的墻壁上，便可享受更有真實感的虛擬體驗[1]。如今，大屏幕投影墻技術(shù)發(fā)展較為完善，大屏幕投影墻包括平面多投影系統(tǒng)與曲面多投影系統(tǒng)。其中，平面多投影系統(tǒng)的投影畫面都在同一個平面內(nèi)，每個投影畫面在屏幕空間內(nèi)理想?yún)^(qū)域的幾何形狀與原圖像一致，因此，實現(xiàn)投影畫面彼此完好銜接的線性幾何校正便可輕易完成。對于曲面多投影系統(tǒng)，通過曲面屏幕內(nèi)投影畫面理想?yún)^(qū)域的像素分布與原圖像的對應(yīng)關(guān)系便可對投影圖像進(jìn)行非線性幾何預(yù)扭曲，從而解決投影畫面在曲面屏幕產(chǎn)生幾何畸變的問題。然而，大屏幕投影墻只是一個視覺方向的投影畫面，屬于半沉浸式虛擬現(xiàn)實體驗，多通道投影洞穴狀自動虛擬(Cave Automatic Virtual Environment，CAVE)系統(tǒng)提供三至五個方向的投影平面，實現(xiàn)完全沉浸式的虛擬現(xiàn)實體驗。為了實現(xiàn)多通道投影畫面的無縫拼接，必然存在投影畫面彼此的重疊區(qū)域，因此，多通道投影CAVE系統(tǒng)的同一投影畫面分布在二至三個投影平面，相對于大屏幕投影墻而言，多通道投影CAVE系統(tǒng)的幾何校正難度較大。

文獻(xiàn)[2]以投影對象的攝影圖像為橋梁，結(jié)合最小二乘法、遺傳算法等數(shù)學(xué)方法，計算出投影圖像與顯示圖像間的傳遞矩陣，從而達(dá)到快速幾何校準(zhǔn)的目的，但此類方法在復(fù)雜投影環(huán)境中的局限性很強并且?guī)缀涡Ｕ炔桓摺Ｎ墨I(xiàn)[3]與文獻(xiàn)[4]先后通過特征點自動擬合對投影畫面的幾何形狀進(jìn)行自適應(yīng)函數(shù)校正，再通過紋理貼圖來解決復(fù)雜的投影環(huán)境導(dǎo)致投影畫面產(chǎn)生幾何畸變的問題，但沒有針對多通道投影圖像的拼接問題有過多研究。文獻(xiàn)[5]把特征點大小降低至像素級別，即投影儀的每個像素都作為特征點，達(dá)到特征點密度最大化，設(shè)計合理的像素編碼算法，使投影儀中每個像素點都能在照片中對應(yīng)到相應(yīng)的位置，進(jìn)而準(zhǔn)確刻畫出投影儀位置和形變信息，這種方法的幾何校正精度較高，但是操作過于復(fù)雜，計算量過大，從而導(dǎo)致擬合時間過長。文獻(xiàn)[6]提出了基于魚眼相機的幾何校正方法，使穹頂處相鄰的投影區(qū)域間基本沒有撕裂和跳動。文獻(xiàn)[7]提出了一種魚眼鏡頭攝像機與標(biāo)準(zhǔn)鏡頭攝像機相結(jié)合的幾何校正方法，并通過簡單的程序?qū)崿F(xiàn)了對整個室內(nèi)空間的多重投影，通過使用相同的模式圖像并使用兩個攝像機進(jìn)行拍攝，可以計算出兩個攝像機之間的對應(yīng)關(guān)系。文獻(xiàn)[8]求解畸變關(guān)系方程并確定圖像像素在基準(zhǔn)點的坐標(biāo)，利用該像素點周圍的像素灰度值，求出該像素的灰度值，從而對圖像進(jìn)行幾何對其校正。但此三類方法并不適用于多通道投影CAVE系統(tǒng)的異面投影。文獻(xiàn)[9]創(chuàng)建光柵化貝塞爾曲面的細(xì)分網(wǎng)格，得到的圖像記錄了從輸入圖像到投影曲面的映射關(guān)系以此進(jìn)行幾何校正，但是，人眼觀測便可發(fā)現(xiàn)，即便多通道投影畫面經(jīng)過貝塞爾曲面校正，投影畫面重疊區(qū)域中各自的光柵化網(wǎng)格彼此并沒有發(fā)生良好的重疊。文獻(xiàn)[10]提出了一種基于多視角采樣校正的大尺度多投影光場三維顯示系統(tǒng)，文獻(xiàn)[11]在此基礎(chǔ)上設(shè)計并實現(xiàn)了面向柱面的主動立體多投影顯示系統(tǒng)，文獻(xiàn)[12]基于雙目視覺原理，對投影幕進(jìn)行三維重建，以此構(gòu)建三維貝塞爾曲面模型保證投影區(qū)域彼此銜接完好。文獻(xiàn)[13]設(shè)計了激光陣列儀，基于激光標(biāo)注點計算各個投影儀投影矩陣，從而獲得幾何校正的初值，并進(jìn)一步細(xì)調(diào)網(wǎng)格得到最終理想的幾何校正結(jié)果。文獻(xiàn)[14]采用二次準(zhǔn)均勻B樣條構(gòu)建投影幕曲面，通過調(diào)節(jié)控制點實現(xiàn)曲面幾何粗校正，解決幾何形變問題，然后通過調(diào)節(jié)形狀參數(shù)解決重合區(qū)域拼接問題。由此可見，如今很多研究著重于解決幾何校正精度不高的問題，以此實現(xiàn)投影畫面重疊區(qū)域的完美銜接，但是，由于重疊區(qū)域存在重影，該區(qū)域幾何校正的誤差才顯而易見，通過對投影畫面像素點的整體測量，便可發(fā)現(xiàn)非重疊區(qū)域也存在像素偏移。

本文通過透視變換對投影圖像進(jìn)行整體幾何校正，在攝像空間內(nèi)計算投影畫面的平均絕對誤差，通過貝塞爾曲面進(jìn)行幾何優(yōu)化直到平均絕對誤差低于標(biāo)準(zhǔn)值為止。

1 基于透視變換的幾何校正

1.1 透視變換

透視變換的數(shù)學(xué)模型為

因此，x與y的表達(dá)式分別為

其中，u與v分別為像素點變換前的橫縱坐標(biāo)值，x與y分別為像素點變換后的橫縱坐標(biāo)值。

由于一組點對應(yīng)兩個線性關(guān)系式，4組點的8個線性關(guān)系式便可求得轉(zhuǎn)換矩陣的8個未知參數(shù)。

本文在投影畫面幾何校正過程中，通過攝像機對屏幕空間進(jìn)行采集從而轉(zhuǎn)換至攝像空間。在進(jìn)行幾何校正之前，需要通過張正友標(biāo)定算法求取攝像機的內(nèi)部參數(shù)以及畸變系數(shù)以此對攝像機進(jìn)行去畸變處理，從而保證攝像坐標(biāo)空間與世界坐標(biāo)空間的線性對應(yīng)關(guān)系，實現(xiàn)攝像機采集信息的真實性。

在攝像機采集屏幕空間時，攝像機需要正對屏幕中央，在攝像機采集屏幕空間后，在攝像空間內(nèi)獲取屏幕四個頂點的橫縱坐標(biāo)以此判斷照片內(nèi)的屏幕是否為標(biāo)準(zhǔn)矩形，如果不是，定義攝像空間內(nèi)屏幕的4個頂點理想坐標(biāo)值，求得透視校正矩陣，以此對照片進(jìn)行透視校正來保證攝像空間內(nèi)屏幕空間像素坐標(biāo)的真實性。

對照片進(jìn)行去畸變處理以及透視校正后，在攝像空間內(nèi)獲取投影畫面的4個特征點坐標(biāo)值，計算對應(yīng)理想坐標(biāo)值以此求得透視變換矩陣，通過透視變換矩陣對投影圖像進(jìn)行幾何預(yù)扭曲。

1.2 投影圖像的矩陣分塊

本文的實驗系統(tǒng)為四通道投影CAVE系統(tǒng)，搭建的實物如圖1所示。

圖1 四通道投影CAVE系統(tǒng)的實物模型Fig.1 Physical model of four channel projection CAVE system

圖1為四通道投影CAVE系統(tǒng)的理想幾何投影畫面，環(huán)幕的3個投影畫面由同一臺主機控制，地面的投影畫面由另一臺主機控制。因此，環(huán)幕的3個投影畫面彼此存在重疊區(qū)域，即環(huán)幕的3個投影圖像投影到2～3個投影平面，而地面的投影圖像剛好投影在地面區(qū)域，與環(huán)幕的3個投影畫面并沒有重疊區(qū)域。

根據(jù)環(huán)幕投影圖像像素的投影平面分布，對投影圖像進(jìn)行矩陣分塊，環(huán)幕三通道原圖像的矩陣分塊如圖2所示。

圖2中的區(qū)域1為該通道主要投影平面內(nèi)對應(yīng)的像素區(qū)域，區(qū)域2與3為該通道相鄰?fù)队捌矫鎯?nèi)對應(yīng)的像素區(qū)域。

幾何校正前，每個通道原圖像對應(yīng)投影實際區(qū)域的矩陣分塊如圖3所示。

圖2 環(huán)幕投影圖像的矩陣分塊Fig.2 Matrix partition of projection image of circular screen

圖3 每個投影圖像區(qū)域的投影矩陣分塊Fig.3 Projection matrix partition of each projection image area

圖3中虛線區(qū)域內(nèi)的像素能夠完全投影至對應(yīng)投影平面，虛線以外的區(qū)域難免投影至對應(yīng)投影平面以外的區(qū)域。

由于環(huán)幕投影畫面存在異面投影，需要根據(jù)每個投影畫面對應(yīng)投影平面的像素分布進(jìn)行分段透視變換，因此圖2所分塊的每個區(qū)域都對應(yīng)一個幾何校正的透視變換對應(yīng)關(guān)系，在求取透視轉(zhuǎn)換矩陣時，需要獲取圖3中虛線區(qū)域內(nèi)4個特征點在攝像空間內(nèi)的坐標(biāo)值。

為了實現(xiàn)圖2中每個分塊區(qū)域透視變換矩陣的準(zhǔn)確計算，要保證每個分塊區(qū)域在攝像空間內(nèi)的真實性，因此，需要對投影畫面對應(yīng)的每個投影平面進(jìn)行單獨拍攝，即采用單投影-多拍攝的方式采集屏幕信息。

2 基于貝塞爾曲面的幾何優(yōu)化

2.1 貝塞爾曲面

一個貝塞爾曲面由(N+1)×(M+1)個控制點pij(i=0,1,…,N;j=0,1,…,M)來定義，此類貝塞爾曲面便為N×M次貝塞爾曲面，其定義為

(1)

式(1)中pij為第(i+1)×(j+1)個控制點；u與v分別為點的橫縱坐標(biāo)并且均作歸一化處理，因此，u∈[0,1]且v∈[0,1]；P(u,v)為貝塞爾曲面變換后的坐標(biāo)。

通過(R+1)×(S+1)組特征點坐標(biāo)值便可求得控制點，構(gòu)建的矩陣關(guān)系式為

其中，Cr.s.u與Cr,s.v分別為第(r+1)×(s+1)個點的橫縱坐標(biāo)值；U與V分別為該坐標(biāo)空間的橫縱坐標(biāo)最大值；pi,j,x與pi,j,y分別為橫縱坐標(biāo)第(i+1)×(j+1)個控制點；Pr,s.x與Pr,s.y分別為第(r+1)×(s+1)個點經(jīng)坐標(biāo)空間變換后的橫縱坐標(biāo)值；X與Y分別為變換后坐標(biāo)空間的橫縱坐標(biāo)最大值。

2.2 平均絕對誤差

本文以平均絕對誤差(Mean Absolute Error，MAE)作為幾何校正的評估指標(biāo)，表達(dá)式為

其中，投影畫面共有(R+1)×(S+1)個特征點，F(xiàn)(r,s)為第(r+1)×(s+1)個特征點的實際坐標(biāo)值，R(r,s)為第(r+1)×(s+1)個特征點的理想坐標(biāo)值,L為特征點坐標(biāo)值的MAE。

對投影圖像進(jìn)行分塊幾何預(yù)扭曲后進(jìn)行投影，投影圖像為矩形黑白棋盤格，共有(R+1)×(S+1)個棋盤角點，其中包括棋盤格頂點與邊上的角點，依舊以多拍攝-單投影的方式采集來保證攝像空間內(nèi)每個投影平面信息獲取的真實性。對于理想點坐標(biāo)的求取，可在攝像空間內(nèi)根據(jù)投影幕的4個頂點通過透視變換來保證屏幕空間為矩形形狀，再使棋盤格跟攝像空間內(nèi)矩形屏幕空間的坐標(biāo)一一對應(yīng)以此準(zhǔn)確計算每個角點的理想坐標(biāo)值，從而準(zhǔn)確計算每個角點實際坐標(biāo)值的絕對誤差以此求得MAE。

根據(jù)實驗系統(tǒng)的操作環(huán)境，給予MAE一個標(biāo)準(zhǔn)值，如果MAE大于標(biāo)準(zhǔn)值，用貝塞爾曲面對投影圖像進(jìn)行幾何優(yōu)化。根據(jù)實驗環(huán)境、攝像空間的大小以及攝像空間內(nèi)屏幕空間所占比重，設(shè)本實驗橫坐標(biāo)MAE的標(biāo)準(zhǔn)值為2.0，縱坐標(biāo)MAE的標(biāo)準(zhǔn)值為1.5。

對于貝塞爾曲面，控制點數(shù)量越多，幾何優(yōu)化精度越高，但是計算難度越大。本文先采用雙三次貝塞爾曲面進(jìn)行幾何優(yōu)化，即4×4個控制點。以攝像空間內(nèi)投影平面中棋盤格投影畫面的角點為特征點，棋盤格角點在照片內(nèi)實際坐標(biāo)值與理想坐標(biāo)值分別作為貝塞爾曲面變換前后的坐標(biāo)值，以此求取控制點，其中，以照片內(nèi)投影平面區(qū)域作為單位圖像對坐標(biāo)值進(jìn)行歸一化，而且依舊根據(jù)圖2對投影圖像進(jìn)行區(qū)域分塊幾何優(yōu)化。

經(jīng)貝塞爾曲面幾何優(yōu)化后，再次計算MAE，如果橫坐標(biāo)或縱坐標(biāo)的MAE依舊大于標(biāo)準(zhǔn)值，便在該方向增加一個控制點數(shù)量，再次進(jìn)行幾何優(yōu)化，直到MAE低于標(biāo)準(zhǔn)值為止。

對于每個環(huán)幕投影圖像，像素集合表達(dá)式為

其中，I為該通道投影內(nèi)圖像的全部像素集合，Ij為該通道投影第j區(qū)域內(nèi)的全部像素集合，該通道投影共有J個區(qū)域，J=2或3。

環(huán)幕投影圖像的幾何校正數(shù)學(xué)表達(dá)式為

其中，G(I)為I的幾何預(yù)扭曲，Bj(Ij)為Ij的貝塞爾曲面幾何預(yù)扭曲，Pj()為Ij的透視變換函數(shù)。

對于地面的投影畫面，提取地面上的角點，經(jīng)透視變換固定投影畫面的輪廓，使其剛好投影至地面區(qū)域即可，再用貝塞爾曲面進(jìn)行幾何優(yōu)化。

3 實驗結(jié)果與分析

環(huán)幕三通道投影圖像經(jīng)區(qū)域分塊透視變換后的投影畫面如圖4所示。

圖4 環(huán)幕三投影透視變換幾何校正效果圖Fig.4 Geometric correction effect drawing of three projection perspective transformation of annular screen

由圖4可知，根據(jù)投影畫面在不同投影平面的像素理想分布對投影圖像進(jìn)行區(qū)域分塊透視變換幾何校正能夠?qū)崿F(xiàn)同一投影圖像的異面投影。

環(huán)幕三通道投影圖像經(jīng)區(qū)域分塊貝塞爾曲面變換后的投影畫面如圖5所示。

圖5 環(huán)幕三投影貝塞爾曲面幾何優(yōu)化效果圖Fig.5 Geometric optimization effect drawing of Bezier surface with three projections of annular screen

由圖5可以看出，經(jīng)分塊區(qū)域貝塞爾曲面幾何優(yōu)化后，投影畫面內(nèi)的棋盤格角點均勻分布，而且重疊區(qū)域銜接完好，并沒有發(fā)生像素撕裂、跳動以及重影現(xiàn)象。

四通道投影圖像經(jīng)幾何校正后的投影畫面如圖6所示。

圖6 四通道投影CAVE系統(tǒng)的幾何優(yōu)化效果圖Fig.6 Geometric optimization effect drawing of four channel projection CAVE system

由圖6可以看出，地面的投影畫面與環(huán)幕的投影畫面準(zhǔn)確連接。

分別采用分段透視變換、全局貝塞爾曲面以及本文所提出的非均勻分段貝塞爾曲面優(yōu)化對投影圖像進(jìn)行幾何校正，攝像空間內(nèi)棋盤格角點像素坐標(biāo)值MAE的比較結(jié)果如表1所示。

表1 幾何校正平均絕對誤差計算結(jié)果Tab.1 Calculation results of geometric correction mean absolute error

由此可見，本文設(shè)計的非均勻分段貝塞爾曲面幾何優(yōu)化使校正后攝像空間內(nèi)的角點橫縱坐標(biāo)平均絕對誤差相對分段透視變換分別降低了1.13像素和0.93像素，相對全局貝塞爾曲面分別降低了0.68像素和0.52像素。

在應(yīng)用到實時畫面的顯示上，需要多通道視頻采集模塊和集群顯示模塊，多通道視頻采集模塊包括對畫面進(jìn)行采集、壓縮以及傳輸，集群顯示模塊包括對畫面進(jìn)行接受、解碼以及顯示。

4 結(jié)論

本文針對多通道投影CAVE系統(tǒng)的異面投影設(shè)計了非均勻分段貝塞爾曲面幾何校正方法，本文所設(shè)計的幾何校正方案只需少量控制點便可對異面投影進(jìn)行準(zhǔn)確校正且MAE相對降低。因此，本文所設(shè)計的幾何校正技術(shù)更適用于多通道投影CAVE系統(tǒng)。由于環(huán)幕投影畫面的投影儀與地面投影畫面的投影儀由不同的主機控制，因此視頻投影畫面難以得到理想的同步性，后期打算以通信技術(shù)對整體同步的實時性給予提升。