王愛(ài)華，韓 成，崔亞芬

0 引言

隨著計(jì)算機(jī)圖像處理軟硬件技術(shù)和虛擬現(xiàn)實(shí)應(yīng)用的快速發(fā)展，需要計(jì)算的數(shù)據(jù)規(guī)模越來(lái)越大，也正是因?yàn)閿?shù)據(jù)規(guī)模的成倍增長(zhǎng)，使得單臺(tái)PC機(jī)的處理能力遠(yuǎn)遠(yuǎn)不能夠達(dá)到實(shí)際應(yīng)用中所期望的性能，不能夠滿足交互式虛擬現(xiàn)實(shí)系統(tǒng)、商業(yè)產(chǎn)品演示系統(tǒng)、科學(xué)可視化系統(tǒng)等領(lǐng)域?qū)L制實(shí)時(shí)性、大場(chǎng)景、真實(shí)感等方面的實(shí)際需求[1-2]。因此，多通道顯示系統(tǒng)在數(shù)據(jù)可視化方面的應(yīng)用越來(lái)越普遍[3-5]。

目前，多通道柱面投影系統(tǒng)成為科技展示，教學(xué)、影院等眾多領(lǐng)域中廣泛使用的多投影顯示系統(tǒng)。當(dāng)投影機(jī)將圖像投影到柱面屏幕上后，圖像會(huì)發(fā)生形變，嚴(yán)重影響圖像質(zhì)量。對(duì)于多通道柱面投影系統(tǒng)來(lái)說(shuō)，由于使用多臺(tái)投影機(jī)，因此，所有投影機(jī)的位置一定不都處于柱幕系統(tǒng)的中心軸上。在這種情況下，解決圖像非線性失真是個(gè)首要問(wèn)題，需要通過(guò)非線性幾何校正技術(shù)使投影圖像匹配柱面投影幕。目前主要通過(guò)昂貴的額外校正設(shè)備或采用基于投影面曲率或幾何形態(tài)的校正方法[6-8]，但校正設(shè)備昂貴且不夠靈活，校正方法復(fù)雜，因此，不適合當(dāng)前的發(fā)展趨勢(shì)。

在投影機(jī)的位置不受嚴(yán)格的限制和不增加任何額外設(shè)備的情況下，為了對(duì)投影到柱幕上的圖像進(jìn)行畸變校正，本文研究了一種離軸柱幕投影圖像幾何校正方法，使得柱幕多投影系統(tǒng)的應(yīng)用更加的靈活，廣泛。

1 基于網(wǎng)格的非線性幾何校正原理

為了使校正過(guò)程不受投影機(jī)位置的限制，必須考慮投影機(jī)處于離軸位置時(shí)的情況。在這種情況下，如果采用固定的公式進(jìn)行計(jì)算會(huì)非常復(fù)雜[9-10]，因此，本文提出了一種基于網(wǎng)格的非線性幾何校正方法。該方法首先生成一幅與投影圖像一樣大小的網(wǎng)格圖像，如圖1所示：

圖1 原始網(wǎng)格圖像

然后將網(wǎng)格圖像投影到柱幕上，保證圖像能夠覆蓋全部柱幕，這時(shí)會(huì)有部分網(wǎng)格圖像出現(xiàn)在柱幕的外面；再根據(jù)柱幕形狀，通過(guò)手動(dòng)調(diào)整網(wǎng)格圖像的控制特征點(diǎn)，使網(wǎng)格圖像恰好能夠完全貼和于柱幕，此時(shí)的網(wǎng)格圖像發(fā)生形變。由此可以得到原始網(wǎng)格圖像與變形網(wǎng)格圖像中對(duì)應(yīng)點(diǎn)的關(guān)系，如圖2所示：

圖2 變形的網(wǎng)格圖像

根據(jù)原始網(wǎng)格圖像與變形的網(wǎng)格圖像中對(duì)應(yīng)點(diǎn)的變換關(guān)系，四邊形區(qū)域的變換原理[11]，就可以得到離軸柱幕非線性幾何校正矩陣，如圖3所示：

圖3 四邊形區(qū)域變換

對(duì)每一個(gè)四邊形區(qū)域進(jìn)行二維變換如公式（1）所示。其中，(x , y)為A、B、C、D中的一個(gè)點(diǎn)；(x ', y')為 A '、 B '、C'、 D '中的一個(gè)點(diǎn)； c1、 c2、 c3、 c4、 c5、 c6、 c7、c8為計(jì)算得到的變換矩陣中的參數(shù)值。

2 基于網(wǎng)格的非線性幾何校正軟件

基于網(wǎng)格的非線性幾何校正軟件的總體流程，如圖4所示：

圖4 校正軟件的總體流程圖

首先從文件中讀取網(wǎng)格圖像控制點(diǎn)坐標(biāo)，對(duì)柱幕上特征點(diǎn)坐標(biāo)賦值，計(jì)算所有柱幕網(wǎng)格點(diǎn)坐標(biāo)值，為計(jì)算柱幕與圖像對(duì)應(yīng)關(guān)系所需的對(duì)應(yīng)矩陣賦值，計(jì)算對(duì)應(yīng)關(guān)系矩陣并通過(guò)所計(jì)算對(duì)應(yīng)關(guān)系矩陣計(jì)算對(duì)應(yīng)點(diǎn)坐標(biāo)值。手動(dòng)調(diào)整相應(yīng)點(diǎn)的位置并改變特征點(diǎn)坐標(biāo)值，得到新的對(duì)應(yīng)關(guān)系。循環(huán)等待鍵盤(pán)響應(yīng)，當(dāng)有鍵盤(pán)響應(yīng)時(shí)則讀取鍵盤(pán)響應(yīng)值再次進(jìn)行坐標(biāo)變換。完成坐標(biāo)變換后，得到新的投影矩陣，使用對(duì)應(yīng)的矩陣關(guān)系對(duì)其他網(wǎng)格點(diǎn)進(jìn)行變換，得到所有點(diǎn)的對(duì)應(yīng)關(guān)系值。

2.1 讀取圖像控制點(diǎn)坐標(biāo)

從文件中讀取圖像控制點(diǎn)坐標(biāo)，文件中的控制點(diǎn)坐標(biāo)為已經(jīng)計(jì)算完成的點(diǎn)坐標(biāo)，各點(diǎn)為網(wǎng)格的平分點(diǎn)，循環(huán)所有的控制點(diǎn)，并初始化圖像的控制點(diǎn)。

2.2 計(jì)算柱幕網(wǎng)格點(diǎn)坐標(biāo)

定義柱幕控制特征點(diǎn)指針 CvPoint3D32f *control WorldPts，對(duì)所定義的8個(gè)控制特征點(diǎn)一一循環(huán)，以柱幕中心為原點(diǎn)，計(jì)算控制特征點(diǎn)的坐標(biāo)值，并對(duì)其賦值，初始化控制特征點(diǎn)的坐標(biāo)值。

定義柱幕網(wǎng)格點(diǎn)指針、網(wǎng)格的寬、高，以柱幕中心點(diǎn)為原點(diǎn)計(jì)算所有柱幕網(wǎng)格點(diǎn)的坐標(biāo)值，其中縱坐標(biāo)通過(guò)網(wǎng)格點(diǎn)平分得到，橫坐標(biāo)通過(guò)角度平分的每點(diǎn)角度與柱幕半徑的乘積得到。

找到柱幕網(wǎng)格點(diǎn)坐標(biāo)后，循環(huán)所有的網(wǎng)格點(diǎn)，對(duì)相鄰的網(wǎng)格點(diǎn)進(jìn)行連線，從而畫(huà)出網(wǎng)格圖像。

2.3 求解變換矩陣

調(diào)整柱幕投影中的控制特征點(diǎn)，將調(diào)整前后的控制特征點(diǎn)的坐標(biāo)數(shù)據(jù)寫(xiě)入兩個(gè)矩陣中，得到變換所需的左乘和右乘矩陣，再利用cvSlove函數(shù)得到計(jì)算后的所需變換矩陣。

2.4 計(jì)算圖像網(wǎng)格點(diǎn)坐標(biāo)

通過(guò)使用計(jì)算得到的變換矩陣和當(dāng)前網(wǎng)格點(diǎn)的坐標(biāo)，計(jì)算圖像新的網(wǎng)格點(diǎn)坐標(biāo)，得到校正后的圖像并將所得的值存入文件中，以待加載其他圖像使用。

2.4 鍵盤(pán)響應(yīng)

坐標(biāo)點(diǎn)的移動(dòng)是通過(guò)鍵盤(pán)響應(yīng)來(lái)實(shí)現(xiàn)的，鍵盤(pán)的響應(yīng)通過(guò)循環(huán)等待獲取的值變進(jìn)行響應(yīng)，e或 E為結(jié)束響應(yīng)，1-8為所需調(diào)整點(diǎn)的編號(hào)，（從左到右、從上到下依次編號(hào)），G，g，B，b，M，m，S，s為每次按鍵調(diào)整幅度分別為 100，50，10和1，L，l，R，r，T，t，D，d分別為調(diào)整的方向，左右上下，Q，q，W，w，O，o，P，p分別為窗口的上下左右移動(dòng)。將變換后的操作值傳回到特征點(diǎn)中，改變特征點(diǎn)的特征值，得到新的特征點(diǎn)值，進(jìn)行新的變換。

3 實(shí)驗(yàn)與結(jié)果分析

3.1實(shí)驗(yàn)步驟

為了驗(yàn)證本文提出的基于網(wǎng)格的非線性幾何校正方法的有效性，在長(zhǎng)春理工大學(xué)仿真實(shí)驗(yàn)室，利用現(xiàn)有的柱幕投影系統(tǒng)進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)使用的投影機(jī)為三菱MD-550X，使用計(jì)算機(jī)為聯(lián)系X61。實(shí)驗(yàn)的步驟如下所述：

（1）任意選擇一個(gè)位置固定投影儀；

（2）運(yùn)行程序，觀察得到的網(wǎng)格圖像，將網(wǎng)格圖像進(jìn)行投影。

（3）通過(guò)控制特征點(diǎn)的手動(dòng)調(diào)整使網(wǎng)格圖像完全貼合柱幕，得到對(duì)應(yīng)關(guān)系。

（4）通過(guò)所得對(duì)應(yīng)關(guān)系投影其他圖像，觀察處理結(jié)果。

3.2 實(shí)驗(yàn)效果

從生成的網(wǎng)格圖像可以看到8個(gè)控制特征點(diǎn)由圓圈標(biāo)記，每個(gè)控制特征點(diǎn)都可以單獨(dú)進(jìn)行調(diào)整，其他的特征點(diǎn)都為使用投影關(guān)系矩陣達(dá)到連動(dòng)的效果。將網(wǎng)格圖像投影到柱幕上，并通過(guò)控制特征點(diǎn)的手動(dòng)調(diào)整可以改變網(wǎng)格形狀，并觀察其是否能完全鑲嵌在柱幕上，直到得到正確的圖像，記錄下所得的特征點(diǎn)的位置坐標(biāo)，寫(xiě)入文件后，得到特征點(diǎn)位置的坐標(biāo)文件，如圖5所示：

圖5 網(wǎng)格圖像變形實(shí)驗(yàn)結(jié)果圖

再將計(jì)算得到的變換矩陣加載到的普通圖像上進(jìn)行校正，如圖6所示：

圖6 校正前的圖像

圖像經(jīng)過(guò)變換矩陣進(jìn)行變換后得到了變形圖像，如圖7所示：

圖7 投影校正后效果圖

此圖像雖然在顯示器上顯示為扭曲圖像，但加載到柱幕上后則為正確的圖像。

3.3 實(shí)驗(yàn)結(jié)果分析

從實(shí)驗(yàn)過(guò)程來(lái)看，實(shí)驗(yàn)的效果受到外界環(huán)境的影響，比如光照、陰影、拍攝明暗度、物體顏色等，這樣會(huì)給實(shí)驗(yàn)帶來(lái)很多限制，需要增加一些人為控制及選擇因素才能完成實(shí)驗(yàn)。

通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析可知，本方法適用于離軸柱面圖像投影的校正中，并且擁有良好的校正效果，可以達(dá)到預(yù)期的結(jié)果。如果投影機(jī)的位置固定不動(dòng)，通過(guò)變換矩陣，可以完成所有圖像的校正，為視頻的實(shí)時(shí)校正提供了堅(jiān)實(shí)的基礎(chǔ)。

4 結(jié)論

本文提出的基于網(wǎng)格圖像的非線性幾何校正方法只需簡(jiǎn)單的改變控制特征點(diǎn)的位置，就可以適用與離軸柱幕投影圖像的幾何校正，具有速度快、使用靈活方便、校正效果好等優(yōu)點(diǎn)。該方法僅僅實(shí)現(xiàn)了單通道柱幕投影圖像的幾何校正，對(duì)于多通道柱幕投影系統(tǒng)，還需進(jìn)行圖像拼接和融合等。此外，為了得到更加理想視覺(jué)效果，作為后續(xù)工作，需要研究圖像顏色的適當(dāng)補(bǔ)償算法。

[1]項(xiàng)天遠(yuǎn). 可擴(kuò)展的實(shí)時(shí)多投影增強(qiáng)現(xiàn)實(shí)平臺(tái)[D]. 上海:上海交通大學(xué),碩士論文, 2010.

[2]Tyler Johnson, Greg Welch, Henry Fuchs, Eric Laforce,and Herman Towles. A Distributed Cooperative Framework for Continuous Multi-Projector Pose Estimation[C],proceedings of IEEE Virtual Reality 2009, Mar 14–18,2009.

[3]Michael Brown, Aditi Majumder, Ruigang Yang. Camera-Based Calibration Techniques for Seamless Multiprojector Displays[C]//IEEE Transitions on Visualization and Computer Graphics, 2005.

[4]謝逸群, 王慧雅, 許華虎. 基于視頻實(shí)時(shí)處理的多投影曲面拼接系統(tǒng)的研究[J]. 中國(guó)圖象圖形學(xué)報(bào),2009,14(2):286-291.

[5]Nacenta, M. A., Sallam, S., Champoux, B., Subramanian,S. and Gutwin, C. Perspective cursor: perspective-based interaction for multi-display environments.[C]In CHI'06,ACM, 2006, pp. 289-298.

[6]習(xí)雅思，魏正佳，張佑生 一種離線的柱幕投影圖像校正方案及其實(shí)現(xiàn)[J]. 計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展, 2007,946-949

[7]張?zhí)枺Z慶軒，孫漢旭，高欣，阮瑞卿 一種多通道曲面系統(tǒng)的幾何校正方法[J]. 系統(tǒng)仿真學(xué)報(bào),2006,18(suppl.2)493-496.

[8]張楊林,楊紅雨,唐榮,鄧昌勝.分布式曲面投影系統(tǒng)幾何校正算法的研究[J]. 微計(jì)算機(jī)信息, 2009,25(12-3):174-176.

[9]周海林, 王立琦. 光學(xué)圖像幾何畸變的快速校正算法[J]. 中國(guó)圖像圖形學(xué)報(bào), 2003, 8A(10): 1131-1135.

[10]王曉燕，戴青等.360度柱面全景圖像的生成[J].微計(jì)算機(jī)信息.2006,6-1:227-229.

[11]Majumder A, Gopi M. Modeling color properties of tiled displays[J]. Computer Graphics Forum, 2005, 24(2):149-163.