余 燁， 劉曉平， 徐 偉， 韓江洪

（合肥工業(yè)大學計算機與信息學院可視化與協(xié)同計算（VCC）研究室，安徽 合肥 230009）

面向建筑物重建的相機標定方法研究

余 燁， 劉曉平， 徐 偉， 韓江洪

（合肥工業(yè)大學計算機與信息學院可視化與協(xié)同計算（VCC）研究室，安徽 合肥 230009）

由于滅點具有很多獨特的幾何屬性且大量地存在于建筑物場景中，因此針對建筑物重建，提出了一種基于滅點的相機標定方法。首先通過構造各種幾何約束關系，如滅點與相機矩陣間的關系、世界坐標原點和相機矩陣間的關系，逐步實現(xiàn)相機矩陣的度量重建和歐氏重建，獲得相機矩陣的值，然后通過分解相機矩陣得到相機的內(nèi)外部參數(shù)。該方法在標定過程中無須借助任何標定物，求解過程簡單，標定速度快。實驗結果表明，該方法可以滿足虛擬現(xiàn)實中建筑物場景重建的需要。

基于圖像的建模；計算機視覺；滅點；相機矩陣；針孔相機模型

三維重建技術是計算機視覺、人工智能、虛擬現(xiàn)實等前沿領域的研究熱點和難點，是人類在基礎研究和應用研究中面臨的重大挑戰(zhàn)之一。城市場景中的建筑物重建在城市規(guī)劃、災害仿真及評估、地圖繪制、無線網(wǎng)絡規(guī)劃、虛擬導游等領域都具有廣泛的應用，是一項十分具有挑戰(zhàn)性的工作。根據(jù)數(shù)據(jù)源的不同，建筑物重建可以分為基于圖像的重建[1]和基于點云的重建兩大類。

由于圖像是普遍存在且最容易獲取的一種數(shù)據(jù)源，因此基于圖像的建筑物重建受到了廣大研究者的青睞。對于大多數(shù)基于圖像重建的任務而言，首先應對圖像進行標定，以便確定在每一幅圖像的拍攝過程中照相機相對于三維場景的方位和取景參數(shù)，即確定相機的內(nèi)、外參數(shù)[2]。相機標定是計算機視覺領域研究的一個重要課題，也是基于圖像重建中重要的一步。

空間上的一組平行線經(jīng)過透視投影成像后，在成像平面上交于一點，稱為滅點。由于滅點具有很多可以利用的屬性[3]，且大量地存在于建筑物場景中，因此，本文利用滅點來進行相機的標定，提出了一種面向三維重建的相機標定方法。該方法利用滅點的幾何屬性，推導出滅點和世界坐標系原點在圖像中的投影與相機矩陣之間的約束關系。利用這些約束關系，對相機矩陣的自由度進行約束，結合滅點的在三維空間中的性質(zhì)，實現(xiàn)相機矩陣在度量重建和歐氏重建上的標定。由于本文所提出的相機標定方法無需加入任何其它的限制條件，采用的是線性方法，因而具有計算過程簡單、標定速度快等優(yōu)點，滿足虛擬現(xiàn)實領域中對建筑物重建的需要。

1 相關研究

在相機標定方面的研究有很多，根據(jù)其標定方法的不同大體可以歸結為兩類：傳統(tǒng)的標定方法和自標定方法[4]。傳統(tǒng)的相機標定方法需要借助于標準參照物，利用參照物與圖像間的對應關系來確定相機模型的參數(shù)。這類方法的優(yōu)點是對相機模型沒有限制，具于很高的標定精度；其缺點是標定過程復雜，需要高精度的已知結構信息。由于在建筑物重建的實際應用中，無法使用標定塊，因而不能使用這類方法。

不同于傳統(tǒng)的標定方法，自標定方法不需要利用標準參照物，即不需要知道準確的三維度量信息，而是試圖利用多視圖的幾何關系，求解基本矩陣，進而計算相機模型的參數(shù)。這使得在線、實時地計算相機參數(shù)成為可能，同時也帶來了一系列問題，如：得到的解不唯一；在圖像中含有噪聲時，解的值與實際值偏差較大，即解不穩(wěn)定。如果不借助標準參考物，基于滅點的相機標定方法屬于自標定的范疇，這種方法被廣泛地應用于三維重建領域。

20世紀 90年代初，B.CAPRILE 和 V.TORRE 首次提出了基于滅點進行相機標定的思想，并總結、證明了滅點的若干幾何屬性。文獻[6]提出了一種基于兩個滅點估算相機內(nèi)、外部參數(shù)的方法，該方法的前提是滅點存在、主點位于圖像的中心、像素長寬比固定。由于在對相機內(nèi)參數(shù)進行估算時沒有充分利用滅點的屬性，因而計算過程稍顯復雜。文獻[7]在對滅點幾何屬性進行研究的基礎上，借助于正方形像素標定物，對相機模型進行了標定，同時利用非線性優(yōu)化方法對計算結果進行了優(yōu)化。由于借助了標定物，因此該方法在場景重建中的應用受到了限制。文獻[8]提出了一種基于滅點的物體長度測量方法，該方法利用滅點來計算相機的內(nèi)部參數(shù)，通過得出與參考平面垂直的兩物體長度之間的比率與相機內(nèi)部參數(shù)的關系，計算物體的實際長度。該方法能在給定兩幅未標定圖像，且圖像平面上只有極少的幾何信息的情況下，計算出物體在三維空間中的實際長度，但限定條件嚴格，要求已知參考面上一條已知直線的投影，以及與此直線正交的滅點。

在國內(nèi)，基于滅點進行相機標定和建模方面的研究也很多。文獻[9]提出了一種利用單個空間平面矩形，結合透視圖像的幾何屬性，求解相機內(nèi)外部參數(shù)的方法。由于在實際使用時相機在圖像上的投影并不一定在圖像的中心位置，因此在實際使用中該方法會造成一定的誤差。文獻[10]基于假想的世界坐標系，基于滅點的屬性進行了相機的標定，并基于兩幅圖像進行了物體的重建，但由于忽略了比例參數(shù)，會造成計算結果的不穩(wěn)定。文獻[11]利用滅點屬性推導出相機中心在世界坐標系下坐標位置的解析表達式，結合兩幅圖像之間的空間幾何約束關系，從空間約束關系中反算出物體各點的空間位置，從而重建出物體幾何模型。此方法中，并沒有計算相機的外部參數(shù)，且對滅點的位置關系存在一些約束。

2 基于滅點的相機標定方法

2.1 焦距和主點的計算

不妨假設圖像中 3個主方向的滅點分別為U、V、W，其齊次坐標分別為(u1, u2, 1)T、(v1, v2, 1)T、 (w1, w2, 1)T，其對應的空間齊次坐標為(1, 0, 0, 0)T、(0, 1, 0, 0)T、(0, 0, 1, 0)T。根據(jù)文獻[5]中提出的滅點的屬性“空間3條兩兩正交直線形成的滅點組成的三角形，其垂心即為相機光軸與成像平面的交點”，則△UVW的垂心即為主點，記為K，其在圖像上的像素坐標為 (k1, k2, 1)。記相機的焦距為 f，則根據(jù)滅點的屬性“與空間3條兩兩正交直線形成的滅點相關的單位向量也兩兩正交”[4]，得到

通過上式可以計算出焦距f。

2.2 幾何約束關系的推導

點在世界坐標系中的坐標和在圖像上坐標間的對應關系可以用下式來表示

其中(x, y, z, 1)T為點在世界坐標系中的齊次坐標，(s, t, 1)T為點在圖像上的齊次坐標。由上式可以看出，相機矩陣Pc一共有11個自由度。根據(jù)線性代數(shù)的知識，求解含有 11個未知量的方程，需要 11個相互獨立約束條件才可以得到線性解。因此，本節(jié)將討論如何確定這 11個相互獨立的約束關系。

1） 滅點和相機矩陣間的約束關系

將 U點的世界齊次坐標和圖像坐標代入式(1)，得到

同理，將滅點V和W的世界齊次坐標和圖像坐標分別代入式(2)，可以得到

式(2)～(4)表示了主方向滅點的圖像坐標和相機矩陣之間的約束關系。從中可以發(fā)現(xiàn)，相機矩陣隱含著3個主方向滅點的像素位置，即給出用式(1)所表示的相機矩陣后，就可以利用本節(jié)推導的約束關系，得到該圖像上3個主方向滅點在的像素齊次坐標，分別為

2） 世界坐標原點和相機矩陣間的約束關系

設世界坐標原點在圖像上的投影點為P，圖像坐標為(p1, p2)T，由于該點為世界坐標原點，所以其對應的空間齊次坐標為(0,0,0,1)T，代入式(1)得

同樣可以發(fā)現(xiàn)相機矩陣隱含著世界坐標原點的像素位置，即給出用式(1)所表示的相機矩陣后，就可以利用本節(jié)推導的約束關系，得到該圖像上世界坐標原點的像素位置為(p14, p24, 1)T。將式(2)～(5)代入式(1)，可以得到相機矩陣的改寫形式

上述的3個滅點和世界坐標一共可以列出如式(2)～(5)所示的8個方程，即新增了8項約束條件，因此，相機矩陣的自由度由原來的 11個減少到了3個，即式(6)中所示的p31、p32和p33。

3） 作輔助線引入新的約束

如圖1所示，在圖像上做輔助線PU、PV和PW。則世界坐標X、Y、Z軸上的空間點在圖像上的像素位置分別在直線PU、PV和PW上。在PU、PV和PW上各選一點，記為A、B、C，設其圖像齊次坐標分別為(a1, a2, 1)T、(b1, b2, 1)T、(c1, c2, 1)T；并設A、B、C對應的世界坐標分別為X、Y、Z軸上的A'、B'、C'三點，則可以認為A'、B'、C'三點的世界齊次坐標為 (α,0,0,1)T,(0,β,0,1)T, (0,0,ε, 1)T。

圖1 相機空間幾何約束關系

將A點的空間齊次坐標和圖像坐標代入式(1)，得

從式(7)中可以解出 p31α，記

同理，將B點和C點的空間齊次坐標和圖像坐標代入式（1），可以解出 p32β、p33ε，記

4） 平行于世界坐標軸方向的線段之間的比例

本小節(jié)用來計算平行于主滅點方向，且含有公共頂點的線段之間比例。如圖1所示，P '為世界坐標原點，P為世界坐標原點在圖像上的所成的像，在圖1上過P點作平行于X、Y、Z軸的輔助線，分別交OA、OB、OC于A1、 B1、 C1點。則由△ OPA1～△ OP 'A'、△ OPB1～△ OP'B'、△OPC1～△ OP 'C'可以得到

則

由余弦定理得

圖2 PA1與 P 'A'的長度比例示意圖

由于 U是 X方向的滅點，所以OU // P'A'/PA1，進而得到

由正弦定理，可以求出

同理可以求出

將式(12)～(14)代入式(11)，可以得出平行主滅點方向含有公共頂點 P'的線段 P 'A'、 P 'B'、P 'C'之間的比例關系

5） 相機矩陣的度量重建

設上步中計算得出

P'A':P'B':P'C'= α: β:ε=1:r1:r2則可以在相差一個相似變換的基礎上重建出該矩陣。將α、β、ε的值等比例記為1、 r1、 r2，代入式(8)～(10)得

則相機矩陣的形式可以確定為

得到了3條空間線的比例關系，等價于又增加了兩項約束，經(jīng)此步后相機矩陣只剩下一個自由度，即在相差一個比例約束條件下，已經(jīng)完成了標定。此步得出的相機矩陣是在度量空間上的重建，如果直接將此機矩陣用于三維重建，則求出的坐標和現(xiàn)實坐標相差一個固定的比例變換。

6） 相機矩陣的歐氏重建

由于在虛擬現(xiàn)實系統(tǒng)中的建模，只需要模型尺寸的比例關系正確即可，不需要得到具體的尺寸信息，因此，可以假設 P 'A'的長度為 lpa，這樣最后一個自由度也被確定了下來。則可以得到P 'B'、 P 'C'的長度為r1?lpa、 r2?lpa。代入式（8）～（10）得到相機矩陣中

p33= t3r2?lpa，則相機矩陣的形式可以確定為

通過最后一個比例約束，相機矩陣的 11個自由度都被確定了下來，從而得到了我們所需要的解。此相機矩陣可以直接用于基于圖像的重建中，如果需要進一步求解相機參數(shù)，可以采用對此矩陣進行分解的方法獲得。

7） 相機內(nèi)外部參數(shù)的確定

在此步驟中，對相機矩陣進行分解，以確定相機的內(nèi)外部參數(shù)，實現(xiàn)相機的標定。首先，對相機矩陣進行變化如下

其中M為相機矩陣Pc的左三列所組成的矩陣，p4為相機矩陣Pc的第4列數(shù)值的列矩陣，K為相機內(nèi)參數(shù)矩陣，T為相機平移矩陣，R為相機旋轉矩陣

λ為非零的比例因子。

所以由式(18)可以得到 M =λ?KR，由于 R是正交矩陣、K為上三角矩陣，所以對于上式可以利用QR分解法得出內(nèi)參數(shù)矩陣K、旋轉矩陣R及比例因子λ。由 p4= λ?KT，可以求出旋轉矩陣T。由此，可以確定相機的內(nèi)外部參數(shù)。

3 實驗結果與分析

首先，對該方法的有效性進行分析。

利用本文中提出的相機標定算法來求解相機矩陣，結合針孔相機模型[12]，對圖像上建筑物的三維空間信息進行還原，從而實現(xiàn)建筑物的重建。由于本算法是基于滅點理論的，且需要保證圖像中有3個兩兩垂直方向的滅點存在，因此，在拍攝圖像時，需要保證建筑物的面不能和投影平面平行。以合肥工業(yè)大學圖書館為例，對其進行重建，如圖3所示：(a)、(b)為源圖像，(c)、(d)為重建后的效果。用A、B、C、D等對建筑物各頂點進行標注（如圖3(a)所示），可以看出，目標圖像和源圖像上各點的位置關系相同。因此，該算法能恢復物體上各點之間的位置關系。

以AD的長度為基準，記為1，計算實際建筑物上各邊的比例長度l1及重建后建筑物各邊的比例長度 l2，并進行比較，計算其誤差率從表1中可以看出，重建后物體上各邊的比例長度和實際物體的基本相同。因此，此算法可以恢復場景中物體的長度比 例關系。

圖3 合肥工業(yè)大學圖書館的重建

表1 建筑物中各邊的長度比值

其次，對該方法的魯棒性進行分析。

采用分辨率為1024×768的圖像進行實驗，首先計算出相機矩陣，然后對該相機矩陣分解得出相機的內(nèi)外參數(shù)。通過3組實驗，得到3組不同的相機內(nèi)參數(shù)( fx、fy、s、u0、v0)和外參數(shù)(θx、θy、θz、tx、ty、tz)的值，如表2所示。然后對象素點加入零均值高斯噪聲，進行擾動，噪聲級從0.0像素開始，以0.2像素的步長均勻增加到2.0像素，在每個噪聲級上進行 1000次試驗，計算出相機的內(nèi)外參數(shù)的均值和標準差（其中，內(nèi)參數(shù)焦距的均值和標準差的變化情況如圖4所示）。實驗結果表明，本文提出的相機標定方法在噪聲增大時，也可以得到比較好的結果，即該方法對圖像上的噪聲具有一定的魯棒性。

表2 相機的內(nèi)外參數(shù)

圖4 實驗結果

4 結 束 語

基于滅點的相機標定方法克服了傳統(tǒng)標定方法中需要借助于定標參照物來進行相機標定的限制，在虛擬現(xiàn)實系統(tǒng)中具有很大的實用價值。本文利用滅點的屬性，推導出一系列幾何約束關系，如：滅點、世界坐標原點的像素位置和相機矩陣之間的約束關系等，在此基礎上，提出了一種在單幅圖像上利用滅點進行相機標定的方法。在標定過程中，通過引入新的約束，不斷限制相機矩陣的自由度，從而完成了相機矩陣的在度量空間和歐氏空間下的重建，最后通過分解相機矩陣得到相機的內(nèi)外部參數(shù)。由于采用的是線性的方法，因為具有計算過程簡單、標定速度快等優(yōu)點，可以滿足虛擬現(xiàn)實系統(tǒng)中建筑物重建的需要。

為了實現(xiàn)三維復雜建筑物場景的重建，本文的進一步研究方向是研究具有球形、柱形或一些不規(guī)則形狀的復雜建筑物存在時，其場景的恢復和真實感重建。

[1] 束 搏, 邱顯杰, 王兆其. 基于圖像的幾何建模技術綜述[J]. 計算機研究與發(fā)展, 2010, 47(3): 549-560.

[2] 劉 鋼, 彭群生, 鮑虎軍. 基于圖像建模技術研究綜述與展望[J]. 計算機輔助設計與圖形學學報, 2005, 17(1): 18-27.

[3] 余 燁, 劉曉平. 基于滅點的三維物體重建[J]. 系統(tǒng)仿真學報, 2008, 20(15): 4069-4072．

[4] 邱茂林, 馬頌德, 李 毅. 計算機視覺中相機定標綜述[J]. 自動化學報, 2000, 26(1): 43-55.

[5] Caprile B, Torre V. Using vanishing points for camera calibration [J]. International Journal of Computer Vision, 1990, (4): 127-140.

[6] Guillou E, Meneveaux D, Maisel E, et al. Using vanishing points for camera calibration and coarse 3D reconstruction from a single image [J]. The Visual Computer, 2000, 16: 396-410.

[7] Liu Ying, Wu Yuanxin, Wu Meiping, et al. Planar vanishing points based camera calibration [C]// Proceedings of the International Conference on Image and Graphics, 2004: 460-463.

[8] Foroosh H, Cao Xiaochun, Balci M. Metrology in uncalibrated images given one vanishing point [C]// IEEE International Conference on Image Processing, 2005: 361-364.

[9] 袁國棟, 秦開懷, 胡 偉. 基于單幅透視圖像確定相機參數(shù)的幾何方法[J]. 計算機研究與發(fā)展, 2006, 43(11): 1933-1938.

[10] 余 燁, 羅月童, 等. 一種基于滅點的相機標定方法[C]//計算機技術與應用進展2007, 2007: 66-70.

[11] 劉曉平, 徐 偉, 余 燁. 一種基于雙幅圖像的物體三維重建[J]. 中國圖象圖形學報, 2009, 14(7): 1453-1457.

[12] 劉培珺, 石教英, 孫 鑫. 基于平面的建筑物表面模型重建算法的研究[J]. 計算機輔助設計與圖形學學報, 2004, 16(8): 1045-1050.

Research on camera calibration used for building reconstruction

Yu Ye, Liu Xiaoping, Xu Wei, Han Jianghong
( VCC Division, School of Computer & Information, Hefei University of Technology, Hefei Anhui 230009, China )

Vanishing point has many geometry attributes and exists abundantly in building scenes, based on this, a camera calibration method is proposed using vanishing points, which is especially used for building reconstruction. Lots of geometry constraints are discovered, such as the constraint relationship between vanishing points and camera matrix, the origin of world coordinate system and camera matrix. Then through matrix reconstruction and Euclid reconstruction, the camera matrix is calculated. Through decomposition of this matrix, the inner and outer parameters of the camera are achieved. In this method, no calibration object is needed; besides, it also has the advantage of simple calculation process, high calibration speed. Experiments show that it can meet the needs of building reconstruction in virtual reality system.

image based modeling; computer vision; vanishing point; camera matrix; pinhole camera model

TP 391.9

A

2095-302X (2012)04-0076-07

2010-11-16

國家自然科學基金資助項目（61070124）；安徽省自然科學基金資助項目（11040606Q43）；中央高?；究蒲袠I(yè)務費專項資金資助項目

余 燁（1982-），女，安徽安慶人，講師，博士，主要研究方向為建模、虛擬現(xiàn)實與可視化。