耿中勝

摘要：提出了一種求解攝像機(jī)內(nèi)參與方位的線性方法。首先利用交比不變性求解正方形每個(gè)邊的中點(diǎn)，然后由四個(gè)中點(diǎn)構(gòu)成另一個(gè)正方形，由于直角的消隱點(diǎn)約束，那么至少3幅圖像求解攝像內(nèi)參。而攝像機(jī)的方位是通過(guò)計(jì)算圖像上兩正交的消隱點(diǎn)和假設(shè)平面模板上任意點(diǎn)為世界坐標(biāo)系中的原點(diǎn)來(lái)獲得的。該方法既不須了解正方形的任何信息，也無(wú)圖像匹配問(wèn)題,且所有計(jì)算方法均是線性的，同時(shí)在真實(shí)的人造環(huán)境下有大量的正方形存在，所以該文有較強(qiáng)實(shí)用價(jià)值。模擬和真實(shí)圖像實(shí)驗(yàn)數(shù)據(jù)表明，該文的方法有較好的求解精度和魯棒性。

關(guān)鍵詞：標(biāo)定；正交消隱點(diǎn)；正方形

中圖分類(lèi)號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2012)09-2070-05

Determining Intrinsic and Pose Parameters of Camera via the Linear Method Based on the Square

GENG Zhong-Sheng

(Cangzhou Administration of Work Safety, Cangzhou 061000, China)

Abstract: This paper presents a Determining Intrinsic and Pose Parameters of Camera via the linear method.First, solving the midpoint of each square sides using the cross-ratio invariance，then another square compose by the four midpoints，we employ two orthogonal vanishing points on the images，At least three images to solving the camera intrinsic parameters，orthogonal vanishing points on the images and hypothesis arbitrary point on the image is corresponded to the origin of the 3D world coordinate system by computing camera pose parameters，This method neither knowledge of square massage, nor matching problem about image points. Moreover, all the calculation is linear. At the same time, because in the real man-made environment existence many square, so the method is pragmatic. Numerical simulation and real image experiment demonstrate the method not only robustness but also accuracy of this new method.

Key words: camera calibration; orthogonal vanishing points; square

1背景介紹

在從二維的圖像獲得三維空間信息的過(guò)程中，攝像機(jī)標(biāo)定是必不可少環(huán)節(jié)。自1992年，Hartley[1]和Faugeras[2]首次提出攝像機(jī)自標(biāo)定的思想后，攝像機(jī)自標(biāo)定便成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一[1-11]。雖然現(xiàn)在較多的文獻(xiàn)都介紹了自標(biāo)定的方法，但這些方法總的來(lái)說(shuō)都需解一個(gè)非線性方程組或相應(yīng)的非線性規(guī)劃問(wèn)題，導(dǎo)致最后的結(jié)果對(duì)噪聲和所給的初始值非常敏感。對(duì)此問(wèn)題張正友[15]在對(duì)傳統(tǒng)標(biāo)定塊的模板上進(jìn)行修改后提出了用平面模板的方法進(jìn)行攝像機(jī)標(biāo)定，此方法不僅是線性的而且魯棒性很好。但在平面模板的制作過(guò)程中也需要繪制精確定位的點(diǎn)陣模板。對(duì)此，孟曉橋等人在文獻(xiàn)[16]中提出一種新方法，用一種由圓和通過(guò)圓心的若干條直線所構(gòu)成的平面模板來(lái)代替精確定位的點(diǎn)陣模板，然后利用圓環(huán)點(diǎn)圖像來(lái)確定攝像機(jī)的內(nèi)參數(shù)。但該方法在模板制作過(guò)程中也需要對(duì)圓心進(jìn)行精確定位且沒(méi)有完整的計(jì)算出攝像機(jī)的方位。該文在相關(guān)文獻(xiàn)[17]影響下提出了基于空間平面上正方形來(lái)求解攝像機(jī)的內(nèi)參和方位，首先通過(guò)交比的射影不變性計(jì)算另一個(gè)正交消隱點(diǎn)的圖像進(jìn)而標(biāo)定攝像機(jī)內(nèi)參，然后通過(guò)內(nèi)參和消隱線約束兩正交的消隱點(diǎn)來(lái)恢復(fù)旋轉(zhuǎn)矩陣，最后假設(shè)平面模板上任意點(diǎn)坐標(biāo)為世界坐標(biāo)系原點(diǎn)來(lái)求解平移向量。大量的模擬和真實(shí)圖像實(shí)驗(yàn)表明，該文所提出的標(biāo)定方法原理簡(jiǎn)單，且基本不涉及圖像匹配問(wèn)題，而且具有較高的定標(biāo)精度和魯棒性，是一種較為理想、實(shí)用性強(qiáng)的標(biāo)定方法。

2攝影平面上的夾角

在歐式幾何中，兩直線的夾角由它們法線的點(diǎn)乘來(lái)計(jì)算。直線l=(l1,l2,l3)T和m=(m1,m2,m3)T的法線分別平行于(l1,l2)T和(m1,m2)T，其夾角為：

cosθ=但平面經(jīng)過(guò)仿射或射影變換后，上面的公式將不能再使用，但類(lèi)似于公式（1）可以變換為下面的公式：

cosθ=

其中C*∞是與圓環(huán)點(diǎn)對(duì)偶的二次曲線，顯然在歐式坐標(biāo)下（1）被簡(jiǎn)化為（2）.因此二次曲線C?∞在射影平面上被辨認(rèn)后，歐式角則可以用公式（2）來(lái)測(cè)量。在公式（2）中可以明顯看出，如果lTC?∞m=0，則直線l和m正交。

3正方形平面模板對(duì)攝像機(jī)內(nèi)外參數(shù)線性約束

3.1基于正方形平面模板確定另一個(gè)正方形

圖1中為平面模板上正方形，由于直線AB和CD平行，所以相交于無(wú)窮遠(yuǎn)點(diǎn)V1，同理直線AD和BC相交于無(wú)窮遠(yuǎn)點(diǎn)V2，且V1和V2正交。另設(shè)直線AB,BC,CD,AD,的中點(diǎn)分別為E,F,G,H,E則存在以下的調(diào)和共軛[16]關(guān)系即：

(A,B,E,V1)=-1,(D,C,G,V1)=-1,(B,C,F,V2)=-1,(A,D,H,V2)=-1(3)

那么根據(jù)以上的關(guān)系即可以求解另一個(gè)正方形EFGH.且假設(shè)直線HE和GF相交于消隱點(diǎn)V3,直線HG和EF相交于消隱點(diǎn)

V4.。

3.2正方形對(duì)攝像機(jī)內(nèi)外數(shù)線性約束3.2.1內(nèi)參的線性求解

假設(shè)正方形上的點(diǎn)A,B,C,D,E,F,G,H在射影變換下分別對(duì)應(yīng)點(diǎn)A′,B′,C′,D′,E′,F′,G′,H′,而無(wú)窮遠(yuǎn)點(diǎn)V1,V2,V3,V4分別對(duì)應(yīng)消隱點(diǎn)為V1′,V2′,V′3,V′4.如圖2所示。圖1平面模板上的正方形圖像圖2平面模板上的正方形對(duì)應(yīng)圖像

那么根據(jù)射影變換下交比不變的性質(zhì)則：(A′,B′,E′,V1′)=-1, (D′,C′,G′,V′1)=-1, (B′,C′,F′,V′2)=-1, (A′,D′,H′,V′2)=-1.則可以求解E′,F′,G′,H′,，由于正交方向的消隱點(diǎn)V1′和V2′可對(duì)內(nèi)參K構(gòu)成一個(gè)線性約束，而V3′和V4′可對(duì)內(nèi)參K構(gòu)成另一個(gè)線性約束。由于正交性約束，則：

有以上可知一幅圖像可以對(duì)C提供兩個(gè)約束，那么至少三幅圖像就可以求解攝像機(jī)內(nèi)參C，最后對(duì)矩陣C進(jìn)行喬里斯基(Cholesky)分解即可確定攝像機(jī)的全部5個(gè)內(nèi)參數(shù)。3.2.2內(nèi)參的線性求解

由于V1′,V2′分別是X和Y軸方向上的消隱點(diǎn)，則旋轉(zhuǎn)矩陣R=[] r1r2r3可以被計(jì)算出：

(5)

把方程(5)計(jì)算所得r1和r2單位化即可以得到旋轉(zhuǎn)矩陣R的r1和r2，且r3=r1×r2.如果圖像中的任意點(diǎn)命為mo，且假設(shè)此點(diǎn)所對(duì)應(yīng)的空間點(diǎn)為世界坐標(biāo)系的原點(diǎn)（Mw=(0,0,0,1)T），則mo=K(R,T)Mw=K(R,T)() 000 1T=KT，則T=K-1mo

3.3攝像機(jī)求內(nèi)外參數(shù)的算法

1)攝像機(jī)作三次以上的剛體運(yùn)動(dòng)，獲得三個(gè)以上的圖像I(i),i=1,2,···，N；

2)根據(jù)(4)式利用正交約束求解攝像機(jī)內(nèi)參；

3)根據(jù)公式(5)求解r1和r2并且單位化后用r1×r2求解r3；

4)如果圖像中的任意點(diǎn)命為mo，且假設(shè)此點(diǎn)所對(duì)應(yīng)的空間點(diǎn)為世界坐標(biāo)系的原點(diǎn)，則T=K-1mo。

4實(shí)驗(yàn)

4.1模擬實(shí)驗(yàn)

模擬實(shí)驗(yàn)中，攝像機(jī)的內(nèi)參數(shù)設(shè)置為:fu= 1000，fv=900，u0=200, v0=100, s=2圖像的分辨率為1024×768 .本實(shí)驗(yàn)采用了3幅圖像,其中第三圖像3對(duì)應(yīng)的攝像機(jī)姿態(tài)參數(shù)分別是:旋矩陣為n=[3 4 5]T和T=[50 60 70]T.

該文在平面模板單應(yīng)后得到的每條直線上各取50個(gè)點(diǎn)用最小二乘法擬合直線。噪聲大小為0pixel～3.2pixel，然后根據(jù)以上的算法求解內(nèi)參和外參.內(nèi)參數(shù)的實(shí)驗(yàn)結(jié)果在每種噪聲水平下隨機(jī)實(shí)驗(yàn)500次,表1是攝像機(jī)內(nèi)參數(shù)平均值的統(tǒng)計(jì)結(jié)果,模擬實(shí)驗(yàn)結(jié)果表明,采用該文的方法,即使在噪聲水平較高的情況下,能得到很令人滿意的定標(biāo)結(jié)果。這說(shuō)明該文的方法具有較好的魯棒性和穩(wěn)定性。

表1在不同噪聲水平下估計(jì)的內(nèi)參數(shù)均值

1.7756 1.7275 1.5272 2.1768 0.0576 0.871 0.8333 1.7284

確定攝像機(jī)方位實(shí)驗(yàn)仍采用與前面相同的實(shí)驗(yàn)數(shù)據(jù)和條件。我們采用該文所介紹的方法求解攝像機(jī)內(nèi)參數(shù)矩陣K,然后用此內(nèi)參數(shù)值并且根據(jù)第3節(jié)的理論計(jì)算攝像機(jī)第3幅圖像攝像機(jī)的旋轉(zhuǎn)矩陣R和平移向量t.當(dāng)存在噪聲時(shí),噪聲大小為0pixel～3.2pixel，在每次用到相同噪聲下的用內(nèi)參K的數(shù)值計(jì)算旋轉(zhuǎn)矩陣R和T。

其中旋轉(zhuǎn)外參數(shù)R=

R(1,1)R(1,2)R(1,3)

R(2,1)R(2,2)R(2,3)

R(3,1)R(3,2)R(3,3)

從實(shí)驗(yàn)結(jié)果表明,該文提出的外參方法精確性很好,魯棒性也比較強(qiáng),在比較大的噪聲情形下,定標(biāo)的外參結(jié)果一樣令人滿意。

表2在不同噪聲水平下估計(jì)的內(nèi)參數(shù)均值

T(3)

60

60.1278 60.3196 59.8562 59.5334 59.3657 60.9840 60.0445 59.8943

4.2真實(shí)圖像實(shí)驗(yàn)

在真實(shí)圖像實(shí)驗(yàn)中,我們使用的攝像機(jī)型號(hào)為微視MVC3000F.用攝像機(jī)從3個(gè)不同位置對(duì)平面模板拍攝了3幅圖像(如圖3所示，從左到右依次為圖像1、圖像2和圖像3),圖像大小為1024×768像素.首先通過(guò)邊沿檢測(cè)和橢圓擬合方法提取橢圓方程，進(jìn)而計(jì)算內(nèi)參.為了驗(yàn)證該文定標(biāo)結(jié)果的準(zhǔn)確性,我們采用與上文相同的3幅圖像,用張正友[15]的平面定標(biāo)方法重新進(jìn)行標(biāo)定.程序源碼采用張正友提供的Easycalibration,下載地址為http://research.microsoft.com/~zhang/calib/。

5結(jié)束語(yǔ)

該文提出了一種用空間平面上的正方形標(biāo)定攝像機(jī)的方法,此方法可以通過(guò)簡(jiǎn)單的線性方程求解攝像機(jī)的內(nèi)參數(shù)和攝像機(jī)位置，其中在求解旋轉(zhuǎn)矩陣和平移向量新意較強(qiáng)。通過(guò)大量的模擬和真實(shí)圖像實(shí)驗(yàn)表明,該文所提出的標(biāo)定方法原理簡(jiǎn)單,并具有較高的定標(biāo)精度和很強(qiáng)的魯棒性。該文方法的定標(biāo)精度及后期攝像機(jī)位置的確定精度關(guān)鍵取決于前期圖像邊緣提取和以及無(wú)窮遠(yuǎn)點(diǎn)和無(wú)窮遠(yuǎn)直線的求解精度。因此,在實(shí)際應(yīng)用過(guò)程中,應(yīng)注意選取高精度的邊緣檢測(cè)和曲線擬合方法,從而提高計(jì)算結(jié)果的精度。

參考文獻(xiàn)：

[1] Hartley R.Estimation of relative camera positions for uncalibrated cameras[M]//Sandini G,ed.Proceedings of the European Conference on Computer Vision.NLCS 588,Springer-Verlag,1992:579-387.

[2] Maybank S J,Faugeras O D.A theory of self-calibration of a moving camera[J].International Journal of Computer Vision,1992,8(2):123-151.

[3] Hartley R.Self-Calibration of stationary cameras[J].International Journal of Computer Vision,1997,22(1):5-23.

[4] Dron L.Dynamic camera self-calibration of from controlled motion sequences.In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[M].New York: IEEE Computer Society Press,1993:501-506.

[5] Du F,Brady M.Self-Calibration of the intrinsic parameters of cameras for active vision systems[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.New York: IEEE Computer Society Press,1993:477-482.

[6] Pollefeys M,Koch R,Gool LV.Self-Calibration and metric reconstruction in spite of varying and unknown internal camera parameters[C]// Proceedings of the International Conference on Computer Vision.Bombay,1998:90-95.

[7] Sturm P.Critical motion sequences for monocular self-calibration and uncalibrated Euclidean reconstruction[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Pureto Rico: IEEE CS Press,1997:1100-1105.

[8] Hartley R,Zisserman A.Multiple View Geometry in Computer Vision[M].Cambridge: University Press,2004.

[9] Zhang B,Li Y F,Wu F C.Planar pattern for automatic camera calibration[J].Optical Engineering,2003(42):1542.

[10] Zhang Beiwei,Zhu Bin,Li Y F.Auto-calibration of the Motion Parameters for a Vision System[C].2009 IEEE International Conference on Intelligent Computing and Intelligent Systems (ICIS 2009),2009.

[11] Zhang B,Li Y.Dynamic calibration of the relative pose and error analysis in a structured light system[J].Journal of the Optical Society of America A,2008.

[12] Zhang B,Li Y F.An efficient method for dynamic calibration and 3D reconstruction using homographic[J].Sensors ,Actuators: A. Physical, 2005.

[13] Zhang B,Li Y F,Wu Y H.Self-Recalibration of a Structured Light System via Plane-Based Homography[J].Pattern Recognition 2007,40(4):1368-1377.

[14] Ma S D.A self-calibration technique for active vision systems[J].IEEE Transactions on Robotics and utomation,1996,12(1):114-120.

[15] Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[16] Meng X Q,Li H,Hu Z Y.A new easy camera calibration technique based on circular points[C]//Mirmehdi M,Thomas B,eds.Proceedings of the British Machine Vision Conference.Bristol: ILES Central Press,2000:496-501.

[17]吳福朝,王光輝,胡占義.由矩形確定攝像機(jī)內(nèi)參數(shù)與位置的線性方法[J].軟件學(xué)報(bào),2003,14(3):703-712.