孫少杰，楊曉東

（海軍潛艇學(xué)院，山東　青島　266042）

?

基于計算機視覺的目標(biāo)方位測量方法*

孫少杰，楊曉東

（海軍潛艇學(xué)院，山東青島266042）

摘要：以顯著性標(biāo)志物中的關(guān)鍵點為目標(biāo)，探討了一種基于計算機視覺的目標(biāo)方位測量方法。在光學(xué)成像原理基礎(chǔ)上，推算出目標(biāo)二維成像點坐標(biāo)與其空間三維坐標(biāo)之間的映射關(guān)系，基于計算機視覺理論建立了測量目標(biāo)方位的數(shù)學(xué)模型。考慮透鏡畸變，基于Zhang平面標(biāo)定法完成對攝像機參數(shù)的標(biāo)定。對目標(biāo)二維圖像采用Harris算法進行特征角點檢測，并通過亞像素技術(shù)對檢測的目標(biāo)特征點進行定位。實驗結(jié)果表明，該方法能夠有效提取被測目標(biāo)特征角點并獲取其像素坐標(biāo)，用于測量目標(biāo)相對視覺傳感器的方位信息可達到較高精度，具備良好的實用價值。

關(guān)鍵詞：計算機視覺，攝像機標(biāo)定，角點檢測，亞像素定位，目標(biāo)方位

0　引言

計算機視覺作為計算機科學(xué)的一個重要分支在近年得到快速發(fā)展，其主要目標(biāo)是研究利用計算機來模擬人的宏觀視覺功能，通過分析由攝像機等視覺傳感器獲取的三維空間目標(biāo)物體圖像，進行相關(guān)處理和計算，反求目標(biāo)物體的三維幾何結(jié)構(gòu)及其在空間的位置、姿態(tài)、運動參數(shù)等信息，完成實際的檢測、跟蹤、測量甚至導(dǎo)航的任務(wù)［1-2］。基于計算機視覺理論的視覺測量系統(tǒng)適用于大多數(shù)需要用到人眼視覺觀察的場合，對于諸如危險場景等人類視覺難以感知的場合，同樣也有很好的應(yīng)用。此外，視覺系統(tǒng)具有很強的抗電磁干擾性，這在國防和軍事領(lǐng)域顯得尤為重要?？偟膩碚f，計算機視覺測量系統(tǒng)獨立性強，性能穩(wěn)定可靠，功耗低體積小，使用方便靈活，符合現(xiàn)代科技發(fā)展方向，因此，越來越多的人將目光投向它，在航空航天、交通監(jiān)管、工業(yè)檢測、視覺導(dǎo)航、軍事偵察等眾多領(lǐng)域展開研究。文獻［3］在航天器交會對接階段利用視覺測量技術(shù)結(jié)合對偶四元數(shù)模型追蹤目標(biāo)相對位姿參數(shù)，結(jié)果表明該方法具有較強的穩(wěn)定性。文獻［4］為提高無人機自主著陸能力，利用視覺傳感器獲取的視頻數(shù)據(jù)和圖像序列信息估計無人機著陸的俯仰角及相對跑道的高度參數(shù)，并取得較快的收斂速度。

目前的工程應(yīng)用中，傳統(tǒng)測試設(shè)備如激光跟蹤測量及電子經(jīng)緯儀等，能達到很高的精度，但是系統(tǒng)復(fù)雜費用較高，缺少現(xiàn)場操作的靈活性。在計算機視覺中，三維空間物體經(jīng)視覺傳感器成像至二維平面后，目標(biāo)物點的圖像坐標(biāo)與其在實際空間中位置緊密關(guān)聯(lián)，據(jù)此可由目標(biāo)圖像反求三維目標(biāo)體的方位信息。本文以計算機視覺基本原理為理論基礎(chǔ)，利用一臺經(jīng)過事先標(biāo)定好的攝像機采集目標(biāo)圖像，檢測和提取目標(biāo)相應(yīng)特征角點，并采用亞像素技術(shù)對其進一步定位獲取精確坐標(biāo)，在此基礎(chǔ)上根據(jù)光學(xué)成像透視投影關(guān)系計算目標(biāo)物點的空間方位信息。

1　攝像機標(biāo)定

選取針孔成像模型［5］，建立攝像機坐標(biāo)系（Ocxcyczc）如圖1所示，Oc代表光心，zc軸與攝像機光軸重合，P（xc，yc，zc）為空間物點三維坐標(biāo)，p（xi，yi）為物點像平面坐標(biāo)，則像點p和物點P的幾何關(guān)系為

圖1　攝像機坐標(biāo)系

圖2　圖像坐標(biāo)系轉(zhuǎn)換

圖像坐標(biāo)系可用圖2所示的像素或者物理單位兩種方法表示，設(shè)CCD單個像素物理尺寸為dx，dy，則像點p在像素坐標(biāo)系內(nèi)的坐標(biāo)轉(zhuǎn)換關(guān)系為

考慮到透鏡畸變的影響，空間點在像平面成像位置由P（xi，yi）偏移至P（x1'，y1'），鏡頭畸變描述模型可用式（3）表示［6］

式（3）中，δx和δy代表非線性畸變大小，k1，k2為徑向畸變系數(shù)，p1，p2為離心畸變系數(shù)，s1，s2為薄棱鏡畸變系數(shù)。

為確定空間物點坐標(biāo)與其在圖像中對應(yīng)點間的映射關(guān)系，必須首先完成對攝像機參數(shù)的標(biāo)定，這是運用視覺系統(tǒng)進行目標(biāo)參數(shù)測量的關(guān)鍵步驟。為避免傳統(tǒng)標(biāo)定方法對設(shè)備的過高要求，同時考慮到操作過程的方便靈活，采用Zhang平面標(biāo)定法［7］對實驗所用攝像機進行標(biāo)定。

基于針孔模型，空點物點齊次坐標(biāo)矩陣M=［X Y Z 1］T和圖像對應(yīng)點齊次坐標(biāo)矩陣m=［u v 1］T間的映射關(guān)系為

其中，λ為比例因子，3×3旋轉(zhuǎn)矩陣R和3×1平移向量為CCD外部參數(shù)矩陣，H被稱作透視投影矩陣，A為CCD內(nèi)部參數(shù)矩陣且

式中，（u0，v0）為攝像機主點（主光軸與成像平面的交點）坐標(biāo)，fx和fy為圖像在u軸和v軸上的比例因子，fx=f/dx，fy=f/dy，f為成像系統(tǒng)物理焦距，dx、dy表示CCD感光單元尺寸。

假定攝像機從不同角度拍攝了n幅標(biāo)定板圖像，每幅圖像包含l個角點，根據(jù)式（4）有

其中，mij=［uijvij1］T，Mj=［XjYj0 1］T，i=1，2，…，n，j=1，2，…，l。設(shè)m～ij為第i幅圖像第j個角點的實際像素坐標(biāo)，最終可通過使得如下目標(biāo)函數(shù)殘差平方和最小來優(yōu)化標(biāo)定結(jié)果

2目標(biāo)方位角測量

2.1目標(biāo)特征點檢測

目標(biāo)特征點提取及定位是視覺成像測量系統(tǒng)的一項重要內(nèi)容，能否精確獲取特征點在二維圖像中的坐標(biāo)直接關(guān)乎目標(biāo)三維空間方位角的測量精度。本文采用特征點為角點，它集中反映了圖像上很多重要形狀信息的局部特征，同時具有旋轉(zhuǎn)不變性、受光照條件影響小等優(yōu)良特性。經(jīng)過比較，采用穩(wěn)健的Harris角點檢測算法［8］進行圖像特征點的檢測，該方法可直接用于對灰度圖像的操作。

對于任意給定的灰度圖像，其存在的角點與自相關(guān)函數(shù)曲率特性有著密切關(guān)系，后者可用來表征局部圖像灰度變化程度，用公式表示為

式中，E（x，y）是因圖像窗口移動（x，y）造成的圖像灰度平均變化，w代表圖像窗口，I代表圖像灰度。將式（8）在像素點（u，v）處進行一階泰勒多項式展開，可以得到

其中，A、B和C是反映圖像在各方向上灰度變化的微分算子，可用x和y方向的一階微分與高斯平滑濾波函數(shù)h（x，y）表示。

因為圖像某點灰度自相關(guān)函數(shù)極值曲率可由其Hessian矩陣特征值近似表示，從而可得Harris角點探測器為

如果圖像在某像素點處P（x，y）超過一定閾值即可認為該點是角點，利用Harris算法獲取目標(biāo)特征角點整像素級坐標(biāo)值后，采用亞像素技術(shù)進一步優(yōu)化計算結(jié)果［9］，最終獲得目標(biāo)點的亞像素級坐標(biāo)值。具體方法不再贅述。

2.2目標(biāo)方位測量方法

根據(jù)光學(xué)成像原理，結(jié)合圖1可知，入射光線如若通過鏡頭光心將不會發(fā)生折射，利用這一特性，以此主光軸作為目標(biāo)方位角測量的基準(zhǔn)，鏡頭成像平面上每個像點可看作是不同角度入射光線與像平面的交點，在獲取CCD平面圖像中的目標(biāo)像點精確位置以及鏡頭焦距參數(shù)后，結(jié)合視覺透視投影關(guān)系可反過來計算目標(biāo)相對于攝像機的方位信息。定義CCD光軸與目標(biāo)在xcOczc平面的投影OcPxz形成的夾角β為目標(biāo)的方位角，CCD光軸與目標(biāo)在ycOczc平面的投影OcPyz形成的夾角γ為目標(biāo)的俯仰角，可以得到

通過對攝像機進行標(biāo)定，可以獲得CCD內(nèi)外參數(shù)，采用前述角點檢測方法可以得到目標(biāo)像點在成像平面中的像素坐標(biāo)，再結(jié)合式（1）～式（3），最終可求解得目標(biāo)方位

可見，利用計算機視覺的方法可以同時計算空間目標(biāo)的方位角和俯仰角信息，它們均可由像點在平面圖像中的位置坐標(biāo)以及攝像機的幾何參數(shù)表示。本文主要就計算目標(biāo)方位角進行相關(guān)測量實驗。

3實驗及結(jié)果分析

根據(jù)前文建立的數(shù)學(xué)模型，設(shè)計了利用CCD攝像機進行目標(biāo)方位測量的實驗方案，基于VC++開發(fā)平臺并結(jié)合強大的計算機開源視覺庫OpenCV［10-11］編寫程序，對采集的目標(biāo)圖像進行處理，檢測和提取目標(biāo)成像特征點并定位其在二維圖像中的像素坐標(biāo)，最后完成相應(yīng)計算輸出所測目標(biāo)方位角。測量方法整體流程如圖3所示，主要包括攝像機標(biāo)定、目標(biāo)特征提取定位以及方位角的計算。

圖3　算法流程圖

3.1攝像機標(biāo)定實驗

本文實驗用攝像機鏡頭和傳感器物理參數(shù)為：鏡頭最大焦距f=35 mm，CCD傳感器晶片尺寸為8.8 mm×6.6 mm，采集的圖像分辨率為1 360×1 024。制作一個11×7的棋盤格平面模板作為標(biāo)定靶，其每個正方格的邊長均為100 mm。實驗過程中將模板平面置于攝像頭的視野范圍內(nèi)，在自然光條件下拍攝，不斷調(diào)整平面模板的角度和位置，共采集22幅有效圖像。攝像頭采集到的標(biāo)定圖片如下頁圖4所示。

采用文中前述角點檢測算法進行角點提取，結(jié)果如圖5所示，找到的角點以圓圈標(biāo)示，為便于觀看，不同行的角點使用不同顏色予以繪制，并將角點以一定順序用線相連。從中可以看到棋盤內(nèi)所有角點均被很好地找到。

對所提取的角點重投影進行誤差分析，如圖6所示，圖中不同顏色分別表示22幅標(biāo)定圖片，每個“+”字符號表示標(biāo)定圖片上的一個角點，可以看到絕大部分角點誤差在1個像素以內(nèi)，且主要集中在0附近。計算重投影定標(biāo)誤差，求得平均誤差為0.480 915像素，達到亞像素級精度。

圖4　不同角度拍攝的標(biāo)定圖片

圖5　角點檢測結(jié)果

圖6　角點重投影誤差

基于VC++開發(fā)平臺結(jié)合OpenCV對上述棋盤格圖像進行攝像機參數(shù)標(biāo)定，結(jié)果如表1所示，外參數(shù)三維畫面如圖7所示，其中非常直觀地顯示了不同角度的棋盤格標(biāo)定板與攝像機的相對位置，可以看到，棋盤格標(biāo)定板離攝像機的距離為10 m左右。

3.2方位角測量實驗

選取標(biāo)定板右上角點為目標(biāo)測量點，如圖8所示，其中紅色點1表示目標(biāo)測量點，綠色空心點2表示圖像實際中心點，綠色實心點3表示標(biāo)定得到的圖像主點，可見圖像主點與其實際中心點并不一致。隨機選取不同位置拍攝的10幅圖片，然后采用文中算法對圖像進行處理，定位目標(biāo)角點在二維圖像中的亞像素坐標(biāo)，并對方位角的圖像值（經(jīng)圖像處理計算的方位角）和實際值（實際測量點方位角計算值）進行比較，以其平均絕對誤差和均方根誤差來評價該測量方法的準(zhǔn)確性。實驗結(jié)果如下頁表2所示，方位角的圖像測量值和實際值之間的最大絕對誤差為0.029°，最小絕對誤差為0.001°；平均絕對誤差和均方根誤差分別為0.008°和0.011°。通過表2中的實驗數(shù)據(jù)可以看出，測量誤差小于0.5 ％，可以較為準(zhǔn)確地測量出目標(biāo)與CCD的相對方位信息。

表1　攝像機參數(shù)標(biāo)定結(jié)果

圖7　標(biāo)定板與攝像機相對位置

圖8　目標(biāo)點示意圖

表2　方位角測量誤差（單位：°）

4　結(jié)論

基于計算機視覺理論的目標(biāo)方位測量方法能夠非常靈活地進行多點和非接觸測量，且系統(tǒng)結(jié)構(gòu)簡單通用性強，使用方便容易操作，具備良好的實用價值，對目前其他傳統(tǒng)測量方法是一個很好的補充。該方法關(guān)鍵技術(shù)在于攝像機參數(shù)的標(biāo)定以及目標(biāo)特征點的檢測和定位。本文制作棋盤格標(biāo)定板基于Zhang平面標(biāo)定法完成對攝像機幾何參數(shù)的標(biāo)定，以顯著性標(biāo)志物中的關(guān)鍵點為目標(biāo)，實驗驗證了基于視覺方法測量目標(biāo)方位的有效性。但文中實驗仍存在一定的應(yīng)用局限性，若將本文提出的方法推廣到大視場條件下的現(xiàn)場測量，諸如鏡頭抖動、拍攝距離導(dǎo)致的圖像解析度降低等一些實際問題尚需進一步研究。

參考文獻：

［1］徐德，譚民，李原.機器人視覺測量與控制［M］.北京:國防工業(yè)出版社，2011.

［2］季云峰.結(jié)構(gòu)動位移測試的計算機視覺方法實現(xiàn)［J］.同濟大學(xué)學(xué)報（自然科學(xué)版），2013，41（11）:1670-1674.

［3］錢萍，王惠南.基于對偶四元數(shù)的航天器交會對接位姿雙目視覺測量算法［J］.宇航學(xué)報，2013，34（1）:32-38.

［4］潘翔，馬德強，吳貽軍，等.基于視覺著陸的無人機俯仰角與高度估計［J］.浙江大學(xué)學(xué)報（工學(xué)版），2009，43（4）:692-696.

［5］許敬，張合，鄭鵬飛，等.光電成像探測中目標(biāo)方位測量方法［J］.強激光與粒子束，2013，25（3）:574-578.

［6］WENG J，COHEN P，HERNIOU M.Camera calibration with distortion models and accuracy evaluation［C］//IEEE Trans.on Pattern Analysis and Machine Intelligence，1992.

［7］ZHANG Z Y.A flexible new technique for camera calibration ［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2000，22（11）:1330-1334.

［8］HARRIS C，STEPHENS M.A combined corner and edge detector［C］//Proceedings of the 4th Alvey Vison Conference.Manchester:Organizing Committee AVC，1988:147-151.

［9］LUCCHESE L，MITRA S K.Using saddle points for subpixel feature detection in camera calibration targets［C］// Proceeding of the 2002 Asia Pacific Conference on Circuits and Systems.2002:191-195.

［10］BRADSKI G，KAEHLER A.Learning OpenCV:computer vision with the OpenCV library［M］.Beijing:Tsinghua University Press，2009.

［11］陳勝勇，劉盛.基于OpenCV的計算機視覺技術(shù)實現(xiàn)［M］.北京:科學(xué)出版社，2008.

Target Azimuth Measuring Method Based on Computer Vision

SUN Shao-jie，YANG Xiao-dong
（Navy Submarine Academy，Qingdao 266042，China）

Abstract：Aiming at key point of obvious marker，an azimuth measuring method for targets based on computer vision system is investigated.According to the principle of projection imaging，the mapping relationship between the 3D position and the 2D image of the target is derived，and the target azimuth measuring mathematical model is established based on monocular vision system.Lens distortion has been taken into account during the implement of Zhang’s calibration method.Harris corner detector is brought to find the most characteristic corners on 2D image，and the sub-pixel orientation method is applied to the positioning of target feature points.The experimental results show that the method can effectively extract the target feature points and get its pixel coordinates，acquiring a relatively accurate target azimuth，which has good application value.

Key words：computer vision，camera calibration，corner detecting，sub-pixel orientation，target azimuth

作者簡介：孫少杰（1985-），男，湖北咸寧人，博士研究生。研究方向：機器視覺導(dǎo)航。

*基金項目：軍內(nèi)科研基金資助項目

收稿日期：2015-02-21修回日期：2015-04-28

文章編號：1002-0640（2016）03-0161-05

中圖分類號：TP391

文獻標(biāo)識碼：A