王奕丹，閆　利

(武漢大學(xué)測繪學(xué)院，湖北 武漢 430079)

?

POS輔助車載組合全景影像路面角點特征匹配算法

王奕丹，閆利

(武漢大學(xué)測繪學(xué)院，湖北 武漢 430079)

POS Aided Road Surface Corner Features Matching on Vehicle-mounted Composite Panoramic Images

WANG Yidan，YAN Li

摘要：推薦了一種車載組合全景相機影像路面角點特征的匹配方法。路面到攝站的距離近，基高比大，是良好的區(qū)域網(wǎng)平差模型連接點，但是路面紋理匱乏，影像中存在移動物體和較為嚴(yán)重的尺度變化和仿射變形，難以匹配到正確的同名點。本文利用路面在一定范圍內(nèi)可近似為水平面的特點，根據(jù)相機與路面的距離確定近似路面，將影像路面角點投影到重疊影像，將同名點定位在一個小的矩形范圍內(nèi)；通過POS數(shù)據(jù)確定角點對應(yīng)同名核線，矩形區(qū)域內(nèi)距離核線最近的角點即為同名像點。本文匹配方法可獲得一定數(shù)量的正確匹配同名點，顯著降低了誤匹配，內(nèi)點率高，可以進(jìn)一步精確估計像對間的基礎(chǔ)矩陣，為其他地物的匹配提供了約束。

關(guān)鍵詞：車載組合全景影像；POS數(shù)據(jù)；路面約束；核線約束；Harris角點

組合全景相機具有獲取速度快、信息豐富全面、像素高、鏡頭畸變小、各個方向的分辨率近乎一致等優(yōu)點[1-3]，因而廣泛應(yīng)用于各種移動測量系統(tǒng)中。如Google移動測量車采用的是水平方向放射分布8個相機、垂直向上一個相機的組合全景相機；Earthmine公司的Mars采集系統(tǒng)利用垂直分布的兩臺組合全景相機組成全景立體量測系統(tǒng)，每一個全景相機由水平方向放射性分布的4個魚眼相機組成。

目前組合全景影像的普遍處理方法是將一個攝站獲取的多張影像投影到球面、圓柱面或立方體面上拼接為一張影像[4-5]。文獻(xiàn)[6]直接利用立方體全景影像匹配同名點，提出光流、光流幅度及尺度等約束條件，在短基線條件下可以有效地剔除誤匹配，提高內(nèi)點率。文獻(xiàn)[7]提出光流聚類的車載全景影像匹配方法，建立影像間光流場，實現(xiàn)光流的均值漂移聚類，認(rèn)為小的聚類中包含更多的雜亂光流，將其刪除從而提高匹配的內(nèi)點率。文獻(xiàn)[8]提出全景影像的多特征匹配，利用SIFT提取建筑物上的斑點特征；用Forstner提取道路上的角點特征；用點云提取路面來約束模板匹配同名點；最終實現(xiàn)最小二乘精化匹配。以上方法在短基線的情況下可以取得較好的結(jié)果，但是在實際的影像采集過程中，受到車輛速度和相機快門速度的限制，各個攝站間的距離往往較大，此時車載全景影像間存在明顯的尺度變化和仿射變形，且距離攝站越近的地物變形越嚴(yán)重，路面難以得到穩(wěn)定的光流場且用模板匹配難以匹配到正確的同名點。

本文考慮到與遠(yuǎn)處建筑物上的特征點相比，路面點的基高比和交會角大，是良好的模型連接點，但匹配難度大，因此推薦了一種車載全景單片影像的路面點匹配方法：首先提取路面上的Harris角點[9]；利用相機與路面的距離得到近似路面，以路面作為介質(zhì)得到左影像特征角點在右影像上同名點的概略位置；POS數(shù)據(jù)計算左影像特征角點對應(yīng)同名核線[10]；概略位置周圍一個小矩形區(qū)域內(nèi)，距離核線最近的角點即為同名點。

一、算法概述

本文采用的車載組合全景相機由8個相機組成，如圖1所示，圖(a)為其實物圖，圖(b)為其內(nèi)部結(jié)構(gòu)圖，其中標(biāo)注了相機的編號及前進(jìn)方向，各相機的視場角為69.21°，焦距為5 mm，像幅大小為2058×2456像素，像素大小為3.45 μm。

本文具體的技術(shù)路線如圖2所示。

1. POS輔助路面約束

圖1　組合全景相機系統(tǒng)實物與內(nèi)部結(jié)構(gòu)

圖2　技術(shù)路線

圖3　立體像對及其核線

(1)

(2)

式中

2.POS輔助核線約束

核線幾何是數(shù)字?jǐn)z影測量中影像匹配的基礎(chǔ)。根據(jù)同名像點一定位于同名核線上的理論，可以將二維影像相關(guān)轉(zhuǎn)化成一維影像相關(guān)，可顯著提高匹配效率和可靠性[11]。一般情況下，需要先匹配出一定數(shù)量的同名點再平差解算像對間的基礎(chǔ)矩陣，從而確定同名核線。但是車載組合全景影像中的路面存在明顯的尺度變化和仿射變換及較多的移動物體，造成匹配同名點的內(nèi)點率較低，無法準(zhǔn)確地估計像對間的基礎(chǔ)矩陣。本文采用POS數(shù)據(jù)的同名核線計算方法[10]。

(3)

(4)

式中，C1=BYZA-BZYA；C2=BZXA-BXYA；C3=BXYA-BYXA，同理影像B中其同名核線的表達(dá)式為

二、試驗與分析

選取前后兩個攝站中5號相機影像，如圖4(a)所示，左圖為影像A，右圖為影像B。本文只提取路面角點，相機主光軸方向近似水平，路面約占影像的一半，因此只提取影像A下半部分的Harris角點特征，如圖4(b)左圖所示。利用本文的匹配方法，首先將影像A中的Harris角點通過近似路面投影到影像B，如圖4(b)所示；在影像B的Harris角點特征集合中，找到在投影點確定的矩形窗口內(nèi)且距離同名核線最近的點為同名點，如圖4(c)所示；最后用RANSAC(random sample consensus)方法進(jìn)一步估計兩張影像的精確基礎(chǔ)矩陣，同時剔除誤匹配，如圖4(d)所示；最終得到13個同名點，由于車輛自身部件遮擋，造成3個誤匹配點，可以通過刪除車輛自身特征點的方式剔除此類誤匹配。提取影像Harris角點特征并用SIFT算子描述和匹配得到同名點如圖4(e)所示，存在大量的誤匹配，由于正確的同名點很少，較低的內(nèi)點率導(dǎo)致RANSAC方法估計得到錯誤的基礎(chǔ)矩陣，最終沒能匹配到正確的同名點，如圖4(f)所示。

圖4　本文匹配方法與直接匹配方法比較

車輛沿路面行駛，道路方向平行于車輛的移動方向存在極為嚴(yán)重的尺度變化和大量的移動車輛，由于路面紋理匱乏，可用的角點特征有限，常規(guī)的匹配方法存在較多的誤匹配，幾乎無法得到正確的同名點。本文方法利用路面平直這一近似假設(shè)，縮小同名點的搜索范圍；利用POS數(shù)據(jù)計算同名核線，確定距離核線最近的特征點為同名點，避免了尺度變化和仿射變形造成模板匹配的失敗。雖然本文匹配方法得到的同名點數(shù)量少，但是誤匹配少，內(nèi)點率高，可以更為準(zhǔn)確地估計基礎(chǔ)矩陣，進(jìn)一步剔除誤匹配。

三、結(jié)束語

本文推薦了一種車載全景影像的路面角點特征匹配方法，利用道路在一定范圍內(nèi)可近似為平面的特點，通過近似路面將角點特征投影到重疊影像中，建立矩形區(qū)域，縮小同名點的搜索范圍，最終通過POS數(shù)據(jù)計算同名核線，確定矩形范圍內(nèi)距離核線最近的點為同名點。相較于常規(guī)匹配方法，本文方法可以得到更多的正確同名點，高的內(nèi)點率提高RANSAC估計基礎(chǔ)矩陣的正確性和穩(wěn)定性，更為準(zhǔn)確的核線可以為其他地物匹配提供約束并為后續(xù)區(qū)域網(wǎng)平差提供高精度的模型連接點。

參考文獻(xiàn)：

[1]JAFAR A P, ARMIN G. Sensor Modeling, Self-calibration and Accuracy Testing of Panoramic Cameras and Laser Scanners[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2010,65(1):60-76.

[2]SATO T,IKEDA S,YOKOYA N, et al. Extrinsic Camera Parameter Recovery from Multiple Image Sequences Captured by an Omni-Directional Multi-camera System[C]∥Computer Vision-ECCV2004. Heidelberg: Springer Berlin Heidelberg, 2004.

[3]GLEDHILL D,TIAN G Y,TAYLOR D, et al. Panoramic Imaging—a Review[J]. Computers & Graphics,2003,27(3): 435-445.

[4]SHUM H, SZELISKI R. Systems and Experiment Paper: Construction of Panoramic Image Mosaics with Global and Local Alignment[J]. International Journal of Computer Vision,1999,36(2):101-130.

[5]SZELISKI R.Image Alignment and Stitching: a Tutorial[J]. Foundations and Trends R in Computer Graphics and Vision. 2006,2(1):100-104.

[6]張正鵬,江萬壽,張靖.車載立方體全景影像匹配點的粗差檢測方法[J]. 武漢大學(xué)學(xué)報(信息科學(xué)版),2014,39(10):1208-1212.

[7]張正鵬,江萬壽,張靖.光流特征聚類的車載全景序列影像匹配方法[J].測繪學(xué)報, 2014, 43(12):1266-1273.

[8]季順平,史云.車載全景相機的影像匹配和光束法平差[J]. 測繪學(xué)報,2013,42(1):94-100.

[9]SHI J,TOMASI C.Good Features to Track[C]∥Computer Vision and Pattern Recognition. Piscataway：IEEE, 1994.

[10]袁修孝,吳珍麗.基于POS數(shù)據(jù)的核線影像生成方法[J]. 武漢大學(xué)學(xué)報(信息科學(xué)版), 2008, 33(6):560-564.

[11]HAN J H, PARK J S. Contour Matching Using Epipolar Geometry[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2000, 22(4): 358-370.

中圖分類號：P23

文獻(xiàn)標(biāo)識碼：B

文章編號：0494-0911(2016)04-0024-04

通信作者：閆利

作者簡介：王奕丹(1987—)，女，博士，主要研究方向為攝影測量。E-mail：wyd1004@whu.edu.cn

基金項目：國家科技支撐計劃(2012BAJ23B03)

收稿日期：2015-06-09

引文格式： 王奕丹，閆利. POS輔助車載組合全景影像路面角點特征匹配算法[J].測繪通報，2016(4)：24-27.DOI:10.13474/j.cnki.11-2246.2016.0114.