孫樹承 王儒壯 溫瓊?cè)A

(?？谑行畔⒅行? 海南 海口 570312)

0 引言

移動測量技術(shù)目前已在軍事、鐵路管理、公路管理等領(lǐng)域得到廣泛應(yīng)用,憑借其高效率、低成本、數(shù)據(jù)融合性好的特征,移動測量技術(shù)在電子地圖導(dǎo)航和服務(wù)方面得到深度應(yīng)用,百度、谷歌街景已將之作為地面實景數(shù)據(jù)采集的重要手段之一[1]。移動測量的本質(zhì)是數(shù)字化近景攝影測量,在獲取原始立體影像對的同時,連同他們的外方位元素一起獲取,作為數(shù)字可量測影像(digital measurable images,DMI)存儲和管理起來,為互聯(lián)網(wǎng)地圖和地理信息服務(wù)[2]。DMI最初應(yīng)用于地理信息空間服務(wù)[3],近年來,DMI應(yīng)用趨向泛化,如彭劍秋等人應(yīng)用移動測量系統(tǒng)為地下管線管理信息系統(tǒng)提供一種新的成果——三維實景影像,為管線分析提供數(shù)字化可量測框架[4]。胡慶武等人提出了基于可量測實景影像公路地理信息平臺,實現(xiàn)了可量測的應(yīng)用[5],楊沾吉提出了一種可量測圖像數(shù)字城管系統(tǒng)[6],呂志慧等人將移動測量技術(shù)應(yīng)用于河道測量[7],謝孔振將移動測量技術(shù)應(yīng)用于逆向建模[8]。無論基于哪方面應(yīng)用,DMI拼接都是最基本的處理方法,傳統(tǒng)的拼接方式是人工拼接,工作量大、效率低下、錯誤率較高,因此近年來基于人工智能和計算機視覺方面的研究越來越多[9]。本文基于地面移動測量系統(tǒng),獲取了海口市南渡江高清全景影像數(shù)據(jù),并在開源的計算機視覺框架(OpenCV)進(jìn)行了像素級拼接,有效提高了DMI的拼接效率和精度。

1 實景影像數(shù)據(jù)獲取

海口市是海南省省會,位于北緯19°32′～20°05′,東經(jīng)110°10′～110°41′,地處海南島北部,土地面積2 304.84 km2,全省政治、經(jīng)濟(jì)、科技、文化中心,交通郵電樞紐。?？谑新猿书L心形,地勢平緩。海南島最長的河流——南渡江從?？谑兄胁看┻^。南渡江東部自南向北略有傾斜,南渡江西部自北向南傾斜;西北部和東南部較高,中部南渡江沿岸低平,北部多為沿海小平原。高清全景影像經(jīng)項目策劃、外業(yè)采集、外業(yè)數(shù)據(jù)后處理及質(zhì)檢、內(nèi)業(yè)處理、數(shù)據(jù)加密、數(shù)據(jù)發(fā)布、數(shù)據(jù)部署、線上質(zhì)檢、地圖審圖九道工序后,可用于整合服務(wù)數(shù)字網(wǎng)絡(luò)(integrated service digital network,ISDN)互聯(lián)網(wǎng)發(fā)布,主要分為外業(yè)數(shù)據(jù)采集處理及內(nèi)業(yè)數(shù)據(jù)處理兩大工序[10]。

1.1 外業(yè)數(shù)據(jù)采集

實景導(dǎo)航外業(yè)采集包括外業(yè)采集計劃制定、全景相機參數(shù)評定、采集前行車路線規(guī)劃、測前準(zhǔn)備、外業(yè)采集、外業(yè)成果處理、外業(yè)數(shù)據(jù)質(zhì)檢、數(shù)據(jù)提交八個程序,其過程如圖1(a)所示。

1.2 內(nèi)業(yè)數(shù)據(jù)處理

內(nèi)業(yè)生產(chǎn)包括外業(yè)數(shù)據(jù)驗收及idx編輯、全景拼接、全景影像質(zhì)量及保密檢查、影像質(zhì)檢、隱私模糊化處理、comapper數(shù)據(jù)源整理、路網(wǎng)采集及質(zhì)檢、路網(wǎng)關(guān)聯(lián)及質(zhì)檢、坐標(biāo)加密、數(shù)據(jù)發(fā)布、最終成果質(zhì)檢等幾大工序,其生產(chǎn)過程如圖1(b)所示。

(a)外業(yè)數(shù)據(jù)采集 (b)內(nèi)業(yè)數(shù)據(jù)采集

2 圖像拼接實驗與分析

2.1 SIFT特征檢測

尺度不變特征變換(scale-invariant feature transform,SIFT)圖像特征提取算法能夠在不同尺度空間上搜索出關(guān)鍵點,并且計算這些關(guān)鍵點的大小、方向和尺度信息。自1999年提出以來,陸續(xù)出現(xiàn)了多種改進(jìn)方法[11-12]。SIFT算法的計算過程是：首先根據(jù)需要構(gòu)建圖像的尺度空間,檢測出符合條件極值點,然后在這些極值點中篩選出候選特征點并確定其方向,最后由這些特征點生成特征向量描述符[13]。

2.1.1極值點探測

SIFT算法的最大優(yōu)勢是具有尺度不變性,它可以在不同的圖像尺度空間探測關(guān)鍵點,假設(shè)G(x,y,σ)為尺度可變高斯函數(shù),I(x,y)為二維數(shù)字圖像,那么圖像I(x,y)的尺度空間L(x,y,σ)可由公式(1)得到。

(1)

上式表明尺度空間由高斯函數(shù)和圖像卷積獲得,G(x,y,σ)可由公式(2)獲得,其中σ為尺度因子,可以有不同的取值,通過選取一系列的σ值,可以產(chǎn)生圖像高斯金字塔。

(2)

極值點的探測是通過構(gòu)造差分方程求取的,將相鄰的尺度空間k和尺度空間(k-1)的高斯函數(shù)相減,得到的差分方程為D(x,y,σ)={G(x,y,kσ)-G[x,y,(k-1)σ]}·I(x,y),將公式(1)代入,得到的差分方程如公式(3)所示。

(3)

式中,k為影響系數(shù),極值點探測時,首先將樣本像素點與同層的八鄰域像素和相鄰金字塔上下各9個元素值進(jìn)行比較,如果此點為極大值或極小值,記錄該點位置和尺度信息,作為候選的特征點。

2.1.2特征點方向的確定

特征點的方向是根據(jù)該點四鄰域像素基于梯度計算的,假設(shè)特征點為(x,y),那么該點的梯度和方向如公式(4)和式(5)所示。

式中,m(x,y)為像素點(x,y)的梯度,公式(5)的θ(x,y)為像素點(x,y)的梯度方向。對像素點(x,y)的鄰域所有像素繪制梯度直方圖,主方向為梯度直方圖峰值對應(yīng)的鄰域像素點方向,當(dāng)另一個峰值達(dá)到主峰值的一定百分比后,該方向為輔方向。一般地,特征點由一個主方向和若干輔方向組成。

2.1.3特征向量描述符的確定

特征點的尺度、位置和方向確定后,需要計算特征向量以描述其屬性。將鄰域像素劃分為16×16個子區(qū)域,并再劃分為一個4×4子區(qū)域(每個區(qū)域有4×4個像素),計算和繪制該子區(qū)域16個像素8個方向的梯度方向直方圖,得到4×4×8=128個特征向量描述符。

2.2 SIFT特征圖像拼接

2.2.1拼接方法

OpenCV是一個開源的跨平臺計算機視覺和機器學(xué)習(xí)軟件庫,實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法[9],隨著應(yīng)用領(lǐng)域的拓寬,近年來OpenCV在地理信息系統(tǒng)(geographic information system,GIS)、遙感方面應(yīng)用逐漸增多,而且多集中于影像匹配和拼接[14-15]。改進(jìn)SIFT圖像拼接是在傳統(tǒng)SIFT算法基礎(chǔ)上增加了透視變換,可以消除變形影像。實驗采用Python語言進(jìn)行編程實現(xiàn),基于OpenCV提供的應(yīng)用程序接口(application programming interface,API),通過設(shè)計Stitcher類實現(xiàn)圖像SIFT拼接,該類主要聲明了stitch()、detectAndDescribe()、matchKeypoints()、drawMatches()四個函數(shù),分別用于實現(xiàn)圖像拼接、關(guān)鍵點探測與描述SIFT特征、關(guān)鍵點匹配、繪制關(guān)鍵點,這些函數(shù)的聲明原型和參數(shù)含義如表1所示。

表1 Stitcher類主要函數(shù)原型及釋義

2.2.2拼接實現(xiàn)

stitch()函數(shù)是實現(xiàn)像素拼接功能的主函數(shù),該函數(shù)在實現(xiàn)時首先載入具有一定重疊度的左右兩幅圖像,調(diào)用detectAndDescribe()函數(shù)進(jìn)行SFIT特征檢測和描述,并返回特征點集合描述算子。然后通過調(diào)用matchKeypoints()構(gòu)造變換矩陣M,用以完成拼接圖像的透視變換,繪制并返回匹配結(jié)果。

圖2(a)、圖2(b)分別為實驗采用的左右原始圖像,圖2(c)為OpenCV提取的關(guān)鍵點匹配圖,將匹配的關(guān)鍵點用直線連接起來,圖2(d)為匹配后原始圖像的拼接圖,圖2(e)為經(jīng)過透視變換后的拼接圖。從圖2(d)和2(e)可以看出,圖像拼接無錯位和匹配變形,效果較好。

(a)原始左圖像 (b)原始右圖像

多幅街景影像的拼接采用的是海口市南渡江某街道6相機影像,和單幅拼接類似,對于一臺載有6相機的采集車,每個時段每個相機獲取三張連續(xù)重疊圖像,如此一個時段獲取18幅圖像,見圖3(a),程序在拼接時先拼接某一相機的三連拍圖像,然后通過建立索引獲得各相機影像鄰接關(guān)系,按照上述的改進(jìn)OpenCV SIFT方法進(jìn)行圖像無縫拼接。圖3(a)為6相機三連拍的原始街景影像,圖3(b)為拼接后的街景圖像。

(a)6相機三連拍街景圖像 (b)街景圖像拼接結(jié)果

OpenCV SIFT特征檢測具有旋轉(zhuǎn)不變、尺度不變特性,是一種穩(wěn)定的圖像特征,改進(jìn)SIFT方法匹配基于像素運算,匹配的結(jié)果保持像素級拼接精度。為了驗證改進(jìn)SIFT方法對畸變、撓曲變形的適應(yīng)性,選取了具有畸變和撓曲變形的局部街景圖像,分別進(jìn)行人工和本文提出的方法進(jìn)行拼接,二者的實驗結(jié)果分別如圖4(a)和圖4(b)所示,實驗表明,人工拼接方法無法克服圖像自身的畸變,拼接后的圖像仍然存在變形,而本文提出的方法增加了透視變換,可以克服畸變、撓曲對拼接圖像的影像,拼合后的圖像不存在畸變和撓曲變形,不失為一種可靠的抗畸變圖像拼接方法。

(a)人工拼接結(jié)果 (b)本文方法拼接結(jié)果

3 結(jié)束語

可量測實景影像具有復(fù)雜形變特征,傳統(tǒng)的方法是基于軟件進(jìn)行人工拼接針,誤差大、效率低。本文提出的基于OpenCV的SIFT改進(jìn)方法可有效改善精度和效率問題。和人工拼接的傳統(tǒng)方法相比,本文提出的方法可以人為設(shè)定匹配的關(guān)鍵點參數(shù)和透視變換精度,實現(xiàn)像素級精度拼接,大幅提升拼接精度。同時基于OpenCV的改進(jìn)SIFT拼接方法可以實現(xiàn)自動讀圖、自動匹配和自動變換,極大提高了街景圖像的拼接效率。后續(xù)的研究應(yīng)豐富圖像處理內(nèi)容,如改善曝光、去除局部模糊和異常斑塊、錯位糾正等,最終實現(xiàn)高清街景影像一鍵化智能處理。