(中國西南電子技術(shù)研究所，成都 610036)

高精度機(jī)載可見光圖像定位方法*

古 博**，喬文昇

(中國西南電子技術(shù)研究所，成都 610036)

針對(duì)現(xiàn)有技術(shù)不能解決機(jī)載可見光圖像快速自動(dòng)定位的問題，提出了一種定位精度高、處理速度快、可擴(kuò)展性好的機(jī)載可見光圖像定位方法。該方法以傳感器共線成像模型為中心，將實(shí)時(shí)圖像和傳感器成像參數(shù)送入共線模型進(jìn)行正射校正，校正后的圖像與相應(yīng)的基準(zhǔn)圖像進(jìn)行圖像配準(zhǔn)，使用配準(zhǔn)同名點(diǎn)信息更新傳感器成像參數(shù)，最后再次通過共線模型獲取實(shí)時(shí)圖地理坐標(biāo)定位信息。這種通過圖像配準(zhǔn)再計(jì)算成像模型的間接定位方法，不僅減少了計(jì)算量，而且使自動(dòng)配準(zhǔn)算法穩(wěn)定，較傳統(tǒng)的直接定位方法或圖像配準(zhǔn)方法有突出的優(yōu)勢(shì)。此外，該方法具有嚴(yán)格的誤差傳遞計(jì)算公式，能計(jì)算定位結(jié)果的誤差。仿真實(shí)驗(yàn)表明即使在大傾斜角條件下，該方法也能獲得優(yōu)于100 m的定位精度。

可見光圖像；圖像定位；圖像配準(zhǔn)；誤差傳遞；大傾斜角

1 引 言

可見光圖像是機(jī)載傳感器獲取的偵察和戰(zhàn)場(chǎng)態(tài)勢(shì)中最直觀的信息，它最易于被操作人員理解和使用。在機(jī)載圖像信息的開發(fā)應(yīng)用中，圖像定位是基礎(chǔ)，它的目的是將圖像的每個(gè)像素位置與地理位置關(guān)聯(lián)起來，也叫做圖像地理編碼。以此為基礎(chǔ)，就可以很方便地開發(fā)各種更復(fù)雜的圖像應(yīng)用，例如不同類別圖像之間的匹配、拼接、融合，基于圖像的戰(zhàn)場(chǎng)變化檢測(cè)、毀傷評(píng)估等。

圖像地理編碼常見于遙感影像的幾何糾正。它的主要內(nèi)容是利用地面控制點(diǎn)、數(shù)字高程模型以及傳感器參數(shù)來擬合一個(gè)幾何變換模型，包括軌道模型、有理函數(shù)模型和多項(xiàng)式模型[1-4]。為了達(dá)到遙感影像應(yīng)用的精度，需要一定數(shù)量的地面控制點(diǎn)，但很多實(shí)際情況下不能滿足這個(gè)條件?；诳刂泣c(diǎn)影像庫的控制點(diǎn)半自動(dòng)選取，使歷史圖控制點(diǎn)影像塊與遙感圖進(jìn)行圖像塊搜索和匹配，為缺少控制點(diǎn)條件下的遙感影像定位提供了快速的技術(shù)支持[5]。

機(jī)載圖像幾何糾正的經(jīng)典方法包括直接地理定位方法、空中三角測(cè)量方法和基于圖像特征匹配方法。直接地理定位方法利用圖像曝光時(shí)刻獲取的傳感器坐標(biāo)、姿態(tài)信息等外方位元素通過成像模型糾正圖像，處理速度快，但是由外方位元素的精度導(dǎo)致的定位精度通常不穩(wěn)定且較差[6]?？罩腥菧y(cè)量方法利用地面控制點(diǎn)對(duì)所的外方位元素進(jìn)行平差[7]?；趫D像特征匹配的方法避免地面控制點(diǎn)，利用同一批影像中相鄰圖像的重疊部分進(jìn)行特征提取與匹配，使一批圖像互相配準(zhǔn)和校正[8]。該方法最大的優(yōu)點(diǎn)在于能用計(jì)算機(jī)自動(dòng)化處理。

針對(duì)上述傳統(tǒng)圖像定位方法不能快速自動(dòng)處理或是定位精度不高的問題，本文設(shè)計(jì)了一種自動(dòng)機(jī)載圖像地理編碼的方法。不同于傳統(tǒng)的圖像采集后經(jīng)地面人工事后處理的方法，它能夠近實(shí)時(shí)地自動(dòng)將采集的圖像賦予地理坐標(biāo)值，并正射校正；對(duì)圖像中的任意目標(biāo)，不僅能夠給出高精度的地理坐標(biāo)，還能計(jì)算誤差范圍。

利用計(jì)算機(jī)圖像匹配技術(shù)獲取機(jī)載圖像的幾何糾正，是近年來研究的熱點(diǎn)，在實(shí)踐中也獲得了較多的應(yīng)用。本文提出的方法同樣基于圖像匹配獲得的同名點(diǎn)信息來校正傳感器的成像參數(shù)，再經(jīng)過傳感器成像模型糾正圖像。本文方法是上述經(jīng)典方法的綜合，具備直接地理定位方法處理速度快的優(yōu)點(diǎn)，同時(shí)利用同名點(diǎn)信息對(duì)成像參數(shù)更新提高定位精度，還能計(jì)算機(jī)全自動(dòng)處理。并且，本方法解決了圖像匹配法的穩(wěn)定性和直接定位法的誤差較大的問題。當(dāng)與機(jī)載圖像匹配的參考圖像是經(jīng)過地理編碼的圖像時(shí)，通過本方法糾正后的圖像具有地理編碼，同時(shí)本方法能夠計(jì)算參考圖像的地理定位誤差和傳感器參數(shù)誤差向最終圖像定位誤差傳遞的過程。

2 機(jī)載可見光圖像定位

圖1所示的流程圖描述了機(jī)載可見光圖像定位方法。該方法是以傳感器共線成像模型為中心，通過圖像匹配調(diào)整傳感器成像參數(shù)來達(dá)到精確定位的目的。利用機(jī)載實(shí)時(shí)圖像的傳感器成像參數(shù)，包括位置和朝向角度，經(jīng)共線成像模型計(jì)算，獲取圖像各像素位置的地理坐標(biāo)，即是將實(shí)時(shí)圖像進(jìn)行了正射校正。校正后的實(shí)時(shí)圖像與相應(yīng)的基準(zhǔn)圖進(jìn)行圖像配準(zhǔn)，獲取圖像配準(zhǔn)同名點(diǎn)。利用基準(zhǔn)圖同名點(diǎn)的地理坐標(biāo)信息重新擬合更新傳感器成像參數(shù)，更新后的參數(shù)再次通過共線成像模型，便可以對(duì)實(shí)時(shí)圖像進(jìn)行精確的地理編碼，對(duì)實(shí)時(shí)圖像的任意像素位置精確定位，同時(shí)可對(duì)定位結(jié)果進(jìn)行誤差分析。

圖1 機(jī)載可見光圖像定位方法流程圖Fig.1 Diagram of the method for airborne optical image geolocation

下文對(duì)該方法中基于共線模型的直接定位、圖像匹配、參數(shù)更新和誤差分析這幾個(gè)關(guān)鍵步驟進(jìn)行詳細(xì)描述。

2.1基于共線模型的直接定位

可見光的傳感器成像已有嚴(yán)格的物理模型來描述，稱作共線模型，是由地理坐標(biāo)到傳感器坐標(biāo)的平移變換、旋轉(zhuǎn)變換和傳感器坐標(biāo)到圖像的映射變換，這3個(gè)坐標(biāo)變換串聯(lián)而成的坐標(biāo)變換關(guān)系。這3個(gè)坐標(biāo)變換組成如下兩個(gè)方程組：

(1)

其中：(XS,YS,ZS)是傳感器孔徑中心的地心地固(ECEF)坐標(biāo)，(Xk,Yk,Zk)是第k個(gè)像素位置對(duì)應(yīng)的ECEF坐標(biāo)即地理坐標(biāo)，(xk,yk)是第k個(gè)像素在圖像中的位置坐標(biāo)，f是焦距，a11…a33組成旋轉(zhuǎn)變換矩陣。這里沒有考慮成像畸變，認(rèn)為獲取的圖像已經(jīng)經(jīng)過畸變校正，并且后面的實(shí)驗(yàn)結(jié)果也能說明沒有考慮成像畸變的簡化模型可以達(dá)到較高的精度。

求解上述方程組，計(jì)算像素的地理坐標(biāo)時(shí)，3個(gè)坐標(biāo)未知數(shù)僅有兩個(gè)方程，常用解算辦法是引入地面高度信息。像素的地理坐標(biāo)值還需滿足以下的約束方程[9]：

(2)

其中：a是地球參考橢圓的半長軸長度，b是參考橢圓的半短軸長度，h是第k個(gè)像素對(duì)應(yīng)的地面位置的高度。通過最小二乘方法可獲得像素的地理坐標(biāo)值，它同時(shí)滿足方程組(1)和式(2)。

2.2圖像匹配

圖像匹配或配準(zhǔn)在計(jì)算機(jī)視覺領(lǐng)域有深入的研究，基于特征的圖像匹配是目前主流的研究熱點(diǎn)[10]，但是實(shí)踐中這種方法并不能保證正確匹配的穩(wěn)定性。Doucette等人[11]在總結(jié)實(shí)用性的地理圖像配準(zhǔn)方法文章中，推薦歸一化互相關(guān)法(NCC)用于地理信息方面的圖像配準(zhǔn)工具；在Cannata等人[12]開發(fā)的自動(dòng)視頻圖像配準(zhǔn)中同樣采用這種互相關(guān)法，原因在于獲取的實(shí)時(shí)圖像帶有成像參數(shù)，通過共線模型得到定位信息，完全可以利用此信息作為匹配的先驗(yàn)信息，約束互相關(guān)配準(zhǔn)的匹配搜索范圍，使圖像匹配穩(wěn)定。

實(shí)時(shí)圖經(jīng)共線模型得到定位信息，同時(shí)也能得到定位誤差，根據(jù)定位誤差約束基準(zhǔn)圖中圖像互相關(guān)配準(zhǔn)的范圍。傳感器的成像參數(shù)誤差一般可以通過實(shí)驗(yàn)獲得經(jīng)驗(yàn)值，假設(shè)它們?cè)贓CEF坐標(biāo)系下組成的誤差矩陣表示為ΣPar，那么可以通過對(duì)式(1)和式(2)求偏導(dǎo)的方法獲得誤差的傳遞，以此得到定位誤差。定位誤差計(jì)算為

ΣXYZ=(BT(AΣParAT)-1B)-1。

(3)

其中：A是式(1)和式(2)對(duì)傳感器參數(shù)的雅可比矩陣，B是式(1)和式(2)對(duì)地理坐標(biāo)值的雅可比矩陣，ΣXYZ是ECEF坐標(biāo)系下的定位誤差。

對(duì)3倍ΣXYZ的圖像范圍進(jìn)行匹配搜索，即可保證99%以上實(shí)時(shí)圖與基準(zhǔn)圖配準(zhǔn)成功的概率。Cannata等人[12]在他們?cè)O(shè)計(jì)的系統(tǒng)中選取互相關(guān)配準(zhǔn)的最大4個(gè)候選峰值，然后校驗(yàn)得到最終的峰值相關(guān)位置，該位置是使得多個(gè)同名點(diǎn)的仿射變換結(jié)果一致的峰值位置。本文對(duì)該方法進(jìn)行改進(jìn)。因?yàn)閷?shí)時(shí)圖在經(jīng)過共線模型正射校正后，得到與基準(zhǔn)圖同樣視角、朝向和分辨率的校正圖像，所以認(rèn)為兩幅圖像之間僅存在平移變換關(guān)系：

(4)

其中：x0、y0是基準(zhǔn)圖的像素位置，x1、y1是實(shí)時(shí)圖的像素位置，a、b組成的位移量畫點(diǎn)如圖2中的*號(hào)所示。圖2實(shí)驗(yàn)中實(shí)時(shí)圖和基準(zhǔn)圖分別被分為16塊進(jìn)行互相關(guān)。顯然，可以采用K-means聚類方法[13]將正確配準(zhǔn)的位移量選出來。如圖2所示，正確的位移量被圈出，所對(duì)應(yīng)的配準(zhǔn)位置即是正確的匹配同名點(diǎn)對(duì)。

圖2 互相關(guān)平移位置聚類Fig.2 The clustering of translation position of cross correlation

2.3參數(shù)更新

由圖像匹配獲得實(shí)時(shí)圖像素位置與基準(zhǔn)圖地理位置的對(duì)應(yīng)關(guān)系，以式(1)和式(2)為約束方程，采用最小二乘法更新傳感器參數(shù)，算法流程如圖3所示。

圖3 傳感器參數(shù)更新流程圖Fig.3 Diagram of sensor parameters update

在匹配同名點(diǎn)處計(jì)算約束方程(1)和(2)的偏導(dǎo)，組成最小二乘法的迭代量：

Δ=(BTB)-1(BTF) 。

(5)

其中：B同式(3)，F(xiàn)是式(1)中方程組對(duì)傳感器參數(shù)的雅可比矩陣且合并所有匹配同名點(diǎn)。

參數(shù)更新根據(jù)設(shè)定的迭代量閾值，當(dāng)式(5)小于該閾值時(shí)，最小二乘法算法停止，輸出更新后的傳感器參數(shù)：

ParNew=Par+Δ。

其中：Par表示初始傳感器參數(shù)，ParNew表示更新后的傳感器參數(shù)。

圖像匹配點(diǎn)越多，更新后的參數(shù)越準(zhǔn)確，定位誤差越小。因此，在圖像匹配時(shí)，分塊越多越好，但如果每塊圖像太小，缺乏有用信息會(huì)導(dǎo)致匹配失敗。經(jīng)過實(shí)驗(yàn)，認(rèn)為分塊大小為300 pixel×300 pixel左右比較合適。

2.4誤差分析

誤差分析引入配準(zhǔn)誤差和DEM誤差：

(6)

其中：TECEF是圖像坐標(biāo)到ECEF坐標(biāo)的坐標(biāo)轉(zhuǎn)換關(guān)系，ΣP,ECEF像素點(diǎn)P的ECEF坐標(biāo)誤差。圖像配準(zhǔn)誤差到ECEF坐標(biāo)誤差傳遞本應(yīng)該經(jīng)過坐標(biāo)轉(zhuǎn)換函數(shù)的雅可比矩陣的鏈乘方法求得，但是在這里進(jìn)行了簡化，直接使用坐標(biāo)轉(zhuǎn)換函數(shù)作用于圖像配準(zhǔn)誤差。實(shí)驗(yàn)也表明通過這兩種方法獲得的最終定位誤差差別不大。

由式(6)的圖像配準(zhǔn)誤差計(jì)算更新后的參數(shù)誤差：

ΣPar=(BT(AΣP,ECEFAT)-1B)-1。

(7)

其中：B同式(3)，A在式(3)中A的基礎(chǔ)上合并多個(gè)同名點(diǎn)。

最后，式(7)中的參數(shù)誤差通過式(3)得到最終定位誤差。

3 仿真實(shí)驗(yàn)分析

對(duì)本方法的誤差進(jìn)行數(shù)值仿真。假設(shè)傳感器參數(shù)包含位置和朝向，輸入誤差源包含傳感器位置誤差、朝向誤差，高程誤差和配準(zhǔn)誤差，配準(zhǔn)同名點(diǎn)數(shù)量為20個(gè)。根據(jù)誤差分析計(jì)算方法獲得定位誤差。表1是機(jī)載傳感器大傾斜角情況下的仿真結(jié)果。從表1可以看出，本文方法得到的定位誤差優(yōu)于直接定位法誤差兩個(gè)數(shù)量級(jí)，并且在DEM誤差和配準(zhǔn)誤差穩(wěn)定的情況下，能得到穩(wěn)定的定位誤差。在DEM誤差和配準(zhǔn)誤差很差的情況下，得到的定位誤差為100 m左右，因此認(rèn)為本方法通常情況下獲得的定位精度優(yōu)于100 m。

表1 數(shù)值仿真實(shí)驗(yàn)結(jié)果Tab.1 Numerical simulation results

圖4是實(shí)時(shí)圖像、由共線模型校正后的實(shí)時(shí)圖像，以及由本文方法更新傳感器參數(shù)后再次校正的圖像，可以看出圖4(c)在圖4(b)的基礎(chǔ)上發(fā)生了少許幾何形變。事實(shí)上，圖4(c)中每個(gè)細(xì)節(jié)部位與基準(zhǔn)圖的位置更貼近。

圖4 實(shí)時(shí)圖像、通過直接定位模型正射校正圖像以及本文方法校正圖像Fig.4 Real-time image,orth-rectified image by the direct collinearity model,and rectified image by the proposed method

圖5是本文方法校正后的實(shí)時(shí)圖與基準(zhǔn)圖的疊加圖像，其中基準(zhǔn)圖來自互聯(lián)網(wǎng)并包含地理位置信息。圖中內(nèi)外兩個(gè)圓圈分別標(biāo)識(shí)了本文方法和直接定位法的90%概率的誤差范圍，大約等于計(jì)算出的協(xié)方差的2.164倍?？梢钥闯霰疚姆椒ǖ亩ㄎ痪扔休^大優(yōu)勢(shì)。

圖5 本文方法校正圖像與基準(zhǔn)圖的疊加顯示以及地理坐標(biāo)和誤差范圍(基準(zhǔn)圖和坐標(biāo)信息來自互聯(lián)網(wǎng))Fig.5 The overlay of rectified image by the propesed method and the reference image,as well as the geographical coordinates and error range(The reference image and coordinate information are from the Internet)

4 結(jié)束語

本文以傳感器共線模型為中心，采用圖像匹配更新傳感器參數(shù)的方法，獲得機(jī)載可見光圖像的高精度定位結(jié)果，即使在大傾斜角條件下也能取得優(yōu)于100 m的定位精度。圖像匹配過程使用了直接定位方法得到的誤差范圍作為互相關(guān)匹配的約束，與常用的圖像匹配方法相比，極大地減少了計(jì)算量，但是獲得了穩(wěn)定的配準(zhǔn)結(jié)果。本文提出的方法以傳感器模型為中心的優(yōu)點(diǎn)在于：約束圖像匹配的搜索范圍，使本來不可控的圖像匹配能夠自動(dòng)化并可控；可以計(jì)算定位結(jié)果的誤差，具有嚴(yán)格的誤差傳遞數(shù)學(xué)推導(dǎo)過程；可擴(kuò)展性好，更換傳感器模型即可適用于新的圖像；還可以為視頻圖像序列快速地理編碼及定位。

我們認(rèn)為這種通過更新傳感器參數(shù)再計(jì)算成像模型獲得定位結(jié)果的間接定位方法，不僅可用于實(shí)時(shí)圖像與基準(zhǔn)圖像的匹配和定位，還可能適用于無基準(zhǔn)圖像情況下的同傳感器多圖像以及多傳感器多圖像之間的相互校正，這也將是下一步的研究內(nèi)容。

[1] KRATKY V. Rigorous photogrammetric processing of SPOT images at CCM Canada[J]. International Society for Photogrammetry and Remote Sensing (ISPRS) Journal of Photogrammetry and Remote Sensing,1989,2(44):53-71.

[2] WESTIN T. Precision rectification of SPOT image [J]. Photogrammetric Engineering & Remote Sensing ,1990,56(2):247-253.

[3] OKAMOTO A. Orientation theory of CCD line-scanner images [J]. International Archives of International Society for Photogrammetry and Remote Sensing (ISPRS) Journal of Photogrammetry and Remote Sensing,1988,27(B3):609-617.

[4] MADANI M. Real-time sensor-independent positioning by rational functions[C]// Proceedings of International Society for Photogrammetry and Remote Sensing (ISPRS) Workshop on Direct Versus Indirect Methods of Sensor Orientation. Barcelona:ISPRS,1999:64-75.

[5] 張祖勛，張劍清. 數(shù)字?jǐn)z影測(cè)量學(xué)[J]. 武漢：武漢測(cè)繪科技大學(xué)出版社,1996.

[6] HEIPKE C,JACOBSEN K,WEGMANN H,et al.Integrated sensor orientation—an OEEPE test [J]. International Archives of Photogrammetry and Remote Sensing,2000,33(B3):373-380.

[7] 周曉敏，趙力彬，張新利. 低空無人機(jī)影像處理技術(shù)及方法探討[J]. 測(cè)繪與空間地理信息，2012(2):182-184.

ZHOU Xiaomin,ZHAO Libin,ZHANG Xinli. Discussion on technique and method of low level UAV image processing[J]. Geomatics & Spatial Information Technology,2012(2):182-184. (in Chinese)

[8] ZITOVAB,FLUSSER J. Image registration methods:a survey [J]. Image and Vision Computing,2003,21(11):977-1000.

[9] 袁修孝，曹金山. 高分辨衛(wèi)星遙感精確對(duì)地目標(biāo)定位理論與方法[M]. 北京：科學(xué)出版社，2012.

[10] 王峰，尤紅建，傅興玉，等. 應(yīng)用于多源SAR圖像匹配的級(jí)聯(lián)SIFT算法[J]. 電子學(xué)報(bào)， 2016(3):548-554.

WANG Feng,YOU Hongjian,FU Xingyu,et al. Cascade SIFT matching method for multi-source SAR images [J]. Acta Electronica Sinica,2016(3):548-554.(in Chinese)

[11] DOUCETTE P,ANTONISSE J,BRAUN A,et al. Image georeregistration methods:a framework for application guidelines [C]//Proceedings of IEEE Applied Imagery Pattern Recognition Workshop:Sensing for Control & Augmentation.Washington DC,USA:IEEE,2013:1-14.

[12] CANNATA R W,SHAH M,BLASK S G,et al. Autonomous video registration using sensor model parameter adjustments[C]//Proceedings of Applied Imagery Pattern Recognition Workshop.Washington DC, USA:IEEE,2000:215-222.

[13] JAIN A K，MURTY M N,FLYNN R J.Data clustering:a review[J].ACM Computing Surveys，1999，31(3):264-323.

AMethodforHighAccuracyAirborneOpticalImageGeolocation

GU Bo,QIAO Wensheng
(Southwest China Institute of Electronic Technology,Chengdu 610036,China)

For the unsolved technology problem of fast automatic geolocation of airborne optical images,a high accurate,high efficient and good scalable method is proposed for geolocation of airborne remote sensing optical images is proposed. The method is centered on sensor collinearity equations. The real-time image and the sensor imaging parameters will be put into the collinearity model for geometric rectification. Then the rectified image is registered with corrresponding reference image. The matching points are used to update the sensor imaging parameters. Finally,the updated parameters and real-time image are put again into the sensor collinearity model for acquiring geometric location information. This indirect geolocation method,which is based on image registration and imaging model,not only reduces the computation,but also makes the automatic registration stable. It has a prominent advantage over traditional direct or image registration methods. In addition,a strict error propagation formula is capable of computing the geolocation accuracy range. Simulation results show that even under the highly-oblique condition,a geolocation accuracy better than one hundred meters can be obtained with the proposed method.

optical image;image geolocation;image registration;error propagation;highly-oblique

date:2017-05-23；Revised date：2017-08-23

**通信作者：gubobogu@qq.com Corresponding author：gubobogu@qq.com

TN911.73;TP751

A

1001-893X(2017)10-1128-05

古博(1983—)，男，四川大竹人，2012年于四川大學(xué)計(jì)算機(jī)學(xué)院獲博士學(xué)位，現(xiàn)為工程師，主要研究方向?yàn)樾畔⑷诤?、?shù)字圖像處理；

Email:gubobogu@qq.com

喬文昇(1969—)，男，貴州畢節(jié)人，研究員，主要從事航空電子總體論證工作。

10.3969/j.issn.1001-893x.2017.10.005

古博，喬文昇.高精度機(jī)載可見光圖像定位方法[J].電訊技術(shù)，2017,57(10):1128-1132.[GU Bo,QIAO Wensheng.A method for high accuracy airborne optical image geolocation[J].Telecommunication Engineering,2017,57(10):1128-1132.]

2017-05-23；

2017-08-23