李立春 許穎慧 孟彥鵬 張祖麗 張偉 萬文輝 周建亮

（1 北京航天飛行控制中心，北京 100094）

（2 國防科學技術大學 航天科學與工程學院，長沙 410073）

（3 中科院遙感與數(shù)字地球研究所 遙感科學國家重點實驗室，北京 100101）

0 引言

在月球及火星等地外天體表面著陸探測工程中，探測器通常搭載多類單目相機，如“嫦娥三號”任務中的降落相機、監(jiān)視相機、地形地貌相機等成像設備，這些相機不具備直接構成雙目視覺系統(tǒng)進行精確測量的條件。如何從單目成像中實現(xiàn)探測信息提取，以支持探測器著陸定位及就位探測是測控系統(tǒng)需要事先考慮并亟需解決的重要問題之一[1-2]。

運用降落過程的序列成像對月面著陸點定位是典型的單目成像應用過程，文獻[3]根據(jù)著陸區(qū)近似平面的條件提出了基于平面單應的著陸成像引導方法。在飛行器制導與導航定位工程中的單目成像的應用非常多[4-6]，其中的難點是實時圖像與基準圖的配準問題[7-8]。在天體著陸后就位探測的探測器定位方面，傳統(tǒng)的無線電測量方法精度較低，而且不能直接提供相對于任務規(guī)劃基準圖的定位[4,9-10]，通常借助于單目成像或者雙目成像的視覺處理方法。

為了解決單目成像分析的難題，拓展其在著陸與探測中應用，本文開展探測過程中單目成像工作模式及圖像處理方法的研究，提出相應工作模式下的圖像測量方法，以解決基于降落相機成像的飛行器定位問題和天體就位探測條件下基于場景約束的測量問題。

1 基于序列成像的圖像融合及定位方法

天體表面軟著陸的避障、滑行、著陸過程中，通常用探測器搭載的降落相機對著陸區(qū)域進行連續(xù)動態(tài)的序列成像，著陸降落軌跡及其降落成像過程如圖1所示。降落過程連續(xù)成像之間圖像具有較大的重疊區(qū)域，隨著飛行高度的降低，實時成像的視野范圍變小，同時成像的空間分辨率將升高。

通過實時成像進行飛行器定位的基礎是實時圖與基準圖的匹配，隨著飛行高度降低和成像視野的變小，在基準圖上與實時成像相匹配的配準區(qū)域將變小，通常情況下將無法實施匹配定位。為解決該問題，本文提出一種基于序列圖像的大視野圖像融合生成及成像位置確定方法。

圖1 飛行器著陸過程成像示意圖Fig. 1 The imaging of target area on the process of spacecraft landing

1.1 大視野圖像融合生成

將降落過程的整個著落區(qū)域作為研究對象，則成像的空間視野滿足近似平面約束。該條件下，若連續(xù)兩次時刻t1、t2成像I1、I2之間的單應矩陣為H12，則兩圖對應點之間滿足以下關系式：

降落過程中相鄰兩次的高高度成像和低高度成像的圖像分別為Ii和Ii-1，則低高度的高分辨率成像相對于低分辨率圖像將缺少圖像范圍Ii′-1，根據(jù)式（1）的近似平面的單應關系，該圖像上的缺失范圍Ii′-1可以從Ii上通過Ii與Ii-1的單應關系轉移得到，從而實現(xiàn)大視野圖像合成，如圖2所示。從降落過程最高位置成像I0到最低位置成像IN，逐次進行上述圖像擴充過程，最終可以得到與IN圖像高分辨率等分辨率的大范圍圖像。高分辨率大圖在著陸點附近具有高分辨率，同時具有整個著陸區(qū)的大視野大范圍，是著陸點定位、著陸區(qū)態(tài)勢分析與任務規(guī)劃的數(shù)據(jù)基礎。

利用上述方法，對“嫦娥三號”的降落相機在100m和30m兩個不同高度上的成像進行單應轉移矩陣解算，基于該單應將100m高度的圖像轉換后與30m高度成像進行融合，如圖3所示，圖中虛線范圍內為30m高度的高分辨率圖像。

圖2 大視野圖像生成示意圖Fig. 2 The generation process of an image with wide view

圖3 降落相機100m高度與30m高度成像數(shù)據(jù)融合Fig. 3 The merged image from images with the imaging height of 100m and 30m

1.2 基于降落相機成像的著陸過程飛行器定位方法

降落相機圖像用于探測器著陸定位的基本原理是，首先獲取著陸過程的降落相機圖像及其對應基準圖的初始粗略位置；第二步將降落相機圖像特征點與著陸區(qū)基準圖特征點進行精確匹配定位，確定特征點的三維位置；最后根據(jù)特征點的空間位置反向推導成像時刻探測器的位置。初始粗略位置通?？梢酝ㄟ^無線電或者慣性導航方法獲得。用于匹配的基準圖是降落區(qū)域的正射影像圖，而降落相機的降落過程實時圖像是傾斜成像，它與正射圖之間存在縮放和剪切等變形，兩圖的匹配采用基于Forstner特征提取與SIFT不變性匹配算法聯(lián)合實現(xiàn)。

（1）特征點提取與匹配

著陸區(qū)域圖像上的典型紋理和地形特征在不同圖像間表現(xiàn)穩(wěn)定，根據(jù)這一特點，本文提出了基于多尺度Forstner算法的特征提取與匹配方法。Forstner特征提取算法通過計算各像素的Robert梯度和灰度協(xié)方差矩陣，利用兩個興趣值來選擇特征點[11]。在實時圖和基準圖的初始位置區(qū)域提取到特征點后，借鑒David G. Lowe的SIFT多尺度特征描述方法，分別對兩圖上的特征點建立不變性特征向量作為后續(xù)匹配的基礎。特征向量的構建包括以下主要步驟來實現(xiàn)：①計算特征點鄰域范圍所有點的梯度，統(tǒng)計獲取區(qū)域的主方向；②以主方向作為參考方向，消除特征分布的旋轉差異；③通過子區(qū)域劃分和梯度統(tǒng)計值建立向量描述。向量構建的具體實現(xiàn)可參考文獻[12]。

特征匹配點通過特征距離比較和最小二乘方法兩步實現(xiàn)。特征距離比較方法的匹配過程是：首先對每一個特征點建立特征向量，第二步是計算待匹配點與每一個候選特征點之間的特征距離，最后對這些特征距離進行比較，選擇距離最小的作為同名匹配點。特征距離dV計算公式為：

式中 V和V′為待匹配兩圖中特征點的不變性向量描述；vi和vi′為其向量的分量。

基于特征向量描述和特征距離比較的匹配方法能夠消除圖像旋轉的影響，可以保證點匹配的魯棒性。在此基礎上利用最小二乘方法實現(xiàn)特征點的精確匹配[13]。

（2）飛行器位置計算

著陸過程中對著陸區(qū)域的成像模型可用圖像點p（u,v）、像點對應的三維空間物點 P（X,Y,Z）以及相機參數(shù)三者之間的光束共線方程來描述，見式（3）。

式中 （u,v）表示實時成像圖像特征點坐標值；fu、fv分別表示相機在橫軸和縱軸方向的等效焦距；（u0,v0）表示圖像主點位置；R、T分別表示在空間坐標系中相機的姿態(tài)參數(shù)和位置參數(shù)；λ為成像的深度因子，表示空間物點在相機成像坐標系的光軸方向的坐標值。由于基準圖是正射影像圖，式中三維空間點的X，Y坐標通過特征點在基準圖像的圖像坐標直接獲得，而Z坐標根據(jù)該點的X，Y坐標從地形數(shù)據(jù)庫查詢獲得。

著陸過程飛行器定位是根據(jù)著陸過程實時圖特征點與基準圖同名點配準關系進行逆向求解，其對應的數(shù)學模型可描述為，已知N個三維控制點及其像點，根據(jù)計算機視覺的PNP問題[14]，這N個點提供了 N個形如式（3）的方程，從而可以構成方程組解算飛行器搭載相機的位置、姿態(tài)，實現(xiàn)位姿參數(shù)計算，見圖4。

圖4 基于飛行器成像的位姿計算原理示意圖Fig. 4 The diagram of pose and position calculating from image

本文對基于控制點及其成像的位置姿態(tài)計算進行了仿真試驗，試驗中的成像參數(shù)為：圖像分辨率為1 024像素×1 024像素，焦距1 500像素，像素尺寸為8μm，成像距離300m，成像空間分辨率約0.2m。仿真相機在設定的位置姿態(tài)上對7個三維空間點進行成像，并對像點添加均方差為0.5像素的定位誤差，根據(jù)像點及其對應的三維空間點構建PNP問題對位置姿態(tài)進行解算作為測量值，100次試驗結果統(tǒng)計值見表1。試驗結果表明了方法的有效性。

表1 基于控制點的位姿計算實例Tab. 1 Example of pose and position calculation from control points and its images

2 場景約束的單目成像測量方法

探測器著陸后，其搭載的單目相機可以對周圍環(huán)境進行監(jiān)視勘察，當探測器位置姿態(tài)已知、以及著陸區(qū)近似平面場景條件下，可以進一步利用單目視覺實現(xiàn)目標的測量定位，完成就位探測視野的定量分析。圖5給出了平面場景條件下單目相機成像模型的示意圖，圖中 OC-XCYCZC為成像的相機坐標系，OW-XWYWZW是測量的參考坐標系，稱為世界坐標系，π是成像場景平面。

考察單目視覺對近平面場景成像測量，該平面場景內單目相機位置姿態(tài)已知，則目標與其成像的投影關系用式（3）表示，將式中內、外參數(shù)項合并后可寫為式（4）

圖5 基于平面的單目相機成像模型Fig. 5 The projection model of planar scene imaging

式中 M 表示三行四列的投影矩陣，可根據(jù)相機的內外參數(shù)計算[15]；XW為成像點在世界坐標系的齊次坐標值矩陣。

則根據(jù)式（4），不難得到關于像點與物點的關系，式（5）表示了相機系的像點轉換到世界坐標系后投影成像的直線方程。

在世界坐標系下平面方程π可表示為：

式中 a、b、c、d為平面方程的系數(shù)。

將平面方程與成像光線方程聯(lián)立，可得到計算目標點位置的關系式：

利用平面方程及已知的像點坐標作為輸入，從上式可以求解得到像點所對應空間點的坐標（X,Y,Z），從而完成平面點位置計算。

基于該方法，對“嫦娥三號”任務的著陸器監(jiān)視相機成像進行了目標位置計算實驗，著陸器裝載的監(jiān)視相機的安裝位置與姿態(tài)為已知參數(shù)，則根據(jù)著陸器的著陸姿態(tài)可以得到監(jiān)視相機距月面高度以及相對月面姿態(tài)。典型配置下的監(jiān)視相機成像示意見圖 6?；谠撆渲脜?shù)，對監(jiān)視相機視野內平面場景進行了目標位置測量與標注，成功應用于實際任務中的月球車駛離方式決策，如圖7所示。

圖6 監(jiān)視相機配置示意圖Fig. 6 The diagram of surveillance camera configuration

圖7 監(jiān)視相機成像視野目標測量結果圖Fig. 7 The results of measurement labelled on the image of surveillance camera

3 基于合作目標的投影深度與方位測量方法

在月面巡視過程中，通過月球巡視車與著陸器互拍，各自獲取了對方的影像，提供了目標狀態(tài)判斷的定性信息。由于巡視車及著陸器的三維結構為已知信息，在遠距離成像條件下，成像模型可以用弱透視投影來近似，該條件下，根據(jù)已知的三維結構及其成像則可以實現(xiàn)目標位置、方位的定量估計。

月球巡視車與著陸器之間距離相對于其自身三維尺度足夠大時，互拍成像過程可以簡化為弱透視投影成像，這時，目標可作為位于垂直于光軸的物理平面上，應用單目視覺的幾何相似法進行測量。在目標本身尺寸相對其到相機光心距離很小的條件下，目標上各點的深度可以用一共同的深度因子近似，這個值一般取物體質心的深度d，此時透視投影模型可近似為

式中 d表示目標點在光軸方向的成像距離；Xc、Yc表示目標點在成像坐標系兩個坐標軸上的坐標值；x、y表示像點在兩個圖像坐標上的值；f是成像焦距。

這種近似可以看作兩個階段投影的合成，如圖 8所示。

第1步，所有目標點按平行于光軸的方向正投影到假想圖像平面I′上；第2步，再按透視投影模型將假想平面投影到圖像I上，這一步實際是全局比例縮放，因此弱透視投影也稱為比例正射投影。弱透視投影條件下，成像目標點的位置變化與其成像點的變化可由式（9）表示，則成像深度（目標距離）估計可由式（10）給出：

圖8 弱透視投影模型Fig. 8 The model of weak perspective projection

根據(jù)成像關系，在相機系下目標的橫軸方向的偏航角度φ和縱軸方向的俯仰角度θ由下式給出：

根據(jù)弱透視關系，圖9給出了月面巡視車對著陸器成像及其基于特征選點的測量示意圖。圖中O點是成像主點，S1、S2兩點分別是著陸器主體邊緣間距最大點，C點是著陸器質心，則利用S1、S2兩點計算得到著陸器相對巡視車的距離，利用C點計算著陸器相對巡視車的方位信息。

圖9 基于著陸器結構的目標距離測量示意Fig. 9 The diagram of distance measurement for landing spacecraft based on its structure and image

4 結束語

以月面著陸與就位探測過程中幾類相機成像的應用背景，根據(jù)工程中特定的單目成像條件及應用環(huán)境，提出降落相機序列成像大場景高分辨率圖像生成方法，在此基礎上實現(xiàn)了基于圖像特征點匹配與解算的著陸過程飛行器定位方法；利用成像位姿信息與平面場景約束關系，實現(xiàn)了應用單目成像的目標測量；利用遠距離成像的條件，基于目標結構信息實現(xiàn)了目標距離與方位估計。對論文所提出方法結合“嫦娥三號”任務著陸降落相機圖像與就位探測中監(jiān)視相機成像進行了驗證，結果表明該方法在月面探測中提供了具有應用價值的定量測量結果，有力支持了飛行探測任務實施。

（

）

[1] 張洪華, 梁俊, 黃翔宇, 等. 嫦娥三號自主避障軟著陸控制技術[J]. 中國科學: 技術科學, 2014, 44（6）: 559-568. ZHANG Honghua, LIANG Jun, HUANG Xiangyu, et al. Autonomous Hazard Avoidance Control for Chang'e-3 Soft Landing[J]. Science China: Technology Science, 2014. 44（6）: 559-568. （in Chinese）

[2] 田林, 戚發(fā)軔, 果琳麗, 等. 載人月面著陸地形障礙探測與規(guī)避方案研究[J]. 航天返回與遙感, 2014, 35（6）: 11-19. TIAN Lin, QI Faren, GUO Linli, et al. Study of Terrain Hazard Detection and Avoidance Scheme for Human Lunar Landing[J]. Spacecraft Recovery & Remote Sensing, 2014, 35（6）: 11-19. （in Chinese）

[3] 李立春, 周建亮, 孫軍, 等. 應用單應誘導視差的探測器月面著陸平面選擇方法[C]. 第十屆深空探測全國學術會議, 太原, 2013: 284-289. LI Lichun, ZHOU Jianliang, SUN Jun, et al. A Lunar Surface Landing Position Selection Method Based on the Parallax Induced by Plane[C]. The 10ThConference of Deep Space Exploration, Taiyuan, 2013: 284-289. （in Chinese）

[4] 王大軼, 黃翔宇. 深空探測自主導航與控制技術綜述[J]. 空間控制技術與應用, 2009, 35（3）: 6-13. WANG Dayi, HUANG Xiangyu. Survey of Autonomous Navigation and Control for Deep-space Exploration[J]. Aerospace Control and Application, 2009, 35（3）: 6-13. （in Chinese）

[5] JOHNSON A, HUERTAS A, WERNER R, et al. Analysis of On-Board Hazard Detection and Avoidance for Safe Lunar Landing[C]. 2008 IEEE Aerospace Conference, Big Sky, MO, Mar. 2008.

[6] 王海濤, 馬建華. 基于降落圖像的安全著陸點選擇技術研究[J]. 航天返回與遙感, 2012, 33（4）: 13-18. WANG Haitao, MA Jianhua. Safe Landing Site Selection Based on Landing Image[J]. Spacecraft Recovery & Remote Sensing, 2012, 33（4）: 13-18. （in Chinese）

[7] 丁萌, 曹云峰, 吳慶憲. 月球探測器著陸中基于被動圖像的著陸場搜索及斜坡估計[J]. 宇航學報, 2009, 30（6）: 2258-2264. DING Meng, CAO Yunfeng, WU Qingxian. Passive Image-based Safe Landing Site Searching and Slope Estimation in Probe Landing[J]. Journal of Astronautics, 2009, 30（6）: 2258-2264. （in Chinese）

[8] ALAN L S, ADREW E J. Terrain Hazard Detection & Avoidance during the Descent & Landing Phase of the Altair Mission[R]. NASA Johnson Space Center, Jet Propulsion Laboratory, 2010.

[9] JOHNSON A E, MONTGOMERY J F, MATTHIES L H. Vision Guided Landing of an Autonomous Helicopter in Hazardous Terrain[C], IEEE International Conference on Robotics & Automation, New York, 2005: 218-223.

[10] PRASUN N D. Entry, Descent, and Landing Performance of the Mars Phoenix Lander[C]. AIAA/AAS Astrodynamics Specialist Conference and Exhibit, Hawaii, 2008: 18-21.

[11] FORSTNER W. A Feature Based Correspondence algorithm For Image Matching[C]. Proceedings of the Intern.Arch. of Photogrammetry and Remote Sensing，Rovaniemi, 1986, 26: 150-166.

[12] MORTENSEN E N, DENG Hongli, SHAPIRO L. A Sift Descriptor with Global Context[C]. Proceedings of International Conference on Computer Vision and Pattern Recognition, San Diego, USA, 2005, 184-190.

[13] LI Lichun, ZHANG Heng, FU Dan, et al. Image Matching Based on Epipolar and Local Homography Constraints[C]. Proceedings of SPIE, Beijing, Vol6833, 68330Z （2007）.

[14] LEPETIT V, MORENO-NOGUER F, FUA P. EPnP: An Accurate O（n） Solution to the PnP Problem[J]. Int’l Journal of Computer Vision, 2009, 81（2）: 155-166.

[15] RICHARD H, ANDREW Z. Multiple View Geometry in computer vision[M]. Cambridge Univeristy Press, 2000.