魏若巖,阮曉鋼,龐濤,Ouattara SIE,武旋,肖堯

(北京工業(yè)大學(xué),北京100124)

小天體軟著陸中的地面特征區(qū)域提取與跟蹤算法

魏若巖,阮曉鋼,龐濤,Ouattara SIE,武旋,肖堯

(北京工業(yè)大學(xué),北京100124)

考慮到自主導(dǎo)航過(guò)程中的特征區(qū)域檢測(cè)與跟蹤問(wèn)題,提出了一種新的跟蹤算法。該算法是基于DIMES框架。首先,對(duì)在軟著陸過(guò)程中拍攝的行星表面圖像進(jìn)行亮度均衡化,對(duì)處理后的圖像進(jìn)行二值化;然后,對(duì)二值化特征區(qū)域進(jìn)行模板匹配找出高度相關(guān)位置點(diǎn);最后,根據(jù)特征區(qū)域之間的幾何關(guān)系確定特征區(qū)域的搜索范圍,再分別提取這些相關(guān)點(diǎn)所代表區(qū)域的特征向量,并且與模板的特征向量進(jìn)行相似性分析從而找到相似性最大的位置點(diǎn)。通過(guò)兩組小行星表面圖片進(jìn)行分析驗(yàn)證得到了較好的效果。

軟著陸;特征跟蹤;圖像相關(guān);特征向量

0 引 言

光學(xué)成像自主導(dǎo)航中的特征區(qū)域提取與跟蹤是獲取導(dǎo)航信息的關(guān)鍵一步[1-3]。關(guān)于特征區(qū)域的提取主要是以行星表面普遍存在的彈坑作為選取對(duì)象,彈坑的橢圓形邊緣,以及亮暗兩部分的特點(diǎn)在圖像中容易識(shí)別與跟蹤。文獻(xiàn)[4]對(duì)圖像中的彈坑進(jìn)行了邊緣檢測(cè),彈坑的亮區(qū)相對(duì)暗區(qū)角度檢測(cè),及橢圓形邊緣測(cè)定等方法實(shí)現(xiàn)了特征區(qū)域的提取與跟蹤;Ding Meng等(2008)提出了一種基于KTL (Kanade-Lucas-Tomasi)的彈坑檢測(cè)方法,使得彈坑檢測(cè)成功率達(dá)到了90%[5]。但是針對(duì)一些星體表面彈坑分布不均所造成的局部區(qū)域無(wú)彈坑、彈坑過(guò)小或者當(dāng)探測(cè)器距離星體表面很近時(shí)就需要其他特征區(qū)域作為參考。吳偉仁等人提出了以星體表面形成的陰影為特征區(qū)域的策略[6];噴氣發(fā)動(dòng)機(jī)實(shí)驗(yàn)室(Jet Propulsion Laboratory,JPL)的Johnson利用圖像中紋理的變化特點(diǎn)對(duì)特征區(qū)域進(jìn)行選取與跟蹤[7]。日本學(xué)者M(jìn)isu等(1999)提出了一種通過(guò)比較圖像的低頻與高頻之間的變化程度來(lái)選取變化幅度較大的區(qū)域的中心點(diǎn)作為特征區(qū)域[8]。在文獻(xiàn)[9]中實(shí)現(xiàn)了利用Shi-Tomasi-Kanade算法對(duì)特征區(qū)域的提取。目前,特征區(qū)域的跟蹤算法基本上采用的是模板匹配。但是當(dāng)有噪聲存在或者被跟蹤特征與前一張拍攝圖像的特征發(fā)生角度或大小變化時(shí),一些誤差或者差錯(cuò)難以避免。

本文基于DIMES[10](descent image motion estimation subsystem)框架提出了一種基于圖像中強(qiáng)光照與陰影區(qū)域作為導(dǎo)航特征區(qū)域提取與跟蹤的算法。DIMES是利用當(dāng)前狀態(tài)測(cè)量?jī)x提供的狀態(tài)變化參數(shù)(橫滾角、航向角、俯仰角、高度)對(duì)圖像進(jìn)行矯正,然后利用后一幀圖像與前一幀圖像進(jìn)行全匹配從而得到后一幀圖像在前一幀圖像中的位置。但是該方法的缺點(diǎn)在于如果狀態(tài)測(cè)量?jī)x存在較大的誤差會(huì)使得矯正不準(zhǔn)確,圖像間的匹配也將受到影響。在本文的算法中,首先利用狀態(tài)測(cè)量?jī)x提供的狀態(tài)參數(shù)對(duì)不同時(shí)刻拍攝的圖像進(jìn)行狀態(tài)矯正;然后根據(jù)圖像的特點(diǎn)進(jìn)行亮度調(diào)整,設(shè)定閾值分別提取出強(qiáng)光照與陰影區(qū)域,并且進(jìn)行二值化處理,提取出二值圖像中的所有亮暗連通區(qū)域,從中挑出大小合適的區(qū)域作為參考特征區(qū)域,并且對(duì)二值化特征區(qū)域進(jìn)行模板匹配找出高度相關(guān)位置點(diǎn);最后,通過(guò)特征向量分析法找到最終的位置點(diǎn)作為要跟蹤的特征區(qū)域。通過(guò)兩組實(shí)驗(yàn)進(jìn)行了實(shí)驗(yàn)分析,實(shí)驗(yàn)表明該算法不但精確率高,運(yùn)算效率高,而且對(duì)圖片噪聲以及特征區(qū)域的大小變化具有較強(qiáng)的魯棒性。

1 圖像的二值化

本文首先對(duì)圖像進(jìn)行亮度均衡化。然后設(shè)定閾值的方法二值化圖像并且從中提取明區(qū)與暗區(qū)。

1.1 亮度均衡化

圖1展示了兩張具有代表性的月球表面圖片,在月球上的方位坐標(biāo)分別為27°3′59.16″N 149°29′28.70″E和8°57′52.39″S 15°28′27.35″E。

圖1 兩幅星體表面圖像Fig.1 Two planetary images

為了使得處理后的圖像各個(gè)像素點(diǎn)間的對(duì)比程度不變以保證不影響原圖像的細(xì)節(jié),處理方法有以下幾個(gè)步驟:

1)統(tǒng)計(jì)該圖像的像素值分布情況,計(jì)算每個(gè)像素級(jí)的像素點(diǎn)的個(gè)數(shù)。

2)考慮到相機(jī)拍攝過(guò)程中可能存在的椒鹽噪聲,并且該噪聲的像素值主要分布在0～2和153～155之間,所以在原圖像中像素值位于0～2,和 153～155區(qū)間的像素點(diǎn)的像素值不發(fā)生變動(dòng)。

3)在灰度直方圖中,從像素值3向高像素值逐漸加和統(tǒng)計(jì)其像素個(gè)數(shù),并且計(jì)算與整個(gè)圖像像素點(diǎn)個(gè)數(shù)的比值,當(dāng)比值達(dá)到5%停止計(jì)算,記錄當(dāng)前像素值a,以同樣的方法從像素值152向低像素值計(jì)算比值,當(dāng)比值達(dá)到5%時(shí)停止,記錄當(dāng)前的像素值b,這樣便得到一個(gè)像素值區(qū)間(a,b)。

4)將像素值在區(qū)間(a,b)內(nèi)的像素值擴(kuò)展到整個(gè)區(qū)間(0,255),像素值小于或等于a的像素點(diǎn)被賦予像素值為0,而像素值大于或等于b的像素點(diǎn)被賦予像素值255。

圖2是經(jīng)過(guò)按照以上規(guī)則進(jìn)行直方圖均衡化后的效果圖,從中發(fā)現(xiàn)圖中的很多細(xì)節(jié)顯示的更加明顯并且亮暗對(duì)比度達(dá)到了比較理想的水平,這為后面所敘述的強(qiáng)光照與陰影區(qū)域提取方法提供了有力的支持。

圖2 經(jīng)過(guò)亮度調(diào)整后的圖像Fig.2 Images after intensity adjustment

1.2 二值化

根據(jù)大量實(shí)驗(yàn)得出最佳的提取明區(qū)與暗區(qū)的閾值為180和25,即當(dāng)像素值不小于180時(shí)則被認(rèn)為是明區(qū),當(dāng)像素值不大于25時(shí)則被認(rèn)為是暗區(qū),二值化方法如式(1)所示。

圖3展示了利用以上二值化規(guī)則得到的結(jié)果。

圖3 二值化后的圖像Fig.3 The images after binaryzation

2 特征區(qū)域提取

本文參考文獻(xiàn)[11]介紹的基于形態(tài)學(xué)的連通分量提取方法。

令Y為圖像A中的一個(gè)連通圖,并且p為連通圖Y的一個(gè)已知的起始搜索點(diǎn),用下面的迭代公式(2)可以找到連通圖Y的所有點(diǎn),B為一個(gè)結(jié)構(gòu)元素(8連通或4連通)。

當(dāng)Xk=Xk-1時(shí)停止對(duì)該連通分量的搜索。

圖4展示了從圖1(b)中提取的最大連通分量。

根據(jù)文獻(xiàn)[3],參考特征區(qū)域應(yīng)該具有以下特征:

圖4 連通分量Fig.4 Connected component

1)特征區(qū)域和周?chē)鷧^(qū)域有明顯的不同。

2)當(dāng)視角變化時(shí),特征區(qū)域沒(méi)有太大變化。

3)特征區(qū)域不能太大或太小。

4)特征區(qū)域最好位于當(dāng)前目標(biāo)區(qū)域附近。

3 特征區(qū)域的跟蹤

根據(jù)文獻(xiàn)[10],兩個(gè)函數(shù)相關(guān)性定義如下:

令P(x,y)為大小為M×N的圖像,S(x,y)為K×L的模板函數(shù),K≤M,L≤N,首先將S擴(kuò)充為大小M×N的函數(shù)Sextend。

則它們之間的相關(guān)函數(shù)表示為

其中:P*為P的共軛復(fù)數(shù),若P為一副圖像,則P*為實(shí)函數(shù)圖像,即P*=P。

下面介紹一種利用前一次觀測(cè)圖像上的參考特征區(qū)域與目標(biāo)特征區(qū)域之間的幾何關(guān)系預(yù)測(cè)當(dāng)前目標(biāo)特征區(qū)域的搜索范圍的方法。

圖5 前后兩幅圖像特征區(qū)域間的幾何關(guān)系Fig.5 The geometrical relationship among the characteristic areas between the connective images

圖5(a)是前一次的觀測(cè)圖像的直角坐標(biāo)系, FP1和FP2是圖中的參考特征區(qū)域,T為目標(biāo)區(qū)域,由于圖像的縱坐標(biāo)方向與直角坐標(biāo)系的y軸方向相反,圖中的y坐標(biāo)與在圖像相對(duì)應(yīng)的縱軸方向yf關(guān)系式為式(5),其中M為圖像在縱軸方向的尺寸。令x軸方向?yàn)榱憬嵌?并且逆時(shí)針?lè)较驗(yàn)榻嵌鹊恼较?θ,β,α分別為FP1到FP2、FP1到T、FP2到T的直線與x軸方向的夾角,θ可以利用公式(6)得出,同理可得出β,α的角度如多項(xiàng)式(7)所示。圖5(b)是當(dāng)前觀測(cè)圖像,參考特征區(qū)域FP1和FP2可以根據(jù)3.2和3.3節(jié)介紹的內(nèi)容進(jìn)行跟蹤,并且計(jì)算出θ′,相應(yīng)得出角度變化量δ,由于探測(cè)器在實(shí)際觀測(cè)過(guò)程中拍攝間隔短,所以可以認(rèn)為圖5(b)中的β和α的變化量也為δ如式(8)所示,于是可以得到分別從經(jīng)過(guò)點(diǎn)FP1和FP2并且直線的斜率分別為tanβ′=和tanα′的直線P1T′和P2T′如式(9)和式(10)所示,兩條直線的焦點(diǎn)為T(mén)′,T′為原目標(biāo)特征區(qū)域T的預(yù)測(cè)位置,T′在直角坐標(biāo)系中的位置可以根據(jù)式(11)確定,為了防止圖像之間發(fā)生的扭曲變化,另T′為長(zhǎng)寬為K和H矩形區(qū)域的中心點(diǎn),K和H可以根據(jù)原目標(biāo)區(qū)域的大小來(lái)確定,在該區(qū)域進(jìn)行特征區(qū)域的匹配與識(shí)別即可找到目標(biāo)特征區(qū)域的所在位置。

圖5(a)角度

圖5(b)角度

4 仿真實(shí)驗(yàn)

由于圖像難免會(huì)產(chǎn)生噪聲,本文采用3×3的中值濾波器對(duì)圖像進(jìn)行處理。下面進(jìn)行兩組實(shí)驗(yàn):

第一組的實(shí)驗(yàn)對(duì)象是圖1中的(b)圖,在圖中挑選7個(gè)連通區(qū)域(A,B,C,D,E,F,G)作為被跟蹤的參考特征區(qū)域,如圖6所示。

圖6 圖1(b)特征區(qū)域以及目標(biāo)特征區(qū)域提取Fig.6 The extraction of characteristic areas and object area in Fig.1(b)

第二組如圖7所示,該圖中沒(méi)有明顯的彈坑,并且整體像素值偏大,挑選3個(gè)連通區(qū)域(A 1,B 1, C1)作為被跟蹤的參考特征區(qū)域。

兩組圖像長(zhǎng)寬擴(kuò)大5%,并且順時(shí)針和逆時(shí)針旋轉(zhuǎn)5°角,施加高斯噪聲和密度為10%的椒鹽噪聲如圖8、圖9所示,圖8對(duì)應(yīng)第一組,圖9對(duì)應(yīng)第二組。

表1與表2分別展示了兩組實(shí)驗(yàn)的跟蹤結(jié)果。在表1中,A到E 5個(gè)連通區(qū)域的跟蹤位置與它們的實(shí)際位置幾乎相同,只有幾個(gè)像素的差別,符合自主導(dǎo)航的跟蹤要求。在表2中3個(gè)連通區(qū)域均得到了很好的跟蹤,所以本算法基于陰影與強(qiáng)光照區(qū)域作為特征區(qū)域所在區(qū)域的選取是可行的。

圖7 火星表面某區(qū)域的特征區(qū)域提取Fig.7 The extraction of characteristic areas in some area of Mars 1

圖8 第一組圖像(旋轉(zhuǎn)+施加噪聲)Fig.8 The first group of images(rotation with noise)

圖9 第二組圖像(旋轉(zhuǎn)+施加噪聲)Fig.9 The second group of images(rotation with noise)

表1 第一組圖像的特征區(qū)域跟蹤結(jié)果Table 1 The tracking result in the first group

關(guān)于算法的實(shí)時(shí)性說(shuō)明:實(shí)驗(yàn)平臺(tái):雙核2.2 GHZ處理器,2 G內(nèi)存,Matlab環(huán)境,在實(shí)驗(yàn)中被追蹤的所有特征區(qū)域的跟蹤均在1.5 s內(nèi)。

表2 第二組圖像的特征區(qū)域跟蹤結(jié)果Table 2 The tracking result in the second group

5 結(jié)論

本文提出了一種光學(xué)自主導(dǎo)航過(guò)程中的圖像特征區(qū)域提取與跟蹤算法,該算法通過(guò)跟蹤圖像中陰影與強(qiáng)光照所形成的連通區(qū)域而完成,并且通過(guò)實(shí)驗(yàn)可以得出算法具有以下4個(gè)特點(diǎn):

1)特征區(qū)域是基于圖像中的強(qiáng)光照或陰影區(qū),比基于彈坑的跟蹤更具有普遍性。

2)算法通過(guò)目標(biāo)區(qū)域與參考特征區(qū)域之間的幾何位置關(guān)系對(duì)目標(biāo)區(qū)域的跟蹤。

3)在二值化圖形中選擇的連通區(qū)域大小必須處在一定的范圍內(nèi),分析得出當(dāng)連通區(qū)域所占原圖分比在0.2%與2%之間時(shí)都能得到的很好的跟蹤,百分比太小會(huì)造成跟蹤失敗。

4)當(dāng)圖像放大一定比例,旋轉(zhuǎn)一定角度,與施加一定的噪聲時(shí),該算法具有較強(qiáng)的魯棒性。

算法還存在一些不足需要今后進(jìn)一步的研究,歸納為以下兩點(diǎn):

1)算法中的二值化閾值與模板匹配中的像素值閾都是確定值,靈活性較差,今后需要研究出一種閾值的自主調(diào)整方法以應(yīng)對(duì)不同的圖像狀況。

2)為了提高方法的實(shí)時(shí)性,算法還有待于優(yōu)化以便于滿足探測(cè)器在下降過(guò)程中跟蹤要求。

[1]Yu M,Cui H,Tian Y.A new approach based on crater detection and matching for visual navigation in Planetary Landing[J].Advances in Space Research,2014,53(12): 1810-1821.

[2]Huang X,Cui H,Cui P.An autonomous optical navigation and guidance for soft landing on asteroids[J].Acta Astronautica,2004,54(10):763-771.

[3]Li Sh,Cui P.Landmark tracking based autonomous navigation schemes for landing spacecraft on asteroids[J]. Acta Astronautica,2008,62(6):391-403.

[4]Honda R,Konishi O,Azuma R,et al.Data mining system for planetary images-crater detection and categorization[C]∥Proceedings of the International Workshop on Machine Learning of Spatial Knowledge in conjunction with ICML. Stanford:Stanford CA,2000:103-108.

[5]Ding M,Cao Y,Wu Q.Autonomous craters detection from planetary image[C]∥Innovative Computing Information and Control,2008.ICICIC'08.3rd International Conference.[S. l.]:IEEE,2008:443-443.

[6]吳偉仁,王大軼.月球軟著陸避障段定點(diǎn)著陸導(dǎo)航方法研究,中國(guó)科學(xué):信息科學(xué),2011,41(9):1054-1063.[Wu W R, Wang D Y.Research of the pinpoint landing navigation method in the hazard avoidance phase of lunar landing[J]. Science China:Information Sciences,2011,41(9):1054 -1063.]

[7]Johnson E A,Mathies H L.Precise image-based motion estimation for autonomous small body exploration[C]∥Artificial Intelligence,Robotics and Automation in Space. 1999,440:627.

[8]Misu T,Hashimoto T,Ninomiya K.Optical guidance for autonomous landing of spacecraft[J].Aerospace and Electronic Systems,IEEE Transactions on,1999,35(2): 459 473.

[9]李爽,崔祜濤,崔平遠(yuǎn).著陸小天體的自主GNC技術(shù)[J].宇航學(xué)報(bào),2006,27(1):21-26.[Li S,Cui H T,Cui P Y. Autonomous GNC technology for landing on small bodies[J]. Journal of Astronautics,2006,27(1):21-26.]

[10]Johnson A,Willson R,Cheng Y,et al.Design through operation of an image-based velocity estimation system for mars landing[J].International Journal of Computer Vision, 2006,74(3):319-341.

[11]Rafael C Gonzalez,Richard E Woods.Digital image

processing[M].[S.l.]:Pearson Education,2002.

通信地址:北京市朝陽(yáng)區(qū)平樂(lè)園100號(hào)北京工業(yè)大學(xué)電子信息與控制工程學(xué)院1304信箱(100124)。

E-mail:weiruoyan1984@163.com。

電話:18810371412

阮曉鋼(1958—),男,博士,博士生導(dǎo)師,主要研究方向?yàn)樽詣?dòng)控制,機(jī)器學(xué)習(xí),人工智能等。

龐濤(1976—),女,博士研究生,主要研究方向?yàn)槟Ｊ阶R(shí)別與智能系統(tǒng)等。

[責(zé)任編輯:宋宏]

Characteristic Areas Extraction and Tracking Algonthm in the Process of Asteroid Landing

WEI Ruoyan,RUAN Xiaogang,PANG Tao,Ouattara SIE,WU Xuan,XIAO Yao
(Beijing University of Technology,Beijing 100124,China)

A new algorithm is proposed for the landmark tracking in the process of asteroid soft landing that based on the frame of DIMES.Firstly,a method of luminance equalization is used for highlight the shadow areas and light areas,and convert the image into the binary one to find the connection areas.Secondly,find the high correlation location of the binary areas by template matching.Finally,confirm the characteristic areas by the geometrical relationship of different characteristic areas,and extract the characteristic vectors of the high correlation areas,and analyze the degree of similar between areas and the land mark to find the most similarity location.Two groups of the terrain picture of asteroid are examined in the paper and the result is well.

soft landing;characteristic tracking;image related;characteristic rector

TP391

:A

:2095-7777(2014)04-0308-07

10.15982/j.issn.2095-7777.2014.04.011

魏若巖(1984—),男,博士研究生,主要研究方向?yàn)槟Ｊ阶R(shí)別與智能系統(tǒng)。

2014-02-30

2014-11-30

國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃(973計(jì)劃)資助項(xiàng)目(2012CB720000);國(guó)家自然科學(xué)基金資助項(xiàng)目(61075110);北京市自然科學(xué)基金資助項(xiàng)目,北京市教育委員會(huì)科技計(jì)劃重點(diǎn)項(xiàng)目(KZ201210005001);高等學(xué)校博士學(xué)科點(diǎn)專(zhuān)項(xiàng)科研基金資助課題(20101103110007);國(guó)家自然科學(xué)基金資助項(xiàng)目(61375086)