王揚洋，林彬，楊夏，張小虎

中山大學 航空航天學院，廣州 510275

1 引言

航天技術(shù)的日益發(fā)展使衛(wèi)星信息成為一種重要的情報資源。偵察衛(wèi)星接近目標衛(wèi)星并進行近距離成像觀測，從圖像獲取其用途、狀態(tài)等信息，已經(jīng)成為現(xiàn)代太空中一種獲取衛(wèi)星情報的常見手段。在空間軌道上運行時，衛(wèi)星時常會遇上其他衛(wèi)星的接近[1]，這些衛(wèi)星或正常變軌，或帶有偵察衛(wèi)星信息的任務(wù)。如果能對接近衛(wèi)星的行為進行快速有效的辨識，根據(jù)其抵近目的及時采取相應(yīng)的防護手段，就能夠占據(jù)主動權(quán)，實現(xiàn)對衛(wèi)星信息的保護。

行為辨識[2]是指依靠已知信息數(shù)據(jù)對目標的行為進行分析，探究目標行為的特征，建立合理的行為描述模型，從而實時、智能地實現(xiàn)對目標新行為的識別與判斷，更好地為下一步的決策提供有效信息。

當前，大多數(shù)對于空間目標的視覺研究集中于姿態(tài)測量[3]、導航跟蹤[4]這兩個方面，如張慶君等人提出了一種基于雙目視覺的航天器間的相對位置及姿態(tài)解算方法，并通過對航天器的運動建立參數(shù)模型，分析其解算精度的影響因素[5]；王曉亮針對空間非合作目標影像測量，提出了一種改進的卡爾曼濾波來消除交會對接過程中的噪聲，提高了對接段中非合作目標的運動信息的估計精度[6]；李潔、彭琪等人針對非合作目標的關(guān)鍵結(jié)構(gòu)尺寸，提出了一種基于點云輪廓線的提取算法，根據(jù)目標的點云外觀輪廓線快速估計非合作目標的尺寸、功能[7]；楊博建立了衛(wèi)星編隊模型下的聯(lián)合觀測方程，并基于最優(yōu)視差角設(shè)計一種高精度的編隊衛(wèi)星導航方法[8]；秦同等根據(jù)相機和雷達的測量信息構(gòu)建了相對導航坐標系，在該坐標系下求解可靠視覺特征點矢量，建立相對導航系統(tǒng)，輔助著陸器在自然路標匱乏時精確軟著陸[9]；唐青原針對火星接近段導航通信受限的問題，結(jié)合火星中心視線矢量方向和附近的星歷信息估計探測器的軌道半徑，提出了一種火星探測接近段的天文自主導航算法[10]。這些工作為非合作空間目標的視覺研究帶來很大幫助，但多針對目標的姿態(tài)解算、定位問題，目前針對于衛(wèi)星行為辨識的研究極少，一般采用人工判定的方法，根據(jù)以往經(jīng)驗進行辨識。這樣的方式存在如下問題：1)工程實際中需要在軌衛(wèi)星具備全天候?qū)δ繕诵袨橛锌焖贈Q策的能力，而人工的方式只能夠進行事后處理，無法滿足實時性的需求；2)缺乏統(tǒng)一的具有理論性的辨識準則，在過程中加入了人為誤差，因此結(jié)果缺乏足夠的說服力；3)辨識結(jié)果往往只有是否存在偵察行為，但并不能很好地量化表現(xiàn)中間過程。

為了解決這些問題，本文提出一種基于視覺特性的臨近目標行為識別算法，利用單相機對臨近目標進行連續(xù)成像，根據(jù)目標衛(wèi)星在連續(xù)幀的姿態(tài)變化，對其運動軌跡和視線指向進行分析，以此辨識目標衛(wèi)星是否存在偵察行為。試驗中分別對衛(wèi)星偵察和非偵察兩種狀態(tài)進行仿真模擬，驗證該算法的有效性。

2 基于視覺特性的臨近目標行為辨識

一般地，由于單相機拍攝的圖像缺乏足夠的約束條件，難以直接用于解算目標的姿態(tài)[11]。只有結(jié)合目標自身模型、深度約束[12-14]等條件時，才能得到較為準確的目標姿態(tài)。這種增加約束的方式通常適用于預(yù)知信息豐富的合作目標，當對象為非合作目標時，往往無法創(chuàng)建有效的約束。

針對單相機拍攝存在的缺陷，本文根據(jù)目標偵察時的視線朝向特性和相機中心透視投影模型對目標的姿態(tài)特征進行簡化，給出一種基于視覺特性的臨近衛(wèi)星偵察行為辨識方法。該方法針對目標在圖像中的視覺特性，將其特征轉(zhuǎn)化為一個或多個可量化的參數(shù)。通過觀察特征參數(shù)在一段時間內(nèi)的變化，結(jié)合偵察行為的特性，對目標的行為進行辨識。其具體實現(xiàn)如下：

1)圖像預(yù)處理。太空中自然光源有太陽、地球漫反射光、月亮、其他天體等，這些光源或主動發(fā)光，或反射光提供有效光源，其中主要光源來自于太陽直射光。由于光學相機成像的角度不一，成像時并不能總是獲得太陽直射，光照不均勻會引起目標在圖像中的亮度不均勻和圖像的整體灰度不一，對此，需要對圖像進行預(yù)處理，對圖像進行整體灰度歸一化，減少因灰度不同帶來的干擾，有利于后續(xù)圖像的特征提取和圖像分割。

2)遴選目標特征參數(shù)。目標的特征包括目標姿態(tài)特征以及目標運動特征，通常由特征點、輪廓等信息構(gòu)成。圖像特征點一般指在圖像中具有灰度特性或結(jié)構(gòu)特性的點，反映目標在圖像中的局部特征；而輪廓是目標的邊緣信息，包含目標尺寸、形狀等信息。同時，兩者也能夠相互關(guān)聯(lián)，聯(lián)合構(gòu)建特征或者彼此縮小圖中搜索特征的范圍。準確地提取特征對于目標識別、目標定位以及后續(xù)匹配跟蹤將起到十分重要的作用。常用的特征點提取算法包括Harris算子、Susan算子、SIFT特征描述子算法等[15]。其中，Harris算子、Susan算子一般用于圖像的角點、邊緣點等特征檢測；SIFT算法則是通過其獨特的描述子對特征進行定義，對特征點的檢測具有尺度、角度不變性。同樣的，輪廓提取的算法多種多樣，如Canny算子、拉普拉斯算子、區(qū)域閾值分割、區(qū)域生長法等[16-17]。對于同一目標，不同的特征選取原則將會帶來不同的結(jié)果，因此需要根據(jù)目標結(jié)構(gòu)特點以及運動特性對目標特征參數(shù)進行針對性的選取。

3)建立特征時間序列。單幀圖像的特征并不能很好地反映目標的變化，因此需要利用匹配、單應(yīng)變化等方式對所選的特征進行跟蹤，結(jié)合時間信息得到特征的時間序列，以此來反映目標在這段時間內(nèi)運動方向以及姿態(tài)的變化。

4)辨識目標行為。針對目標衛(wèi)星偵察行為在成像時的特征進行相應(yīng)的分析，結(jié)合構(gòu)建特征時間序列確定其在這段時間內(nèi)的行為變化。本文對偵察行為的辨識依據(jù)為由于目標衛(wèi)星視線朝向變化所引起的在相機的中心透視投影模型中的特殊變化。對于大部分相機鏡頭來說，圖像投影模型符合中心透視投影模型。當目標衛(wèi)星上的偵察相機進行拍攝時，衛(wèi)星視線會時刻指向我方衛(wèi)星所在方向，使得姿態(tài)發(fā)生變化；而目標不存在偵察行為時，其姿態(tài)基本不發(fā)生變化，如圖1所示。

圖1 不同行為下衛(wèi)星姿態(tài)的變化Fig.1 The changes of satellite attitude with different behaviors

3 特征參數(shù)構(gòu)建方法

為了實現(xiàn)對目標行為從定性到定量的分析，綜合特征點、衛(wèi)星主體外輪廓以及目標的運動軌跡等信息，構(gòu)建了行為參數(shù)L作為特征參數(shù)，其定義為特征點沿運動方向所在直線到衛(wèi)星主體外輪廓兩端的距離差。當只存在一個特征點時，行為參數(shù)可以被表示為：

L=l1-l2

式中：l1為特征點沿圖像中目標運動軌跡與外輪廓的左交點的距離；l2為特征點沿圖像中目標運動軌跡與外輪廓的右交點的距離，如圖2所示。

圖2 行為參數(shù)的設(shè)定Fig.2 The setting of behavior parameters

目標的運動軌跡由這一幀與上一幀衛(wèi)星特征點在圖像中的運動方向決定，因此，軌跡的準確度取決于特征點跟蹤的精度。為了避免由于跟蹤算法失準造成的誤差，通常選擇提取并跟蹤多個特征點，利用式(1)計算相應(yīng)的運動方向。

(1)

(2)

式中：kt為t時刻計算出的運動方向；m為非異常的特征點個數(shù)。

最終行為參數(shù)L定義為：

3.1 基于灰度歸一化的圖像預(yù)處理

太空中相機的成像需要合適的光照條件，以近地航天器為例，太陽光作為主要的光照來源，對成像有著最大的影響,航天器姿態(tài)的不同、航天器與航天器之間的相對位置以及太陽與航天器之間的相對位置都會使成像時太陽的光照角度發(fā)生變化。

假設(shè)目標衛(wèi)星為單一平面，目標衛(wèi)星所在平面作為反射面，當衛(wèi)星上的點入射光線來源于太陽光照，認為太陽光照為該點的主要成像光源。實際場景中，目標為三維構(gòu)體，并非單一平面，表面也存在一定的漫反射，根據(jù)這一情況將衛(wèi)星成像分為三種：主要太陽光照區(qū)、部分太陽光照區(qū)、非太陽光照區(qū)。

在主要太陽光照區(qū)，可認為目標成像全部的光源為太陽光照，目標整體成像亮度最大；部分太陽光照區(qū)中，目標被分為兩部分，一部分光源來自于太陽光照，一部分來自于其他光源；非太陽光照區(qū)中目標成像光源主要來自其他光照，目標整體成像暗弱。

由于圖像受光照影響，目標成像不均勻，且整體亮度不一致，對后續(xù)的特征提取和識別存在一定的影響，需對圖像的整體進行灰度均值方差變換歸一化，通過將不同光照條件下采集到的圖像轉(zhuǎn)換到同一灰度均值和方差的標準圖像，其轉(zhuǎn)換公式如下：

式中：I(i,j)、M、V分別表示歸一化前圖像的灰度值、均值、方差；N(i,j)、M0、V0分別表示歸一化后圖像的灰度值、均值、方差。

3.2 基于最小二乘匹配的特征點跟蹤

圖像特征點是單幅圖像中相對特殊、在序列圖像中能重復提取的圖像信息。為了使目標的行為參數(shù)具有較大的變化范圍，特征點的選取應(yīng)盡量靠近衛(wèi)星本體輪廓的中心區(qū)域?？紤]到工程實際對實時性以及準確性的要求，采用基于最小二乘的匹配算法[18]對特征點進行高精度的跟蹤。

最小二乘算法實質(zhì)上是基于模板的匹配算法，當初始模板和待匹配圖像之間存在灰度變化和幾何變形引起的誤差，即輻射畸變和幾何畸變時，首先要對圖像的幾何誤差進行修正，使匹配窗口的點能一一對應(yīng)，再根據(jù)最小二乘法對圖像修正，使匹配窗口的對應(yīng)點的灰度誤差平方和達到最小。

在二維圖像中，幾何畸變包括相對位移和圖像變形，換算公式可表示為：

(3)

式中：(x,y)為模板圖像坐標；(x′,y′)為搜索圖像坐標；a0、b0為x、y方向的相對位移；a1、a2、b1、b2為x、y方向的畸變參數(shù)。

輻射畸變主要由于亮度變化引起，在圖像中體現(xiàn)為灰度值的偏差。只考慮線性輻射畸變，對應(yīng)兩點之間存在如下關(guān)系：

g1(x,y)+n1=

h0+h1g2(x,y)+g2(x,y)+n2

(4)

式中：g1(x,y)、g2(x,y)分別表示模板、待匹配圖像(x,y)處的灰度值；n1、n2分別表示對應(yīng)的灰度偶然誤差；h0、h1表示線性輻射畸變系數(shù)，h0+h1g2(x,y)表示線性輻射畸變大小。根據(jù)式(4)，可知誤差v為：

v=n2-n1=h0+h1g2-(g1-g2)

(5)

對于圖像中所有對應(yīng)像素點均存在式(5)，聯(lián)立所有誤差方程，根據(jù)最小二乘法，令誤差平方和最小，分別對h0、h1求偏導后可得：

對g1、g2進行中心化處理，可得：

本文特征點跟蹤的具體流程如下：

1)對首幀圖像進行二值化處理，計算連通域，選取連通域幾何中心為初始特征點，以特征點為中心，在原圖像上選取尺寸為5×5像素的窗口作為匹配窗；

2)對待匹配圖像進行二值化處理，計算連通域，通過連通域所在位置確定待匹配圖像ROI區(qū)域；

3)進行初匹配，在待匹配圖像ROI區(qū)域滑動匹配窗口，求解相關(guān)系數(shù)，選取相關(guān)系數(shù)最大的窗口中心作為匹配初始位置；

4)根據(jù)下式計算初始幾何變形參數(shù)，并根據(jù)幾何變形參數(shù)通過式(3)進行修正：

a0=x′-x，a1=1，a2=0

b0=y′-y，b1=0，b2=1

5)采用雙線性內(nèi)插法根據(jù)修正后的坐標對待匹配圖像進行重采樣，獲得對應(yīng)的灰度值；

6)根據(jù)重采樣的灰度進行輻射畸變修正(初始值h0=0，h1=1)；

7)計算相關(guān)系數(shù)，當相關(guān)系數(shù)比前一次小或者幾何變形系數(shù)小于閾值，停止迭代，轉(zhuǎn)步驟9，否則繼續(xù)進行迭代計算，轉(zhuǎn)步驟8；

8)根據(jù)最小二乘匹配算法計算6個幾何畸變參數(shù)和2個輻射畸變參數(shù)，轉(zhuǎn)步驟5；

9)計算出最終匹配點。

3.3 基于分塊閾值的衛(wèi)星主體輪廓提取

衛(wèi)星主體部分在太空光照的影響下，不同位置的成像具有明顯的灰度差異，使得對目標進行圖像分割會缺失部分主體，給完整提取衛(wèi)星輪廓帶來了一定的難度。為了保證算法的穩(wěn)定性和適應(yīng)性，采用基于分塊閾值的分割方法來對目標主體部分進行輪廓提取。特征點的提取跟蹤能提供圖像主體所在位置的先驗信息，為分塊閾值各個部分提供衛(wèi)星主體所在的大致位置。進行分塊后，各個塊的灰度相對較均勻，通過Ostu法[19]進行閾值計算，能獲得相對可靠的閾值。

當圖像分為若干小塊后，有的區(qū)域存在只有背景或者只有目標的情況，這一類特殊塊需要額外區(qū)分，不進行分割操作，針對特殊塊的區(qū)分方法是分別計算背景和前景的平均灰度，通過背景和前景的差值來進行判斷，其公式如下所示：

式中：Δm為前景與背景之間的平均灰度差；I1(i,j)、I2(i,j)分別為前景、背景所在位置的灰度值；C1、C2分別為前景、背景所占像素數(shù)量。當圖像中只存在背景和目標時，背景和前景之間的平均灰度差較小，且由于太空環(huán)境的特殊性，背景的灰度值比較低，這一特性也為分割提供了可靠的先驗。

基于分塊閾值的衛(wèi)星主體輪廓提取算法如下：

1)將圖像分割成若干小塊，通過Ostu法計算每個小塊對應(yīng)的分割閾值；

2)根據(jù)分割閾值計算各塊前景與背景之間的平均灰度差，剔除平均灰度差較小的塊；

3)根據(jù)分割閾值對各個小塊的圖像進行分割；

4)對已分割的圖像進行整體統(tǒng)合，進行連通域判斷。

5)填充孔洞，取最大連通域作為目標衛(wèi)星主體部分，通過梯度計算獲取衛(wèi)星主體部分的輪廓。

4 目標行為辨識

根據(jù)目標衛(wèi)星偵察行為在姿態(tài)上的特性建立相應(yīng)的辨識準則，如圖3所示。利用當前幀與前一幀中特征點在圖像中的坐標計算出目標在圖像中運動速度與方向，確定運動軌跡。l1為特征點沿目標運動方向與外輪廓的左交點在投影平面的距離，l2為特征點沿目標運動方向與外輪廓的右交點在投影平面的距離。從圖3中可以看出，當目標存在偵察行為時，l1、l2基本保持不變；當目標沿圖中軌跡運行，且姿態(tài)保持不變時，l2基本保持不變，而l1隨著目標位置的變化而增大。根據(jù)行為參數(shù)L=l1-l2可以對目標行為姿態(tài)進行辨識，當行為參數(shù)L基本保持不變時，目標存在偵察行為，當L逐漸變化時，目標屬于正常運行狀態(tài)。

圖3 不同行為下目標在圖像中的特征Fig.3 The characteristics of target in images with different behaviors

目標行為辨識的具體流程如下：

1)當發(fā)現(xiàn)有臨近目標時，自身衛(wèi)星上的相機先指向目標，讓目標處于圖像中的邊緣，并保持衛(wèi)星姿態(tài)，拍攝目標從一側(cè)邊緣到另一側(cè)邊緣的序列圖；

2)根據(jù)特征點P的位置變化計算衛(wèi)星的運動軌跡；

3)計算衛(wèi)星運動軌跡在特征點P處的斜率k，以斜率k和特征點P的圖像位置建立直線方程；

4)求解直線方程與衛(wèi)星輪廓的交點s1,s2；

5)求解特征點P分別到交點s1，s2的距離l1，l2；

6)計算行為參數(shù)L=l1-l2，根據(jù)行為參數(shù)的變化判斷目標是否存在偵察行為。

5 仿真校驗

試驗采用BASLER系列acA1440-220uc的相機，型號為FL-CC0614A-2M的鏡頭，北斗導航衛(wèi)星模型一個，650 nm點狀光斑激光器一臺。

5.1 試驗設(shè)計

試驗分別針對特征點跟蹤、輪廓提取和算法辨識的有效性進行。試驗分為兩部分，第一部分針對不同光照條件下特征參數(shù)構(gòu)建，評估光照對圖像處理方法和特征參數(shù)計算的影響。第二部分通過模擬偵察衛(wèi)星和非偵察衛(wèi)星的運行狀態(tài)，計算特征參數(shù)，對兩種狀態(tài)進行辨識。

試驗1：固定相機和衛(wèi)星模型，調(diào)整光源條件，使目標衛(wèi)星成像處于整體暗弱、亮度不均勻、整體明亮3種狀態(tài)，分別對應(yīng)非光照區(qū)、部分光照區(qū)和完全光照區(qū)3種情況，模擬太空中成像存在的亮度不一和圖像灰度不均勻的情況。

試驗2：固定拍攝相機不動，考慮到相機視場角約為20°，相機的成像尺寸為1 440×1 080像素，鏡頭焦距為6 mm，假定太空中偵察衛(wèi)星觀測距離為10～30 km，根據(jù)目標大小不同和距離遠近不一，成像大小在200×200像素到600×600像素之間，衛(wèi)星模型主體大小為50 mm×70 mm。為了保證圖像處理效果接近，令目標成像大小約為250×350像素，此時成像距離約5.2 m。試驗以5.2 m為半徑，選取2組20°的范圍，如圖4所示。每組試驗中，近似等間距布置8個運動點，以模擬目標衛(wèi)星繞飛的圓軌道。在這8個點分別調(diào)整衛(wèi)星姿態(tài)，模擬衛(wèi)星正常運行和衛(wèi)星偵察兩種狀態(tài)，具體如下：

1)當模擬目標衛(wèi)星正常運行時，保持衛(wèi)星姿態(tài)不變，使其沿設(shè)定軌跡依次經(jīng)過8個運動點，并用相機拍攝衛(wèi)星處于這8個位置的圖像。

2)當模擬目標衛(wèi)星存在偵察行為時，使其沿設(shè)定軌跡依次經(jīng)過8個運動點。通過調(diào)整衛(wèi)星的姿態(tài)，保證與其固定連接的激光器所發(fā)出的激光點出現(xiàn)在預(yù)設(shè)定的十字標志絲中心處，以此確保衛(wèi)星視線始終指向被偵察方向。在每個運動點處調(diào)整完姿態(tài)后，取下激光器并進行拍攝。

圖4 試驗場景Fig.4 The experimental scene

5.2 辨識結(jié)果

為了使結(jié)果顯示更加清晰，截取以目標主體為中心的300×450像素區(qū)域，不同光照條件下目標的成像如圖5所示。

圖5 不同光照條件下目標成像結(jié)果對比Fig.5 Comparison of target imaging results under different light conditions

經(jīng)過灰度歸一化后，結(jié)果顯示如圖6所示。如圖5、圖6所示，雖然目標的灰度還存在一定的差距，但經(jīng)過歸一化后，不同光照條件圖像灰度有了明顯的調(diào)整，灰度更為相似。針對歸一化處理后的圖像進行特征點提取和圖像分割，特征點和圖像分割結(jié)果如圖7、圖8所示。

在經(jīng)過預(yù)處理后，圖像4個特征點提取的平均誤差在一個像素以內(nèi)，而圖像分割在不同光照條件下均能較好地提取目標主體結(jié)構(gòu)，且結(jié)果基本一致。

圖6 不同光照條件下灰度歸一化圖像Fig.6 Comparison of grayscale normalized image under different light conditions

圖7 不同光照條件下特征點提取結(jié)果對比Fig.7 Comparison of feature point extracted image under different light conditions

圖8 不同光照條件下目標主體分割結(jié)果對比Fig.8 Comparison of target contour segmented image under different light conditions

分別對2組試驗中拍攝的4組序列圖進行特征點的跟蹤，結(jié)果如圖9所示。在圖像存在幾何畸變的情況下，最小二乘算法仍然可以很好地定位到特征點。跟蹤結(jié)果的平均誤差為0.63個像素，其對行為參數(shù)的影響較小，因此誤差處于可接受范圍之內(nèi)。

圖9 特征點跟蹤結(jié)果Fig.9 The results of feature point tracking

根據(jù)第4章提出的行為辨識流程，分別計算4組圖中的衛(wèi)星運動軌跡和行為參數(shù)。為了體現(xiàn)行為參數(shù)的變化，將初始時刻的行為參數(shù)置為0，其他時候轉(zhuǎn)為與初始時刻的差值。針對2組試驗的行為參數(shù)變化進行詳細說明，如圖10所示。當臨近目標存在偵察行為時，由于其視線一直指向被偵察方向，因此在圖像中其行為參數(shù)在觀測時間內(nèi)變化極小，如圖中的Investigation標注直線所示；而正常運行的目標，其姿態(tài)在較短時間內(nèi)的變化極小，但由于相機成像特性，特征點到兩側(cè)的距離會愈發(fā)不對稱，而呈現(xiàn)在行為參數(shù)上的變化就是絕對值具有明顯的增大趨勢，如圖中No investigation標注直線所示。

圖10 行為辨識結(jié)果Fig.10 The results of behavior identification

6 結(jié)論

本文提出了一種基于視覺特性的臨近衛(wèi)星偵察行為辨識方法，通過行為參數(shù)的變化來確定目標的視線指向。經(jīng)試驗仿真驗證，該方法可以實時對臨近目標的偵察行為進行辨識，為后續(xù)決策提供可靠的判斷信息。但該方法僅適用于對天偵察，且存在一定姿態(tài)變化的偵察衛(wèi)星，對于對地偵察和姿態(tài)不發(fā)生變化的偵察衛(wèi)星難以進行有效判斷，后續(xù)將針對非合作空間目標的關(guān)鍵部位的尺寸測量與重建展開工作，針對目標載荷變化進行觀測識別。