黃西堯，何羿霆，杜華軍，曾祥遠，劉天賜，單文婧，程 林

(1. 北京理工大學自動化學院，北京 100081；2. 北京航天自動控制研究所宇航智能控制技術國家級重點實驗室，北京 100854；3. 北京航空航天大學宇航學院，北京 102206)

0 引 言

歐洲空間局先進概念組(European space agency advanced concepts team)發(fā)起一項面向全世界的科技競賽：Spot the GEO satellites(簡稱SpotGEO)，競賽時間為2020年6月7日至8月31日(UTC時間)。主辦方給定了由低精度傳感器觀測一定區(qū)域天空并拍攝的連續(xù)五幀圖像，競賽任務是基于五幀圖像精確識別位于地球同步軌道(Geostationary orbit, GEO)及其附近的衛(wèi)星或空間碎片(目標物)。全數據集共計6400個圖像序列，分為訓練集1280個序列和測試集5120個序列，其中訓練集提供標定數據[1]。每個序列包含五幀圖像，每幀圖像拍攝過程中傳感器保持靜止，曝光時間約為40秒；同一個序列相鄰兩幀之間傳感器發(fā)生微小旋轉，保證2幀圖像具有公共區(qū)域。受地球自轉和拍攝方式影響，恒星在圖像中將呈現線條狀圖案，而目標物呈點狀圖案(見圖1)。某些位于GEO附近區(qū)域的目標物，可能呈現為拖曳狀圖案。區(qū)別于含有儀器型號、參數設置等豐富信息的FITS數據格式，比賽數據采用PNG格式，分辨率為640×480。得分和均方誤差(Mean square error, MSE)是本次比賽的兩個主要評價指標，具體計算方法見第3節(jié)。

基于光學望遠鏡的GEO物體檢測可用于空間碎片觀測、衛(wèi)星碰撞預警等方向[2]。傳統(tǒng)檢測方法常需要大口徑望遠鏡，高分辨率、低噪聲CCD傳感器，成本較高[3]。天基觀測能夠有效避免天氣和大氣因素的影響[4-5]，其缺點為觀測平臺搭建困難、造價高昂。因此，利用低成本、低精度的地面觀測設備實現對較大空域的長時間監(jiān)視具有積極的研究意義。然而，觀測距離遠，圖片分辨率低，云層、恒星遮擋，大氣影響，光污染以及傳感器噪聲將為目標物的精確識別帶來困難，這也是本次競賽的主要難點。

根據成像形態(tài)不同，空間目標檢測方法可分為點狀目標檢測和拖曳狀目標檢測。本文主要介紹作者于競賽中關注的點狀目標檢測方案，拖曳狀目標檢測可參考文獻[6-7]。受地球自轉和拍攝方式影響，目標物在星空背景下呈現近似直線排列特征[8]。因此，主流方法先處理單幀圖像，即分割前景(目標物、恒星等)和背景(噪聲、空間背景等)圖像；后利用GEO物體勻速直線運動特性，識別圖像中有效目標物。圖像前/背景分割環(huán)節(jié)中，通常先根據目標物頻域或空間域特征，增強其在圖像中的強度；后進行二值化處理[9]。常見的目標增強方法有高斯過程回歸[10]、形態(tài)學濾波[11]和點擴散函數反卷積[12]等。二值化處理后，圖像冗余信息顯著減少，可用于GEO物體的檢測。文獻[10]采用遍歷所有點對的直線檢測算法，時間復雜度過高。為提升計算效率，文獻[13]引入隨機抽樣一致方法(Random sample consensus, RANSAC)。Liu等[14]提出基于拓撲掃描的直線特征提取算法，計算效率和魯棒性較高。上述算法均采用較高精度數據集，對于低精度圖像，嚴重的噪聲污染、欠采樣等現象可能引起目標物誤判等問題。此外，檢測前跟蹤(Track before detect, TBD)方法[15-16]也被應用在空間小目標檢測任務中，該方法需要依靠較長的圖像序列以滿足軌跡預測，并不適用于短序列數據集(本次競賽數據集每個序列只包含五幀圖像)。

近年來，深度學習逐漸應用于目標檢測研究工作。根據候選區(qū)域的提取與否，基于深度學習的目標檢測方法可分為兩階段法和單階段法[17]。兩階段法先提取候選區(qū)域，再通過對區(qū)域分類實現目標檢測。RCNN[18]采用選擇性搜索(Selective search)提取候選區(qū)域，卷積神經網絡提取每個區(qū)域的特征，SVM對特征分類。Fast RCNN[19]和Faster RCNN[20]分別改進了特征提取，特征分類和候選區(qū)域提取方法。相比之下，單階段法直接對圖像進行卷積特征提取，在特征圖上得到目標邊框，檢測速度快。YOLO[21]將圖片劃分成網格，直接計算每一個網格的預測結果。深度學習檢測方法未利用GEO物體的勻速直線運動特征，加之GEO目標物在圖中占像素量少，直接使用上述兩類方法將帶來訓練樣本不平衡、預測精度低等問題。

綜上，針對低精度圖像數據，本文提出一種基于深度學習的GEO目標檢測改進方法。第一步，通過高斯過程回歸提取圖像的前/背景，完成圖像二值化。第二步，使用模板匹配方法實現圖像配準，并刪除重復區(qū)域。第三步，根據Liu方法[14]提取圖像序列中具有勻速直線運動特征的目標物。為減小噪聲干擾，提高掃描效率，在拓撲掃描前使用卷積神經網絡進行第一次篩選，刪除概率較低的候選目標物。掃描結束后，再次利用卷積神經網絡對拓撲掃描結果進行分類，實現高精度的目標物檢測。

全文內容安排如下：引言部分介紹競賽問題與研究現狀；第一節(jié)介紹包括前景/背景分割和圖像配準在內的準備工作；第二節(jié)介紹拓撲掃描直線檢測算法，并給出作者基于深度學習的目標物篩選新方法；第三節(jié)給出實驗及對比結果，總結并指出值得改進之處。

1 準備工作

本文目標物檢測方法分為三個部分：前景/背景分割、圖像配準和軌跡檢測。其中，第一、二部分為準備工作。圖像配準結束后，各幀存在的候選目標物被轉換至公共坐標系中，作為第三部分的輸入。在第三部分拓撲掃描方法前后，各進行一次基于深度學習的候選目標物篩選工作，最終得到真實目標物坐標。方法具體流程如圖2所示。

1.1 前景/背景分割

采用高斯過程回歸(Gaussian process regression, GPR)[22]方法進行圖像分割，將原始圖像分成前景(目標物和恒星條紋等)和背景(噪聲和空間背景等)。算法的主要內容為：假設原圖中某像素點灰度y(xi)對像素坐標xi滿足

y(xi)=y*(xi)+μi

(1)

y*～N(0,K)

(2)

式中：K∈RN×N為協(xié)方差矩陣。高斯過程回歸的主要思想為利用貝葉斯推理，從原圖灰度值(后驗概率)估計前景、背景灰度值(先驗概率)，假設待估計像素坐標為xpre，則對應像素坐標位置灰度值(先驗概率)應為

ypre=kT(xpre)(K+σnI)-1y

(3)

M(xi)=ypre,FG(xi)-ypre,BG(xi)

(4)

以訓練集第143號序列為例，利用高斯過程回歸方法分離前景、背景，并獲得前景掩碼(如圖3所示)。相對于全局二值化，局部自適應二值化能夠更好處理背景變化較大的圖像情況，在本次競賽中反映為云層、光污染等影響。因此，本文使用Opencv中自適應二值化函數對前景掩碼進行二值化處理，其主要思想為：用滑動窗口遍歷整個圖像，每次僅對窗口內的區(qū)域進行二值化處理。閾值可以是該區(qū)域某些灰度統(tǒng)計值(實驗中取該區(qū)域內灰度值的均值加常數)。利用恒星條紋進行圖像配準(配準方法見1.2節(jié))，為消除恒星條紋的影響，將連續(xù)五幀二值化圖像轉換至公共坐標系，刪除具有交集的圖像區(qū)域(即將灰度值置零)。進行連通區(qū)域分析，用中心點代替整個連通區(qū)域，實現對圖像離散化處理。至此，一個序列五幀原始圖像被轉化為公共坐標系下的一張散點圖，每個點包含像素坐標和時間(幀號)信息。

圖3 圖像的前景、背景和前景掩碼Fig.3 The foreground, background and foreground mask of the image

1.2 圖像配準

采用Opencv中模板匹配算法實現圖像配準，其核心思路為在目標圖像中找到與待匹配圖像最相似的區(qū)域。為提高準確率，需要對圖像進行濾波處理，保留恒星條紋，減少噪聲對配準效果的影響。圖像配準具體步驟如下：

1)使用同態(tài)濾波和均值濾波處理原始圖像，使圖像中僅保留恒星條紋。

2)拓展圖像邊緣，用灰度值為0的像素點填充(確保原始圖像邊緣部分不因圖像位置變換而丟失)。

3)截取待匹配圖像中心區(qū)域(文中選取寬和高的1/3)。

4)使用模板匹配函數，計算待匹配圖像中心區(qū)域在目標圖像的最佳匹配位置。

5)計算待匹配圖像到目標圖像的變換矩陣。

設第一幀到第二幀變換關系為：

PI2=H12PI1

(5)

式中：PI1，PI2分別表示P點在第一幀和第二幀下像素坐標矢量，H12表示第一幀到第二幀變換矩陣，以此類推。以第五幀圖像坐標系為基本坐標系，為提高匹配精度，即增大模板匹配算法輸入圖像公共區(qū)域，本文分別計算相鄰兩幀變換矩陣，則第一幀到第五幀圖像變換關系為：

PI5=H45H34H23H12PI1

(6)

綜上，某序列五幀圖像對齊后結果如圖4所示(圖像經過插值處理，圖中由目標物形成的近似直線軌跡已圈出)。

圖4 圖像配準效果圖Fig.4 The result of image registration

2 基于深度學習的改進目標物檢測方法

2.1 對偶空間及拓撲掃描算法

由于目標物在配準后的圖像上呈等間距直線排列，可利用直線提取算法進行檢測。Liu等[14]基于拓撲掃描，提出了一種高效而低參數敏感性的新型多目標跟蹤方法。然而，該方法未考慮多線交于一點的退化情況下目標物檢測方案，無法處理低精度圖像序列中噪聲引起的輸入點數量過大且分布集中的問題。因此，本節(jié)基于Liu方法，介紹拓撲掃描方法基本原理，給出退化情況下目標物檢測解決方案。

對于輸入點集M中某點PA(xA,yA,tA)，xA和yA分別表示橫縱坐標值，tA表示該點所屬幀號(如圖5左所示，圖中未標出幀號)。取容忍范圍ε，將點PA沿y軸分別上下平移ε，獲得點對{P′A(xA,yA+ε),P″A(xA,yA-ε)}。令連接兩點形成的豎直線段為點對中間區(qū)域，當存在某條直線同時橫穿多個點對中間區(qū)域，則認為對應點在同一直線上(如圖5右所示)。

圖5 原始空間內點對示意圖Fig.5 Diagram of point-pair in the primal space

圖6 對偶空間中點對及擬合直線表現形式Fig.6 Point-pair and fitting line in the dual space

遍歷所有封閉區(qū)域，可獲得所有形成直線的點集。由于目標物做近似勻速直線運動，為找到它的運動軌跡，需要分別掃描(x-y)和(x-t)空間中的直線。為高效且準確完成遍歷工作，Liu等基于拓撲掃描方法進行搜索，取得了較好的效果，整個算法計算復雜度為O(n2)，算法主要流程如圖7所示。

圖7 基于拓撲掃描算法的目標物檢測流程圖Fig.7 Flow chart of the target object detection based on the topological sweeping algorithm

經典拓撲掃描算法中，當掃描線切割的連續(xù)兩條線段具有相同右端點時，進行一次更新操作。更新操作結束后，掃描線從該右端點左側掃描至右端點右側。因此，每次更新僅涉及到兩條線段所在直線的相關信息變化，而不影響其他直線的狀態(tài)(如圖8(a)所示)。當掃描線切割的所有線段均不存在相同右端點時，整個拓撲掃描結束，實現了全平面所有線段的遍歷工作。為進一步探究每次更新對封閉區(qū)域的影響，以第i條與第i+1條線段為例：更新前后，兩條線段位置關系發(fā)生變化(更新前第i條線段在第i+1條上方，更新后相反)，兩條線段與其形成的一個相關區(qū)域(淺色部分)位置關系也隨之改變，而其他線段位置關系不變。因此，每次更新前后只需要判斷對應的相關區(qū)域，即可完成對整個對偶空間封閉區(qū)域的無遺漏且無重復遍歷工作。具體算法及數據結構見文獻[14]。

圖8 拓撲掃描及其退化情況更新方法Fig.8 The update method based on the topological sweeping and the degenerate case

當輸入點數量較多時，對偶空間內對應直線往往存在多線交于一點的退化情況(如圖8(b)所示)。每次更新前后，多條線段及相關區(qū)域的位置關系發(fā)生變化，原始目標物檢測更新算法將不再適用。因此，本文基于拓撲掃描的退化情況的解決方案[23]，提出改進目標檢測算法如下：

1)當且僅當有兩條線段具有相同右端點，算法同文獻[14]。

2)當三條或三條以上的線段具有相同右端點，以第i+1個相關區(qū)域為例：

(1)提取形成第i+1區(qū)域的兩條線段(第i條線段和第i+1條線段)的左端點λi和λi+1，以及相同右端點ρ。

(2)計算特征點坐標ν=(λi+λi+1+ρ)/3,ν點一定在該區(qū)域內部。

(5)更新直線數據(具體數據結構同文獻[12])。

(6)采用文獻[23]中的方法更新拓撲掃描。

值得注意的是，改進后拓撲掃描的結果可能包含某些點集的子集，如：拓撲掃描獲取某組候選目標物序列{P1,P2,P3,P4}，結果中同時含有序列{P1,P2,P3}和{P1,P2,P4}。為便于后續(xù)補充遺失點的操作，需要合并所有含有2個及以上相同點的候選目標物序列集合。

2.2 基于卷積神經網絡的候選目標物篩選

由于光污染、云層等因素的影響，某些圖像背景過于明亮、模糊，預處理后得到的輸入點集包含噪聲點過多，大大增加了計算成本。以約300、500和1000數量點集為例，其完成拓撲掃描的時間依次為43.5秒、139.1秒和870.4秒。同時，某些噪聲點由于“巧合”滿足軌跡規(guī)律而被誤判為有效目標物(見圖9)。圖中，盡管空心圓點數量≥3且分布滿足規(guī)則，事實上這完全由噪聲點組成。僅僅依靠拓撲掃描技術無法區(qū)分此類結果，嚴重影響了目標物識別的準確性。因此，本文依靠深度卷積網絡，將拓撲掃描的輸入數據和輸出結果看作候選目標并進行篩選，有效提高了直線掃描效率及最終結果的準確率。

圖9 目標物、噪聲軌跡示意圖Fig.9 The diagram of target object and noise tracks

2.2.1訓練數據預處理

像素事件檢測方法[13]的基本思想為：連續(xù)觀測某一固定星空背景區(qū)域，當目標物經過時，該背景對應圖像區(qū)域的灰度值將出現顯著的特征變化，由此判斷候選目標物的存在。基于該思想，使用神經網絡對目標物的出現情況做出判斷。以連續(xù)五幀相同背景區(qū)域大小為28×28的灰度圖像作為一組輸入數據。該數據分為兩類，一類使目標物在其中一幀能夠被有效觀測(即未被恒星條紋遮擋等，如圖10所示)，另一類完全不包含目標物。具體數據處理方法如下：

1)利用標注文件，分別提取各幀內被有效保留的目標點像素坐標。

2)以該目標點為中心截取28×28的圖像。

3)利用變換矩陣，截取其他幀中具有相同背景空間的圖像；整合五幀數據，將數據標簽記為1。

4)同理獲取一系列不包含有效目標物的五幀圖像數據，標簽記為0；為確保樣本數量均衡，標簽為1與標簽為0的數據數量比為1∶1。

圖10 神經網絡輸入數據(僅左側第一幀包含目標物)Fig.10 The input of the neural network (only the first frame contains a target object)

2.2.2卷積神經網絡模型及訓練結果

使用的網絡由2個卷積層、2個最大池化層、4個全連接層以及1個softmax層組成，激活函數為ReLU，目標函數為Cross Entropy，優(yōu)化器為Adam。由于目標尺寸較小，卷積核統(tǒng)一采用尺寸3×3，步長1的結構，保持卷積層輸出尺寸不變；池化層采用尺寸2×2，步長2的結構。網絡的輸入部分需要減去訓練集圖像的灰度平均值。網絡的輸出分別為判斷該點是有效目標物的概率ωt和不是有效目標物的概率ωf。由于樣本數據較少，為防止過擬合，在全連接層之間使用了Dropout正則化方法[24]。訓練過程中，Dropout可隨機斷開部分神經元之間的連接，增加網絡模型的隨機性，防止過擬合。各層參數細節(jié)見表1。

表1 卷積神經網絡結構Table 1 Convolution neuralnetwork structure

將訓練集前200個序列保留作為測試集。將第201到1280號序列按照0.85∶0.15比例隨機選取分成訓練集和驗證集。各項參數設置為：初始學習率0.0001，批大小為50，迭代次數60輪。測試所用設備為Intel(R) core(TM) i7-10700F CPU 2.90 GHz GeForce RTX2060 5931MB。訓練過程中，每輪迭代后記錄對訓練集的平均訓練誤差和對驗證集的平均驗證誤差，二者的變化如圖11所示。隨迭代輪次增加，訓練誤差和驗證誤差最終均能達到0.3以下且相差較小。該結果表明網絡性能良好，訓練集和驗證集劃分合理，數據分布相近。訓練過程中網絡對驗證集的平均預測準確率變化如圖12所示。預測準確率隨迭代輪次增加而不斷提升，訓練結束時，預測準確率達到最大值93.21%。

圖11 訓練誤差隨迭代輪次變化曲線Fig.11 Train loss and validation loss of each epoch

圖12 預測準確率隨迭代輪次變化曲線Fig.12 Prediction accuracy of each epoch

2.2.3兩次卷積神經網絡篩選方法

1) 拓撲掃描前的第一次候選目標篩選

針對輸入點數量過大的情況進行篩選處理，以降低噪聲對掃描效率的影響。利用神經網絡，計算每個點是有效目標點的概率ωt，保留概率較大的一部分點。具體流程和參數設置如圖13所示。

圖13 拓撲掃描前數據篩選流程圖Fig.13 Flow chart of the data filtering before the topological sweeping

2) 拓撲掃描后的第二次候選目標篩選

利用拓撲掃描技術，并按照直線運動規(guī)律對結果采取補點操作，獲取一系列候選目標物序列。每個序列共含有5個目標點，利用卷積神經網絡分別對這些目標點進行預測，當是有效目標點的概率ωt大于不是有效目標點的概率ωf時，認為該點為有效目標點，反之則為噪聲。為避免誤刪有效目標物，提高預測準確率，規(guī)定在一個候選目標物序列中，5個點至少有3個被判定為噪聲時，認為該候選目標物序列為噪聲序列并刪除(如圖14所示，圖中圓點表示該點被判定為有效目標點，叉號表示該點被判定為噪聲)。

圖14 拓撲掃描后的數據篩選Fig.14 Data filtering after the topological sweeping

3 實驗結果

本次競賽主辦方提供訓練集1280個序列的標注數據，考慮到本文使用第201到1280個序列用以神經網絡訓練，故對訓練集前200組目標物進行檢測作為實驗結果。值得一提的是，根據主辦方評分準則，前200組數據得分與5120組最終測試集結果得分非常接近(前者0.114659，后者0.115817)，因此認為訓練集前200組數據可反映整個數據集特征。

主辦方采用得分Fs和均方誤差FMSE作為實驗結果的評價指標，其中得分為最終排名的首要依據，具體計算規(guī)則如下：

定義真陽(True positive, TP)NTP表示在一定誤差范圍內被準確識別的目標物數量，假陰(False negative, FN)NFN表示被遺漏目標物數量，假陽(False positive, FP)NFP表示將其他物體誤判為目標物的數量。準確率α和召回率γ計算公式為：

(7)

競賽的最終得分計算公式為：

(8)

當存在兩隊得分完全相同時，使用均方誤差進行比較，均方誤差較小的一方排名靠前。定義誤差平方和(Sum squared error, SSE)FSSE為

(9)

式中：i，j，k分別為TP，FN，FP的數量，τ為主辦方預設得分常數。每存在一個遺漏目標物(FN)或誤判目標物(FP)，為均方誤差帶來τ2的增量。函數ψ(i)為TP部分誤差計算函數，當目標物坐標的計算值與真實值在某個限定范圍內，ψ(i)=0；反之則以距離的平方作為誤差。最終，均方誤差FMSE可表示為：

(10)

3.1 第一次篩選結果

將第一次篩選前數據按照離散點數目劃分區(qū)間，分別統(tǒng)計篩選前后各區(qū)間離散點總數、目標物總數，目標物保留率和目標物占比。其中，目標物占比指目標物數目占總離散點數目百分比。統(tǒng)計結果見表2。前200個序列中，離散點數目普遍小于500個(占82%)，該部分序列無須進行篩選工作。對于

表2 第一次篩選結果Table 2 The first data filtering resulting

離散點大于500個的序列，利用神經網絡進行篩選，篩選工作對目標物的誤刪影響非常小(對于500-999，1000-4999，5000-9999三個區(qū)間，目標物僅被誤刪2、2、1個)。同時，篩選前后目標物占比顯著增加(從刪除前1.25%、0.07%和0.01%，提升至2.81%、3.47%和2.83%)，噪聲點數目減小，顯著縮短了拓撲掃描步驟的計算時間。

3.2 第二次篩選結果

對拓撲掃描結果進行第二次篩選，篩選前后結果相關數據見表3。第二次篩選前，數據包含有效目標物1890個(NTP+NFN)，其中被正確識別的目標物為1546個(NTP)，遺漏目標物344個(NFN)，且存在大量誤判(NFP)。經過第二次篩選，盡管20個有效目標物被誤刪除，但是誤判(NFP)數量大幅度減少，由869個下降至僅30個，有效提升了判斷的準確率，最終得分顯著提升。值得一提的是，雖然神經網絡的預測準確率僅為93%，由于篩選的容錯性，最終準確率達到了98.07%。受比賽時間限制，該網絡存在值得完善之處：如在保持小卷積核的情況下增加卷積層數,減少全連接層數,刪去最后兩個全連接層之間的Dropout正則化等，或將提升網絡的預測精度。

本隊最終比賽成績:FMSE=62021.8092，得分Fs=0.1158，排名第五。整個比賽共有30只隊伍提交結果，第一名成績?yōu)镕MSE=33838.9931,得分Fs=0.0517(成績保留4位小數)[25]。

表3 第二次篩選結果Table 3 The second data filtering results

4 結 論

針對低精度GEO圖像數據，提出了基于深度學習的GEO目標檢測方法。改進以拓撲掃描算法為基礎的GEO目標檢測更新方式，使之適用于噪聲點多且分布集中的低精度圖像數據。增加基于深度學習的目標物篩選環(huán)節(jié)。第一次篩選將單一序列離散點數控制在500個以內，顯著提升拓撲掃描的計算效率(500個點對應拓撲掃描檢測時間為139.1秒，1000個點對應時間為870.4秒)。拓撲掃描后進行第二次數據篩選，以刪除形成誤判定的噪聲序列。實驗中，刪除839個噪聲序列，僅損失21個有效目標物，判斷準確率大幅度提升(由篩選前64.0%上升至98.1%)，有效提高最終成績。

本文方法最終召回率僅為80.7%，仍存在較大提升空間。未來研究中，可根據文獻[10]引入損失函數，針對不同背景環(huán)境圖像選取合適的高斯過程回歸參數；或選擇新的圖像濾波技術，提高目標物的保留率;或增加圖像增強環(huán)節(jié)，突出某些過于黯淡的目標點，進一步考慮拖曳狀目標物的檢測方法。