栗博 何紅艷 王鈺 丁與非 孫豆 曹世翔

（1 北京空間機電研究所，北京 100094）

（2 先進光學遙感技術北京市重點實驗室，北京 100094）

（3 中國人民解放軍63768 部隊，西安 710000）

0 引言

圖像特征點匹配通常是指提取圖像中具有某種特殊性質的點作為共軛實體，通過一定的方式對其屬性進行定量描述后，計算其相似度，實現(xiàn)共軛實體的配準[1]。由于特征點屬于局部特征，相較于紋理、顏色等全局特征具有較好的尺度、旋轉等不變性，被廣泛用于三維重建、圖像拼接、空中三角測量、數(shù)字高程模型（DEM）生成、目標跟蹤等眾多攝影測量與計算機視覺領域。目前特征點提取與匹配的相關研究已經(jīng)比較成熟，可從異常值去除、相似度度量、特征描述、算法加速等多方面對特征點提取與匹配進行優(yōu)化[2-9]。另外，基于深度學習的方法也同樣運用于這一領域，如SuperGlue、AdaSG、GANcoder 等網(wǎng)絡模型[10-14]，都取得了較好的匹配結果。

目前，針對空間目標遙感圖像的特征點匹配的一些成熟算法大多沒有考慮成像時的特殊條件。與普通地物目標不同，空間目標圖像有兩方面的影響因素：1）成像條件的影響?？臻g環(huán)境中航天器受光照變化影響較大，成像整體表現(xiàn)出光照不均，航天器的同一部分在不同圖像中呈現(xiàn)不同的光照效果。2）作為目標的航天器自身因素的影響。航天器一般為對稱結構，存在較多紋理相似的部分，且其表面細節(jié)較少，材料本身紋理單一，這種目標的紋理表現(xiàn)為“重復弱紋理” ，重復弱紋理非常容易導致特征點匹配失敗。

針對這些問題，香港理工大學吳波等[15]分析了行星遙感圖像尺度不變特征變換匹配（Scale Invariant Feature Transform, SIFT）算法特征點的主方向分布直方圖，提出了高分辨率行星遙感圖像照度不變的SIFT 匹配方法，解決了陰影造成的局部劇烈變化；東南大學沈佳雁等[16]針對遙感圖像的大尺度和光照條件不穩(wěn)定的特點，提出了一種尺度不變的遞歸擴散算法，提高了復雜遙感圖像的特征點匹配結果的準確度；北京郵電大學程鵬飛等[17]針對弱紋理圖像的特征點提取提出了多鄰域結構張量特征（MNSTF）算法，通過特征點不同大小鄰域的結構張量特征向量方向差值描述特征點，實現(xiàn)了旋轉不變性。這些方法一定程度上提升了遙感圖像特征點匹配的質量，但對于重復紋理影響的抑制，目前沒有較為有效的方法。

本文為減小對稱結構重復紋理對空間目標特征點匹配的不利影響，提出了一種基于聚類的特征點匹配方法，在對圖像進行去噪、光照均勻化預處理后，通過兩次特征點聚類，使得類內特征點有相近的空間和紋理方向特征，在同類點集之間進行匹配，有效避免重復弱紋理造成的誤匹配。實驗利用了某項目在不同距離下，依照空間相機在軌成像條件，對空間航天器目標的模擬成像數(shù)據(jù)，實現(xiàn)了對空間目標圖像特征點提取數(shù)量的提升，提升程度最高達50%，且重投影誤差優(yōu)于1/4 像元。

1 基于聚類的空間目標特征點匹配方法

利用計算機軟件進行特征點自動匹配與人工目視匹配有較大的不同，自動匹配傾向于枚舉法，度量所有特征點的相似性后，選取相似度最高的一對點為同名特征點。而在人工匹配同名特征點過程中，總是從全局開始，一步一步地縮小特征點所在范圍，最后在特征點的一個較小鄰域中，對另一張圖像中特征點周圍的幾個相近的特征點利用局部細節(jié)信息，找到最終正確的同名特征點，通過多次“聚類”來完成分級多次匹配。

本文提出的方法首先對兩張圖像進行預處理，包括去噪和光照均勻化；然后利用尺度不變特征變換匹配算法（SIFT）和加速穩(wěn)健特征（SURF）算法進行特征點的提取與匹配；對于提取到的特征點集，通過特征點鄰域像素以及特征點間距離約束剔除質量較差的點后，進行兩輪聚類，其中首輪聚類利用k-means 方法，將特征點按空間位置分為若干點簇，二輪聚類則依據(jù)特征點的主方向對點簇進一步劃分；最后在同類間進行特征點匹配，并剔除外點。算法流程如圖1 所示。

圖1 基于聚類的特征點匹配流程Fig.1 Feature point matching process based on clustering

1.1 首輪聚類——基于特征點位置的聚類

1.1.1 對特征點坐標的k-means 聚類

首輪聚類主要是對特征點進行空間位置上的劃分，起到類似“圖像分割”的作用。對于空間航天器目標圖像，一個典型的對稱結構就是成對的太陽翼，不同的太陽翼可能有相同的灰度信息，需利用空間位置信息將它們區(qū)分開來。這一步中，采用k-means 方法，利用特征點在圖像中的坐標對特征點進行非監(jiān)督分類。

k-means 聚類是一種常用的聚類算法，它通過迭代將樣本劃分為k簇，使得同類別中樣本距離最小，類間樣本距離最大。以歐氏距離為衡量依據(jù)，將各樣本到其所屬簇中心點距離的誤差平方和定義為損失函數(shù)（SSE），即

式中N為樣本總數(shù)；Dist表示歐氏距離；xi為第i個樣本；cj表示樣本xi所屬簇Cj的中心點。

在聚類過程中，首先采用Arthur 方法選取k個樣本點作為初始簇中心[18]，然后進行迭代運算，直至滿足收斂條件（達到最大迭代次數(shù)或者SSE變化量（ΔSSE）達到精度閾值），具體迭代包括：

1) 對每個樣本xi，計算其到k個簇中心的歐氏距離，選距離最小的簇中心代表的點簇作為樣本xi的歸屬；

2) 對每個簇Cj，重新計算其中心點cj，

式中mCj為Cj包含樣本的數(shù)量。

在首輪聚類中，直接使用特征點坐標作為樣本的特征向量，即對特征點Pi，其圖像橫縱坐標分別為Pi(X)和Pi(Y)，將其作為前文描述的樣本記為xi，其二維特征向量Fi為

1.1.2 點簇描述與類間匹配策略

聚類完成之后，對k個類簇進行匹配。用簇中心點位置來描述整個簇：首先計算每張圖像上k個簇中心的中心A，以每個簇中心cj到A連線的長度dj和角度αj作為簇Cj的描述。在這一過程中，考慮到圖像旋轉帶來的問題，dj并不會隨著圖像中目標的旋轉而發(fā)生較大改變，而αj由于目標本體的旋轉，一對同名點的αj也會有較大差異，不能直接用于簇的描述。因此，實驗中首先需消除兩張圖像上目標旋轉造成的影響。

目標的旋轉角度通過兩張圖像中目標的結構張量[19]計算得到。結構張量通常用于區(qū)分圖像的平坦區(qū)域、邊緣區(qū)域和角點區(qū)域，其特征值和特征向量則用于確定圖像的主要結構方向。由于空間目標圖像通常只有目標本身，背景為深空，所以通過直接計算整張圖像的結構張量對目標的旋轉特性進行表征。

結構張量（二階矩矩陣，second-moment matrix）描述了一個點的某一鄰域內梯度的主要方向以及連貫程度，定義為：

式中Tσ為結構張量，其4 個元素T11、T12、T21、T22為圖像梯度的函數(shù)，其中T21=T12；gx和gy分別代表圖像的水平和豎直梯度；Gσ為高斯函數(shù)；*代表卷積運算。為提高計算效率，在求梯度時，將梯度提取模板與高斯函數(shù)結合，作為梯度提取的卷積模板，同時完成梯度計算和高斯模糊。Gσ高斯函數(shù)的二維完整形式表示為G(x,y)，x和y為其兩個維度，完整表達式為：

根據(jù)窗口大小L，自適應計算標準差 σ：

則x、y方向上的梯度提取卷積模板Gx和Gy的計算公式分別表示為：

對于全圖結構張量的提取，首先設置一個大小合適的梯度提取卷積模板，滑動模板求得整張圖像每一點x和y方向上的梯度，并計算局部圖像結構張量；再將所有像素的結構張量按對應位置累加，得到全圖的結構張量，即：

式中Tσ,all代表全圖結構張量；m和n為圖像的長和寬；Tσ,ij代表每一像元點 (i,j)的結構張量。

結構張量矩陣形式上為對稱半正定矩陣，它存在兩個正交的特征向量V1、V2，計算公式分別為：

V1、V2對應特征值分別為：

特征值代表對應特征向量所在方向的權重，較大的特征值對應著更重要的結構特征。式（11）中λ2較 λ1加了二倍正值故而選擇較大特征值 λ2對應的特征向量V2的方向作為主方向，得到圖像中目標航天器的主方向角度Θ：

目標航天器主方向角度Θ的整體計算過程如圖2 所示。得到Θ后，用一個二維向量[dj,αj-Θ]來描述每一個簇Cj，通過計算兩張圖像每個點簇二維描述向量的歐氏距離作為衡量，具有最小距離的點簇為同名點簇（匹配示意見圖3）。

圖2 目標主方向計算示意Fig.2 Target main direction calculation diagram

圖3 首輪聚類中點簇的描述示意Fig.3 Description of point clusters in the first round of clustering

首輪匹配是建立在空間拍攝圖像為單目標圖像的基礎之上，即圖像中只有單一目標，背景單調，目標相對背景十分突出。在這個條件下，對特征點按空間位置聚類的結果代表了目標的各個“部件”。而對于背景紋理復雜、目標不突出的影像，提取到的特征點沒有集中于目標，特征點聚類結果的分割效果魯棒性略低。

1.2 二輪聚類——基于特征點角度的聚類

二輪聚類是在首輪聚類的結果上更進一步的劃分，主要解決目標細部紋理的重復性造成的誤匹配。以航天器太陽翼圖像為例（如圖4 所示），在同一塊太陽翼的圖像上，不同的位置會出現(xiàn)對稱的紋理。將圖像坐標方向旋轉至特征點主方向后，取特征點鄰域計算描述子，兩個特征點鄰域相似，二者的描述子近乎相同，無法區(qū)分。

圖4 空間目標圖像重復紋理情況Fig.4 Repeated texture of a space target image

為解決這一問題，利用特征點的主方向進行二次分類。首先，將特征點主方向角度θi減去目標整體主方向角度Θ，消除左右圖像角度差異，并將消除了整體方向角度影響的特征點主方向角度轉化至0°~360°，得到標準化特征點角度θi′（如圖5所示）：

圖5 通過目標主方向消除旋轉對特征點方向的影響Fig.5 Eliminating the influence of rotation on the direction of the feature point by using the principal

對標準化后的特征點角度θi′，給定一個角度變化范圍值Δθ，將首輪聚類后的每一簇點集進一步劃分為u組，即對Pi∈Pj，有：

式中Wu代表第二輪聚類中特征點Pi被歸入的點簇。經(jīng)過上述二輪聚類操作，特征點被分為了k×u類。

在首輪聚類和點簇匹配后，得到了左右圖像點簇之間的匹配關系，這組關系用OpenCV 中的DMatch 數(shù)據(jù)結構進行保存，每一對點簇存為一個DMatch 類型的數(shù)據(jù)，其中保存了左右圖像相匹配點簇對應的序號Idx_l，Idx_r。而在二輪聚類中，直接對首輪匹配關系進行修改，增加點簇數(shù)量，同時更新對應點簇的序號，無需對新點簇再次進行描述和匹配。對于首輪一對匹配的點簇，在第二輪中分別被劃分為u組，則新得到的u對點簇的匹配關系為：

圖6 點簇序號更新Fig.6 Cluster number updating

圖7 二輪聚類后新點簇匹配關系更新算法Fig.7 Calculation of matching relation of new point clusters after two-round clustering

在二輪點簇匹配關系的基礎上，對應點簇之間進行特征點匹配（如圖8 所示），此時待匹配的特征點在空間上都屬于圖像中目標的同一部分，且相對目標本身的特征點主方向相差較小，能夠在保證結果準確的前提下，有效提高特征點的匹配數(shù)量。

圖8 特征點分組匹配Fig.8 Group matching of feature points

2 實驗結果與分析

本文利用空間相機模擬影像對提出的特征點匹配算法進行實驗驗證，并與已有算法進行對比。通過多組數(shù)據(jù)與參數(shù)的實驗，證明本文提出的算法對于空間目標影像的特征點匹配數(shù)量與質量有較大的提高。

2.1 實驗環(huán)境及數(shù)據(jù)源

實驗開發(fā)平臺為VS2019，主要使用了外部庫OpenCV 4.4.0。實驗使用數(shù)據(jù)為空間航天器目標在不同距離上的模擬圖像，實驗中通過模擬衛(wèi)星軌道數(shù)據(jù)與相機參數(shù)，并依據(jù)在軌成像條件得到了共4 組圖像數(shù)據(jù)，其中1、2 組為遠距離（100 m）成像，3、4 組為近距離（50 m）成像，4 組數(shù)據(jù)圖像分辨率均為1 024 像元×1 024 像元。

實驗中，首先對左右圖像進行去噪和光照均勻化，這一步采用了基于二維伽馬函數(shù)的光照不均勻圖像自適應校正算法[20]，并對空間目標圖像大面積冷空背景的影響進行改進，依據(jù)灰度值提取目標區(qū)域，只對目標本身進行勻光處理。

提取特征點后，為保證特征點的精度，便于后續(xù)處理，實驗中剔除不滿足下述條件要求的特征點：1）兩個特征點之間的距離不應過近（小于2 個像元）；2）特征點5×5 像元大小鄰域內的點與特征點本身像元灰度值相差不應過小（灰度相差大于5 的像元少于5 個）。

在兩輪聚類后，采用Lowe 提出的比較最近鄰距離與次近鄰距離的方法對特征點進行匹配[21]，距離比率閾值設為0.6；對于可能存在的“多對一”匹配，僅保留距離最小的點對；最后利用RANSAC 方法估計本質矩陣，要求本質矩陣的可信度達到99.9%，點到極線的最大距離在1 個像元以內，進而剔除誤匹配點。

2.2 匹配結果比較實驗

基于聚類的空間目標特征點匹配方法通常配合大部分成熟的特征點描述子使用。采用經(jīng)典的SIFT 和SURF 特征，在使用的特征描述子相同的情況下，對比直接匹配與基于聚類的匹配方法最終的匹配結果。對于空間目標為航天器的遙感圖像而言，根據(jù)其結構設置首輪聚類的類別數(shù)k=4，特征點的首輪聚類結果如圖9，左右影像特征點經(jīng)過首輪聚類后，被分割后的點簇在目標本體上的分布情況相近。

圖9 首輪聚類結果（k=4）Fig.9 Results of the first round of clustering（k=4）

二輪聚類中，為兼顧匹配復雜度與點簇劃分程度，以角度變化步長 ? θ=120°為例，將首輪聚類得到的4 簇點集的每一簇進一步分為3 類，再使用SIFT、SURF 特征描述子利用RANSAC 算法分別進行外點剔除，最后計算x和y方向上的重投影誤差對特征點匹配質量進行量化評價。與不進行分類的匹配結果對比見圖10~13，其量化比較結果見表1。

表1 基于聚類的匹配與直接匹配結果比較Tab.1 Comparison of the matching results based on cluster and direct matching

圖10 數(shù)據(jù)1：遠距離目標匹配結果Fig.10 Data set1: long-distance target matching results

由上述實驗結果可知，對于SIFT、SURF 兩種特征點描述子，基于聚類的匹配方法相較于直接匹配，匹配成功的同名特征點數(shù)均有10%以上的提升，其中SURF 特征在兩組數(shù)據(jù)中的匹配成功點數(shù)最大提升量優(yōu)于50%。特別地，當目標本身旋轉、畸變較大時，由于特征點匹配數(shù)量少且其中存在較多誤匹配，在利用RANSAC 計算本質矩陣時，擬合結果誤差太大，本質矩陣錯誤，造成SIFT 直接匹配不成功。這種情況下，聚類匹配通過分組使對應點簇間的誤匹配較少，能夠很好地完成匹配。

匹配質量方面，基于聚類的匹配方法在4 組實驗中都有更小的重投影誤差，x和y方向上的重投影誤差均分別在0.25、0.10 個像元以內。特征點的分布也更為均勻，例如圖10、圖11 空間目標圖像中航天器下部太陽翼部位，在利用遠距離成像數(shù)據(jù)與SIFT 特征進行直接匹配的實驗中，該部位幾乎沒有匹配成功的同名點對，而采用基于聚類的匹配方法則有效地改善了這一問題。

圖11 數(shù)據(jù)2：遠距離目標匹配結果Fig.11 Data set2: long-distance target matching results

圖12 數(shù)據(jù)3：近距離目標匹配結果Fig.12 Data set3: close-distance target matching results

圖13 數(shù)據(jù)4：近距離目標匹配結果Fig.13 Data set4: close-distance target matching results

2.3 聚類數(shù)對匹配結果的影響分析

基于聚類的特征點匹配方法的關鍵參數(shù)是類別數(shù)的設置。以遠距離成像數(shù)據(jù)和SURF 特征進行實驗，分析兩輪聚類中類別數(shù)設置對特征點匹配的影響。

具體實驗結果如表2 及圖14 所示，其中圖14 的點陣圖則更直觀地反應了匹配結果隨聚類數(shù)改變的趨勢?？梢园l(fā)現(xiàn)，在首輪聚類k=6 、二輪聚類?θ=120°時，能夠得到最好的匹配結果，正確匹配數(shù)量達到了61。當 ?θ>60°時，不同的聚類匹配結果雖有差異，但都優(yōu)于直接匹配；當 ?θ=30°時，匹配結果不理想，匹配成功的同名特征點對數(shù)量小于25。

表2 聚類數(shù)對匹配結果的影響Tab.2 Influence of the cluster number on the matching results

圖14 聚類數(shù)與匹配結果關系Fig.14 Relationship between the number of clusters and the matching results

綜上分析可知，對特征點匹配結果影響較大的是首輪聚類的簇數(shù)k，當k過小時，局部對稱結構沒有被完全劃分開，仍會出現(xiàn)目標對稱結構造成的負面影響；當k過大時，聚類結果開始不可控，某一簇特征點在左右兩張圖像中可能被歸入不同的點簇，無法進行匹配。在設置首輪聚類簇數(shù)k時，應當考慮具體圖像中的目標結構，使得k對應目標合理的部件數(shù)量。

二輪聚類的 ?θ 在大于 60 °時，對匹配結果的影響較小，但當 ?θ=30°時，則產(chǎn)生了較大的負面影響。二輪聚類中， ?θ設置太大，會存在過多重復紋理的特征點仍屬于同一類的情況，沒有起到二輪聚類的作用；但 ?θ 也不可太小，否則會使二輪聚類的類別數(shù)過多，在特征點角度接近邊界(θ′i≈u?θ,u=0,1,2···)時，由于特征點角度誤差，會將同名特征點劃分入不同的點簇，造成漏匹配。從實驗結果來看，設置?θ=120°是較好的選擇。

3 結束語

針對空間目標的重復弱紋理與其他因素對現(xiàn)有特征點提取匹配算法的限制，本文提出了一種基于聚類的特征點匹配方法。該方法使用目前通用的特征點描述子修改算法匹配部分，首先利用特征點的空間位置進行k-means 聚類，減小圖像中目標對稱結構的影響；再利用特征點的角度進行二次聚類，將重復紋理的特征點區(qū)分開來。經(jīng)過兩輪聚類，算法在匹配階段即剔除了相近特征點可能造成的誤匹配。實驗結果表明，基于聚類的特征點匹配算法較直接匹配能顯著提高空間重復弱紋理目標的特征點匹配結果的質量，使匹配數(shù)量最高增加50%，重投影誤差優(yōu)于1/4 像元，特征點分布更為均勻，有利于目標三維重建、圖像拼接等后續(xù)處理，適用于空間目標如航天器等結構劃分清晰、目標相對背景突出的遙感圖像。