魏久哲王小勇黃長寧莊緒霞

（1 北京空間機電研究所，北京 100094）（2 中國空間技術(shù)研究院神舟學(xué)院，北京 100080）

應(yīng)用NAR運動估計的序列幀間匹配技術(shù)

魏久哲1,2王小勇1黃長寧1莊緒霞1

（1 北京空間機電研究所，北京 100094）（2 中國空間技術(shù)研究院神舟學(xué)院，北京 100080）

對于面陣相機推幀成像與數(shù)字TDI后處理相結(jié)合的對地高分辨率遙感新方式，在圖像后處理過程中的幀間匹配步驟占據(jù)了大量運算資源與時間。文章首先簡要介紹了推幀成像與數(shù)字TDI的應(yīng)用模式，通過分析推幀成像模式下原始圖像序列的空域互相關(guān)特性與圖像匹配機理，提出了此快速幀間匹配技術(shù)，并進行了仿真試驗。結(jié)果表明應(yīng)用非線性自回歸神經(jīng)網(wǎng)絡(luò)運動估計的快速幀間匹配技術(shù)可顯著提高數(shù)字TDI后處理的實時性，使計算效率提升達70%以上，同時提高匹配精度，減少誤匹配。該技術(shù)泛化力強，通用度高，不同地面分辨率、不同軌道高度的空間相機數(shù)據(jù)均可應(yīng)用該技術(shù)進行快速且精確的機內(nèi)或地面幀間匹配。

推幀成像 圖像匹配 運動估計 非線性回歸 空間相機

0 引言

隨著對地遙感衛(wèi)星輕小型化趨勢愈演愈烈，針對輕小型化遙感載荷進行成像優(yōu)化研究的必要性更加顯著。不論是以Terra Bella公司的Skysat[1]衛(wèi)星所采用的數(shù)字TDI為代表的多幀合成提高圖像信噪比與動態(tài)范圍的方法，還是在遙感圖像處理中應(yīng)用較廣泛的多幀超分辨率、多幀MTFC等圖像增強方法，序列圖像幀間匹配都是關(guān)鍵步驟，且匹配精度與效率的高低對于增強效果的好壞以及算法的實時性具有決定性的影響。

在精度方面，亞像元級的匹配一直是圖像匹配研究領(lǐng)域中的關(guān)鍵問題，方法可歸納為三類：基于插值的方法[2]、解最優(yōu)化問題法[3]、擴展的相位相關(guān)法[4]。擴展的相位相關(guān)法包含空域解法和頻域解法兩類：其中頻域解法運算量較小，且精度較高，但通常僅適用于幀間的平移或旋轉(zhuǎn)關(guān)系；而空域解法的性能較差。解最優(yōu)化問題法是定義一個目標函數(shù)，應(yīng)用迭代法精確求解變換參數(shù)，此類方法的運算量一般較大?；叶群瘮?shù)內(nèi)插法是基于空域插值方法中的一種相似性函數(shù)內(nèi)插法[5]，該方法簡單有效，具有較強的魯棒性。在效率方面，常見的圖像匹配方法通常使用全局的圖像信息，無法針對特定使用場景引入先驗知識，故往往計算量巨大，且易匹配錯誤。

在保證匹配精度的前提下提高匹配算法效率，本文提出了非線性自回歸（Nonlinear Auto Regressive，NAR）神經(jīng)網(wǎng)絡(luò)運動估計與SIFT（Scale Invariant Feature Transform）空域匹配算法相結(jié)合的序列遙感圖像快速匹配方法，在匹配模型中深度融入先驗知識，降低了運算量的同時減少了誤匹配的發(fā)生，為航天遙感器推幀模式下所得序列圖像的像質(zhì)增強處理的關(guān)鍵步驟提供了研究支撐與算法參考。

1 面陣傳感器空間相機的推幀成像模式

近10年來，面陣傳感器的發(fā)展日趨成熟，性能不斷得到突破，尤其是面陣CMOS圖像傳感器，在動態(tài)范圍、靈敏度、噪聲控制等關(guān)鍵指標上獲得了大幅度的技術(shù)進步，將面陣器件應(yīng)用于輕小型航天遙感器上成為近些年來的研究與應(yīng)用熱點[6]。

輕小型航天遙感器存在目標相對運動速度較快、單位時間入瞳能量較低的問題，目前主要有兩類解決方法：1）通過電子學(xué)設(shè)計驅(qū)動面陣 CCD或 CMOS器件實現(xiàn)模擬域或數(shù)字域的時間延遲積分，例如Planet公司的鴿群[7]星座（Doves）；2）對地物進行高幀率的面陣推幀成像，經(jīng)過后期的圖像處理，將高重疊率的原始圖像融合成像質(zhì)改善的輸出圖像，例如Terra Bella公司的SkySat系列衛(wèi)星。

第一種方法雖能延長等效積分時間，提高輸出圖像的信噪比，但無法避免輕小型載荷姿態(tài)穩(wěn)定度不高、小口徑光學(xué)系統(tǒng)衍射極限的限制，使得地面分辨率瓶頸依然存在，且文獻[8-13]提出的面陣 CMOS的TDI實現(xiàn)，均是依賴于對相機內(nèi)部器件或電子學(xué)系統(tǒng)進行重新設(shè)計或升級改造，盡管這些方法可以實現(xiàn)TDI功能，但也繼承了TDICCD的一些顯著的不足之處：定制化設(shè)計成本高 、對衛(wèi)星平臺姿態(tài)要求高、幀頻需要與地速嚴格匹配等，這些因素不利于欲采用面陣CMOS的輕小型遙感器所提倡的低成本化的設(shè)計思路。

第二種方法，即推幀成像模式，是面陣遙感器沿在軌推掃方向進行高幀率的連續(xù)拍攝模式，如圖 1所示。該成像模式下可以獲得對同一地物的多幀高重疊度影像，提供更加豐富的原始數(shù)據(jù)，地面處理可塑性強、提升潛力大，通過后期處理將信噪比較低的原始幀進行圖像匹配與融合，合成信噪比提升的輸出圖像，即數(shù)字TDI[14]；同時由于高重疊度的多幀圖像存在冗余信息，可通過提取亞像元信息，來實現(xiàn)多幀超分辨率增強，提高輸出圖像的分辨率。通過將運算工作交給地面站，可簡化相機設(shè)計，降低相機成本；并且該技術(shù)對于衛(wèi)星平臺的指向精度與姿態(tài)穩(wěn)定度誤差具有魯棒性，可以很大程度降低相機成像對衛(wèi)星平臺的要求。該方法需要開發(fā)對應(yīng)的圖像處理算法來適配像質(zhì)提升技術(shù)，綜合來看，是適用性廣的優(yōu)選方法。

推幀模式下的幀間相位關(guān)系主要為沿推掃方向的相對平移，但由于存在如衛(wèi)星平臺微振動及軌道攝動等因素的運動影響，推幀模式下所成序列幀之間并不僅有沿推掃方向的平移位移，還會有少量沿垂直推掃方向的位移甚至局部尺度變化存在，所以在進行多幀圖像增強處理之前必須經(jīng)過高精度的幀間匹配過程。

2 NAR神經(jīng)網(wǎng)絡(luò)運動估計

在推幀工作模式下，空間面陣相機的典型工作幀頻通常在40幀/s以上，面對如此龐大的數(shù)據(jù)量，若每一幀都做全局匹配點檢索，數(shù)據(jù)量將會是巨大的。本文提出了應(yīng)用運動估計的檢索優(yōu)化方法，將待檢索匹配點估入小的預(yù)測區(qū)域中，進而很大程度提高了運算效率。

在實際推幀成像狀態(tài)下，面對不同工作軌道參數(shù)、不同的工作模式（如慢掃、側(cè)擺）、不同衛(wèi)星平臺的姿態(tài)控制能力等條件，序列幀之間的位移量變化隨時間呈現(xiàn)非線性的特點。本文選取 NAR模型，對相對位移參數(shù)變化進行學(xué)習(xí)并進行預(yù)測。NAR模型是用自身做回歸變量，即利用前期若干時刻的隨機變量的線性組合來描述以后某時刻隨機變量的模型，現(xiàn)被廣泛應(yīng)用于經(jīng)濟指數(shù)預(yù)測、生物種群預(yù)測等領(lǐng)域[15]。預(yù)測過程[16-18]為

式中 y(t)為神經(jīng)網(wǎng)絡(luò)的輸出；t為時域坐標；d為延時階數(shù)；y(t-d)為d時間之前的輸出。

NAR神經(jīng)網(wǎng)絡(luò)為單個隱藏層結(jié)構(gòu)，含有10個神經(jīng)元，如圖2所示。W為聯(lián)結(jié)權(quán)值，b為閾值，延時階數(shù)d取為15。NAR網(wǎng)絡(luò)中延時反饋為輸出信號的時間延遲信號，由于是基于自身數(shù)據(jù)的回歸，NAR神經(jīng)網(wǎng)絡(luò)以輸出的時間延遲信號作為網(wǎng)絡(luò)的輸入，通過隱藏層與輸出層的計算得到網(wǎng)絡(luò)的輸出。本文隱藏層激活函數(shù)選用Tansig函數(shù)，輸出層激活函數(shù)選用Purelin函數(shù)，選用BP算法進行訓(xùn)練，訓(xùn)練使用均方根誤差進行性能評價。

本文將幀間相對位移分解為在傳感器坐標系中的平移分量Δx、Δy，其中Δx定義為沿推掃方向，Δy定義為垂直推掃方向，如圖3所示，并對它們分別構(gòu)建NAR網(wǎng)絡(luò)進行訓(xùn)練。由于在預(yù)測待匹配區(qū)域后，還會進行精匹配過程，故訓(xùn)練神經(jīng)網(wǎng)絡(luò)時真實輸出為已知量，為減少因預(yù)測量誤差帶來的輸入誤差，本文用真實的匹配結(jié)果代替預(yù)測量作為反饋值輸入。

圖4為NAR神經(jīng)網(wǎng)絡(luò)幀間運動估計。圖4（a）中實際值為推幀成像衛(wèi)星在慢掃模式下沿推掃方向的分量 Δx隨時間變化的曲線，即隨機抽取序列內(nèi)連續(xù)的 150幀圖像訓(xùn)練NAR網(wǎng)絡(luò)，其中每相鄰15個時刻的相對位移分量Δxt-15…Δxt-2、Δxt-1作為輸入層，亦即延時階數(shù)為15，Δxt作為輸出層。圖4（a）中的預(yù)測值為本文訓(xùn)練好的NAR預(yù)測網(wǎng)絡(luò)連續(xù)200幀所作出的預(yù)測，與訓(xùn)練過程類似，由于每次估計后均會返回精確匹配的結(jié)果，故每輸出一次預(yù)測值，輸入均為圖像序列中緊鄰的之前 15幀的精確匹配值。圖4（a）中的預(yù)測誤差見圖4（b）所示。在本次試驗中，本文所采用的預(yù)測方法通過高效訓(xùn)練的 NAR神經(jīng)網(wǎng)絡(luò)模型，可使預(yù)測誤差的均方根值小于1像元，從而顯著壓縮精匹配過程中的預(yù)估檢索區(qū)域，提升匹配效率。

3 精匹配過程

依據(jù)運動估計中所得到的相對位移預(yù)估值，在精匹配階段先粗定位到像素級匹配位置，然后以該位置為中心對相關(guān)函數(shù)的鄰近區(qū)域作亞像元插值，減小運算量的同時將匹配精度提高到亞像元級，匹配完成后再依據(jù)對極幾何約束對匹配點對進行篩選，剔除誤匹配點。結(jié)合 SIFT特征點提取方法具有的對旋轉(zhuǎn)、尺度縮放、仿射變換的不變性，對噪聲、視角和光照變化的穩(wěn)定性，提出適合于本文且性能優(yōu)良的亞像元級幀間精匹配方法。

3.1 特征點提取與描述

應(yīng)用于推幀成像的圖像匹配算法需要對噪聲、視角和光照具有較高的穩(wěn)定性，對旋轉(zhuǎn)、尺度縮放、仿射變換具有不變性，滿足條件且性能優(yōu)良的空域特征點提取與表征方法主要有 SIFT[19]與 SURF（Speeded Up Robust Feature）。SIFT與SURF算法均基于高斯金字塔尋找局部極值點來確定尺度不變的穩(wěn)定點，在特征點描述階段均以特征點為中心，在周圍鄰域內(nèi)統(tǒng)計特征，SIFT在正方形鄰域內(nèi)統(tǒng)計梯度的幅值的直方圖，找最大幅值對應(yīng)的方向；SURF在圓形領(lǐng)域區(qū)域內(nèi)，計算各個扇形范圍內(nèi)沿圖像空間兩個坐標軸方向的haar小波響應(yīng)，找尋模最大的扇形方向表征。在性能方面SURF運行速度僅為SIFT的三分之一，但在描述精度方面相較于 SIFT有差距?？紤]到本方法應(yīng)用背景，權(quán)衡資源效能分配，本文選用 SIFT為理論基礎(chǔ)做亞像元級特征點提取與表征，并加以適應(yīng)性改進。特征點提取與描述具體分為以下五個步驟[19]：

1）構(gòu)造尺度空間。由于高斯卷積核是實現(xiàn)尺度變換的唯一線性核，故將原圖像與一個二維尺度可變的高斯函數(shù)求卷積

式中 L(x，y，σ)為多尺度高斯空間元素；G(x，y，σ)為高斯函數(shù)； (,)I x y為原圖像；(,)x y為圖像空間坐標系下的坐標；σ是尺度坐標。

高斯拉普拉斯函數(shù)的極大值和極小值同其它常用的特征提取函數(shù)，如Hessian或Harris角點特征相比，能夠產(chǎn)生最穩(wěn)定的圖像特征。為簡化計算，通常用高斯差分尺度（Different of Gussian，DOG）算子近似高斯拉普拉斯函數(shù)構(gòu)造金字塔形多尺度空間，如圖5所示。

式中 D(x，y，σ)為高斯差分空間元素；k為常數(shù)因子。

圖像金字塔共O組，每組有S層，下一組的圖像由上一組圖像降采樣得到；圖5右側(cè)每一層由相鄰的兩層高斯圖像相減而成。

2）特征點粗定位。將每個采樣點與其在多分辨率尺度空間中的所有相鄰點比較，即：和它同尺度的8個相鄰點以及上下相鄰尺度對應(yīng)的9×2個點共26個點比較，尋找尺度空間和圖像空間上的極值點作為圖像粗定位特征點。

3）特征點精定位。為了得到精準且穩(wěn)健的特征點，同時將定位精度提升到亞像素級，須對粗定位空間進行二元二次擬合，利用離散空間點插值得到連續(xù)空間極值點信息，該方法稱作亞像素插值，同時去除由于DOG算子的邊緣響應(yīng)而產(chǎn)生的邊緣點。

4）特征點的主方向確定。計算關(guān)鍵點的圖像梯度，并用直方圖統(tǒng)計鄰域內(nèi)像素的梯度和方向，梯度直方圖將0°～360°的方向范圍均分為36柱。直方圖的峰值方向作為特征點的主方向。

5）特征點描述。對于每一個特征點，都有三個描述信息：位置、尺度以及方向。特征點描述的目的是一個具有獨特性的特征向量把特征點描述出來。描述子（表征特征點特性的描述法則）使用在關(guān)鍵點尺度空間內(nèi)4×4的窗口中計算的8個方向的梯度信息，共4×4×8=128維向量表征。

3.2 特征點對匹配與速率優(yōu)化

選用特征點向量夾角余弦的方法對 SIFT算法所提取的 128維特征描述符向量進行相似度計算和匹配。先對參考幀中的每一個特征點P0，用反余弦函數(shù)計算待配圖像中所有特征點Pk與P0的特征描述符向量夾角

計算完成后對128個夾角排序，如果最小夾角與次小夾角比值小于某個閾值，則判定P0和Pk是一對匹配特征點對。關(guān)于閾值的選取，一般取0.4～0.6為最佳，閾值選取越小，匹配關(guān)系的鑒別越嚴格。

在匹配點對搜尋過程中，待匹配幀的每一個特征點描述子要與基準幀的每一個描述子進行計算與比較，占用了許多計算資源，事實上，在特征點較多的情況下，SIFT特征點匹配計算量的70%在于匹配點的搜尋步驟。而在對地觀測的推幀成像模式下，沿時間軸排列的序列幀之間可以通過運動估計來將待匹配點預(yù)估進一個粗區(qū)域，所采取的估計方法如前所述，見圖 6。在已知相對運動估計值的前提下，匹配點對篩選階段只需檢索預(yù)估區(qū)域內(nèi)的特征點，從而大大提高了匹配運算效率，同時也能消除一部分無效誤匹配。表1中第1列前4個為圖像處理常用數(shù)據(jù)庫中的圖像，加上自定遙感圖像作為素材進行匹配計算試驗，計算速率統(tǒng)計如表1所示。

表1 改進前后計算速率比對Tab.1 Rate comparison before and after improvement

可以看出，改進方法對算法效率提升明顯，且改進效果與圖像特征點數(shù)量成正相關(guān)，尤其是對于數(shù)據(jù)量大、特征點豐富的遙感圖像應(yīng)用，效率提升將更加顯著。

3.3 基于對極幾何約束的匹配篩選方法

于對地遙感而言，同一幅圖像中出現(xiàn)相似特征點的概率更高（例如構(gòu)型相似的房屋、花壇或車輛等），基于局部特征的匹配方式的錯誤率也會相應(yīng)更高。本節(jié)介紹基于對極幾何的理論、基礎(chǔ)矩陣的數(shù)學(xué)表達以及隨機抽樣一致性（RANSAC）的統(tǒng)計方法來實現(xiàn)誤匹配點對的剔除。對極幾何是描述圖像之間內(nèi)部關(guān)系的影射幾何，它與兩幅圖像局部的具體景物無關(guān)，而僅與兩幅圖的全局相對視角相關(guān)，這種幾何約束關(guān)系可以用基礎(chǔ)矩陣準確地表達為

式中 F為基礎(chǔ)矩陣；X′與X為待匹配圖像中的一組匹配點坐標。

基于基礎(chǔ)矩陣表征的對極幾何約束條件，本文選用 RANSAC的統(tǒng)計方法[20]對誤匹配點進行篩除操作。主要分為以下步驟：1）從匹配點對集合中隨機抽選8對，代入式（6）中計算基礎(chǔ)矩陣F初始值；2）根據(jù)算出的F，將匹配點對代入式（6）中，若誤差小于閾值e則算作一組有效匹配，并將這一組匹配點加入有效匹配點集，并重新計算基礎(chǔ)矩陣F后循環(huán)； 3）經(jīng)過N次隨機采樣，選擇集合中點對數(shù)最多的最大一致有效匹配點對作為最終有效匹配點對。通過以上過程，消除了那些局部相似度高但不能滿足對極幾何約束的錯誤匹配點對，得到滿足約束的有效匹配點對。

圖7展示了一組亞像元級平移的前后幀之間的匹配情況，平移向量為（33.1，60.05）。圖7(a)是對極幾何篩選前的匹配點對相對坐標關(guān)系，圖7（b）是對極幾何篩選后的匹配點對相對坐標關(guān)系，可見本文方法篩除了絕大部分像元級誤差，將匹配結(jié)果的誤差范圍限制在了一個像元以內(nèi)，且絕大多數(shù)值十分趨近于準確值，校正篩選效果顯著。用質(zhì)心法取平移量的最優(yōu)解，可得篩選后的匹配平移向量為（33.093，60.056），匹配精確度在0.01個像元以內(nèi)。用自定遙感圖像為素材，圖像大小為1 145×1 279，在（-200，200）范圍內(nèi)分別在圖像空間坐標系的x、y軸方向給定一個隨機數(shù)作為亞像元級偏移量，用本文算法對偏移前后的圖像進行匹配，并給出匹配數(shù)值結(jié)果，如表2所示。

表2 偏移量與匹配值的統(tǒng)計數(shù)據(jù)Tab.2 Statistical data of offset and registration value

4 結(jié)束語

本文介紹了面陣相機的推幀成像工作模式，提出了基于SIFT特征點提取，結(jié)合NAR神經(jīng)網(wǎng)絡(luò)運動估計與RANSAC匹配篩選的亞像元級序列圖像幀間匹配方法，在提升匹配精度的同時提升了算法效率。經(jīng)試驗驗證，對于特征點豐富的遙感圖像，該技術(shù)可節(jié)省的兩幀匹配時間約在70%～80%之間，相對平移情況下的亞像元級匹配誤差在0.01個像元以內(nèi)。由于該技術(shù)僅基于序列圖像間的互相關(guān)關(guān)系，匹配前的先驗知識也來自序列相關(guān)關(guān)系的提取而不依賴外部輸入，故該技術(shù)具有很高的適用性與泛化能力，應(yīng)用該技術(shù)可實現(xiàn)精確且快速的幀間匹配，減少計算資源的占用，提高后期處理的實時性。

References)

[1]MURTHY K, SHEARN M, SMILEY B D, et al. SkySat 1：Very High Resolution Imagery from a Small Satellite[C]. SPIE 9241, Sensors, Systems, and Next-Generation Satellites XVIII. Amsterdam, 2014.

[2]BALCI M, FOROOSH H. Subpixel Estimation of Shifts Directly in the Fourier Domain[J]. Image Processing, IEEE Transaction on, 2006, 15(7)： 1965-1972.

[3]HOGE W S. A Subspace Identification Extension to the Phase Correlation Method[J]. Medical Image, IEEE Transactions on, 2003, 22(2)： 277-280.

[4]KERN J P, PATTICHIS M T, CHANG E C, et al. A Fast Direct Fourier-based Algorithm for Subpixel Registration of Images[J]. Geoscience and Remote Sensing, IEEE Transactions on, 2001, 39(10)： 2235-2243.

[5]MANUEL G S, SAMUEL T T, JAMES R F. Efficient Subpixel Image Registration Algorithms[J]. Opt, Lett, 2008, 33(2)：156-158.

[6]劉志勇, 黃巧林. CMOS相機在微小衛(wèi)星上的應(yīng)用[J]. 航天返回與遙感, 2003, 24(2)： 29-33. LIU Zhiyong, HUANG Qiaolin. The Application of CMOS Camera in Small Satellites[J]. Spacecraft Recovery & Remote Sensing, 2003, 24(2)： 29-33.(in Chinese)

[7]Spaccflight101. Flock 1-Planet Labs Earth Observation Satellites[EB/OL]. [2017-02-27]. http：//www.spaceflight101.com/ flock-1.html.

[8]MICHAELIS H, JAUMANN R, MOTTOLA S. CMOS-APS Sensor with TDI for High Resolution Planetary Remote Sensing[C]. IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors, 2005： 31-34.

[9]LEPAGE G. Time Delayed Integration CMOS Image Sensor with Zero Desynchronization： US, 7675561B2[P]. 2010-03-09.

[10]曲宏松, 張葉, 金光. 基于數(shù)字域TDI算法改進面陣CMOS圖像傳感器功能[J]. 光學(xué)精密工程, 2010, 18(8)： 1896-1903. QU Hongsong, ZHANG Ye, JIN Guang. Improvement of Performance for CMOS Area Image Sensors by TDI Algorithm in Digital Domain[J]. Optics and Precision Engineering, 2010, 18(8)： 1896-1903. (in Chinese)

[11]陶淑蘋, 金光, 曲宏松. 實現(xiàn)空間高分辨成像的數(shù)字域時間延遲積分 CMOS相機設(shè)計及分析[J]. 光學(xué)學(xué)報, 2012, 32(4)： 93-101. TAO Shuping, JIN Guang, QU Hongsong. Influence Analysis on the Rolling Shutter for Time Delay and Integration in Digital Domain[J]. Acta Optica Sinica, 2012, 32(4)： 93-101. (in Chinese)

[12]陶淑蘋, 金光, 曲宏松. 采用卷簾數(shù)字域TDI技術(shù)的CMOS成像系統(tǒng)設(shè)計[J]. 紅外與激光工程, 2012, 41(9)： 2380-2385. TAO Shuping, JIN Guang, QU Hongsong. Design of CMOS Imaging System Based on Rolling TDI in Digital Domain[J]. Infrared and Laser Engineering, 2012, 41(9)： 2380-2385. (in Chinese)

[13]陶淑蘋, 金光. 卷簾快門對數(shù)字域TDI成像的影響分析[J]. 光學(xué)學(xué)報, 2015, 35(3)： 107-112. TAO Shuping, JIN Guang. Influence Analysis on the Rolling Shutter for Time Delay and Integration in Digital Domain[J]. Acta Optica Sinica, 2015, 35(3)： 107-112. (in Chinese)

[14]WEI Jiuzhe, WANG Xiaoyong, HUANG Changning. Research on Digital TDI Technology for Optimizing Sequence Remote Sensing Images Applied in an Imager with Area Array Cmos Sensor[C]. ISSOIA 2016. Springer, 2016.

[15]范劍青, 姚琦偉. 非線性時間序列[M]. 北京： 高等教育出版社, 2005. FAN Jianqing, YAO Qiwei. Nonlinear Time Series[M]. Beijing： Higher Education Press, 2005. (in Chinese)

[16]袁魯山. 基于NAR神經(jīng)網(wǎng)絡(luò)的車速預(yù)測及應(yīng)用[D]. 大連： 大連理工大學(xué), 2016. YUAN Lushan. Vehicle Speed Prediction and Application Based on NAR Neural Network[D]. Dalian： Dalian University of Technology, 2016. (in Chinese)

[17]陳茹雯, 黃仁. 非線性自回歸時序模型研究及其預(yù)測應(yīng)用[J]. 系統(tǒng)工程理論與實踐, 2015, 35(9)： 2370-2379. CHEN Ruwen, HUANG Ren. Research on General Expression for Nonlinear Autoregressive Model and its Forecast Application[J]. Systems Engineering-theory & Practice, 2015, 35(9)： 2370-2379. (in Chinese)

[18]陳茹雯, 湛時時. 基于非線性自回歸時序模型的振動系統(tǒng)辨識[J]. 計算機應(yīng)用研究, 2016, 33(10)： 3021-3025. CHEN Ruwen, ZHAN Shishi. Identification Based on GNAR Model for Vibration System[J]. Application Research of Computers, 2016, 33(10)： 3021-3025. (in Chinese)

[19]LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2)： 91-110.

[20]FISCHLER M A, BOLLES R C. Random Sample Consensus： Aparadigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of Association for Computing Machinery, 1981, 24(6)： 381-395.

A Sequence Inter-frame Registration Technique Applying the NAR Motion Estimation Method

WEI Jiuzhe1,2WANG Xiaoyong1HUANG Changning1ZHUANG Xuxia1
（1 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（2 Shenzhou Academy of China Academy of Space Technology, Beijing 100080, China）

For the new method of high resolution remote sensing combined with push-frame and digital TDI post-processing, the step of inter-frame registration in the image post-processing process spends a lot of computing resources and time. This paper firstly introduces the application pattern of push frame imaging and digital TDI. By analyzing the spatial correlation characteristics and image registration mechanism of the original image sequence in the push-frame imaging mode, this fast inter-frame registration technique is proposed and experimentally verified. The results show that the fast inter-frame registration technique of NAR (Nonlinear Auto-Regressive models) neural network motion estimation can significantly improve the real-time performance of digital TDI post-processing, the efficiency of calculation by more than 70%, and the registration accuracy. This technology is highly generalized and versatile. Imaging data with different ground resolutions and different orbital heights can apply this technique to achieve a fast and accurate inter-frame registration.

push-frame; image registration; motion estimation; nonlinear regression; space camera

TN911.73

A

1009-8518(2017)03-0086-08

10.3969/j.issn.1009-8518.2017.03.010

魏久哲，男，1991年生，2014年獲中北大學(xué)飛行器設(shè)計與工程專業(yè)學(xué)士學(xué)位，現(xiàn)在中國空間技術(shù)研究院攻讀飛行器設(shè)計專業(yè)碩士學(xué)位。研究方向為空間遙感器系統(tǒng)設(shè)計。Email：290230371@qq.com。

（編輯：王麗霞）

2017-02-24

國家重點發(fā)展計劃（2016YFB0501300，2016YFB0501302）