王　霞，張　過,2,3，沈　欣，李貝貝，蔣永華

1. 國家測繪地理信息局衛(wèi)星測繪應(yīng)用中心，北京 101300； 2. 武漢大學(xué)測繪遙感信息工程國家重點實驗室，湖北 武漢 430079； 3. 地球空間信息技術(shù)協(xié)同創(chuàng)新中心，湖北 武漢 430079； 4. 武漢大學(xué)資源與環(huán)境科學(xué)學(xué)院，湖北 武漢 430079； 5. 長光衛(wèi)星技術(shù)有限公司，吉林 長春 130033； 6. 武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079

?

顧及像面畸變的衛(wèi)星視頻穩(wěn)像

王霞1，張過1,2,3，沈欣2,3,4，李貝貝5，蔣永華6

1. 國家測繪地理信息局衛(wèi)星測繪應(yīng)用中心，北京 101300； 2. 武漢大學(xué)測繪遙感信息工程國家重點實驗室，湖北 武漢 430079； 3. 地球空間信息技術(shù)協(xié)同創(chuàng)新中心，湖北 武漢 430079； 4. 武漢大學(xué)資源與環(huán)境科學(xué)學(xué)院，湖北 武漢 430079； 5. 長光衛(wèi)星技術(shù)有限公司，吉林 長春 130033； 6. 武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079

distortion

Foundation support： The National Natural Science Foundation of China (Nos. 41201361; 41501503 ); Public Science Research Programme of Surveying, Mapping and Geoinformation(Nos.201412007; 201512022);The National Natural Science Foundation of Hubei Province of China(No.2015CFB330)

摘要：衛(wèi)星視頻每幀影像外方位元素數(shù)值存在差別，相鄰幀影像間的同名點在像面位置不同，且由于每幀影像均存在幾何畸變，經(jīng)典的幀間的投影變換模型、仿射變換模型等視頻穩(wěn)像的配準模型不能精確描述幀間的同名點關(guān)系。針對該問題，本文提出顧及像面畸變的衛(wèi)星視頻穩(wěn)像算法，基于仿真的衛(wèi)星視頻，驗證了該算法的可行性和精度。

關(guān)鍵詞：衛(wèi)星視頻;運動估計;運動補償;視頻穩(wěn)像;幾何畸變

21世紀初，第一顆高分辨率光學(xué)衛(wèi)星IKONOS發(fā)射，開啟了高分辨率商業(yè)衛(wèi)星發(fā)展新篇章；2013年，Skybox Imaging公司發(fā)射了首顆SkySat視頻衛(wèi)星，視頻衛(wèi)星對地觀測記錄了運動目標信息[1]，開創(chuàng)了動態(tài)遙感的新紀元。

視頻穩(wěn)像是視頻應(yīng)用的前提，其主要消除視頻各幀影像之間的相對變形，建立同名像元之間正確的映射關(guān)系。典視頻穩(wěn)像過程主要是由圖像預(yù)處理[2]、運動估計和運動補償3部分組成[3]，其中運動估計就是通過塊匹配法、特征點匹配法[4-5]、灰度投影法、位平面匹配法提取幀間的同名點，利用平移模型、仿射模型、相似模型或投影變換模型[5]估計幀間的由于載體運動引起的幀間變形。運動補償主要是利用運動估計步驟的計算的變換模型將當前幀校正使視頻顯示穩(wěn)定的位置上，常見的運動補償算法主要有固定幀補償法[5]、逐幀補償算法和運動濾波補償法。

針對類SkySat的面陣“凝視”視頻，視頻每幀影像外方位元素數(shù)值的差異是引起幀間運動的主要原因，但是相鄰幀影像間的同名點在不同幀影像上的像面位置不同,且每幀影像均存在幾何畸變，因此經(jīng)典幀間的變換模型不能精確描述相鄰幀之間的同名點關(guān)系。針對該問題，本文提出基于主幀的衛(wèi)星視頻運動估計模型，同時顧及幀間外方位元素差異引起的變形和由幀內(nèi)幾何畸變引起的同名點在像面不同位置引起的變形。

1衛(wèi)星視頻幀間運動估計和補償

1.1顧及像面畸變的衛(wèi)星視頻穩(wěn)像技術(shù)流程

針對SkySat的面陣“凝視”視頻，由于每幀影像的覆蓋范圍基本一致，可采用固定幀補償法進行運動補償[5]，需直接估計基于固定幀的幀間運動模型進而進行運動補償，其主要流程如下：①主幀和輔幀同名點匹配，選取連續(xù)視頻影像若干幀，選擇中間幀為主幀，把輔幀和主幀采用分塊模式進行SIFT[6]同名點匹配，同名點匹配過程中利用投影變換模型[5]和RANSAC 算法[7]進行匹配粗差剔除。②基于固定幀的衛(wèi)星視頻運動估計，利用匹配獲取的同名點計算主幀與輔幀之間的運動估計參數(shù)，補償計算輔幀的RPC模型。③基于固定幀的衛(wèi)星視頻運動補償，利用步驟②求解的輔幀的RPC模型參數(shù)，將輔幀向主幀進行影像重采樣，完成視頻運動補償。

1.2基于固定幀的衛(wèi)星視頻運動估計

1.2.1衛(wèi)星視頻單幀定向模型

由于嚴密幾何模型改正的復(fù)雜性和穩(wěn)定性不高，在IKONOS-2上天后，衛(wèi)星影像的幾何處理基本采用RPC模型[5，8-11]，由于RPC參數(shù)一般采用與地形無關(guān)方式求解[12]，RPC模型參數(shù)都存在系統(tǒng)誤差，針對單幀影像，采用像方改正模型補償此類誤差，補償模型如下式所示[13]

(1)

式中，(lat,lon,h)為地面點經(jīng)緯度高程；(x,y)為像點坐標；在窄視場條件下，a0、b0用來吸收軌道中沿軌誤差、垂軌誤差、徑向誤差以及姿態(tài)中滾動誤差、俯仰誤差引起的平移誤差；a1、b1、a2、b2用來吸收軌道中徑向誤差引起的縮放誤差以及姿態(tài)中偏航誤差引起的旋轉(zhuǎn)誤差[13-17]。

1.2.2基于固定幀的幀間運動估計模型

針對面陣“凝視”視頻，固定幀一般選擇視頻時間段內(nèi)中間幀(主幀)，其余所有幀(輔幀)都和主幀影像進行運動估計，然后輔幀都采樣到主幀，該過程同時完成了相鄰幀之間的運動估計，實現(xiàn)衛(wèi)星視頻穩(wěn)像。由于主幀為固定幀，主幀影像不采樣，因此主幀RPC模型參數(shù)系統(tǒng)誤差不補償，采用像面仿射模型補償輔幀的RPC模型參數(shù)，完成幀間的運動估計。依據(jù)輔幀的仿射變換參數(shù)，重算采樣后輔幀的RPC模型參數(shù),獲得穩(wěn)像后每幀的RPC參數(shù)?；诠潭◣膸g運動估計模型如下

(2)

式中，n表示主幀，n+i(i≠0)表示輔幀，該運動估計模型實際上把主幀姿態(tài)軌道誤差引起的平移誤差、比例誤差和旋轉(zhuǎn)誤差直接疊加到輔幀的像面仿射變換系數(shù)中，由于利用視頻每幀嚴密幾何模型求解RPC模型采用與地形無關(guān)模式[12]，且在求解RPC模型時候顧及像面畸變，因此該運動估計模型在考慮姿態(tài)軌道誤差引起的幀間運動外同時顧及像面畸變對幀間變換模型影響。

在該運動模型估計中，部分輔幀和主幀之間的交會角比較小(如小于10°)，利用公式(2)進行立體平差，該運動模型估計可能不收斂，因此針對主幀和輔幀交會角小于10°情況，采用主幀和輔幀匹配同名點，采用主幀的RPC模型投影到SRTM-DEM高程面求解地面點坐標，輔幀的配準點作為像點坐標，求解輔幀的像面仿射參數(shù)，完成主幀和輔幀運動模型估計；針對主幀和輔幀交會角大于10°情況，采用主幀和輔幀匹配同名點，進行利用公式(2)進行立體平差，求解輔幀的像面仿射參數(shù)，完成主幀和輔幀運動模型估計。

1.3基于固定幀的衛(wèi)星視頻運動補償

利用幀間運動估計后的輔幀的RPC模型參數(shù)和主幀的RPC模型參數(shù)，直接可實現(xiàn)衛(wèi)星視頻輔幀和主幀的像點的點點對應(yīng)，簡化的主幀和輔幀正反算公式如下，可表達兩個影像像面對應(yīng)坐標關(guān)系

在該坐標關(guān)系中，輔幀和主幀的RPC模型參數(shù)采用嚴密幾何模型參數(shù)求解中顧及影像的幾何畸變(Δx,Δy),主幀和輔幀運動估計中考慮了主幀和輔幀外方位元素誤差引起的幀間變形，因此該模型可精確描述幀間的同名點關(guān)系。

利用主幀的RPC模型對像點坐標(x,y)正算到相應(yīng)的SRTM-DEM高程面，可以得到對應(yīng)的物方坐標(X,Y,Z)；利用基于輔幀的補償后的RPC模型參數(shù)對物方坐標(X,Y,Z)進行模型反算可以得到輔幀上像點坐標(x1,y1)，然后采用高精度重采樣算法，獲得(x1,y1)處在輔幀的亮度值，完成基于固定幀的衛(wèi)星視頻運動補償。

2試驗和分析

2.1試驗數(shù)據(jù)

由于在國內(nèi)未經(jīng)穩(wěn)像的類SkySat面陣“凝視”視頻到2015年10月吉林一號視頻星發(fā)射才能獲得，因此本文試驗所用衛(wèi)星視頻采用仿真手段獲得。

采用吉林一號視頻星的技術(shù)指標，該衛(wèi)星運行在656 km太陽同步軌道，采用4000×3000像素的CMOS成像器件，視頻的幀頻為25，采集最長為120 s的凝視面陣視頻，該視頻的地面分辨率為1.13 m。利用登封地區(qū)的1∶5000的DEM和DOM，采用唐新明等研制的衛(wèi)星影像仿真系統(tǒng)[18]仿真獲得8 s的視頻，共200幀視頻影像。在仿真中為軌道加上±5 m的隨機誤差，姿態(tài)加±5″的隨機誤差，畸變模型考慮k1、k2的徑向畸變和p1、p2的偏心畸變[19]。

2.2原始視頻幾何模型試驗

采用與地形無關(guān)的方式[12]求解面陣視頻每幀RPC參數(shù)，獲得RPC模型替代面陣影像嚴密幾何模型的精度。取第70幀、第100幀和第130幀的擬合精度如表1所示。由于面陣數(shù)據(jù)外方位元素是定值，畸變模型采用不超過5階的模型，因此沿軌向和垂軌向RPC模型替代嚴密幾何模型的精度較高[20]，優(yōu)于5×10-6像素，滿足5%像素的RPC擬合精度要求。

表1　原始視頻RPC替代精度

2.3幀間運動估計試驗

利用SIFT算子獲取輔幀和主幀之間的同名點，利用投影變換模型[5]和RANSAC 算法[7]進匹配粗差剔除，利用基于固定幀的幀間運動估計模型，采用SRTM-DEM投影或立體平差方式獲取輔幀的像方仿射變換參數(shù)，選取任意相鄰幀之間的定向殘差，計算運動估計殘差，如表2所示。

表2　幀間運動估計精度評估

由表2所示，幀間運動估計中誤差在0.15個像素之內(nèi)，驗證了本文提出的運動估計模型的精度。

為了保證穩(wěn)像后視頻三維重建和目標運動軌跡計算，進一步對比了采樣后輔幀有理函數(shù)模型擬合精度，如表3所示，采樣后輔幀的RPC擬合精度優(yōu)于萬分之一像素。

表3運動估計補償后RPC擬合精度

Tab.3Video RPC fitting accuracy after motion estimate compensation

像素

2.4穩(wěn)像后衛(wèi)星視頻配準精度驗證

為了驗證衛(wèi)星視頻穩(wěn)像精度，利用基于ENVI開發(fā)的Corr-Cosi插件[21]對穩(wěn)像后相鄰幀視頻圖像進行相關(guān)匹配運算。配準窗為32×32像素，步長為32像素，最大迭代兩次。表4為任意抽取的3個相鄰幀對之間配準精度的統(tǒng)計結(jié)果。

表4　視頻穩(wěn)像后配準精度

從表4衛(wèi)星視頻穩(wěn)像后的精度可以看出，相鄰幀配準精度優(yōu)于0.25像素，優(yōu)于SkySat穩(wěn)像[5]，滿足衛(wèi)星視頻穩(wěn)像的目的。

3結(jié)論

針對面陣“凝視”衛(wèi)星視頻，本文分析了影響幀間不能一一對應(yīng)的原因，提出了面陣“凝視”視頻運動估計和運動補償方法，通過仿真數(shù)據(jù)驗證了算法的精度，得到如下結(jié)論：

(1) 基于固定幀的幀間運動估計模型嚴密，充分顧及了臨近幀之間外方位元素數(shù)值的差異引起的平移旋轉(zhuǎn)和縮放誤差，同時顧及臨近幀同名點在不同像面位置位置引起的幾何畸變誤差。

(2) 利用仿真數(shù)據(jù)驗證，穩(wěn)像后視頻配準精度優(yōu)于0.25像素，滿足流暢視頻要求。

(3) 穩(wěn)像后的衛(wèi)星視頻每幀圖像帶幾何模型，可以進一步滿足三維重建、運動目標檢測跟蹤后地面軌跡計算要求。

參考文獻：

[1]Skybox Imaging[EB/OL]. [2015-04-23]. http:∥www.skyboximaging.com/.

[2]劉祥磊, 童小華, 馬靜. 視頻測量影像序列橢圓形人工目標點快速識別和跟蹤方法[J]. 測繪學(xué)報, 2015, 44(6): 663-669.

LIU Xianglei, TONG Xiaohua, MA Jing. A Systemic Algorithm of Elliptical Artificial Targets Identification and Tracking for Image Sequences from Videogrammetry[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(6): 663-669.

[3]吉淑嬌, 朱明, 胡漢平. 基于特征點匹配的電子穩(wěn)像技術(shù)[J]. 中國光學(xué), 2013, 6(6): 841-849.

JI Shujiao, ZHU Ming, HU Hanping. Aero-borne Electronic Image Stabilization Based on Feature Point Matching[J]. Chinese Optics, 2013, 6(6): 841-849.

[4]KIM T, LEE S, PAIK J. Combined Shape and Feature-based Video Analysis and Its Application to Non-rigid Object Tracking[J]. IET Image Processing, 2011, 5(1): 87-100.

[5]MURTHY K, KIRANM M, SMILEY B D, et al. SkySat-1: Very High-resolution Imagery from a Small Satellite[C]∥Proceedings of SPIE 9241, Sensors, Systems, and Next-generation Satellites XVIII, 92411E. Amsterdam: [s.n.], 2014.

[6]LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[7]FISCHLER M A, BOLLES R C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[8]HASHIMOTO T. RPC Model for ALOS/PRISM Images[C]∥Proceedings of 2003 IEEE International Geoscience and Remote Sensing Symposium, IGARSS’03. Toulouse: IEEE, 2003, 3: 1861-1863.

[9]LUTES J. Accuracy Analysis of Rational Polynomial Coefficients for IKONOS Imagery[C]∥Proceedings of ASPRS 2004 Conference. Denver, Colorado: [s.n.], 2004: 23-28.

[10]NAGASUBRAMANIAN V, RADHADEVI P, RAMACHANDRAN V, et al. Rational Function Model for Sensor Orientation of IRS-P6 LISS-4 Imagery[J]. The Photogrammetric Record, 2007, 22 (120): 309-320.

[11]ZHANG Guo, LI Zhen, PAN Hongbo, et al. Orientation of Spaceborne SAR Stereo Pairs Employing the RPC Adjustment Model[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(7): 2782-2792.

[12]張過, 李德仁. 衛(wèi)星遙感影像RPC參數(shù)求解算法研究[J]. 中國圖象圖形學(xué)報, 2007, 12(12): 2080-2088.

ZHANG Guo, LI Deren. The Algorithm of Computation RPC Model’s Parameters for Satellite Imagery[J]. Journal of Image and Graphics, 2007, 12(12): 2080-2088.

[13]FRASER C S, BALTSAVIAS E, GRUEN A. Processing of IKONOS Imagery for Submetre 3D Positioning and Building Extraction[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2002, 56(3): 177-194.

[14]GRODECKI J. IKONOS Stereo Feature Extraction-RPC Approach[C]∥Proceedings of the ASPRS Annual Conference. St. Louis: [s.n.], 2001.

[15]GRODECKI J, DIAL G. Block Adjustment of High-resolution Satellite Images Described by Rational Polynomials[J]. Photogrammetric Engineering & Remote Sensing, 2003, 69(1): 59-68.

[16]蔣永華, 張過, 唐新明, 等. 資源三號測繪衛(wèi)星三線陣影像高精度幾何檢校[J]. 測繪學(xué)報, 2013, 42(4): 523-529, 553.

JINAG Yonghua, ZHANG Guo, TANG Xinming, et al. High Accuracy Geometric Calibration of ZY-3 Three-line Image [J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(4): 523-529, 553.

[17]蔣永華. 國產(chǎn)線陣推掃光學(xué)衛(wèi)星高頻誤差消除方法研究[D]. 武漢: 武漢大學(xué), 2015.

JIANG Yonghua. Research on Elimination of High-frequency Errors for Homemade Linear Pushbroom Optical Satellite[D]. Wuhan: Wuhan University, 2015.

[18]唐新明, 張過, 黃文超, 等. 低軌衛(wèi)星平面和立體精度預(yù)估方法: 中國, 201410134689.7[P]. 2014-04-04.

TANG Xinming, ZHANG Guo,HUANG Wenchao, et al. A Method to Estimate Low Orbiter Imagery’s Plane and Stereo Precision: China, CN 201410134689.7 [P]. 2014-04-04.

[19]詹總謙. 基于純平液晶顯示器的相機標定方法與應(yīng)用研究[D]. 武漢: 武漢大學(xué), 2006.

ZHAN Zongqian. Research on Camera Calibration Based on Completely Flat Liquid Crystal Display[D]. Wuhan: Wuhan University, 2006.

[20]TAO C V, HU Yong. A Comprehensive Study on the Rational Function Model for Photogrammetric Processing[J]. Photogrammetric Engineering & Remote Sensing, 2001, 67(12): 1347-1357.

[21]LEPRINCE S, BARBOT S, AYOUB F, et al. Automatic and Precise Orthorectification, Coregistration, and Subpixel Correlation of Satellite Images, Application to Ground Deformation Measurements[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(6): 1529-1558.

(責任編輯：宋啟凡)

First author： WANG Xia(1966—)，female,master，senior engineer，majors in space photogrammetry.

E-mail： wangx@sasmac.cn

Corresponding author： ZHANG Guo

E-mail： guozhang@whu.edu.cn

修回日期： 2015-11-10

Satellite Video Stabilization with Geometric Distortion

WANG Xia1，ZHANG Guo1,2,3，SHEN Xin2,3,4， LI Beibei5，JIANG Yonghua6

1. Satellite Surveying and Mapping Application Center, National Administration of Surveying, Mapping and Geoinformation, Beijing 101300, China; 2. State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China; 3. Collaborative Innovation Center of Geospatial Technology, Wuhan 430079, China; 4. School of Resource and Environmental Sciences, Wuhan University, Wuhan 430079, China; 5. Chang Guang Satellite Technology Co. Ltd，Changchun 130033, China; 6. School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China

Abstract：There is an exterior orientation difference in each satellite video frame, and the corresponding points have different image locations in adjacent frames images which has geometric distortion. So the projection model, affine model and other classical image stabilization registration model cannot accurately describe the relationship between adjacent frames. This paper proposes a new satellite video image stabilization method with geometric distortion to solve the problem, based on the simulated satellite video, we verify the feasibility and accuracy of proposed satellite video stabilization method.

Key words：satellite video; motion estimation; motion compensation; video stabilization；geometric

通信作者：張過

作者簡介：第一 王霞(1966—)，女，碩士，高級工程師，主要研究方向為航天攝影測量。

收稿日期：2015-05-06

基金項目：國家自然科學(xué)基金(41201361； 41501503);測繪地理信息公益性行業(yè)科研專項(201412007；201512022);湖北省自然科學(xué)基金(2015CFB330)

中圖分類號：P236

文獻標識碼：A

文章編號：1001-1595(2016)02-0194-04

引文格式：王霞，張過，沈欣，等.顧及像面畸變的衛(wèi)星視頻穩(wěn)像[J].測繪學(xué)報，2016,45(2)：194-198. DOI:10.11947/j.AGCS.2016.20150238.

WANG Xia，ZHANG Guo，SHEN Xin，et al.Satellite Video Stabilization with Geometric Distortion[J]. Acta Geodaetica et Cartographica Sinica,2016,45(2):194-198. DOI:10.11947/j.AGCS.2016.20150238.