張 鑫，楊棉絨

(1.新鄉(xiāng)學院 a.網(wǎng)絡管理中心；b.計算機與信息工程學院，河南 新鄉(xiāng) 453003;2.解放軍信息工程大學，河南 鄭州 450052)

基于ROI內(nèi)容保留變形算法的三維視頻快速穩(wěn)定

張 鑫1a，2，楊棉絨1b

(1.新鄉(xiāng)學院 a.網(wǎng)絡管理中心；b.計算機與信息工程學院，河南 新鄉(xiāng) 453003;2.解放軍信息工程大學，河南 鄭州 450052)

針對傳統(tǒng)的三維視頻穩(wěn)定算法計算量較大的問題，提出了一種基于感興趣區(qū)域內(nèi)容保護的變形算法。首先，估計每個輸入幀特征點的三維信息并確定感興趣區(qū)域；然后，利用基于ROI整幀的圖像變形算法和保持顯著性的圖像變形算法去除輸入幀的抖動；最后，利用交叉方法去除ROI邊界偽跡。在5個HD視頻序列上的仿真實驗結(jié)果表明，該算法可獲得與其他先進算法相同的去抖動性能，且算法執(zhí)行時間降低了至少14%。

三維視頻；數(shù)字圖像穩(wěn)定；感興趣區(qū)域；變形算法；特征點

隨著圖像處理和圖像傳感技術(shù)快速發(fā)展，數(shù)碼設備的使用者也對視覺質(zhì)量要求越來越高[1]。由于許多數(shù)碼相機和攝像機足夠小并且可以單手操作，它們對人手的抖動很敏感，導致經(jīng)常得到視覺抖動的視頻。因此，找到一種較好的數(shù)字圖像去抖動(Digital Image Stabilization， DIS)[2]技術(shù)對獲取高質(zhì)量視覺效果顯得至關(guān)重要。

為了降低三維視訊穩(wěn)定算法的計算量，提出了一種快速視頻去抖動算法，從每幀提取足夠多的特征點并估計每個特征點的三維運動信息，在三維運動信息的基礎上確定感興趣區(qū)域(Regions of Interest， ROI)[3]，如果ROI區(qū)域的特征點數(shù)大于閾值，則利用基于ROI的圖像預變形和保持顯著性圖像變形算法對輸入幀進行處理。仿真結(jié)果表明，在保持與先進算法相同的去抖動性能的同時，本文算法的計算復雜度降低了14%以上。

1 相關(guān)研究

傳統(tǒng)的DIS算法首先估計每幀的攝像機運動，接著，被估計的攝像機運動被修正成接近一個預定義的相機運動軌跡，通過低通濾波輸入攝像機的運動軌跡來定義并作為自然軌跡[3]。然而，這樣的攝像機軌跡存在一個缺點，如果原攝像機軌跡對攝像機運動有重要意義，它將可能引起嚴重的圖像變形。

文獻[4-5]提出了一種二維視頻去抖動算法通過低通濾波器獲取參數(shù)并用于消除攝像機抖動的高頻信息。雖然二維去抖動算法對許多攝像機抖動很有效，但是，它不能合成一個理想化的三維攝像機軌跡，因為它不知道攝像機輸入的是否為三維軌跡 。

為了解決上述二維方法的缺點，學者們提出了許多三維去抖動技術(shù)[6-8]，例如，文獻[6]設計了一種基于可靠特征集合匹配的內(nèi)容完整的視頻穩(wěn)定算法，為了避免運動前景上的特征點參與運動估計，由經(jīng)典的KLT算法提取特征點，對于運動補償造成的無定義區(qū)，首先計算當前幀的定義區(qū)與相鄰幀的光流，從而為向?qū)Цg無定義區(qū)，利用拼接方法填充仍為無定義區(qū)的像素，提高了魯棒性，并且獲得較為穩(wěn)定的視頻序列。為了更好地去除抖動并改善視頻效果，文獻[7]采用改進的SIFT算法進行特征提取，并根據(jù)動態(tài)視頻相鄰幀匹配的實際應用，采用鄰域搜索方法進行特征匹配，提高了視頻匹配的精度，通過采用Kalman濾波對運動參數(shù)平滑后進行視頻圖像的校正補償，得到穩(wěn)定的視頻輸出。文獻[8]提出了一種基于特征塊匹配的視頻穩(wěn)定算法，采用均勻分布的方式確定特征塊，根據(jù)視頻圖像抖動特性對運動矢量進行預測，并將大鉆石與小鉆石搜索模板相結(jié)合，從而在閾值和搜索空間的約束下完成特征塊匹配，通過運動平滑選擇有效的運動矢量，有效地穩(wěn)定了圖像序列。文獻[9]提出了一種基于保持顯著性的圖像變形去抖動算法(CPWS)，因其優(yōu)越去抖動性能而廣為人知，然而，在第三步最小二乘優(yōu)化過程需要較大的計算量，例如，針對一個720p的圖像幀，它可能花費三小時去變形處理。

2 提出的視頻穩(wěn)定算法

本文算法僅通過在每幀的感興趣區(qū)域運用CPW即可有效降低計算復雜度，圖1所示為本文算法的流程圖。首先，均勻分布從SFM獲取的特征點，然后，使用選擇特征點的深度信息提取初始ROI，利用去除極端值進行適當優(yōu)化。接著，通過分割ROI特征點的數(shù)量確定最佳模型，即NFP。如果NFP比設定的閾值大，則運用基于ROI的圖像變形，否則，運用傳統(tǒng)的整個幀變形。

圖1 本文算法的框圖

2.1 確定ROI

假設使用攝像機跟蹤器通過運動恢復結(jié)構(gòu)(Structure from Motion，SFM)[10]處理過程已經(jīng)提取了特征點，特征點的分布可能影響去抖動算法的性能，圖2所示為特征點提取過程，從圖2a可以看出，右邊比左邊存在更多的特征點。由于這種分布類型沒有完全反映幀的顯著性特點，所以幀的去抖動質(zhì)量下降了[11]。為了解決該問題，適當?shù)卦黾犹崛√卣鼽c的數(shù)量，如圖2b所示，并通過最小化相鄰特征點水平和垂直距離選擇合適的均勻分布特征點，如圖2c所示。本文算法中最小距離設為20個像素，F(xiàn)uni表示近似均勻分布特征點集，圖2c的特征點分布比圖2a更加均勻，甚至數(shù)量更少。

圖2 特征點的提取過程

接著，根據(jù)特征點的深度信息分割初始ROI，每個特征點的深度表示特征點三維坐標的Z軸值，這個三維坐標從SFM得到，Z軸表示特征點和攝像機的距離。ROI存在于每幀的中間部分，因此，首先確定每幀的中心作為ROI，在該中心區(qū)域去除每幀的四分之一邊界并提取特征點。Fcen表示中心區(qū)域的特征點，F(xiàn)cen從Funi中選擇如下

(1)

(2)

(3)

100是根據(jù)經(jīng)驗確定的。若獲取δmax，則提取初始ROI，通過特征點滿足下列條件

(4)

到深度大于δmax的特征點組成了ROI，這是由于遠處對象的運動抖動引起了視覺敏感抖動。

從FROI中去除可能的離群值，通過網(wǎng)格特征點直方圖去除離群值，組成特征點水平方向直方圖的離群值首先被去除，如圖3所示，且保留下來的值隨后在垂直直方圖執(zhí)行與水平直方圖相同的操作。

圖3 基于直方圖的區(qū)域分割

例如，首先通過下列條件去除離群值

(5)

式中：H(X)表示網(wǎng)格位置x的特征點數(shù)。如果x周圍遮擋頻率小于THp，則將相應的特征點作為離群值去除。THp為特征點總數(shù)除以100，圖3b所示為去除后的結(jié)果。特征點滿足式(6)的兩個條件將被再次優(yōu)化

(6)

式中：TH為特征點總數(shù)除以10，且L表示直方圖最后的單元值。從每行第一個網(wǎng)格開始，式(6)的第一個條件從右向左掃描去除左邊離群值。此外，從每行的最后一個網(wǎng)格開始，式(6)的第二個條件向左掃描去除右邊的離群值。同樣，保留下來的值隨后從特征點垂直直方圖中除去離群值。最終，獲取了FROI，圖4所示為一個最后優(yōu)化的ROI示例。

圖4 ROI中的特征點分布

2.2 基于ROI整幀的圖像變形

傳統(tǒng)的整幀變形依靠一個從一幀中獲取所有深度運動信息的普通運動模型[12]。然而，如果在圖像的前景和背景中存在一個大的深度差值，盡管使用同一個攝像機運動模型，前景和背景可能存在明顯不同的運動。因此，因為幀的整體運動很難使用單一的投射模型來描述，傳統(tǒng)的整幀變形又常常引起抖動現(xiàn)象，在某些區(qū)域像素值發(fā)生連續(xù)性的突變[13]。為了減緩這種現(xiàn)象，僅僅利用ROI中的特征點FROI代替所有特征點作為整幅圖像的變形參數(shù)。因為在ROI中的特征點趨于相同的運動，本文提出的基于ROI整幀變形能最大化去抖動性能。

然而，如果特征點NFP的數(shù)量太小，整幀變形可能效果不佳，因此，如果NFP的數(shù)量小于THs，利用Funi傳統(tǒng)整幀變形替代基于ROI的整幀變形。

2.3 基于ROI保持顯著性的圖像變形

如果NFP的數(shù)量大于THs，基于ROI的CPW被應用在基于ROI整幀變形后。在這種情況下，在ROI邊界會產(chǎn)生一些偽跡。特別是在區(qū)域邊界頻發(fā)出現(xiàn)的偽跡有很少有特征點，因此，本文利用交叉方法[14]減少那些區(qū)域的偽跡。首先，如果網(wǎng)格包括至少一個特征點，它的索引Gk就為1，否則為0。接下來，對索引圖像應用閉操作，這個交叉方法在網(wǎng)格位置被完成

(7)

式中：dk表示Vk與ROI邊界的最小距離，且Dk表示邊界與圖像中心之間的距離。此外，F(xiàn)Vk和CVk分別表示通過整幀變形和CPW更新的網(wǎng)格位置，最后，ROI邊界的偽跡明顯已被去除。

3 實驗

為了評估本文算法的性能，使用5個HD(720p)視頻序列[15]，如圖5所示。實驗從每個視頻中提取200幀圖像，使用默認的平滑權(quán)重α=20計算機結(jié)果，N,T,THs分別設為20、50、70，所有結(jié)果都在大小為64×36的網(wǎng)格上計算，KLT[6]追蹤從攝像機跟蹤器提供的一些方法中選擇。將本文算法與去抖動效果非常好的文獻[9]算法進行比較，使用C語言實現(xiàn)，所有實驗均在配置為3 Gbyte RAM、2.66 GHz主頻、雙核英特爾CPU的主機上運行。

圖5 測試視頻序列

首先，將本文算法的CPU運行時間與其他算法進行比較，其中，SFM部分被排除在模擬結(jié)果以外，比較結(jié)果如表1所示。

表1 各個算法的CPU運行時間

從表1可以看出，文獻[9]提出的算法每幀大約需要 3 min。 針對視頻1序列，相比文獻[9]提出的算法，本文算法消耗時間降低了至少14%。由于視頻4序列的NFP小于THs，其沒有包含到該比較結(jié)果中。

接著，圖6和圖7所示為在視覺質(zhì)量上兩種算法的實驗結(jié)果。觀察參考線可以發(fā)現(xiàn)，相比CPWS算法，本文算法幾乎達到了相同的去抖動效果。例如，如圖6所示，輸入幀的窗口存在一些抖動，但是通過兩種算法都達到了幾乎相同的效果。從圖7可以看出，兩種算法均獲得了優(yōu)越的去抖動性能，可見本文算法的去抖動效果幾乎與CPWS算法相同。

圖6 視頻1序列的仿真結(jié)果

圖7 視頻5序列的仿真結(jié)果

為了更好地評估本文算法的去抖動性能，使用數(shù)字顯示所有特征點的統(tǒng)計結(jié)果，如表2所示。首先，每個特征點理想的直線軌跡通過線性回歸擬合，然后，按照式(8)，計算每個序列的理想直線和真實特征點的均方差MSE

(8)

式中：Lk(t)和Fk(t)分別表示第k個特征點線性回歸的第k個位置和真實特征點的位置。

為了顯示可信的實驗結(jié)果，僅使用前60幀圖像FROI中的特征點。從表2可以看出，相比文獻[9]提出的算法，本文算法獲得了更小的MSE。

表2 MSE線性定量比較

此外，計算每個序列前60幀每幀的MSE標準差，觀察每幀MSE隨時間的變化情況，見表2。由于本文算法獲得的標準差小于文獻[9]提出的算法，可見本文算法具有更加優(yōu)越的性能。

4 結(jié)束語

本文提出了一種快速三維視頻去抖動算法，通過估計每個輸入幀特征點的三維信息確定感興趣區(qū)域，利用基于ROI整幀的圖像變形算法和保持顯著性的圖像變形算法去除輸入幀的抖動，并利用交叉方法去除ROI邊界偽跡。仿真結(jié)果表明，相比其他的較為先進的視頻穩(wěn)定算法，本文算法獲得了相同的去抖動效果，并且降低了至少14%的計算量。

未來會將本文算法應用于其他視頻數(shù)據(jù)庫，并結(jié)合新穎技術(shù)，改變初始參數(shù)設置，進行大量實驗，在保證去抖動性能的同時，進一步改善算法的執(zhí)行效率。

[1] 彭藝，葉齊祥，黃鈞，等. 一種內(nèi)容完整的視頻穩(wěn)定算法[J]. 中國圖象圖形學報，2010，15(9)：1384-1390.

[2] KUMAR S， AZARTASH H， BISWAS M， et al. Real-time affine global motion estimation using phase correlation and its application for digital image stabilization[J]. IEEE Trans. Image Processing，2011，20(12)：3406-3418.

[3] 張陽， 王宣銀. 基于人眼特性的視頻穩(wěn)定方法[J]. 吉林大學學報： 工學版， 2010， 32(2)： 529-533.

[4] ZHANG K， XU T F， WANG P， et al. Real-time full-frame digital image stabilization system by SURF[J]. Guangxue Jingmi Gongcheng(Optics and Precision Engineering)， 2011， 19(8)： 1964-1972.

[5] GOLDSTEIN A， FATTAL R. Video stabilization using epipolar geometry[J]. ACM Trans. Graphics (TOG)， 2012， 31(5)： 126-132.

[6] LIAO J， CAO J， TANG L. Research on video stabilization algorithm based on SIFT and improved RANSAC[C]//Proc. 2012 Second International Conference on Electric Information and Control Engineering. [S.l.]：IEEE Press， 2012： 755-758.

[7] 林錦梅， 周付根，金挺. 采用SIFT特征的空基動態(tài)視頻穩(wěn)定技術(shù)[J]. 紅外與激光工程，2012，40(12)： 2552-2557.

[8] ZHOU Z， JIN H， MA Y. Plane-based content preserving warps for video stabilization[C]//Proc. 2013 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). [S.l.]：IEEE Press，2013： 2299-2306.

[9] ZHOU Z， JIN H， MA Y. Plane-based content preserving warps for video stabilization[C]//Proc. 2013 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). [S.l.]：IEEE Press，2013： 2299-2306.

[10] 張劍. 融合SFM和動態(tài)紋理映射的視頻流三維表情重建[J]. 計算機輔助設計與圖形學學報， 2010， 31(6)： 949-958.

[11] KIM S W， YIN S， YUN K， et al. Spatio-temporal weighting in local patches for direct estimation of camera motion in video stabilization[J]. Computer Vision and Image Understanding， 2014， 118(3)： 71-83.

[12] TANG C， WANG R. Sparse moving factorization for subspace video stabilization[C]//Proc. 2014 IEEE International Conference on Acoustics，Speech and Signal Processing (ICASSP). [S.l.]：IEEE Press，2014： 4314-4318.

[13] ZHOU Z， JIN H， MA Y. Plane-based content preserving warps for video stabilization[C]//Proc. 2013 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). [S.l.]：IEEE Press，2013： 2299-2306.[14] 張淼.視頻穩(wěn)像技術(shù)研究[D]. 上海：上海交通大學， 2011.

[15] ZAHARIA C， BIGIOI P， CORCORAN P M. Hybrid video-frame pre-processing architecture for HD-video[C]//Proc. 2011 IEEE International Conference on Consumer Electronics(ICCE).[S.l.]：IEEE Press，2011：89-90.

張 鑫(1979— )，碩士，講師，主要研究方向為視頻處理、圖像處理、人工智能等；

楊棉絨(1979— )，女，碩士，講師，主要研究方向視頻處理、圖像處理、人工智能等。

責任編輯：時 雯

Three Dimensional Video Fast Stabilization Based on Warping Algorithm with Content Preserving in Region-of-Nterest

ZHANG Xin1a，2， YANG Mianrong1b

(1a.NetworkManagementCenter；1b.CollegeofComputerandInformationEngineering，XinxiangUniversity，HenanXinxiang453003，China;2.ThePLAInformationEngineeringUniversity，Zhengzhou450052，China)

For the issue that it exists large amount of calculation in traditional 3D video stabilization algorithms， a warping algorithm based on content protection in region-of-interest is proposed. Firstly， the 3D information of each input frame feature points is estimated so as to determine ROI. Then， warping algorithm based on ROI whole frame and keeping the significant is used to remove the jitter of input frame. Finally， intersect method is used to remove the boundary artifact of ROI. Simulation experimental results on five HD video sequences show that proposed algorithm can get same stabilization performance with state-of-the-art algorithm， and it has reduced above 14% executing time.

three dimensional video； digital image stabilization； region-of-interest； warping algorithm； feature point

【本文獻信息】張鑫，楊棉絨.基于ROI內(nèi)容保留變形算法的三維視頻快速穩(wěn)定[J].電視技術(shù),2015，39(11).

河南省科學技術(shù)計劃發(fā)展項目(122400450245)

TP399

A

10.16280/j.videoe.2015.11.010

2014-08-21