向澤君，羅再謙，李 波

(重慶市勘測院，重慶400020)

基于連續(xù)全景影像航向與俯仰角速度的計算與應(yīng)用

向澤君，羅再謙，李 波

(重慶市勘測院，重慶400020)

連續(xù)全景影像采集平臺常常要集成陀螺儀或慣性導(dǎo)航單元等昂貴設(shè)備，造成硬件成本高、集成復(fù)雜等弊病。提出一種基于連續(xù)全景影像的航向和俯仰角速度的軟件計算方法，不需要陀螺儀或慣性導(dǎo)航單元等硬件就可以計算航向和俯仰角速度，并成功應(yīng)用在連續(xù)全景影像的坐標(biāo)校正與圖像防抖中。該方法避免了使用硬件設(shè)備，簡化了全景采集平臺的設(shè)計，降低了成本，取得了理想的效果。

連續(xù)全景影像;SoftIMU;航向角速度;俯仰角速度

一、引 言

全景影像，即360°無死角的圖片。連續(xù)全景影像是由采集時間間隔相等的多張全景影像按時間順序排序的視頻全景。連續(xù)全景影像采集平臺由全景采集鏡頭、云臺支架、運載車輛、附屬設(shè)備構(gòu)成。運載車輛在全景采集過程中的航向角速度與俯仰角速度對全景數(shù)據(jù)的應(yīng)用至關(guān)重要［1］。

目前，眾所周知的連續(xù)全景影像采集平臺大都使用陀螺儀或者慣性導(dǎo)航單元(inertial measurement unit，IMU)及輔助電子設(shè)備來獲取航向與俯仰角速度數(shù)據(jù)。大多數(shù)連續(xù)全景影像采集平臺都集成了全景攝像機、陀螺儀或IMU、GPS、車速傳感器，以及連接這些傳感器的電子設(shè)備。它在采集過程中，把GPS獲得的經(jīng)緯度坐標(biāo)，陀螺儀或IMU獲得的角速度，以及汽車速度通過一定算法，求解出采集平臺的運行軌跡。這種技術(shù)方案價格昂貴，并且設(shè)計復(fù)雜［2］。

本文通過跟蹤連續(xù)全景影像中的特征點坐標(biāo)，利用連續(xù)同名點的水平及垂直位移與全景圖片的幾何關(guān)系，把像素位移轉(zhuǎn)換為角度的旋轉(zhuǎn)，最終計算出全景采集平臺的航向與俯仰角速度。

二、問題與思路

連續(xù)全景影像的采集系統(tǒng)一般由視頻采集設(shè)備、GPS接收器、移動工作站及配套設(shè)備組成。車輛頂部架設(shè)全景視頻采集設(shè)備和GPS接收器，在車輛行駛過程中采集道路周邊360°的全景視頻和坐標(biāo)。采集中，一個場景由多張圖片和一個坐標(biāo)組成，經(jīng)圖像拼接與融合后得到球面投影的全景幀(如圖1所示)。連續(xù)采集的全景幀經(jīng)過視頻處理后，就得到連續(xù)全景影像數(shù)據(jù)，其中每一幀都對應(yīng)一個坐標(biāo)。

圖1 球面投影的全景影像

在實踐中，因受城市樓宇與樹木的遮擋，GPS設(shè)備采集的坐標(biāo)并不準(zhǔn)確，而視頻設(shè)備的采集頻率要比GPS采集頻率高很多。因此，不可能針對每一幀都獲得一個高精度的坐標(biāo)。一般是通過加裝IMU等硬件設(shè)備來獲得每一幀的坐標(biāo)或者姿態(tài)。但I(xiàn)MU設(shè)備及其輔助電子設(shè)備會增加整個采集系統(tǒng)的硬件成本［3］。

連續(xù)全景影像采集過程中，因采集車輛正前方或正后方的物體距離攝像機較遠(yuǎn)，汽車的直線運動不會引起這些景物在連續(xù)兩個全景幀中同名像素的坐標(biāo)變化，而其轉(zhuǎn)向或顛簸運動會引起俯仰角變化，從而引起同名像素的坐標(biāo)變化。根據(jù)這一現(xiàn)象，可以通過跟蹤連續(xù)全景影像正前方或正后方同名像素的坐標(biāo)變化來解算連續(xù)影像的航向與俯仰角度變化［4］。

三、算法與分析

1.算法步驟

根據(jù)以上原理，本文提出跟蹤連續(xù)全景影像中的同名像素點坐標(biāo)的變化來解算運載平臺的航向與俯仰角速度，算法由以下步驟組成。

1)如圖2所示，車載全景影像采集平臺間隔地采集全景影像，構(gòu)成全景影像圖片。其中，采集的間隔時間為Δt，且設(shè)定相鄰幀第i幀、第i+1幀采集到全景影像圖片分別為Fi、Fi+1，所述全景影像圖片的寬度為w像素，高度為h像素。當(dāng)選用球面投影模型時，高度h為寬度w的二分之一，即h=。

圖2 全景采集示意圖

2)如圖3所示，采用三維紋理映射技術(shù)將所述全景影像圖片中的全景影像紋理映射至投影模型上。

3)利用三維技術(shù)，在投影模型的中心點設(shè)置攝像機，該攝像機與運載車輛行駛的正前方或者正后方在一條直線上，獲得水平和垂直視野范圍β°內(nèi)的區(qū)域影像。設(shè)定所述區(qū)域影像的坐標(biāo)變化與所述運載車輛的直線運動關(guān)系無關(guān)，利用三維中的渲染到紋理技術(shù)將所述投影模型上的區(qū)域影像渲染到區(qū)域影像圖片上(如圖3所示)。其中，設(shè)定相鄰幀第i幀和第i+1幀采集到的區(qū)域影像圖片分別為Pi、Pi+1，所述區(qū)域影像圖片的寬度為wp像素，高度為hp像素。寬度wp等于高度hp，即wp=hp=，視野范圍 β的取值范圍為10°～30°。

4)以所述區(qū)域影像圖片的中心點為原點建立坐標(biāo)系統(tǒng)，如圖4所示。圖4中水平向右為X軸正向，垂直向上為Y軸正向，且計算第i幀所述區(qū)域影像圖片在原點附近的任意像素點(u，v)的特征向量。

5)計算第i+1幀所述區(qū)域影像圖片的小區(qū)域U={(x，y)|－c≤x－u≤c，－c≤y－v≤c}中所有像素點的特征向量集合(x，y)∈U}，其中，x、y均為整數(shù)。

圖3 區(qū)域影像的獲取

圖4 區(qū)域影像圖片的坐標(biāo)系

7)根據(jù)投影模型單位寬度對應(yīng)的角度，計算所述車載全景影像采集平臺第i+1幀相對于第i幀的航向偏轉(zhuǎn)角度和俯仰偏轉(zhuǎn)角度。航向偏轉(zhuǎn)角度的計算公式為dx=×(a－u);俯仰偏轉(zhuǎn)角度的i+1計算公式為dy=×(b－v)。i+1

8)航向偏轉(zhuǎn)角度/Δt、俯仰偏轉(zhuǎn)角度/Δt，即獲得第i+1幀相對于第i幀的航向角速度和俯仰角速度。其中，Δt為相鄰幀的間隔時間。

2.關(guān)鍵技術(shù)

(1)紋理映射與渲染到紋理

在計算全景正前方圖片Pi時，使用了計算機三維技術(shù)中的兩個關(guān)鍵技術(shù)。首先，把球面投影的全景幀還原為全景，關(guān)鍵是在三維場景中建立經(jīng)緯三角形網(wǎng)，并指定每一個頂點在全景幀中的紋理坐標(biāo);然后把三維中的虛擬攝像機設(shè)置在全景球的中心，指定攝像機方向指向正前方，并設(shè)置攝像機的水平與垂直視角;最后使用渲染到紋理技術(shù)，把虛擬攝像機拍攝的圖片保存到Pi中。

(2)特征向量

特征向量是用來抽取像素點的特征，有多種技術(shù)方法。實際操作中，汽車正前方的圖像變化會非常多，使用傳統(tǒng)的圖片塊匹配算法準(zhǔn)確性不高。在計算航向角速度時，本文使用如下方法來計算特征向量= (v0，v1，…，v2n)， 其中，vj=，0≤j≤2n為Pi中(u+j－n， v－k)像素的灰度值。本特征值定義實質(zhì)上是以(u，v)為下底邊的中心，把一個矩形區(qū)域的像素按列累加求和，并把該矩形從左到右每一列對應(yīng)的和組成一個向量。

使用以上兩種特征向量定義，其特征向量中蘊含了該點相當(dāng)大區(qū)域內(nèi)的特征信息，即使在圖像變化比較大的情況下，算法依然非常穩(wěn)定。

(3)提高特征點匹配的準(zhǔn)確性

上述算法中，只計算了相鄰兩幀之間的匹配特征點，但是無法保證該匹配點每次都精確匹配。筆者使用以下兩種方法來提高算法的穩(wěn)定性。

1)連續(xù)兩幀之間計算多組匹配點，然后求平均值作為這兩幀之間的航向與俯仰變化角度。

2)在計算dxi，i－1(第i幀相對于i－1幀的航向偏移像素)時，考慮 dxi－1，i－2和 dxi，i－2，即 dxi= (dxi，i－1+dxi，i－2－dxi－1，i－2)/2。

3.誤差分析

當(dāng)通過車載全景影像采集平臺前進(jìn)方向區(qū)域影像圖片時，車載全景影像采集平臺向右轉(zhuǎn)向時，航向角速度為正，反之為負(fù);車載全景影像采集平臺上坡時，俯仰角速度為正，反之為負(fù)。航向角速度和俯仰角速度的采樣率與連續(xù)全景影像幀率相同;最小分辨率受全景幀分辨率限制，當(dāng)w=4096，β=22.5°時，使用球面投影時，最小分辨率為0.088°。

本算法有一個假設(shè)就是正前方景物距離攝像機足夠遠(yuǎn)。只考慮航向時，平臺前進(jìn)運動可以分解為直線前進(jìn)、水平位移和轉(zhuǎn)向3個分解運動。直線前進(jìn)運動不會造成正前方景物的水平像素位移［6］，如果攝像機采樣率為16幀/s，平臺以30 km/h(約每幀0.52 m)的速度前進(jìn)，平臺最大轉(zhuǎn)向速度為30°/s(約每幀1.9°)，全景幀分辨率為4096像素× 2048像素，則每幀水平偏移最大0.52×sin(1.9°)= 0.017 m。對于距離攝像機 L≈0.017/sin(360/ 4096)≈12 m外的景物，當(dāng)每幀水平位移0.017 m時，不會產(chǎn)生像素的偏移，顯然L＞12 m這個條件在絕大多數(shù)情況下都是滿足的，也就是在絕大多數(shù)情況下，只有平臺轉(zhuǎn)向造成了特征點像素的水平位移［7］。

四、算法應(yīng)用

本課題開發(fā)的DPM-π軟件如圖6所示。使用計算出來的航向數(shù)據(jù)來對采集的GPS坐標(biāo)進(jìn)行校準(zhǔn)，其基本方法是：

1)首先計算航向角速度數(shù)據(jù)。

圖6 算法應(yīng)用

2)通過GPS插值計算每一幀的速度，并對速度濾波。

3)使用每一個GPS信號的HDOP過濾較高精度的GPS坐標(biāo)，作為控制點。

4)通過控制點、航向角速度、速度恢復(fù)采集線路。

另外，在數(shù)據(jù)采集過程中，常常遇到路面顛簸的情況，造成采集的影像上下晃動嚴(yán)重?？梢允褂迷撍惴ㄖ杏嬎愕母┭鼋撬俣葋斫鉀Q這個問題，方法如下：

1)首先計算俯仰角速度，并且使用高通濾波器對俯仰角速度濾波，保留抖動嚴(yán)重的部分。

2)在播放連續(xù)實景影像時，把俯仰角速度積分，并把該積分角度增加到三維球的X軸上，從而抵消俯方向上的抖動。

五、結(jié)束語

為了降低車載全景影像采集平臺的硬件成本。本文提出使用軟件的方法來計算該平臺的航向與俯仰角速度。本方法的原理是在車載全景影像采集平臺的采集過程中，沿著運載車輛行駛方向的較小視野范圍內(nèi)像素點的坐標(biāo)變化與運載車輛直線運動關(guān)系很小，而與運載車輛轉(zhuǎn)向運動關(guān)系很大。本文給出了算法的具體步驟與關(guān)鍵技術(shù)，并定量分析了精度與誤差，最后列舉了坐標(biāo)校正與圖像防抖兩個方面的算法應(yīng)用。

［1］ 北京市測繪設(shè)計研究院.CJJ 8—1999城市測量規(guī)范［S］.北京：中國建筑工業(yè)出版社，1999.

［2］ 中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局.GB/T 18314—2009全球定位系統(tǒng)(GPS)測量規(guī)范［S］.北京：中國標(biāo)準(zhǔn)出版社，2009.

［3］ 國家技術(shù)監(jiān)督局.GB/T 7929—1995可量測的實景影像［S］.北京：中國標(biāo)準(zhǔn)出版社，1995.

［4］ 中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局.GB/T 12979—2008近景攝影測量規(guī)范［S］.北京：中國標(biāo)準(zhǔn)出版社，2008.

［5］ 劉佳音，王忠立，賈云得.一種雙目立體視覺系統(tǒng)的誤差分析方法［J］.光學(xué)技術(shù)，2003(5)：29.

［6］ 于洪川，吳福朝.基于主動視覺的攝像機自標(biāo)定方法［J］.機器人，1999(21)：1-7.

［7］ 顧峰華，高井祥，仇春平.近景攝影測量監(jiān)測小變形體的誤差分析與精度評定［J］.礦山測量，2005(6)：2.

Continuous Panoramic Image Based Course and Pitch Rate Calculation and Application

XIANG Zejun，LUO Zaiqian，LI Bo

0494-0911(2012)09-0048-03

P237

B

2012-03-21

向澤君(1965—)，男，重慶萬州人，教授級高級工程師，主要研究方向為3S技術(shù)的研究和管理。