黃明益, 吳 軍, 高炯笠

桂林電子科技大學電子工程與自動化學院，廣西 桂林 541004

近年來，安防市場上推出了靜止狀態(tài)下可獨立進行180°或360°監(jiān)控的多鏡頭全景攝像機(multi-head panoramic camera，MPC)[1]，大幅降低了布線、人員施工等監(jiān)控工程成本，且能有效克服傳統(tǒng)攝像機多方位監(jiān)控畫面空間割裂、信息碎片化的不足[2]，在安防監(jiān)控及機器人、虛擬現(xiàn)實、視覺測量等眾多領域具有廣闊的市場應用前景[3-6]。由若干不同視角、物理獨立的傳統(tǒng)監(jiān)控攝像機封裝而成的MPC，又稱全景攝像系統(tǒng)(omnidirectional multi-camera system，OMS)，利用已標定的攝像機參數(shù)對子監(jiān)控畫面進行實時拼接可獲得范圍大、分辨率高且各視角方向基本一致的球面全景視頻，但MPC攝像機參數(shù)獲取通常在室內(nèi)標定環(huán)境下完成，由于場景深度變化、MPC各子攝像機中心與球面投影中心不重合以及攝像機參數(shù)、球面投影參數(shù)標定誤差，MPC實際應用環(huán)境下輸出的球面全景視頻往往存在明顯的視差偽影，給應用帶來影響。

若不限于監(jiān)控應用領域，現(xiàn)有全景視頻生成方法根據(jù)獲取設備(攝像機)是否發(fā)生運動可概略分為兩類[7]：運動視頻序列合成和固定視頻多視點合成。前者視頻獲取設備多搭載于沿設定路徑、速度運動的移動平臺，如無人機、汽車或火車，通過對平臺不同時刻拍攝視頻序列進行合成以實現(xiàn)宏大或特殊場景視覺信息的集中呈現(xiàn)[8-9]；后者主要針對固定設備同步采集的多路視頻，旨在將這些視點不同但相互關聯(lián)的視頻重投影到設定觀測面(平面、球面或柱面)，以實現(xiàn)大場景或超大視角視覺信息的集中呈現(xiàn)[10-12]。本文研究屬于后者，實施過程一般劃分為多攝像機標定和多視頻融合兩個階段，前一階段旨在給出MPC各子攝像機內(nèi)、外參數(shù)，后一階段則利用攝像機標定參數(shù)對全部視頻進行球面重投影以生成球面全景圖，因MPC攝像機幾何關系固定，其球面全景視頻生成效率主要取決于多視頻融合過程。MPC視頻獲取一般采用傳統(tǒng)針孔攝像機，為節(jié)約硬件成本，MPC盡可能利用較少的攝像機，導致相鄰攝像機視野重疊度小，MPC標定工作不得不在大型室內(nèi)標定場內(nèi)完成,借助于高精度3D控制信息解算各攝像機的絕對空間位置、姿態(tài)，進而推導出攝像機間相對外參[13]；為擺脫對高精度三維控制場的依賴，文獻[3]將MPC固定在全站儀上對2D參照物(矩形格網(wǎng))進行攝影，利用全站儀量測格網(wǎng)所在矩形平面四角的三維空間坐標以滿足標定參數(shù)計算需要，需頻繁移動二維標定板到子相機視野內(nèi)不同位置并進行靜態(tài)觀測，文獻[14]將電子經(jīng)緯儀改造為旋轉(zhuǎn)平臺并對二維參照物進行觀測以獲得三維控制信息，但需控制攝像機圍繞光心(或光心附近)做旋轉(zhuǎn)運動。

由于難以保證攝像機攝影中心與投影球面中心重合以及潛在的攝像機標定誤差，MPC視頻重疊區(qū)域像素重投影位置不可避免存在誤差(錯位或稱偽影)，且該誤差大小還與球面投影參數(shù)(中心位置、半徑大小)選取、場景深度變化有關[15]。針對這一問題，文獻[10]取全部相機攝影中心的幾何重心作為球面投影中心，將子攝像機視頻像素對應的虛擬物方點投影到設定球面以生成全景影像，前提是物方點與投影中心距離固定；文獻[5]利用標定參數(shù)推斷重疊區(qū)域的景深，并將重疊區(qū)域投影到帶深度信息的三維曲面上以消除視差偽影，關鍵在于能匹配獲得稠密、準確的重疊區(qū)域同名像素，同時高計算復雜對于實時拼接任務將是大的挑戰(zhàn)。拼接線選取與平滑過渡相結(jié)合是消除影像重疊區(qū)域偽影及灰度差異的有效策略，被廣泛用于視頻合成目的[7]，其中用于確定重疊區(qū)域最優(yōu)拼接線主要有動態(tài)規(guī)劃[16]、圖切割[17]，用于重疊區(qū)域平滑過渡的技巧包括簡單的漸入淡出計算[18]、基于變分原理構(gòu)造圖像梯度能量函數(shù)以獲得全局最優(yōu)融合因子[19]、多分辨率信息融合降低對配準誤差的敏感度[20]等，在融合質(zhì)量與計算效率方面各具優(yōu)劣。本質(zhì)上，視頻(影像)重疊區(qū)域像素融合是在視覺可接受條件下對錯位或曝光差異像素的一種模糊處理，故場景結(jié)構(gòu)差異對于降低融合難度、提升融合效率極其關鍵，文獻[21]綜合利用雙縫合線選策略與彈性配準技術，有效克服了視頻重疊區(qū)域結(jié)構(gòu)不一致性，但依賴于重疊區(qū)域內(nèi)的結(jié)構(gòu)匹配結(jié)果。針對傳統(tǒng)靜態(tài)影像拼接，文獻[22—24]引入相似性變換以緩解單應性映射模型下的投影失真，可有效解決非重疊區(qū)域的透視變形問題；文獻[25]采用重疊過渡泊松融合算法進行影像拼接融合，對曝光差異、彩色不連續(xù)性和明顯縫合線區(qū)域有良好抑制效果；文獻[26]提出基于濾波分頻的無人機影像拼接算法以最大化地避免拼接縫及鬼影出現(xiàn)等。相比于靜態(tài)圖像，視頻動態(tài)合成需兼顧視覺質(zhì)量與計算效率，上述靜態(tài)影像拼接計算復雜度過高，難以滿足監(jiān)控MPC球面視頻無縫生成實時拼接應用要求。

本文中MPC多視頻融合采用拼接線方式并假定各子攝像機內(nèi)、外參數(shù)已知，為實現(xiàn)不同應用場景下的無縫球面全景視頻輸出，綜合考慮MPC子攝像機視頻像素球面重投影誤差、相鄰子攝像機視頻拼接線自動生成及其兩側(cè)結(jié)構(gòu)一致性問題，提出一種場景自適應的球面全景視頻無縫生成方法，其創(chuàng)新點在于兩方面：一是結(jié)合MPC子視頻像素球面重投影過程，以實際視頻重疊區(qū)域同名像點為觀測值，通過最小化球面投影中心到同名像素對應球面空間點的夾角建立誤差方程對球面投影參數(shù)進行最小二乘估計，有效降低子相機攝影中心與球面投影中心不重合及場景深度變化對MPC球面視頻輸出質(zhì)量影響；二是將MPC子視頻像素球面重投影幾何引入TPS(thin plate spline)變換[27]建立球面全景視頻無縫生成模型，并以視頻拼接線上顯著特征(像點)為控制點線性求解模型參數(shù)，實現(xiàn)MPC子視頻到球面全景視頻的像素直接映射，最小化重疊區(qū)域像素重投影誤差的同時僅通過拼接線附近像素簡單混合計算即可實現(xiàn)平滑過渡。

1 球面全景成像模型

采用吊裝(或壁裝)方式的MPC監(jiān)控視角可覆蓋整個半球，其幾何結(jié)構(gòu)設計多采用“1+N”模式[15]:“1”代表1個垂直攝像機,其主光軸設計為(近似)垂直于安裝底座(平面)；“N”代表N個側(cè)視攝像機，呈環(huán)狀等間隔分布于垂直攝像機周圍。用于安防監(jiān)控的MPC需將其子攝像機視頻重投影生成球面全景視頻，理論上要求各子攝像機攝影中心與投影球面中心重合，且為使不同視角視頻影像分辨率保持一致，還要求各攝像機焦距f、各側(cè)視攝像機主光軸與垂直攝像機主光軸夾角、相鄰側(cè)視攝像機主光軸夾角大小一致，但由于相機光學系統(tǒng)本身及MPC機械結(jié)構(gòu)加工、安裝誤差，上述成像設計條件難以嚴格滿足。圖1給出了目前安防市場商用MPC結(jié)構(gòu)設計普遍采用的“1+4”模式示意，本文后續(xù)球面全景成像及其投影參數(shù)估計工作均基于該模式展開，但可根據(jù)側(cè)視攝像機數(shù)目N進行擴展。

圖1 MPC幾何結(jié)構(gòu)Fig.1 Geometry of MPC

MPC各子攝像機一般為窄視野的傳統(tǒng)針孔攝像機，通過對各子攝像機視頻進行球面重投影而獲得半球(180°)視場。如圖2所示，令Ci(i=0,1,2,3,4)表示MPC各子攝像機攝影中心，I為球面全景圖像,o和r分別為設定的球面投影中心、半徑并假定世界坐標系XYZ原點與投影中心o重合，則MPC視野內(nèi)任一空間點PW到球面全景圖像像素p′的空間變換可描述為以下3個階段。

(1) 單鏡頭“針孔”成像,即MPC某一子相機Ci對世界坐標系下的空間點PW(X,Y,Z)進行平面透視成像并獲得像點p(x,y)，該坐標映射關系在攝像機內(nèi)、外部參數(shù)精確已知條件下可由經(jīng)典的攝影測量共線方程[28]描述。

(2) 球面重映射，即將MPC子相機Ci平面透視成像獲得的像點p，逆光線PWCi映射到設定投影球面以獲得空間點PO(X,Y,Z)。

(3) 球面全景圖像生成，即將球面空間點PO按選定模型投影至全景圖像所在平面?，F(xiàn)有球面投影模型分為4種[29]：等距投影、等立體角投影、體視投影、正交投影，其中正交投影模型計算簡單且可建立空間點與球面全景圖像點的可逆變換關系，本文選用該模型,將點PO正投影到與Z軸垂直的固定平面(全景影像平面)以獲得像素坐標p′(u,v)，兩者坐標變換關系如下

(1)

式中，λ為設定的縮放因子，用于輸出指定分辨率(幅面)的全景影像。

圖2 MPC球面全景成像模型Fig.2 Panoramic imaging model of MPC

由以上成像過程可知，MPC球面全景視頻生成涉及各子攝像機內(nèi)、外參及球面投影參數(shù)(投影中心位置、半徑大小)并場景深度變化有關，但目前的MPC標定過程僅限于給出其子攝像機內(nèi)、外參數(shù)，球面投影中心通常取全部子攝像機攝影中心的幾何重心，球面投影半徑則取與景深范圍有關的經(jīng)驗(固定)值[3,10]，當實際場景深度存在較大變化時，現(xiàn)有MPC攝像機標定參數(shù)及其間接給出的球面投影參數(shù)將難以滿足其球面全景視頻無縫生成要求。

2 球面投影參數(shù)場景自適應估計

本文中MPC監(jiān)控視點固定，根據(jù)這一特點，為盡可能消除視頻重疊區(qū)域視差偽影，可利用反映場景深度變化、具有不同視差的同名像素信息來估計與應用場景相關的MPC球面投影參數(shù)，從而減小重疊區(qū)域視頻像素重投影誤差，如圖3所示。

圖3 MPC子攝像機重疊區(qū)域像素球面重投影誤差Fig.3 Pixel spherical re-projection error in overlapping area of MPC sub-camera

令O表示MPC球面投影中心，(pi,pj)為相鄰子攝像機(Ci,Cj)某同名像點，Pi(Xi,Yi,Zi)和Pj(Xj,Yj,Zj)分別表示該同名像點的球面空間坐標，則∠PiOPj角度?值越接近于零，同名像素pi,pj投影到全景圖像平面的位置誤差將越小。以歐氏距離|PiPj|近似兩點間的弧長，則有

(2)

對于MPC任一子攝像機Ci，其像點p的重投影球面空間點Po應同時滿足球面方程及入射光線所在空間直線參數(shù)方程。當球面投影中心與世界坐標系原點不重合時，有

r2=X2+Y2+Z2

(3)

(4)

式中，(X,Y,Z)為理想像點p(x,y)在世界坐標系下球面空間點坐標；令r為球面投影半徑；令(OX,OY,OZ)為球面投影中心；[VX,VY,VZ]T為像點p所在入射光線的方向矢量，可由點p像空間坐標[x,y,-f]T旋轉(zhuǎn)得到；f為相機等效焦距，這里理想像點定義為以相機主點為坐標原點且已進行光學畸變修正；(XS,YS,ZS)為相機攝影中心；hi,j(i,j=1,2,3)為相機攝影主光軸姿態(tài)角(φ,ω,κ)給出的旋轉(zhuǎn)矩陣元素；L為像點p所在入射光線的空間直線參數(shù)方程參數(shù)，聯(lián)立式(3)和式(4)可得

L2+αL+β=0

式中

(5)

式(5)為一元二次方程，解此方程可獲得

綜合式(3)—式(5)可看出，當攝像機內(nèi)、外參數(shù)已知時，?值大小與球面投影半徑r、投影中心(OX,OY,OZ)位置取值有關，這里通過最小化?2來實現(xiàn)球面投影參數(shù)最優(yōu)估計，有

min{∑?2}:?2=

Q(r,OX,OY,OZ)

(6)

式中

式(6)非線性，進行泰勒展開并取一次項線性化，可建立如下誤差方程

(7)

(8)

(9)

(10)

(11)

(12)

(13)

級聯(lián)上述偏導計算即可獲得式(7)關于球面投影參數(shù)的偏導結(jié)果，進而在給定球面投影參數(shù)初值條件下，以相鄰攝像機視角重疊區(qū)域的同名像素(入射光方向矢量)為觀測值，建立誤差方程組最小二乘迭代求解球面投影參數(shù)，其中(OX,OY,OZ)初始化為全部子相機攝影中心的幾何重心，r初值由同名像點對應空間點到球面投影中心的平均距離給出，該空間點通過攝影測量空間前方交會[28]計算得到。

3 球面全景視頻無縫拼接TPS模型

本文結(jié)合TPS變換和拼接線方式生成MPC球面全景視頻。聯(lián)合式(1)和式(4)可知，MPC任一子攝像機Ci像點p(x,y)在MPC球面全景視頻上的像素坐標p′(u,v)為

(14)

吸取文獻[21]運用彈性配準技術來消除影像拼接線兩側(cè)結(jié)構(gòu)不一致性的思想，給定視頻重疊區(qū)域拼接線條件下，這里引入TPS變換來消除(或降低)縫合線上及其鄰域像素拼接誤差。廣泛用于非剛性影像配準的TPS變換是自然樣條函數(shù)在兩維空間上的推廣[27]，對于二維影像，TPS采用兩個獨立函數(shù)T(x,y)=(fx(x,y),fy(x,y))來建立其映射關系，通常具有如下數(shù)學形式

(15)

(16)

(17)

式中，ri為控制點Pi(xi,yi)與待映射點(x,y)的歐氏距離；a0、a1、a2、b0、b1、b2、Ai、Bi(i=1,2，…,n)為2n+6個TPS參數(shù)，n為控制點個數(shù)；當n>3時，令(x,y)為任一控制點Pj(xj,yj),j≠i，可利用Pi(xi,yi)與Pj(xj,yj)間的2n個歐氏距離線性及式(16)中的6個約束條件求解TPS參數(shù)。TPS變換嚴格遵循控制點集約束(控制點處拼接像素無位置誤差),并能借助光滑插值約束有效減少控制點鄰域像素的拼接誤差；另一方面，若從全局與局部的關系去看待TPS變換對映射的分解，TPS實質(zhì)上是以局部基函數(shù)插值來補償全局仿射變換的不完善，吸收TPS變換這一思想并將其與式(8)中的MPC子攝像機視頻像素坐標映射(局部仿射變換)相聯(lián)系，可結(jié)合球面重投影幾何建立MPC全景視頻拼接TPS模型，數(shù)學形式如下

(18)

式中，令Ai、Bi、n、ri、Lp、XS、OX、YS、OY、f、[h1k,h2k,h3k]T(k=1,2,3)定義同式(8)和式(9)，但TPS參數(shù)減少為2n個，仍利用控制點線性求解。

源于TPS變換在光滑插值、參數(shù)線性求解等方面的獨特優(yōu)勢，采用式(10)生成MPC球面全景視頻的優(yōu)點在于：①以MPC攝像機視頻像素球面投影幾何作為TPS全局變換，并通過TPS統(tǒng)一計算框架下的局部調(diào)整對球面投影參數(shù)、攝像機參數(shù)誤差及場景視差變化引起的局部映射不完善進行合理補償，從而有助于減少重疊區(qū)域視頻拼接誤差，若用于TPS變換參數(shù)解算的控制點為視頻拼接線上像素，則TPS變換嚴格遵循點集約束的特點使得該種調(diào)整可有效消除拼接線及其鄰域像素位置誤差，從而有利于實現(xiàn)無縫生成目的；②隱性的將全景視頻分為非重疊區(qū)域和重疊區(qū)域(縫合線及其鄰域)，全局性的球面投影在非重疊區(qū)域起支配作用，匹配控制點所在重疊區(qū)域則是TPS變換起主要作用，兩者間的過渡借助于整體TPS變換特性而自然、平緩。

目前選取最優(yōu)拼接線主要有兩種方式[30]:一是影像重疊區(qū)域內(nèi)像素視覺差異最小且盡可能不與顯著結(jié)構(gòu)相交的分割線，二是與影像重疊區(qū)域內(nèi)的顯著結(jié)構(gòu)相交但相交點對應關系精確已知的分割線。兩種方式相比，前者實際場景條件難以保證，后者則存在相交點的自動相關問題。本文監(jiān)控MPC安裝后視點保持不變，其子攝像機內(nèi)、外參已知且相對幾何關系固定，基于該特點本文MPC視頻拼接線采用第2種方式并可自動匹配生成。如圖4所示，對于MPC任一側(cè)視子攝像機Ci，其與垂直攝像機、2個相鄰側(cè)視子攝像機在球面全景視頻上存在如圖4(a)、(b)所示重疊區(qū)域，若簡單以該重疊區(qū)域中間線為拼接線，則Ci在球面全景視屏上將存在如圖4(c)所示3條拼接線(黑色)：1條用于與垂直攝像機視頻間的拼接(稱“垂直拼接線”)，2條分別用于與相鄰側(cè)視子攝像機視頻間的拼接(稱為“側(cè)視拼接線”)，故MPC球面全景視頻上共存在8條視頻拼接線。由于像素重投影誤差，MPC球面全景視頻上任一拼接線反投影到相應子攝像機視頻并不能獲得正確的拼接線，但給出了概略位置，以之為基礎可進行自動匹配搜索。給定MPC球面全景視頻上某拼接線L={(un,vn),n=1,2,…,N}，其在垂直攝像機C0、側(cè)視攝像機Ci視頻上的拼接線獲取過程如圖5所示。

圖4 MPC球面全景視頻拼接線Fig.4 The seam-line for MPC spherical panoramic video mosaic

圖5 MPC垂直、側(cè)視攝像機視頻拼接線匹配生成Fig.5 The generation of seam-line in MPC vertical and side-view video

(1) 利用球面投影參數(shù)對L進行逆映射獲得其球面空間點序列{(Xn,Yn,Zn)}。

MPC相鄰側(cè)視攝像機視頻拼接線獲取過程類似，這里不再贅述，最后可獲得球面全景視頻上8條拼接線的同名像素集合CP。根據(jù)式(10)，以CP為控制點集，綜合利用球面投影參數(shù)、攝像機內(nèi)外參求解MPC球面全景視頻生成TPS模型參數(shù)(Ai,Bi)，進而可利用該模型建立的像素映射關系生成球面全景視頻，對于嚴格遵循控制點集約束的TPS變換，其球面全景視頻控制點像素的重投影位置誤差為0，縫合線上其他像素及鄰域也將由于控制點強烈的光滑內(nèi)插作用而具有相對小的位置誤差，采用漸入漸出法僅對縫合線較小鄰域內(nèi)像素進行簡單加權(quán)平均融合即可實現(xiàn)無縫生成目的。

僅利用縫合線上同名點作為控制點估計TPS參數(shù)時，會導致視頻非重疊區(qū)域像素重投影發(fā)生大的扭曲變形，本文通過設置虛擬控制點來解決該問題，即在全景視頻上非重疊區(qū)域等間隔選取一定數(shù)目的點(點數(shù)>縫合線上同名點數(shù))并根據(jù)式(8)計算得到各路視頻對應像點以構(gòu)成虛擬控制點對，該虛擬控制點對與縫合線上同名點對將共同用于TPS參數(shù)估計，由于虛擬控制點基于MPC全景視頻像素球面投影幾何生成，等價于隱含解決了將該球面投影幾何作為TPS全局變換的實際計算問題；另一方面，TPS影像變換涉及像素與全部控制點間的大量對數(shù)計算，考慮到視頻拼接效率，這里根據(jù)MPC攝像機幾何關系固定特點將MPC全景視頻拼接分為查找表離線生成、在線拼接兩個階段，即先利用TPS模型建立全景視頻像素到原始子相機視頻像素間的坐標映射關系(查找表)并作為文件保存，在線拼接時直接讀取查找表文件到內(nèi)存并從中獲得全景視頻像素在子相機視頻上的對應位置信息，進而通過雙線性插值運算獲得灰度信息并賦值全景視頻像素完成拼接目的，由于在線拼接運算量主要與插值計算復雜度、全景視頻分辨率有關，而雙線性插值運算復雜度遠低于TPS且全景視頻像素可進行并行處理，故可完全滿足MPC球面全景視頻輸出的高幀率計算要求。

4 試驗與分析

本文在PC機(英特爾E5-1620處理器 & Nvidia Quadro P2000 GPU & win10操作系統(tǒng) & VS2010編譯環(huán)境)實現(xiàn)上述算法。算法驗證采用兩種方式：①模擬成像測試。給定各子攝像機精確內(nèi)、外參，在計算機環(huán)境按“1+4”設計模式進行MPC模擬成像，旨在攝像機參數(shù)無誤差前提下分析說明MPC子相機攝影中心與球面投影中心不重合及場景深度變化對球面全景視頻生成質(zhì)量影響。②實際相機測試。選用某公司商用五鏡頭全景視頻相機PanoEye(型號：PE-E-130-100)對教學樓內(nèi)部場景進行攝影并輸出球面全景視頻。本文方法輸出的模擬、實際場景球面全景視頻均采用重疊區(qū)域同名特征像素重投影誤差RMS(稱為“重投影誤差”)進行質(zhì)量評估,并與文獻[10]輸出結(jié)果比較，文獻[10]方法球面投影中心取全部子攝像機攝影中心的幾何重心、球面投影半徑取與景深范圍有關的固定值(這里取有效半徑范圍內(nèi)投影誤差最小者)。

4.1 模擬成像測試

表1給出了本文兩種攝影高度、3種DS取值模擬成像下的球面投影參數(shù)自動估計結(jié)果及其球面全景視頻像素重投影誤差；為便于計算重投影誤差，本文在三維場景上隨機選取256個具有深度變化的空間點，將其投影到MPC子攝像機不同重疊區(qū)域(圖7)并記錄對應投影(影像)坐標用于球面投影參數(shù)估計及球面全景視頻輸出質(zhì)量評估目的，其中，用于參數(shù)估計、重投影誤差計算的點數(shù)各半。

圖8給出了文獻[10]方法取不同球面投影半徑時的全景視頻重投影誤差RMS變化曲線圖，最小重投影誤差對應的球面投影參數(shù)值列于表2。對比表1和表2可以看出，隨著DS值增大、AH減小，MPC球面全景視頻重投影誤差均不斷增大，反映出MPC子攝像機攝影中心不重合及景深變化(由攝影高度改變引起)對球面全景視頻輸出質(zhì)量的顯著影響，但在相同攝影高度、DS取值條件下，本文方法球面投影參數(shù)給出的全景視頻重投影誤差相比于文獻[10]方法大幅減少1～1.5倍，優(yōu)勢明顯。由圖8可以發(fā)現(xiàn)，相同攝影高度、DS取值但球面半徑取值不同時，文獻[10]方法重投影誤差將存在較大差異；另一方面，由表2可知，文獻[10]方法雖然在相同AH、不同DS取值下取得最小視頻重投影誤差時的球面投影半徑相同，但當改變AH時，取得最小視頻重投影誤差時的球面投影半徑也隨之改變，這就意味著，實驗室環(huán)境下獲得的、根據(jù)經(jīng)驗給出的球面投影固定參數(shù)將難以用于實際監(jiān)控環(huán)境，而本文方法則不受此限制，最優(yōu)球面投影參數(shù)可結(jié)合實際應用場景重新估計得到，具有靈活性與通用性。

圖6 五鏡頭MPC模擬成像示意Fig.6 Simulation images from 5 lens MPC

圖7 模擬MPC子相機重疊區(qū)域及同名點分布Fig.7 The tie points in simulation images of 5 lens MPC

圖9進一步給出了AH=4 m、DS=0.1 m和0.2 m取值下本文、文獻[10]方法球面投影參數(shù)輸出的全景視頻。由圖9可以看出，當DS取0.1 m時，文獻[10]方法輸出球面視頻在深度變化的臺階處存在明顯的視差偽影，當DS取0.2時，則臺階、鋪地處均存在視差偽影，而取不同DS值時本文輸出球面視頻均能對視差偽影形成有效抑制，或者完全消除或者顯著減小場景深度(視差)變化引起的局部幾何變形，為后續(xù)結(jié)合TPS變換予以消除奠定了基礎。設定拼接線后，圖10給出了本文TPS模型視頻輸出結(jié)果，圖10視差偽影均被完全消除。表3給出了TPS模型下的模擬MPC全景視頻拼接重投影誤差統(tǒng)計，對比表1可知，不同AH、DS取值下采用TPS模型可進一步降低全景視頻拼接重投影誤差且穩(wěn)定在約0.3像素，降低幅度顯著，已能消除重疊區(qū)域偽影現(xiàn)象，證明了算法的有效性、可靠性。

表1 本文方法模擬MPC球面投影參數(shù)估計結(jié)果及其全景視頻重投影誤差統(tǒng)計

表2 文獻[10]方法模擬MPC全景視頻最小重投影誤差統(tǒng)計及對應球面投影參數(shù)

4.2 實際場景測試

用于實際場景測試的某商用五鏡頭全景攝像機如圖11(a)所示，該MPC交付時提供其各子攝像機的內(nèi)、外參數(shù)，見表4，其中焦距、主點內(nèi)參單位為像素，主點以視頻圖像中心為原點；攝影中心外參單位為m，姿態(tài)角外參單位為弧度。圖11(b)為該MPC輸出的某教學樓內(nèi)部場景5路視頻，該場景最大景深約3.3 m。本文用于MPC球面投影參數(shù)估計的相鄰攝像機視頻重疊區(qū)域同名像素由SIFT算子[31]給出，并利用子攝像機內(nèi)、外參數(shù)給出的核線約束去除匹配野點。

表3 模擬MPC全景視頻TPS模型拼接重投影誤差統(tǒng)計

圖8 文獻[10]方法不同投影半徑下的全景視頻重投影誤差變化曲線Fig.8 Panoramic video re-projection error variation curve under different projection radius in reference [10]

圖9 不同球面投影參數(shù)下的MPC全景視頻生成及局部放大Fig.9 Generated MPC panoramic video and local amplification under different spherical projection parameters

圖10 模擬MPC全景視頻TPS模型生成結(jié)果Fig.10 MPC panoramic video generated under TPS

表4 測試全景相機內(nèi)、外參數(shù)

圖11 某商用五鏡頭MPC及其場景視頻輸出Fig.11 One real 5 lens MPC and its video output in scene

圖12 實際子相機重疊區(qū)域及同名點分布Fig.12 The tie points in vide images of one real 5 lens MPC

表5給出了本文方法、文獻[10]方法最優(yōu)球面投影參數(shù)及該參數(shù)下的全景視頻重投影誤差RMS，圖13則分別給出相應的球面全景視頻輸出結(jié)果，為便于比較，這里輸出的球面全景視頻為MPC各子攝像機視頻按式(8)像素重投影直接得到(未采用拼接線)。由表5可以看出，聯(lián)系實際最大景深(3.3 m)、表5中子攝像機攝影中心間平均距離(約0.1 m)、焦距平均大小(約740像素)并簡單考慮成像比例縮放,這里給出的重投影誤差：2.3=3.44×(600/4)×(740/3.3)，與模擬成像(AH=4，DS=0.1)給出的結(jié)果(2.08)相吻合，兩者間的微小差別源于攝像機內(nèi)外參標定誤差。相比于文獻[10]方法給出的重投影誤差最小值6.8，本文方法重投影誤差約減少一半，優(yōu)勢明顯；具體在參數(shù)方面，本文方法與文獻[10]方法給出的球面投影參數(shù)區(qū)別主要體現(xiàn)在投影中心位置，這也從側(cè)面反映了子攝像機攝影中心不重合對MPC球面全景視頻重投影誤差的重要影響。進一步地，觀察圖13中包括墻-地面懸空處(紅、綠矩形標記)、略抬高的綠色鋪地(紫矩形標記)及長方體盒狀物體(黃矩形標記)等局部區(qū)域視頻輸出結(jié)果可以發(fā)現(xiàn)，本文方法球面投影參數(shù)有效減少了上述區(qū)域因不同深度(視差)變化引起的重疊區(qū)域錯位現(xiàn)象，或者完全去除(黃、綠矩形標記)，或者得到有效抑制(紫、紅矩形標記)，再次表明本文方法估計得到的球面投影參數(shù)對于場景深度變化以及MPC子相機攝影中心與球面投影中心不重合引起的重投影誤差具有穩(wěn)健性。

表5 實際MPC球面投影參數(shù)及全景視頻重投影誤差統(tǒng)計

圖13 不同球面投影參數(shù)下的MPC全景視頻輸出質(zhì)量對比Fig.13 Comparison of MPC panoramic video under different spherical projection parameters

與模擬成像結(jié)果類似，這里估計得到的球面投影參數(shù)也不能完全去除MPC球面全景視頻重投影誤差，可結(jié)合TPS變換建立無縫拼接模型，需首先獲得攝像機視頻與球面全景視頻間的拼接線。圖14給出了利用MPC子攝像機內(nèi)、外參及估計得到的球面投影參數(shù)將全景視頻設定拼接線L映射到垂直攝像機、側(cè)視攝像機分別獲得視頻拼接線L0和Li，并通過核線約束自動建立兩視頻拼接線特征像素對應關系的示意。綜合利用虛擬控制點對與視頻拼接線上同名點對估計TPS模型參數(shù)并進行全景視頻拼接，其重投影誤差為0.22像素，與模擬MPC拼接結(jié)果吻合，顯著優(yōu)于表5給出的拼接精度，證明了采用TPS模型拼接的實效性。圖15給出了該模型參數(shù)下的全景視頻輸出結(jié)果，對比圖15(a)與圖13(b)可以看出，該模型參數(shù)下輸出的球面全景視頻質(zhì)量得到進一步改善，完全消除錯位現(xiàn)象，實現(xiàn)了輸出視頻局部場景結(jié)構(gòu)一致性的良好保持；圖15(b)為對MPC攝像機視頻進行Gain光照補償[32]后輸出結(jié)果，取得了令人滿意的視覺效果。

針對存在不同深度變化的室內(nèi)場景A和室外場景B，圖16進一步給出了本文方法與商業(yè)軟件的全景視頻拼接效果，其中商業(yè)軟件2為全景攝像機自帶拼接軟件，商業(yè)軟件1為開源拼接軟件[33]。由圖16可知，對于視差變化較大的局部區(qū)域(矩形框標記)，商業(yè)軟件均存在不同程度的拼接錯位，本文算法則能獲得令人滿意的視覺效果，其性能明顯優(yōu)于商業(yè)軟件。表6進一步給出了本文方法不同輸出分辨率下的MPC全景視頻拼接效率統(tǒng)計，由該表可看出，利用TPS模型離線生成查找表雖耗時較長，但查找表在線拼接時卻具有較高效率，在當前市場上視頻最大輸出分辨率(4 k)下達到15幀/s，已能滿足視頻連續(xù)輸出視覺要求。

圖14 核線約束下的球面全景視頻拼接線生成Fig.14 The seam-line generation of spherical panoramic video under epipolar line constraint

圖15 結(jié)合球面投影幾何的MPC全景視頻TPS模型輸出結(jié)果Fig.15 MPC panoramic video generated under TPS and spherical projection geometry

圖16 不同深度變化場景下的全景視頻輸出效果比較Fig.16 The comparison of panoramic video output under different depth scenes

表6 不同分辨率下的MPC全景視頻拼接效率統(tǒng)計

本文研究結(jié)果表明：①以反映場景深度變化的同名像點作為觀測值，通過最小化投影中心到同名像素對應球面空間點的夾角建立統(tǒng)一誤差方程對MPC球面投影參數(shù)進行場景自適應估計是可行的，有效降低MPC子攝像機攝影中心不重合及場景深度變化對球面全景視頻輸出質(zhì)量影響；②引入TPS變換建立MPC球面全景視頻無縫生成模型并以視頻拼接線上顯著特征(像點)為控制點線性求解模型參數(shù)是可行的，既能實現(xiàn)MPC各子攝像機視頻到球面全景視頻的像素直接映射與球面投影幾何特性整體保持，又能最小化重疊區(qū)域像素重投影誤差，僅通過拼接線附近像素簡單混合計算即可獲得良好的視頻拼接效果。

5 總結(jié)與展望

作為有效的監(jiān)控手段，攝像機早已在社會公共安全、管理調(diào)度及生產(chǎn)控制中發(fā)揮了不可替代的作用。MPC監(jiān)控視角可覆蓋整個半球且不同方向分辨率基本一致，對于提高監(jiān)控作業(yè)效率具有實際意義。研究表明，除潛在的攝像機參數(shù)標定誤差、子攝像機攝影中心與球面投影中心不重合原因外，MPC球面視頻輸出質(zhì)量還與球面投影參數(shù)(中心位置、半徑大小)設置、場景深度變化有關，而球面投影參數(shù)設置又與場景深度變化相關聯(lián)。針對這一問題，本文在MPC攝像機內(nèi)、外參數(shù)已知條件下，從最小化視頻拼接線及其鄰域像素誤差角度出發(fā)提出一種場景自適應的MPC球面全景視頻無縫生成方法。對于采用電腦后端管理方式的MPC，本文方法可作為一種加性算子應用于當前正在運行的MPC視頻監(jiān)控系統(tǒng)，無須對其拆卸或重新進行攝像機內(nèi)、外參數(shù)標定，具有良好的應用價值；考慮到視頻輸出效率與計算復雜度,本文視頻拼接線生成并不考慮監(jiān)控場景中的動態(tài)物體，則當拼接線上出現(xiàn)動態(tài)物體時，全景視頻拼接線附近仍可能會出視差偽影現(xiàn)象，這將是下一步工作需要解決的問題,同時也將結(jié)合實際監(jiān)控場景對本文方法進行更多測試，以使之實用化。