孫翌喬，王春勇，李振華，張寶輝

(1.南京理工大學(xué) 理學(xué)院，江蘇 南京 210094；2.昆明物理研究所，云南 昆明 650223)

在旋轉(zhuǎn)式全景成像系統(tǒng)中，由于視角在不斷地拼接中發(fā)生了擴(kuò)展，多張圖像拼接時會出現(xiàn)比較嚴(yán)重的圖像畸變現(xiàn)象，最突出的表現(xiàn)是拼接圖像呈橄欖球狀，部分區(qū)域甚至難以識別。為此，本文采用了柱面投影算法，將處于不同平面的圖像投影到統(tǒng)一的曲面上，從而減少圖像畸變，實現(xiàn)多張圖像連續(xù)拼接。

柱面投影算法對焦距(或視角)這一參數(shù)要求相對較高，利用不精確焦距實現(xiàn)的柱面投影不僅無法解決前述的畸變問題，還會因為畸變大幅降低各種匹配算法獲得的特征點數(shù)量和質(zhì)量，甚至導(dǎo)致匹配失敗。文獻(xiàn)[1]和[2]直接采用了已知內(nèi)參數(shù)的攝像機(jī)，從而繞過了焦距標(biāo)定的過程，但是并非所有攝像機(jī)都可以提供足夠精確的內(nèi)參數(shù)。文獻(xiàn)[3]通過攝像機(jī)旋轉(zhuǎn)一周，根據(jù)圖像張數(shù)估算視角來實現(xiàn)焦距的標(biāo)定，但這一方法偏差明顯較大。文獻(xiàn)[4]在此基礎(chǔ)上加入了圖像重疊率這一參數(shù)，一定程度上提高了精度，但仍未達(dá)到理想的精度。文獻(xiàn)[5]和[6]分別采用了光束平差法和基于純旋轉(zhuǎn)運動的列文伯格-馬夸爾特(Levenberg-Marquardt，LM)迭代方法，它們的共同點是精度較高，但復(fù)雜度較高、耗時長，難以實現(xiàn)實時拼接。文獻(xiàn)[7]對文獻(xiàn)[6]進(jìn)行了簡化，提出了通過追蹤單應(yīng)性矩陣參數(shù)標(biāo)定焦距的方法，但使用的折半查找法未能充分利用參數(shù)變化趨勢，精度略有不足且不適合并行運算，有進(jìn)一步優(yōu)化的空間。

本文主要針對文獻(xiàn)[7]存在的問題，使用二次函數(shù)求解法代替折半查找法，以進(jìn)一步提高標(biāo)定精度。

1 旋轉(zhuǎn)式全景成像系統(tǒng)工作流程

如圖1所示，本文所述的旋轉(zhuǎn)式全景成像系統(tǒng)工作流程如下:首先對2張待拼接圖像提取高速魯棒特征點(Speed up robust features，SURF)并獲取描述子，然后對2張圖像中的特征點進(jìn)行匹配獲得匹配點集。如果焦距已知，可以但不推薦直接采用已知的焦距進(jìn)行柱面投影，利用投影后的點集經(jīng)隨機(jī)抽樣一致(Random sample consensus，RANSAC)算法提純后獲取單應(yīng)性矩陣完成拼接。如果焦距未知、不準(zhǔn)確或存在動態(tài)變焦，則使用本文所述的方法進(jìn)行焦距標(biāo)定后進(jìn)行后續(xù)步驟。

圖1 全景成像系統(tǒng)工作流程

2 柱面投影算法

2.1 像素焦距

在介紹柱面投影之前，有必要介紹一下像素焦距的概念，在下文中，除特別標(biāo)明外，所有的“焦距”文字和f符號均代表像素焦距。

在實際生活中，成像設(shè)備往往會提供以mm為單位的物理焦距，如榮耀30S手機(jī)拍攝出的相片顯示焦距6 mm；并給出等效焦距，如手機(jī)提供26 mm/35 mm等效焦距，這代表此設(shè)備與焦距為26 mm的鏡頭在35 mm標(biāo)準(zhǔn)膠片上的視角等效。

但在實際圖像處理中需要把這一物理焦距轉(zhuǎn)換到像素域中，形成以像素為單位的像素焦距以簡化計算。轉(zhuǎn)換的基礎(chǔ)是物理焦距和像素焦距所對應(yīng)的視角相等。

如圖2所示，設(shè)W為圖像寬度(單位為px)，θ為半視角，l為感光器件寬度，f像素和f實際分別是像素焦距和實際焦距，根據(jù)對頂角定理

整理式(1)可以得到焦距轉(zhuǎn)換式(2)

圖2 焦距轉(zhuǎn)換示意圖

2.2 柱面投影

如圖3所示，w和h所構(gòu)成的平面即為原始的像平面，以光心O為中心的柱體即為目標(biāo)曲面，其半徑為焦距f，在平面上任取一點P(x，y)，連接OP交柱體于P′(x′，y′)，θ是水平方向的半視角。沿h/2垂直于h，w平面切割柱體得到圖3(b)，沿OP豎直切割柱體得到切面c。

首先確定投影后的圖像寬度neww。由圖3(b)可知，投影后圖像寬度即為視角所對應(yīng)的弧長

實踐中neww往往不是整數(shù)，此處采用向下取整的方法。

圖3 柱面投影示意圖

接下來根據(jù)P(x，y)的坐標(biāo)確定對應(yīng)點P(x′，y′)的坐標(biāo)。由于x′是一段圓弧，求解x′的問題可以轉(zhuǎn)換成求解∠AOP的問題

因此

根據(jù)∠OPM～∠OP′M′可得式(6)

式(5)和(6)構(gòu)成了柱面投影的正向投影公式。將式(5)和式(6)取反，即可獲得逆向投影公式，如式(7)

柱面投影將原本矩形圖像轉(zhuǎn)換成中間高兩邊低且寬度有所收窄的新圖像，隨著焦距變大，收窄程度變大，最小高度變小。以榮耀30S手機(jī)拍攝的960×540照片為例，圖4是同一照片經(jīng)不同焦距的柱面投影所得圖像。

圖4 柱面投影效果圖

3 基于單應(yīng)性矩陣參數(shù)追蹤的自標(biāo)定算法

本文所述的焦距自標(biāo)定算法分為粗標(biāo)定和精標(biāo)定2個步驟。粗標(biāo)定的目的是獲得一個接近實際焦距的焦距點，保證實際焦距落在其附近，以提高后續(xù)擬合的精度。精標(biāo)定則是在此基礎(chǔ)上將焦距修正到目標(biāo)值。算法流程如圖5所示。

圖5 焦距標(biāo)定算法流程

3.1 焦距粗標(biāo)定

在進(jìn)行焦距粗標(biāo)定算法前，不妨關(guān)注一下假如不進(jìn)行柱面投影，2張圖像直接進(jìn)行拼接的拼接效果。圖6是某兩張540×960圖像直接進(jìn)行拼接的結(jié)果。

在此情形下，拼接圖像經(jīng)透視變換被投影到被拼接圖像同一平面上，形成了類似梯形的形狀?，F(xiàn)將這一場景表示在圖7上。

圖6 直接進(jìn)行拼接的結(jié)果

圖7 直接拼接示意圖

由圖7(a)可知，設(shè)拼接后最大寬度為newW，最大高度為newH，又OO′=f

在圖7(b)中，OC=f，，則根據(jù)三角形相似

聯(lián)立式(8)和式(9)，得到f的表達(dá)式

此算法對焦距的標(biāo)定速度較快，只與圖像本身相關(guān)，與攝像機(jī)旋轉(zhuǎn)速度無關(guān)，也無需提供初始值，但精度相對較低，存在較大方差，這是由于忽略了可能存在的豎直方向位移、圖像中心未必與攝像機(jī)中心位于同一水平面等原因?qū)е碌?。但這個精度已經(jīng)足以滿足下一小節(jié)的焦距精標(biāo)定要求，且二者共用一套匹配點集，不會產(chǎn)生更多的時間消耗。

取8張精標(biāo)定焦距為824 px的圖像兩兩進(jìn)行本節(jié)的焦距粗標(biāo)定算法，得到表1。

表1 焦距粗標(biāo)定結(jié)果

3.2 焦距精標(biāo)定算法

獲得預(yù)測值后就要進(jìn)行焦距的精標(biāo)定。本文通過SURF算法獲得特征點配對組，經(jīng)過RANSAC算法篩選后計算獲得單應(yīng)性矩陣H作為透視變換的變換矩陣。文獻(xiàn)[7]指出，h1、h2、h4、h5主要與旋轉(zhuǎn)變換有關(guān)，h3、h6分別是橫向和縱向位移，h7、h8則是與透視變換相關(guān)的主要參數(shù)。最后一項恒為1。

現(xiàn)選取兩張相鄰的圖像P1、P2進(jìn)行SURF特征點匹配，首先經(jīng)RANSAC算法提純后獲得匹配點集Ω，在f粗附近選取100個f值記為f k，然后根據(jù)式(5)、式(6)得到Ω′k，其中Ω′k為Ω經(jīng)以f k為焦距的變換得到的點集。分別計算單應(yīng)性矩陣H′k，記錄與透視變換相關(guān)的參數(shù)h7、h8的變化情況，結(jié)果如圖8所示，其中近似水平的曲線代表h8的變化情況，近似二次函數(shù)的曲線代表h7的變化情況。

圖8 h7、h8的變化情況

當(dāng)h7=h8=0時，透視變換退化成仿射變換。由于h8始終在0附近且變化幅度較小，因此不能作為追蹤參數(shù)。h7隨f增加而增加且具有明顯的平滑曲線特征，可以作為追蹤參數(shù)。

現(xiàn)在f粗附近任取3個點，利用二次函數(shù)的三點式可得到唯一確定的二次函數(shù)，這個函數(shù)與h7實際變化的關(guān)系如圖9

圖9展示了在目標(biāo)點附近實際變化曲線與擬合二次函數(shù)的關(guān)系，其中藍(lán)色部分為h7的實際變化曲線，橙色曲線為擬合的二次函數(shù)，綠色垂線表示實際焦距位置。由圖可見h7在實際焦距f±20%區(qū)域內(nèi)的變化幾乎完全符合二次函數(shù)的規(guī)律，計算可知其互相關(guān)系數(shù)高達(dá)0.999 9，因此可以通過求解此二次函數(shù)的零點來獲得精確的焦距值。整個過程只需要3次求解單應(yīng)性矩陣(且可以通過并行運算進(jìn)一步壓縮時間)即可獲得足夠精確的焦距。盡管在實際焦距附近這個變化幾乎完全符合二次函數(shù)變化規(guī)律，但由圖9其他部分可以明顯看出，遠(yuǎn)離實際焦距時兩條曲線將逐漸偏離，此時精標(biāo)定算法將有失效的風(fēng)險，甚至?xí)敵雒黠@錯誤的復(fù)數(shù)解。因此，在焦距精標(biāo)定前先進(jìn)行粗標(biāo)定是必要的。

圖9 二次函數(shù)與實際變化趨勢關(guān)系

現(xiàn)通過以下方法估測本文算法精度:本文算法精度與粗標(biāo)定精度有關(guān)，粗標(biāo)定偏差越大則二次函數(shù)曲線與參數(shù)變化曲線在零點處偏差越大。以粗標(biāo)定中偏差最大的結(jié)果第8組的粗標(biāo)定值880 px為例，選取附近1 000個f值作為測試點，得到樣本變化曲線，本文與文獻(xiàn)[7]的精標(biāo)定過程，本質(zhì)上都是尋找這個曲線的零點?，F(xiàn)選取這些點的首、中、末3個f值計算對應(yīng)h7構(gòu)建二次函數(shù)，并形成圖10，尋找2條曲線零點所在區(qū)間，則最大誤差σ＜829 px-828.1 px=0.9 px。相同條件下原文獻(xiàn)算法標(biāo)定值為830 px，誤差為1.7 px。

此外，由于可以使用上一次精標(biāo)定的值作為粗標(biāo)定輸入，此算法對h7變化曲線零點查找的精度隨著運算次數(shù)的增加會迅速收斂至小于0.01 px，此后標(biāo)定精度將不再受這一過程影響，而只與特征點提取和匹配過程中產(chǎn)生的誤差有關(guān)。

圖10 本文算法誤差分析

由于不準(zhǔn)確的焦距會導(dǎo)致圖像高度發(fā)生變化，本文采用文獻(xiàn)[7]提出的評價方法，此算法基于當(dāng)焦距足夠精確時，相鄰圖像之間只存在平移變換，因此同樣大小的圖像在拼接后大小不發(fā)生變化的原理，以最左端和最右端圖像高度差作為評價方法，但文獻(xiàn)[7]采用了單向連續(xù)拼接的方法，這一方法誤差最大的部分位于圖像一端，會造成誤差的累積。本文采用的拼接方法通過交替使用左向拼接和右向拼接，平衡了誤差的累計，誤差最大的位置也不再位于兩端，因此以拼接后圖像左右分別去除半幅圖像寬度后(排除柱面投影影響)最大高度與最小高度的差Dev=Hmax-Hmin作為拼接效果的評價方法，當(dāng)這個差值大于由柱面投影導(dǎo)致的單幅圖像內(nèi)圖像最大高度與最小高度的差dev=hmax-hmin時或拼接過程中因錯誤中斷時判定拼接失敗。不同算法的Dev值表現(xiàn)如表2。

表2 用差值表示的拼接效果

上述結(jié)論證明本文方法有效地實現(xiàn)了焦距的校準(zhǔn)，并且進(jìn)一步提升了焦距校準(zhǔn)的精度，并能適應(yīng)自動變焦的環(huán)境。圖11展示了27張圖像的拼接成果，拼接效果良好，畸變較小。

圖11 本文連續(xù)圖像拼接結(jié)果(27張)

3 結(jié)束語

本文首先通過直接進(jìn)行圖像拼接時的幾何關(guān)系實現(xiàn)了焦距的快速粗標(biāo)定，然后在此基礎(chǔ)上對單應(yīng)性矩陣參數(shù)的追蹤擬合實現(xiàn)了旋轉(zhuǎn)全景成像系統(tǒng)中的焦距精標(biāo)定，為后續(xù)的圖像拼接打下了堅實的基礎(chǔ)。本文在文獻(xiàn)[7]基礎(chǔ)上進(jìn)一步提高了拼接效果，減少了圖像畸變。但是，這一算法依舊是建立在攝像機(jī)的旋轉(zhuǎn)運動上的，具有一定的局限性，主要針對的仍是旋轉(zhuǎn)式全景成像設(shè)備，對諸如多攝像頭陣列等全景成像系統(tǒng)沒有作用。接下來攝像機(jī)位置不處于旋轉(zhuǎn)軸上的圖像拼接將成為進(jìn)一步研究的方向。