劉雨翰，常 敏，韓 帥，陳 果

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

引 言

圖像拼接技術(shù)是將多張圖像合成更大視野的全景圖的過程[1]。在相機(jī)純旋轉(zhuǎn)的單一視點(diǎn)下，經(jīng)過多年的大量研究后，已有較為成熟的模型與算法，并被廣泛應(yīng)用在實(shí)際生活中[2-3]。然而，隨著智能設(shè)備的興起，手持式鏡頭在近距離拍攝的情況下會(huì)產(chǎn)生大的視差，因此研究多視點(diǎn)圖像的拼接方法具有很高的實(shí)用價(jià)值。

在多視點(diǎn)的條件下，如果拍攝對(duì)象僅存在一個(gè)平面，則待拼接圖像間的幾何變換仍可由一個(gè)全局單應(yīng)矩陣來完成。典型的拼接算法有Brown等[4]提出的AutoStitch，該方法使用全局單應(yīng)性對(duì)齊圖像，魯棒性較強(qiáng)。但是，拍攝環(huán)境通常情況比較復(fù)雜，一個(gè)全局單應(yīng)不能很好地滿足該環(huán)境。對(duì)此，科研人員提出了用多個(gè)局部投影變換矩陣來對(duì)圖像中的不同部分進(jìn)行分別處理。Lin等[5]提出的平滑仿射變換（smoothly varying affine，SVA）模型，通過在圖像重疊區(qū)域的網(wǎng)格變形拼接圖像，類似于整體的全局變換。Zaragoza等[6]提出的盡可能投影變換（as projective as possible，APAP）模型，通過在圖像重疊區(qū)域的局部投影變換結(jié)合Moving-DLT方法進(jìn)行圖像拼接。這些方法都假設(shè)存在一個(gè)全局的透視變換或仿射變換，局部模型僅在全局模型基礎(chǔ)上進(jìn)行一些輕微改動(dòng)，其本質(zhì)仍然是單視點(diǎn)，易對(duì)大視差圖像產(chǎn)生誤差和累積形變，使得拼接后圖像產(chǎn)生嚴(yán)重的畸變。

由于單視點(diǎn)的圖像拼接不可避免地會(huì)帶來嚴(yán)重的形狀和尺寸失真，2014年，Chang等[7]提出了單應(yīng)性變換和相似性變換相結(jié)合的多視點(diǎn)圖像拼接方法（shape preserving half projective, SPHP）。SPHP方法將重疊區(qū)域的單應(yīng)性變換平滑過渡到非重疊區(qū)域的相似性變換，重疊區(qū)域的單應(yīng)性變換能夠保證較好的圖像對(duì)齊，而非重疊區(qū)域采用相似性變換，可以減少投影失真，保持圖像的觀感。但SPHP模型包含了對(duì)兩幅圖像之間的單應(yīng)性關(guān)系分析，因而繼承了單應(yīng)性的局限性。2018年，梁楠等[8]提出了使用局部加權(quán)融合并在特征點(diǎn)垂直方向增加約束的拼接算法，增強(qiáng)了相對(duì)復(fù)雜的（如醫(yī)療手術(shù)）圖像的拼接效果。羅永濤等[9]提出基于最佳縫合線與灰度均值插改正比結(jié)合的算法，對(duì)拼接縫的消除效果更好，圖像過渡更為自然。2020年，王紅軍等[10]提出了一種改進(jìn)SPHP模型的遙感圖像拼接算法，在大圖像背景下使拼接速度更快。

綜上，現(xiàn)有的各類圖像拼接方法雖可以允許相機(jī)有較輕微的移動(dòng)，但對(duì)實(shí)際復(fù)雜環(huán)境下拍攝的那些具有較大視差的圖像，仍存在著一定的問題。針對(duì)以上算法不足，本文提出了一種基于全局相似性約束的多視點(diǎn)圖像拼接方法。本方法在傳統(tǒng)網(wǎng)格模型的基礎(chǔ)上進(jìn)行優(yōu)化，添加了一個(gè)先驗(yàn)的全局相似性約束項(xiàng)，該約束項(xiàng)通過改進(jìn)AutoStitch中的光束法平差[2]來估算每幅圖像的縮放尺度和旋轉(zhuǎn)角度，從而獲得一個(gè)最佳的相似變換度，使拼接效果更為自然。

1 全局相似約束圖像拼接

1.1 最佳縮放尺度的確定

圖像拼接包括特征提取、特征匹配、計(jì)算投影變換矩陣和圖像融合四個(gè)主要過程，其中變換矩陣的計(jì)算是圖像拼接的核心。本文引入了一個(gè)全局相似性約束，以確保每一幅變形的圖像都通過對(duì)應(yīng)的全局相似變換矩陣進(jìn)行相似變換。如果缺少此約束，將可能導(dǎo)致如SPHP模型一樣的扭曲或失真。本文提出的拼接方法為：首先，為每幅圖像()確定一個(gè)最佳縮放尺度()和旋轉(zhuǎn)角度()，通過自適應(yīng)的確定縮放尺度與旋轉(zhuǎn)角度，可使多圖拼接性能和觀感自然度大幅提升；然后，在此基礎(chǔ)上計(jì)算出對(duì)應(yīng)的全局相似變換矩陣；最后，使用求得的全局相似變換投影矩陣對(duì)待拼接圖像進(jìn)行配準(zhǔn)并完成拼接。

將傳統(tǒng)圖像網(wǎng)格模型中每一個(gè)單元格都視為一幅獨(dú)立的圖像，可得一組圖像（N為單元格總數(shù)），將作為參考圖像。由于根據(jù)兩幅圖像之間的單應(yīng)性可以估算出兩幅圖像的焦距[11]，且通過APAP算法可以獲得圖像網(wǎng)格中單元格之間的單應(yīng)性關(guān)系，所以每個(gè)單元格圖像都可以得到一個(gè)相對(duì)應(yīng)的初始焦距（由于局部和全局均采用相似變換，所以變換矩陣求解方法大致相同，主要差別在于第一步初始焦距的確定，全局相似變換的初始焦距取圖像網(wǎng)格中所有單元格圖像的初始焦距中間值），進(jìn)一步生成每個(gè)單元格圖像的初始內(nèi)參數(shù)矩陣Ki，即

1.2 最佳旋轉(zhuǎn)角度的確定

首先通過分解式（2）得到的三維旋轉(zhuǎn)矩陣Ri得到相對(duì)軸的旋轉(zhuǎn)角，則相鄰圖像和之間的相對(duì)旋轉(zhuǎn)可以定義為。

圖1 求解最佳旋轉(zhuǎn)角度流程圖Fig. 1 Optimal rotation angle flow chart

1.3 全局相似變換矩陣的確定

在已經(jīng)求得縮放尺度和旋轉(zhuǎn)角度的基礎(chǔ)上，全局相似性變換可以定義為

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)平臺(tái)搭建

本文的圖像處理平臺(tái)：CPU為Intel（R）Core（TM）i5-6400，2.7 GHz，內(nèi)存為16.00 GB，操作系統(tǒng)為Windows 10，仿真平臺(tái)為MATLAB 2018a。對(duì)多組待拼接圖像數(shù)據(jù)分別采用APAP、SPHP以及本文方法進(jìn)行拼接，對(duì)比拼接效果。本文選取不同特征的三組圖像進(jìn)行分析，三組圖像分別為：視角不同（建筑）、亮度不同（花園）、復(fù)雜場(chǎng)景（鐵軌），三幅圖像的大小分別為852×1 135，1 531×1 022，2 000×1 500，如圖 2 所示。

圖2 待拼接圖像Fig. 2 Images to be spliced

2.2 圖像拼接質(zhì)量評(píng)價(jià)方法

拼接后的圖像質(zhì)量很大程度上取決于人在看到圖像時(shí)的主觀感受，因而大部分圖像拼接質(zhì)量評(píng)估都是以主觀評(píng)價(jià)為主。通常采用國(guó)際無線電咨詢委員會(huì)制定的CCIR500-1的主觀評(píng)價(jià)標(biāo)準(zhǔn)。但是由于圖像拼接結(jié)果注重拼接部位的錯(cuò)位以及邊界是否平滑過渡等，主觀評(píng)價(jià)對(duì)圖像的細(xì)微變化不能很好地區(qū)分，所以也需要對(duì)拼接圖像進(jìn)行客觀評(píng)價(jià)。為了更好地對(duì)本文提出方法的拼接質(zhì)量做出評(píng)價(jià)，本文借鑒文獻(xiàn)[15]所提出的圖像拼接質(zhì)量評(píng)價(jià)方法，采用結(jié)構(gòu)相似度（structural similarity index Measurement，SSIM）和邊緣差分譜（different of edge map，DoEM）兩種方法進(jìn)行客觀評(píng)價(jià)。SSIM評(píng)價(jià)方法是由亮度相似度、對(duì)比相似度和結(jié)構(gòu)相似度三個(gè)元素組成。DoEM評(píng)價(jià)方法主要分為三個(gè)步驟，分別為圖像邊緣檢測(cè)、圖像邊緣差分譜構(gòu)建以及差分譜信息統(tǒng)計(jì)并計(jì)算得分，從而得到評(píng)價(jià)結(jié)果。

2.3 圖像拼接結(jié)果分析

圖3、4、5分別為對(duì)三組圖像采用不同方法得到的拼接結(jié)果。

從拼接結(jié)果可以清晰地發(fā)現(xiàn)，APAP方法的拼接不能有效解決視差問題，在重疊區(qū)域存在大量重影與模糊；SPHP方法相對(duì)APAP方法有了一定的改善，但仍未完全解決視差問題，且該算法在整體上使圖像產(chǎn)生了非均勻變形，在部分重疊區(qū)域仍然存在重影，圖像感觀不夠自然。相比之下，本文提出的基于全局相似性約束的圖像拼接方法有效地改善了重影和扭曲變形的問題，重疊區(qū)域沒有明顯的重影，且圖像保持了拼接前原始視角，沒有產(chǎn)生扭曲變形，拼接效果更為自然。

為了進(jìn)一步評(píng)價(jià)拼接效果，本文采用SSIM和DoEM方法分別對(duì)APAP、SPHP和本文方法的拼接結(jié)果進(jìn)行評(píng)價(jià)，所得結(jié)果如表1所示。

從表1的結(jié)果可以看出，本文提出的方法拼接得到的SSIM和DoEM評(píng)價(jià)分?jǐn)?shù)相比其他兩種拼接方法提高了10%以上。

圖3 建筑拼接圖像Fig. 3 Building splicing results

圖4 花園拼接結(jié)果圖Fig. 4 Garden splicing results

圖5 鐵軌拼接結(jié)果圖Fig. 5 Rail-tracks splicing results

表1 拼接質(zhì)量客觀評(píng)價(jià)Tab. 1 Comparison of stitching results

3 結(jié) 論

本文提出一種針對(duì)大視差環(huán)境的多視點(diǎn)圖像拼接方法。該方法在傳統(tǒng)細(xì)分網(wǎng)格模型的基礎(chǔ)上，引入了一個(gè)全局相似約束項(xiàng)，針對(duì)每幅圖像的縮放尺度與旋轉(zhuǎn)角度做出良好的選擇，可以保持在良好對(duì)齊的同時(shí)減少失真，最終在整體視角上獲得一個(gè)更好的縫合圖像。實(shí)驗(yàn)結(jié)果表明：該方法可有效降低大視差圖像拼接時(shí)易出現(xiàn)的鬼影、重影、畸變等問題，且在整體上圖像仍保持一個(gè)良好的視角，不會(huì)扭曲失真，圖像拼接質(zhì)量評(píng)估分?jǐn)?shù)比相關(guān)文獻(xiàn)報(bào)道的提高了10%以上。本文提出的方法適合大視差場(chǎng)景下的圖像拼接，可為大視差圖像處理提供參考。