羅順元，蒼巖，喬玉龍

哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001

圖像拼接技術(shù)即通過(guò)校準(zhǔn)融合，拼接若干存在重疊區(qū)域且視角和色彩差異不大的圖像，從而獲得高分辨率的全景圖像。應(yīng)用這種技術(shù)可以消除傳統(tǒng)相機(jī)成像中高分辨率和廣視角不可兼得的弊端[1]。憑借這一優(yōu)勢(shì)，該技術(shù)已廣泛應(yīng)用于現(xiàn)代研究的多個(gè)領(lǐng)域，不僅與人們的生活息息相關(guān)，也為科學(xué)研究和生產(chǎn)實(shí)踐帶來(lái)了便利。

圖像拼接主要分為圖像采集、圖像預(yù)處理、圖像配準(zhǔn)和圖像融合4個(gè)步驟，其中關(guān)鍵步驟為圖像配準(zhǔn)和圖像融合[2]。在圖像采集過(guò)程中，獲得的圖像中往往存在運(yùn)動(dòng)中的物體，這就造成了圖像拼接過(guò)程中運(yùn)動(dòng)物體的撕裂或重疊，即鬼影現(xiàn)象和重影現(xiàn)象。針對(duì)這一問(wèn)題，1998年，ML Duplaquet等[3]提出了最佳縫合線算法，該算法應(yīng)用動(dòng)態(tài)規(guī)劃的思想，使縫合接縫避開(kāi)運(yùn)動(dòng)物體，有效地減輕鬼影、重影現(xiàn)象，但是該算法沒(méi)有對(duì)圖像之間的色彩差異進(jìn)行處理，存在明顯的拼接接縫。近年來(lái)，國(guó)內(nèi)外研究者在這一問(wèn)題上做了大量工作。2012年，黨建武等[4]通過(guò)對(duì)特征點(diǎn)進(jìn)行加權(quán)，使縫合線優(yōu)先通過(guò)特征點(diǎn)區(qū)域，但其算法的魯棒性不佳，對(duì)于配準(zhǔn)誤差較大的圖像融合效果較差。2013年，Gao等[5]提出一種接縫對(duì)比的方法，該方法首先估計(jì)待拼接圖像間的多個(gè)變換模型，然后在每個(gè)模型中各獲得一條最佳拼接接縫，最后對(duì)比所有接縫與源圖像中同一區(qū)域的相似度，從而得到最佳變換模型和最佳縫合線，這種方法有效地解決了圖像拼接過(guò)程中因變換模型選取不當(dāng)帶來(lái)的誤差，但算法本身計(jì)算量大，效率不高。其后，瞿中等[6]提出在最佳縫合線兩側(cè)使用加權(quán)平均的圖像融合算法，這種方法在一定程度上降低了拼接接縫問(wèn)題，但其算法魯棒性不佳。2018年，張翔等[7]將局部信息權(quán)重引入最佳縫合線搜索規(guī)則中，并使用自適應(yīng)權(quán)值的加權(quán)融合方法對(duì)圖像的重疊區(qū)域進(jìn)行融合，在兩圖拼接應(yīng)用中取得了良好的拼接效果，但在存在多種色彩差異的圖像拼接中表現(xiàn)較差。針對(duì)最佳縫合線算法中存在的拼接接縫問(wèn)題，提出一種改進(jìn)算法，經(jīng)實(shí)驗(yàn)驗(yàn)證，該算法能夠有效解決拼接中存在的接縫問(wèn)題，提高圖像拼接質(zhì)量。

1 最佳縫合線算法

最佳縫合線算法通過(guò)在圖像的重疊區(qū)域?qū)ふ易罴呀涌p，能夠有效地消除動(dòng)態(tài)融合場(chǎng)景中的鬼影、重影現(xiàn)象。最佳縫合線算法中的最佳接縫指的是兩幅圖像中重疊區(qū)域顏色差異最小且?guī)缀谓Y(jié)構(gòu)最相近的連續(xù)像素點(diǎn)的集合[2]。最佳接縫可以避開(kāi)圖像重疊區(qū)域中的運(yùn)動(dòng)物體和色彩差異較大的區(qū)域，從而消除傳統(tǒng)拼接方法中出現(xiàn)的鬼影和重影問(wèn)題。

1）以重疊區(qū)域圖像第1行為起始，每一個(gè)點(diǎn)都作為本列的始點(diǎn)，至上而下進(jìn)行遍歷，每一列都生成一條縫合線；

3）比較求得的3個(gè)差異強(qiáng)度值，選擇強(qiáng)度值最小的點(diǎn)為下一個(gè)落在縫合線上的點(diǎn)，兩點(diǎn)之間的連線即為縫合線路徑，其強(qiáng)度值即為本段縫合線強(qiáng)度值，依次類(lèi)推直到最后一行；

4）將每條縫合線各段路徑差異強(qiáng)度值相加，并比較所有路徑的差異強(qiáng)度和大小，強(qiáng)度和最小的路徑即為最佳縫合線。

最佳縫合線的搜索過(guò)程如圖1所示。

圖1 最佳縫合線搜索流程示意

得到最佳縫合線后，將縫合線兩側(cè)的像素值分別置為0和1，即可得到圖像的拼接掩模。結(jié)合拼接掩模，使用圖像融合算法得到拼接圖像。

2 多頻段融合算法

多頻段融合算法能夠消除圖像中的色彩過(guò)渡不自然現(xiàn)象，算法基本思想是將圖像進(jìn)行多尺度分解，根據(jù)不同的尺度算子來(lái)融合權(quán)重，使用獲得的不同權(quán)重進(jìn)行融合[9]。相比簡(jiǎn)單的線性混合方法會(huì)對(duì)圖像產(chǎn)生模糊，多頻段融合算法對(duì)圖像的處理是在不同尺度域中進(jìn)行的，通過(guò)在不同尺度下使用不同權(quán)重進(jìn)行圖像融合，使得融合過(guò)程中能夠保留更多的細(xì)節(jié)信息，避免了圖像細(xì)節(jié)的丟失，從而獲得高質(zhì)量圖像。

在多頻段融合中，首先對(duì)待融合圖像進(jìn)行下采樣，并與高斯核進(jìn)行卷積得到圖像的高斯金字塔，高斯金字塔圖層計(jì)算公式為：

高斯金字塔相鄰圖像層進(jìn)行差分即可得到圖像的拉普拉斯金字塔，拉普拉斯金字塔圖層計(jì)算公式為

將融合后的拉普拉斯金字塔進(jìn)行逆向重構(gòu)，重構(gòu)步驟如下：

1）設(shè)拉普拉斯金字塔層數(shù)為i，選取高斯金字塔頂層的圖像為源圖像；

2）將源圖像上采樣，上采樣結(jié)果尺度與第i層高斯金字塔的尺度保持一致，并進(jìn)行平滑處理；

3）平滑后的圖像與拉普拉斯金字塔第i 層圖像相加得到新的源圖像，且；

4）重復(fù)步驟 2）、3）；

3 改進(jìn)的最佳縫合線算法整體流程

由于最佳縫合線算法自身具有較強(qiáng)的魯棒性，在求取最佳縫合線之前，將圖像進(jìn)行下采樣，將圖像變換到小尺度空間下，然后求得圖像的最佳縫合線掩膜，對(duì)掩膜上采樣即可得到原尺度下的拼接掩膜，依據(jù)拼接掩膜拼接圖像，這種改進(jìn)可以大大減少搜索縫合線耗時(shí)，提高程序運(yùn)行效率。

在最佳縫合線的后級(jí)使用多頻段融合算法，將拼接圖像在不同頻段內(nèi)進(jìn)行加權(quán)融合處理，消除拼接接縫，得到最終的拼接輸出。

算法的具體流程如圖2所示。

圖2 改進(jìn)的最佳縫合線算法整體流程

4 測(cè)試結(jié)果及分析

在 Windows10系統(tǒng)、Intel Corei7-6700HQ、內(nèi)存16 GB的計(jì)算機(jī)上，程序編譯軟件為Visual Studio2017，使用opencv2.4.13作為外部庫(kù)進(jìn)行測(cè)試。

在本次實(shí)驗(yàn)中，使用3組測(cè)試圖像進(jìn)行算法性能測(cè)試，測(cè)試圖分別來(lái)自O(shè)pencv官方圖像拼接項(xiàng)目和人工使用手機(jī)拍攝。

第1組測(cè)試圖像為課本，源圖像如圖3所示，圖像間整體的色彩差異不大，但光心在實(shí)際場(chǎng)景中的位置不同。

圖3 測(cè)試組 1 (課本)

對(duì)源圖像做拼接處理，本文算法與文獻(xiàn)[6]算法輸出結(jié)果對(duì)比如圖4所示。

圖4 測(cè)試組1本文算法與文獻(xiàn)[6]算法輸出結(jié)果對(duì)比

結(jié)果可以看出，當(dāng)圖像色彩差異不大時(shí)，本文算法與文獻(xiàn)[6]算法輸出效果接近一致，拼接輸出圖像中并無(wú)明顯接縫。

第2組測(cè)試圖像內(nèi)容為公園場(chǎng)景，2個(gè)圖像草地中影子存在明顯的光照差異，源圖像如圖5所示。其中源圖像1較源圖像2的下方陰影處更亮。

圖5 測(cè)試組 2 (公園場(chǎng)景)

使用文獻(xiàn)[6]中方法得到的拼接輸出圖像如圖6（a）所示。圖中方框標(biāo)記處為未能完全消除的接縫，接縫兩側(cè)影子光照強(qiáng)度仍存在過(guò)渡不自然。圖6（b）為本文算法輸出結(jié)果，原本存在于文獻(xiàn)[6]中的接縫問(wèn)題得到了改善，輸出圖像更加平滑。

圖6 測(cè)試組2本文算法與文獻(xiàn)[6]算法輸出結(jié)果對(duì)比

圖7 測(cè)試組 3 (實(shí)驗(yàn)室場(chǎng)景)

第3組為多圖像拼接測(cè)試，拍攝內(nèi)容為實(shí)驗(yàn)室場(chǎng)景，源圖像之間存在不同程度的色彩差異，所使用的源圖像如圖7所示。其中源圖像2、4、6、9與其他圖像之間存在不同程度的色彩差異。

使用文獻(xiàn)[6]算法和本文算法分別對(duì)圖像進(jìn)行拼接處理，得到的拼接結(jié)果如圖8所示。從結(jié)果中可以看出，如圖8（a）所示，由于文獻(xiàn)[6]算法在圖像融合步驟中采用加權(quán)融合的方法，這種方法在多種失真并存的應(yīng)用場(chǎng)景中效果不佳，由于源圖像中存在不同程度色溫差異，文獻(xiàn)6拼接結(jié)果的圖像方框標(biāo)記區(qū)域出現(xiàn)了較為明顯的色差，在色差過(guò)渡處有明顯的拼接接縫，而本文算法結(jié)果中拼接效果得到了明顯改善，圖像接縫處顏色過(guò)渡更加平滑。

圖8 測(cè)試組3本文算法與文獻(xiàn)[6]算法輸出結(jié)果對(duì)比

為了更加客觀地驗(yàn)證本文算法，采用主觀打分與圖像客觀質(zhì)量評(píng)價(jià)算法評(píng)估結(jié)合的方式對(duì)本文算法結(jié)果圖像進(jìn)行評(píng)價(jià)，并將評(píng)價(jià)結(jié)果與文獻(xiàn)[6]算法進(jìn)行比較。主觀打分部分由12名參與者對(duì)3組測(cè)試圖像進(jìn)行打分，并將平均得分作為該圖像的主觀質(zhì)量得分[10]，打分區(qū)間為0~10分；客觀評(píng)價(jià)部分采用基于特征映射的無(wú)參考圖像質(zhì)量評(píng)估算法（feature maps based referenceless image quality evaluation engine，F(xiàn)RIQUEE）對(duì)圖像進(jìn)行評(píng)價(jià)[11]，這種評(píng)價(jià)模型利用廣義高斯模型和非對(duì)稱(chēng)廣義高斯模型共同作用，提取包括亮度域、高斯差分域、拉普拉斯域和小波域在內(nèi)的多種變換域特征，其特征描述高達(dá)560維，能夠?qū)Ω鞣N失真進(jìn)行響應(yīng)，相較于傳統(tǒng)的基于信息熵和互相關(guān)性的方法有著更加全面的評(píng)價(jià)效果[12]，該模型的打分區(qū)間為0~100分。測(cè)試結(jié)果如表1所示。

表1 拼接圖像質(zhì)量評(píng)價(jià)結(jié)果表

從結(jié)果中可以看出：在2幅圖像拼接場(chǎng)景中，測(cè)試組1中，當(dāng)兩圖像色彩差距不大時(shí)，本文算法與文獻(xiàn)[6]算法性能差距不大；測(cè)試組2中，當(dāng)兩圖像存在較大色彩差異時(shí)，本文算法較文獻(xiàn)[6]算法拼接時(shí)間延長(zhǎng)12.20%，在主觀得分上提升30.06%，客觀得分提升1.10%。在多幅圖像拼接場(chǎng)景中，測(cè)試組3結(jié)果顯示，本文算法較文獻(xiàn)[6]算法速度延長(zhǎng)5.30%，在主觀得分上提升20.04%，客觀得分提升1.86%。綜合來(lái)看，本文算法在運(yùn)行速度上與文獻(xiàn)[6]算法相仿，在輸出圖像的質(zhì)量上有明顯提升。

5 結(jié)論

1）傳統(tǒng)的最佳縫合線算法中采用的加權(quán)平均算法能夠減弱色彩差異對(duì)拼接質(zhì)量的影響，但由于算法本身普適性差，所以在多圖像拼接應(yīng)用中不能得到良好效果。本文通過(guò)引入多頻段融合算法，對(duì)最佳縫合線算法進(jìn)行了改進(jìn)，改進(jìn)算法能夠解決最佳縫合線算法中由于源圖像色彩差異導(dǎo)致的接縫問(wèn)題。

2）本文進(jìn)行了3組具有代表性的測(cè)試。通過(guò)2組兩圖拼接測(cè)試和1組多圖拼接測(cè)試，反映了在不同應(yīng)用場(chǎng)景下，較文獻(xiàn)[6]算法，本文算法有著更好的拼接效果。

3）通過(guò)主客觀結(jié)合的圖像質(zhì)量評(píng)價(jià)對(duì)測(cè)試結(jié)果進(jìn)行評(píng)估。結(jié)果顯示，本文算法較文獻(xiàn)[6]算法主觀評(píng)分最大可提升30.06%，客觀評(píng)分最大提升1.86%；在運(yùn)行速度上，本文算法與文獻(xiàn)[6]算法相當(dāng)，算法耗時(shí)最大增量為12.20%。由此可見(jiàn)，本文提出的改進(jìn)算法有效地解決了接縫問(wèn)題，可以實(shí)現(xiàn)高質(zhì)量和高效率的圖像拼接。