冀福全，韋良芬，汪先超

(巢湖學(xué)院計(jì)算機(jī)與人工智能學(xué)院，安徽 合肥 238024)

0 引言

圖像拼接是將同一場(chǎng)景中具有重疊視場(chǎng)的兩幅或者多幅圖像組合，以產(chǎn)生一幅無(wú)縫全景圖或高分辨率圖像的過(guò)程，經(jīng)過(guò)拼接所獲得的圖像有較大的視場(chǎng)[1]。隨著科學(xué)技術(shù)和計(jì)算機(jī)視覺(jué)的快速發(fā)展，圖像拼接技術(shù)已成為研究熱點(diǎn)，該技術(shù)廣泛應(yīng)用于安防監(jiān)控、醫(yī)學(xué)圖像處理、圖像識(shí)別與探測(cè)等領(lǐng)域，具有非常重要的研究意義和應(yīng)用價(jià)值。

圖像配準(zhǔn)是圖像拼接過(guò)程中的關(guān)鍵技術(shù)，國(guó)內(nèi)外研究學(xué)者對(duì)基于特征點(diǎn)匹配的圖像拼接算法進(jìn)行了大量研究。常見(jiàn)特征匹配算法中，較為成熟的包括尺度不變的特征變換(Scale Invariant Feature Transform， SIFT算法)[2]、加速分割檢測(cè)特征(Speeded Up Robust Features，SURF算法)[3]。陸柳杰等[4]針對(duì)SURF算法中特征點(diǎn)匹配精準(zhǔn)度較低和拼接速度慢的問(wèn)題，提出了一種優(yōu)化的圖像拼接方法。AHN CHANG-WOOK等在SURF算法基礎(chǔ)上，使用具有方向性的BRIEF特征算子，提出了一種新的角點(diǎn)檢測(cè)與特征描述算法，即ORB算法(Oriented FAST and Rotated BRIEF)[5]。EDWARD等提出了一種快速角點(diǎn)檢測(cè)算法FAST(Features from Accelerated Segment Test)[6]算法，其最大的特點(diǎn)是具有高速性能，更適合應(yīng)用于快速拼接[7]。

傳統(tǒng)圖像拼接過(guò)程中，待拼接圖像經(jīng)過(guò)單應(yīng)性矩陣投影變換后，相對(duì)于基準(zhǔn)圖像有較大程度變形[8]，在圖像融合后，圖像中會(huì)出現(xiàn)大面積無(wú)像素值的空洞區(qū)域，不僅導(dǎo)致大量數(shù)據(jù)冗余，同時(shí)也與常規(guī)矩陣式存儲(chǔ)像素點(diǎn)的矩形圖像顯示格式相抵觸，影響用戶圖像視覺(jué)體驗(yàn)效果。本文對(duì)傳統(tǒng)圖像拼接算法進(jìn)行改進(jìn)，將柱面映射引入圖像拼接過(guò)程中，同時(shí)對(duì)融合后的圖像進(jìn)行邊緣去噪，并結(jié)合雙向線性插值算法對(duì)去噪圖像可見(jiàn)區(qū)域進(jìn)行雙軸線性拉伸，消除圖像中無(wú)效空洞像素點(diǎn)。相較于傳統(tǒng)圖像拼接效果，本文中拼接方法較大程度地降低了圖像投影變換帶來(lái)的變形程度，去除了冗余空洞區(qū)域，保留了圖像可見(jiàn)區(qū)域完整信息，規(guī)范了圖像展示格式。

1 傳統(tǒng)的圖像拼接方法

圖1展示了傳統(tǒng)的基于SURF算法的圖像拼接流程，首先對(duì)輸入的原始圖像借助SURF算法進(jìn)行特征點(diǎn)檢測(cè)，在對(duì)圖像進(jìn)行高斯濾波處理后構(gòu)建Hessian矩陣，通過(guò)改變高斯濾波窗口的大小來(lái)獲得不同尺度的圖像，并構(gòu)造高斯金字塔尺寸空間，利用非極大值抑制初步確定特征點(diǎn)，設(shè)定Hessian行列式的閾值作為篩選依據(jù)，對(duì)特征點(diǎn)進(jìn)行精確定位，計(jì)算特征點(diǎn)主方向，進(jìn)一步構(gòu)建特征描述子。在構(gòu)建特征描述子時(shí)選取特征點(diǎn)周圍一個(gè)方形框區(qū)域，劃分為4×4個(gè)矩形區(qū)域，每個(gè)矩形區(qū)域有25個(gè)采樣點(diǎn)，對(duì)每個(gè)區(qū)域求解水平方向和垂直方向的Haar小波特性，最終得到一個(gè)64維向量。然后對(duì)得到的特征點(diǎn)進(jìn)行匹配，常用方法有K最近鄰算法以及Brute-Force暴力匹配算法。上述方法得到的匹配點(diǎn)可能存在誤匹配點(diǎn)，使用隨機(jī)樣本一致性方法RANSAC進(jìn)行提純，過(guò)濾掉誤匹配點(diǎn)對(duì)，并計(jì)算出單應(yīng)性矩陣。通過(guò)單應(yīng)性矩陣，對(duì)待拼接圖像進(jìn)行投影變換，使得左右圖像變換到同一坐標(biāo)系，結(jié)合變換后圖像像素點(diǎn)坐標(biāo)進(jìn)行圖像融合，最終得到拼接圖像，其中重疊區(qū)域像素點(diǎn)取值需結(jié)合像素點(diǎn)坐標(biāo)綜合考慮左右圖像像素值所占權(quán)重。

圖1 傳統(tǒng)基于SURF算法的拼接流程

2 基于柱面映射圖像拼接方法

圖2為本文圖像拼接方法的主要流程，與傳統(tǒng)基于SURF算法的圖像拼接方法相比，本文方法在對(duì)原始圖像特征點(diǎn)檢測(cè)前引入柱面映射變換，并且在圖像融合后增加圖像邊緣去噪以及融合圖像可見(jiàn)區(qū)域雙軸線性拉伸處理，同時(shí)采用ORB算法進(jìn)行特征點(diǎn)檢測(cè)和描述，ORB算法采用FAST算法進(jìn)行特征點(diǎn)檢測(cè)，采用改進(jìn)BRIEF算法生成特征向量描述子[9]，其相對(duì)于SURF算法特征點(diǎn)提取速率更快。

圖2 基于柱面映射圖像拼接方法

檢測(cè)得到特征點(diǎn)后通過(guò)KNN算法或者Brute-Force算法進(jìn)行特征點(diǎn)匹配，使用RANSAC算法對(duì)匹配點(diǎn)對(duì)進(jìn)行精匹配，進(jìn)一步得到單應(yīng)性變換矩陣，傳統(tǒng)SURF圖像拼接方法中待拼接圖像經(jīng)過(guò)投影變換后，其相對(duì)于原始圖像具有較大程度變形，橫縱尺寸拉長(zhǎng)，與基準(zhǔn)圖像融合后會(huì)存在大片無(wú)效空洞區(qū)域，導(dǎo)致數(shù)據(jù)冗余和視覺(jué)體驗(yàn)降低，本文方法通過(guò)柱面映射變換預(yù)處理降低待拼接圖像和基準(zhǔn)圖像間的坐標(biāo)系空間差值，從而降低投影變換圖像變形程度。在圖像融合后，增加邊緣去噪處理，消除上下邊緣無(wú)效像素值，并對(duì)可見(jiàn)區(qū)域進(jìn)行雙軸線性拉伸，填充四周空洞區(qū)域。

2.1 圖像柱面映射

對(duì)待拼接圖像進(jìn)行柱面映射處理，將原始圖像通過(guò)中心投影映射到圓柱體側(cè)面上，圖3為柱面映射模型，其中映射中心為圓柱體幾何中心O。原始圖像的寬和高分別為w和h，以圖像左上角為坐標(biāo)原點(diǎn)，沿上邊緣作為x軸，沿下邊緣作為y軸，其上任意一像素點(diǎn)A′(x′,y′)在柱面上的映射點(diǎn)為A(x,y)，x′和y′分別為原始圖像A′點(diǎn)的橫縱坐標(biāo)，x和y為柱面映射圖展開(kāi)圖A點(diǎn)的橫縱坐標(biāo)。θ為點(diǎn)A(x,y)到原圖像左邊緣在圓柱面映射位置的角度，θ′為原圖像左右邊緣在圓柱面映射位置對(duì)應(yīng)角度的一半，f為映射圓柱體底面半徑。

(a)立體幾何圖

(b)俯視圖

(c)原始圖像

(d)柱面映射展開(kāi)圖圖3 柱面映射模型

根據(jù)以上幾何關(guān)系有如下數(shù)學(xué)公式：

(1)

(2)

(3)

(4)

通過(guò)映射關(guān)系可計(jì)算映射圖中某一點(diǎn)在原始圖像中的坐標(biāo)，由于映射圖像素點(diǎn)坐標(biāo)為整數(shù)，而計(jì)算得到原始圖像對(duì)應(yīng)的坐標(biāo)為浮點(diǎn)數(shù)，本實(shí)驗(yàn)借助雙線插值算法利用原圖映射點(diǎn)周邊4個(gè)整數(shù)坐標(biāo)點(diǎn)對(duì)應(yīng)像素點(diǎn)加權(quán)平均值作為映射點(diǎn)對(duì)應(yīng)像素值，圖4為雙線插值模型。

圖4中P為原圖中映射點(diǎn)坐標(biāo)，P1～P4為其鄰近周邊4個(gè)整數(shù)坐標(biāo)點(diǎn)，其中，x1與x3相等，x2與x4相等，y1與y2相等，y3與y4相等，每個(gè)點(diǎn)對(duì)應(yīng)的像素值為W，則雙線插值算法P點(diǎn)對(duì)應(yīng)像素值如下：

圖4 雙線插值模型圖

W(x,y)=(1-r1)(1-u1)W1(x1,y1)+r1(1-u1)w2(x2,y2)+(1-r1)u1w3(x3,y3)+r1u1w4(x4,y4),

(5)

(6)

(7)

圖5為原始圖像經(jīng)過(guò)柱面映射后得到的柱面映射圖。

圖5 原始圖像經(jīng)柱面映射后的效果

2.2 柱面鄰接圖像配準(zhǔn)與融合

2.2.1 特征點(diǎn)檢測(cè)和描述

特征點(diǎn)提取使用ORB算法，該算法具有尺度不變性和旋轉(zhuǎn)不變性，并且具有較快的提取速度。圖6為ORB算法過(guò)程，為了滿足尺寸不變性，通過(guò)設(shè)置縮放比例因子和金字塔的層數(shù)n，將原始圖像按比例因子縮小成n副圖，從而構(gòu)建不同分辨率的圖像金字塔。對(duì)圖像金字塔不同層圖像，計(jì)算以關(guān)鍵點(diǎn)為中心的方框中的像素點(diǎn)灰度強(qiáng)度形心。

圖6 ORB算法過(guò)程

強(qiáng)度形心為給定patch中平均像素的位置，特征點(diǎn)坐標(biāo)與強(qiáng)度形心形成的向量為該特征點(diǎn)的方向。對(duì)圖像中任意特征點(diǎn)P，強(qiáng)度形心計(jì)算公式為(8)～(9)，其中，mpq為特征點(diǎn)P的patch鄰域像素距，I(x,y)為像素灰度值，R為patch鄰域半徑，C為強(qiáng)度形心。C和特征點(diǎn)P的夾角即為FAST特征點(diǎn)的主方向。

(8)

(9)

BRIEF算法采用二進(jìn)制碼串作為特征點(diǎn)的特征描述子，在每一個(gè)特征點(diǎn)鄰域內(nèi)通過(guò)高斯分布選擇n對(duì)像素點(diǎn)，比較每個(gè)點(diǎn)對(duì)的灰度值的大小，并根據(jù)其大小關(guān)系生成長(zhǎng)度為n的二進(jìn)制碼串。為增加特征點(diǎn)描述旋轉(zhuǎn)不變性，對(duì)BRIEF算法進(jìn)行改進(jìn)，將特征點(diǎn)方向引入特征點(diǎn)BRIEF特征描述子計(jì)算中，對(duì)特征點(diǎn)鄰域n個(gè)點(diǎn)對(duì)組成的特征矩陣用旋轉(zhuǎn)矩陣進(jìn)行旋轉(zhuǎn)變換，進(jìn)一步計(jì)算得到特征點(diǎn)描述子。

2.2.2 特征點(diǎn)匹配

采用近似最近鄰快速搜索庫(kù)(Fast Library for Approximate Nearest Neighbors，F(xiàn)LANN)[10]及K最近鄰算法(K-Nearest Neighbor，KNN)算法進(jìn)行特征匹配[11]，具體過(guò)程如下：

步驟1 以第一幅圖像的特征點(diǎn)為訓(xùn)練集，以第二幅圖像的特征點(diǎn)為查詢集，計(jì)算訓(xùn)練集所有特征點(diǎn)與查詢集中特征點(diǎn)的漢明指標(biāo)[12]作為兩特征點(diǎn)之間的標(biāo)準(zhǔn)歐幾里得距離相似性，結(jié)合閾值τ判定是否匹配。

步驟2 通過(guò)K最近鄰算法篩選匹配點(diǎn)，保留每個(gè)訓(xùn)練集中特征點(diǎn)與查詢集中歐式距離最近和次近的匹配點(diǎn)對(duì)，計(jì)算最近和次近歐式距離比值，并根據(jù)設(shè)定閾值過(guò)濾匹配點(diǎn)對(duì)。

步驟3 通過(guò)隨機(jī)抽樣一致算法(Random Sample Consensus，RANSAC)對(duì)匹配點(diǎn)對(duì)進(jìn)行精匹配[13]，并根據(jù)匹配點(diǎn)對(duì)狀態(tài)篩選，去除其中的誤匹配點(diǎn)對(duì)，獲取內(nèi)點(diǎn)匹配對(duì)。

步驟4 計(jì)算內(nèi)點(diǎn)匹配對(duì)的單應(yīng)性矩陣，即最優(yōu)透射變換矩陣。

2.2.3 圖像單應(yīng)性變換

單應(yīng)性矩陣保存圖形變換的相關(guān)數(shù)據(jù)，能夠?qū)D形間的幾何變換關(guān)系進(jìn)行描述，根據(jù)單應(yīng)性變換(Homography)算法[14-15]，利用單應(yīng)性矩陣H對(duì)待拼接圖像進(jìn)行變換，即將兩幅圖變換到同一坐標(biāo)系。

(10)

其中，x和y為原始的橫縱坐標(biāo)，x′和y′對(duì)應(yīng)變換后點(diǎn)的橫縱坐標(biāo)，單應(yīng)性矩陣H中α1和α2為旋轉(zhuǎn)變換參數(shù)，α4和α5為尺寸變換參數(shù)，α3和α6為平移參數(shù)，α7和α8為透視變換參數(shù)，α9為1。

2.2.4 圖像融合

圖像融合將基準(zhǔn)圖像和待拼接圖像拼接為一張圖像，需要綜合考慮左右圖像各自像素點(diǎn)對(duì)融合圖像像素值的影響，降低圖像融合后可能出現(xiàn)的重影、拼接裂縫、亮度色調(diào)跳躍等現(xiàn)象[16]。本文實(shí)驗(yàn)采用線性加權(quán)平滑融合算法生成融合圖像中像素點(diǎn)的像素值，圖7為左右圖像線性加權(quán)融合模型，其中，S1和S3分別為左右圖中非重疊區(qū)域，S2為重疊區(qū)域，D為重疊區(qū)域的寬度，xl和xr分別為重疊區(qū)域最左側(cè)和最右側(cè)像素點(diǎn)橫坐標(biāo)。

圖7 左右圖像融合模型

融合圖像中像素點(diǎn)像素值計(jì)算公式如(11)～(13)，其中，V1(x,y)和V2(x,y)為P點(diǎn)在左右圖中的像素值，R1和R2分別為左右圖中該像素點(diǎn)在融合中所占權(quán)重。

(11)

(12)

(13)

2.3 邊緣去噪及可見(jiàn)區(qū)域雙軸線性拉伸

2.3.1 邊緣去噪

圖像單應(yīng)性變換會(huì)使待拼接圖像發(fā)生旋轉(zhuǎn)、尺寸放縮、平移等變形，在與基準(zhǔn)圖像融合后，融合圖像上下邊緣會(huì)出現(xiàn)一定區(qū)域的無(wú)效噪聲區(qū)，檢測(cè)并獲取可見(jiàn)區(qū)域上邊界臨界點(diǎn)高度h1和下邊界臨界點(diǎn)高度h2，保留圖像縱向h1～h2間圖像，并去除0～h1以及h2～h間無(wú)效噪聲區(qū)域，其中，h為融合圖像高度。在檢測(cè)臨界點(diǎn)過(guò)程中，為保證檢測(cè)點(diǎn)準(zhǔn)確性，防止個(gè)別特殊點(diǎn)的干擾，通過(guò)比對(duì)以檢測(cè)點(diǎn)為中心、鄰近方形區(qū)域3×3個(gè)點(diǎn)的像素灰度值，僅當(dāng)區(qū)域內(nèi)所有像素點(diǎn)均有效時(shí)，才可斷定該檢測(cè)點(diǎn)為可見(jiàn)像素點(diǎn)。

2.3.2 可見(jiàn)區(qū)雙軸線性拉伸

去噪后的融合圖像四周仍存在一定比例無(wú)效空洞區(qū)域，其中左側(cè)邊緣會(huì)出現(xiàn)不同程度的傾斜，上下弧線邊緣和圖像邊界間無(wú)像素點(diǎn)。無(wú)效區(qū)域的存儲(chǔ)占據(jù)大量數(shù)據(jù)，導(dǎo)致圖像數(shù)據(jù)冗余，同時(shí)也影響視覺(jué)體驗(yàn)，本文采用雙軸線性拉伸算法對(duì)圖像可見(jiàn)區(qū)域進(jìn)行變換，填充空洞區(qū)域。圖8為x軸線性拉伸變換模型，通過(guò)x軸線性拉伸校正左邊緣傾斜。

(a)x軸方向校正前圖像 (b)x軸方向校正后圖像圖8 x軸線性拉伸變換模型

S區(qū)域和S′區(qū)域分別為圖像變換前后的可見(jiàn)區(qū)域，對(duì)原圖中任意一點(diǎn)P(x,y)在變換后圖像中映射位置為P′(x′,y′)，變換公式為(14)～(15)，其中，w為圖像寬度，h為圖像高度，θ為融合圖像可見(jiàn)區(qū)域左側(cè)邊界與y軸方向的夾角，其正切值可以通過(guò)單應(yīng)性矩陣求得，Il和Ir分別表示θ位于y方向左側(cè)和右側(cè)的角度集合。

(14)

y=y′.

(15)

x軸方向校正后，對(duì)圖像進(jìn)行y軸方向線性拉伸，將S′區(qū)域像素點(diǎn)填充整個(gè)圖像區(qū)域，圖8(b)中A(x′,y1)和B(x′,y2)分別為點(diǎn)P′所在y方向上可見(jiàn)區(qū)域邊界點(diǎn)，對(duì)于其上任意一點(diǎn)P′(x′,y′)，若其映射到最終結(jié)果圖像中點(diǎn)P0(x0,y0)，則存在如下變換公式：

x′=x0,

(16)

(17)

3 實(shí)驗(yàn)設(shè)置及結(jié)果分析

為了驗(yàn)證本文拼接方法的有效性，對(duì)本文圖像拼接方法和傳統(tǒng)基于SURF算法的圖像拼接方法進(jìn)行比對(duì)實(shí)驗(yàn)，為了保證比較結(jié)果的公平性和準(zhǔn)確性，兩種方法采用相同的圖像樣本，在相同的測(cè)試環(huán)境下進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境為CPU 11th Gen Intel?CoreTMi7-11370H@3.30GHz，8G內(nèi)存，操作系統(tǒng)Windows10，64位，編譯環(huán)境為Visual Studio 2013。本文選取多組圖像進(jìn)行實(shí)驗(yàn)，圖像分辨率為1080×1440像素，不同組圖像在亮度、視野開(kāi)闊度、場(chǎng)景內(nèi)容多樣性等方面存在差異，相鄰圖像視角差為30°～60°，重疊區(qū)域約50%。表1為從實(shí)驗(yàn)中選取的6組實(shí)驗(yàn)的實(shí)驗(yàn)數(shù)據(jù)，其中，a方法表示傳統(tǒng)基于SURF算法的拼接方法，b方法表示本文方法。

表1 兩種拼接方法實(shí)驗(yàn)數(shù)據(jù)比較

從表1可以看出，相對(duì)于傳統(tǒng)基于SURF算法的圖像拼接方法，本文方法的特征點(diǎn)提取時(shí)間大大降低，提取速率提升了10倍左右，拼接圖像寬度和高度都有較大程度的縮減，整體圖像尺寸縮減約60%，拼接圖像存儲(chǔ)大小降低了一半左右。同時(shí)，采用傳統(tǒng)基于SURF算法的圖像拼接方法拼接得到的圖像具有一定比例的無(wú)效區(qū)域，無(wú)效像素點(diǎn)占比為20%～30%，本文方法得到的拼接圖像消除了無(wú)效區(qū)域，無(wú)效像素點(diǎn)數(shù)變?yōu)?。以下選取兩組實(shí)驗(yàn)結(jié)果進(jìn)行展示，圖9和圖10分別為表1中第1組和第2組圖像拼接結(jié)果，其中(a)圖和(b)圖分別為待拼接的左右相鄰圖像，可以看出，采用傳統(tǒng)基于SURF算法的拼接方法得到的圖像變形程度較大，左右側(cè)圖像尺寸不一致，圖像具有較大比例的無(wú)效區(qū)域，本文方法拼接得到的圖像整體效果良好，圖像各部分尺寸相對(duì)均衡，變形程度低，重疊區(qū)域過(guò)渡自然，同時(shí)保留了原始圖像全部信息。

(a)原始圖(左) (b)原始圖(右) (c)傳統(tǒng)拼接方法 (d)本文方法圖9 第1組圖像拼接實(shí)驗(yàn)結(jié)果

(a)原始圖(左) (b)原始圖(右) (c)傳統(tǒng)拼接方法 (d)本文方法圖10 第2組圖像拼接實(shí)驗(yàn)結(jié)果

4 結(jié)論

針對(duì)傳統(tǒng)圖像拼接中變形程度大、冗余度高的問(wèn)題，本文提出了一種基于柱面映射的無(wú)損式均勻融合拼接方法，該方法對(duì)原始圖像進(jìn)行柱面映射處理，采用ORB算法進(jìn)行特征點(diǎn)提取，并對(duì)融合后圖像進(jìn)行雙軸線性拉伸填補(bǔ)空洞區(qū)域。實(shí)驗(yàn)數(shù)據(jù)表明，本文基于柱面映射的圖像拼接方法能夠得到視野無(wú)損失的融合圖像，降低圖像變形程度的同時(shí)保留了原圖像全部信息，消除了傳統(tǒng)基于SURF算法的拼接方法的無(wú)效區(qū)域，較大程度上降低了圖像數(shù)據(jù)冗余度。相對(duì)于傳統(tǒng)SURF算法，本文算法特征點(diǎn)提取速率更快，同時(shí)圖像拼接質(zhì)量良好，有效提升了融合圖像的視覺(jué)效果。

本文提出的基于柱面映射的均勻融合圖像拼接方法能夠有效解決傳統(tǒng)圖像拼接變形程度大以及空洞區(qū)域多的問(wèn)題，圖像拼接效率較高，拼接得到圖像整體效果較好。與此同時(shí)，本文方法也存在著一些不足，對(duì)原始左右圖像視角重疊度有一定要求，在拼接圖像融合區(qū)域的邊界處會(huì)出現(xiàn)一定程度的裂痕現(xiàn)象，針對(duì)較為復(fù)雜的內(nèi)容場(chǎng)景，由拼接方法得到的圖像效果欠佳，這些還需在后續(xù)工作中進(jìn)一步研究、改進(jìn)。