張楚東 陸建峰

（南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 210094）

1 引言

無(wú)人機(jī)航拍圖像具有大視角、低形變、景深變化小的特點(diǎn)，特別適合獲取平面上帶狀區(qū)域的信息采集。因此，在道路檢測(cè)［1］、交通事故勘察［2］、道路基礎(chǔ)設(shè)施維護(hù)［3］等問(wèn)題上人們逐步開(kāi)始使用無(wú)人機(jī)采集道路圖像，獲取更加高質(zhì)量的原始數(shù)據(jù)。然而，單幅圖像的視野十分有限。為了在保證圖像高分辨率的同時(shí)，提高圖像覆蓋的范圍，我們需要對(duì)多幀圖像進(jìn)行拼接。

圖像拼接算法主要可分為圖像配準(zhǔn)、變換模型計(jì)算、圖像融合三個(gè)步驟。尋找兩幅具有重疊區(qū)域的圖像之間的匹配關(guān)系，這一過(guò)程稱(chēng)為圖像配準(zhǔn)。得到圖像的匹配關(guān)系后，使用變換模型從數(shù)學(xué)上對(duì)這一關(guān)系進(jìn)行描述。常用的變換模型為單應(yīng)變換，兩幅圖像重疊區(qū)域上的像素點(diǎn)關(guān)于單應(yīng)矩陣一一對(duì)應(yīng)。最后，將兩張圖像對(duì)應(yīng)到同一坐標(biāo)系下，完成圖像融合。

作為整個(gè)算法的前端，圖像配準(zhǔn)與應(yīng)用場(chǎng)景息息相關(guān)。當(dāng)前的主流拼接算法使用特征點(diǎn)完成兩幅圖像的配準(zhǔn)。其基本流程為分別從兩幅圖像中提取特征點(diǎn)與描述子，利用描述子計(jì)算特征點(diǎn)間的匹配關(guān)系，以此作為圖像的匹配關(guān)系。然而，在道路航拍圖像中，道路區(qū)域的紋理特征稀少，局部相似性高，從而使得特征法容易失效。針對(duì)這一問(wèn)題，本文利用圖像序列的連續(xù)性，依靠光流法跟蹤特征以實(shí)現(xiàn)匹配。

另一方面，長(zhǎng)序列圖像拼接中，誤差的累積會(huì)大大降低圖像融合的質(zhì)量，使得全景圖像中出現(xiàn)鬼影、模糊等不一致現(xiàn)象?，F(xiàn)有的方法中使用基于關(guān)鍵幀的光束平差法［4］、全局注冊(cè)［5］、回環(huán)檢測(cè)［6］等手段解決這一問(wèn)題。本文采用全局注冊(cè)與二次配準(zhǔn)的思路，首先逐幀計(jì)算相鄰關(guān)鍵幀的變換模型，接著利用單應(yīng)變換的傳遞性，將所有圖像映射到全局基準(zhǔn)圖中完成融合。為了降低累積誤差，在融合前二次計(jì)算待新圖像與基準(zhǔn)圖的變換關(guān)系，提高精度。最后，將全局基準(zhǔn)圖作為全景圖像輸出。

2 系統(tǒng)設(shè)計(jì)概述

如圖1所示，為了提高運(yùn)行效率，圖像序列拼接算法分為并行執(zhí)行的兩個(gè)線(xiàn)程，跟蹤線(xiàn)程與拼圖線(xiàn)程。我們按照一定的準(zhǔn)則把所有圖像分為關(guān)鍵幀圖像與非關(guān)鍵幀圖像，跟蹤線(xiàn)程在關(guān)鍵幀中分網(wǎng)格提取分布均勻的特征集合S。對(duì)于后續(xù)到來(lái)的每一幀圖像，利用光流法逐幀跟蹤S在各自圖像中對(duì)應(yīng)的特征點(diǎn)位置。同時(shí)，根據(jù)新圖像中跟蹤到的特征點(diǎn)的分布決定是否將其作為新的關(guān)鍵幀。

圖1 圖像拼接系統(tǒng)框架圖

拼圖線(xiàn)程負(fù)責(zé)將關(guān)鍵幀拼接到全局基準(zhǔn)圖上。它從跟蹤線(xiàn)程獲得關(guān)鍵幀序列和相鄰關(guān)鍵幀之間的匹配特征點(diǎn)對(duì)。根據(jù)兩幀的匹配點(diǎn)對(duì)，恢復(fù)兩個(gè)關(guān)鍵幀之間的單應(yīng)矩陣H，以此作為當(dāng)前關(guān)鍵幀在全局地圖中的粗略位置。最后根據(jù)低精度的H將當(dāng)前關(guān)鍵幀映射到全局地圖上，再次利用光流法將當(dāng)前幀與全局地圖進(jìn)行配準(zhǔn)，糾正跟蹤過(guò)程與位姿變換過(guò)程中累積的誤差。當(dāng)該關(guān)鍵幀包含足夠的未探索區(qū)域時(shí)，將關(guān)鍵幀圖像與全局地圖進(jìn)行融合。

我們將在下文中介紹兩個(gè)線(xiàn)程中重要模塊的具體實(shí)現(xiàn)。

3 跟蹤線(xiàn)程

3.1 特征提取

無(wú)人機(jī)低空航拍的圖像中，即使路面占了圖像的主要區(qū)域，但是就特征點(diǎn)的顯著性而言，綠化帶、馬路牙子等路面外的區(qū)域擁有更強(qiáng)、更豐富的特征點(diǎn)。圖2為四種當(dāng)前流行的實(shí)時(shí)特征檢測(cè)算法的效果，按順序分別對(duì)應(yīng)Shi-Tomasi［7］、Harris［8］、ORB［9］、FAST［10］。

我們希望馬路上能有足夠多的特征點(diǎn)，從而使路面所在平面在單應(yīng)矩陣的RANSAC估計(jì)中獲勝，因此采用了分網(wǎng)格提取特征點(diǎn)的方法。將整幅圖像劃分為許多同等大小的網(wǎng)格，每個(gè)網(wǎng)格中只保留一個(gè)最佳的特征點(diǎn)。同時(shí)，出于速度的考慮，我們選擇了以速度快聞名的FAST角點(diǎn)作為候選特征點(diǎn)。同時(shí)，為了保證特征點(diǎn)具有良好的可跟蹤性，對(duì)于每一個(gè)候選特征點(diǎn)，計(jì)算其Shi-Tomasi得分。接著，根據(jù)像素坐標(biāo)將特征點(diǎn)映射到對(duì)應(yīng)的網(wǎng)格中，每個(gè)網(wǎng)格取Shi-Tomasi得分最高的點(diǎn)作為網(wǎng)格特征點(diǎn)。具體算法流程如下：

1）提取FAST角點(diǎn)。

3）計(jì)算每個(gè)角點(diǎn)的Shi-Tomasi響應(yīng)值。

4）每個(gè)網(wǎng)格選響應(yīng)值最高的點(diǎn)作為本網(wǎng)格的特征點(diǎn)，同時(shí)保留Shi-Tomasi得分計(jì)算過(guò)程中的M矩陣。

圖2 四種現(xiàn)有特征檢測(cè)算法的效果

在特征提取步驟，我們不對(duì)特征的好壞進(jìn)行評(píng)估，也不區(qū)分特征點(diǎn)是否屬于道路區(qū)域。我們將通過(guò)后續(xù)嚴(yán)格的光流跟蹤交叉驗(yàn)證和隨機(jī)采樣一致性（RANSAC）完成特征的篩選，而特征提取步驟只需要保證足夠豐富且有效的特征點(diǎn)即可。

3.2 稀疏光流跟蹤

近年來(lái)，在圖像拼接領(lǐng)域，特征法由于其對(duì)光照、尺度、視角具有良好的不變性而成為圖像拼接的主流方法。然而，這也意味著特征法對(duì)圖像內(nèi)容具有更高的要求，以便能夠從中提出良好的特征點(diǎn)。通過(guò)基于ORB的特征匹配實(shí)驗(yàn)我們發(fā)現(xiàn)，在道路航拍圖像中，特征點(diǎn)容易出現(xiàn)在道線(xiàn)，特別是白色虛線(xiàn)的各個(gè)角落點(diǎn)，數(shù)量十分稀少；其次，路面紋理的重復(fù)性使得單純依靠特征點(diǎn)局部信息的描述子進(jìn)行的特征匹配容易出現(xiàn)誤匹配現(xiàn)象，如圖3所示。

圖3 ORB特征匹配的光流向量圖

視頻序列中，相鄰圖像之間的變化量很小，且光照在這短暫的時(shí)間里可視為不會(huì)發(fā)生變化。因此，在有序的、高幀率下的視頻序列可以利用光流法［11］完成特征匹配。其次，我們只對(duì)所提取的特征點(diǎn)做光流跟蹤，相比于稠密光流，時(shí)間復(fù)雜度將會(huì)大大降低。

對(duì)于每一幀新到來(lái)的圖像，我們利用光流尋找上一幀的特征點(diǎn)在當(dāng)前幀的位置。為了提高光流跟蹤的準(zhǔn)確性，我們將再次使用光流計(jì)算所跟蹤到的當(dāng)前幀的特征點(diǎn)在上一幀中的位置。如果經(jīng)過(guò)兩次光流映射回上一幀的特征點(diǎn)與原始特征點(diǎn)的誤差夠?。ㄔ谖覀兊膶?shí)驗(yàn)中，閾值為1個(gè)像素），則表示光流跟蹤是成功的，并將這些成功跟蹤的特征點(diǎn)作為當(dāng)前幀的特征點(diǎn)。由于光流法可以得到相鄰兩幀之前的特征對(duì)應(yīng)關(guān)系，因此我們可以逐幀回溯，得到當(dāng)前幀與最近的歷史關(guān)鍵幀中提取的特征點(diǎn)之間的匹配關(guān)系。利用這些匹配的特征點(diǎn)對(duì)，可以完成每一幀圖像相對(duì)于與其最近的歷史關(guān)鍵幀之間的單應(yīng)矩陣。

傳統(tǒng)的LK光流的復(fù)雜度很高，在迭代求解的每一步都需要重新計(jì)算雅各比矩陣。為了加速這一過(guò)程，我們采用了Inverse Composition形式的LK光流［12］。對(duì)于參考幀J中的像素點(diǎn)（u，v），我們需要在當(dāng)前幀I中尋找像素點(diǎn)（x，y）使得

在用高斯-牛頓法求解該問(wèn)題時(shí)，在每一步的迭代過(guò)程中，我們將增量(δx，δy)增加到參考幀中，即

重復(fù)迭代直到滿(mǎn)足收斂準(zhǔn)則。

Inverse Composition形式的求解與傳統(tǒng)高斯牛頓法的區(qū)別在于：

1）計(jì)算增量時(shí)的模型不同。

2）狀態(tài)更新方程不同。

從式（2）中我們可以看到，由于（u，v）的值是固定的，因此我們只需要求解一次雅各比矩陣即可——甚至這一次計(jì)算都可以省略，因?yàn)閷?duì)于參考幀中每個(gè)特征點(diǎn)（u，v），我們?cè)谔卣魈崛r(shí)計(jì)算Shi-Tomasi得分時(shí)已經(jīng)獲得對(duì)應(yīng)的M矩陣。這一M矩陣與光流法的Hessian矩陣是相同的，因此可以直接保存并使用特征提取時(shí)計(jì)算得到的M矩陣。

3.3 關(guān)鍵幀選擇

與非關(guān)鍵幀不同，關(guān)鍵幀作為位姿估計(jì)的單位，不僅需要光流跟蹤，還需要計(jì)算關(guān)鍵幀到全局基準(zhǔn)圖的坐標(biāo)變換矩陣，即單應(yīng)矩陣。在基于關(guān)鍵幀的圖像拼接中，非關(guān)鍵幀相對(duì)于關(guān)鍵幀的位置是固定的，而關(guān)鍵幀本身可以視作圖像序列中的活動(dòng)節(jié)點(diǎn)，作為優(yōu)化變量最小化拼接過(guò)程中累積的誤差。因此，被選為關(guān)鍵幀的圖像需要滿(mǎn)足以下3個(gè)基本要求：

1）圖像中跟蹤到的特征點(diǎn)足夠多，從而較為準(zhǔn)確地計(jì)算出當(dāng)前幀圖像相對(duì)于上一關(guān)鍵幀圖像的單應(yīng)矩陣。

2）跟蹤成功的特征點(diǎn)均勻地分布在圖像中各個(gè)部位。如果特征點(diǎn)分布過(guò)于集中，容易出現(xiàn)過(guò)擬合的現(xiàn)象，無(wú)法完整擬合整個(gè)區(qū)域。

3）新的關(guān)鍵幀包含盡可能多的未探索區(qū)域，給拼圖線(xiàn)程提供足夠的新信息。

基于上述原因，我們采用如下關(guān)鍵幀選擇策略如下：

1）查看跟蹤的特征點(diǎn)數(shù)是否小于n，若是，則需要關(guān)鍵幀；

3）若需要關(guān)鍵幀，將上一幀圖像作為新的關(guān)鍵幀，從中提取特征點(diǎn)，并將該幀傳遞給拼圖線(xiàn)程；

4）以新的關(guān)鍵幀為參考幀，重新處理當(dāng)前幀，即基于新的參考幀重復(fù)上述光流跟蹤、關(guān)鍵幀選擇的過(guò)程。

4 拼圖線(xiàn)程

在絕大多數(shù)圖像拼接的算法中，不同圖像之間公共區(qū)域的拼接模型都采用了單應(yīng)矩陣。單應(yīng)矩陣包含了圖像之間坐標(biāo)變換的所有信息。在拼圖線(xiàn)程中，我們也采用單應(yīng)矩陣作為重疊區(qū)域的拼接模型，分別完成關(guān)鍵幀之間的配準(zhǔn)、關(guān)鍵幀到全局基準(zhǔn)圖的配準(zhǔn)等。

4.1 幀間單應(yīng)矩陣估計(jì)

經(jīng)過(guò)跟蹤線(xiàn)程的處理與篩選，我們可以到數(shù)量大大減少但依然包含了整個(gè)場(chǎng)景信息的關(guān)鍵幀序列，且相鄰兩幀關(guān)鍵幀之間的特征匹配關(guān)系已經(jīng)找到。我們?cè)诨陔S機(jī)采樣一致性的框架下，計(jì)算相鄰兩幀關(guān)鍵幀之間的單應(yīng)變換，其輸入為匹配好的特征點(diǎn)對(duì)。

記參考幀（即上一關(guān)鍵幀）為Ki，其中的特征點(diǎn)集合新的關(guān)鍵幀為K，跟i+1蹤到的特征點(diǎn)集合其中 Pi與Pi+1根據(jù)上標(biāo)一一對(duì)應(yīng)。對(duì)于任意一對(duì)特征點(diǎn)匹配對(duì) pi與 pi+1，我們有

其中，Hi+1，i是一個(gè)3×3的矩陣，我們將其中的9個(gè)元素設(shè)為未知數(shù)，同時(shí)將該矩陣?yán)瓰橐粋€(gè)列向量可以得到以下線(xiàn)性系統(tǒng)：

接著，使用normal equation可以得到最小二乘意義下的最優(yōu)h列向量，即單應(yīng)矩陣Hi+1，i。此時(shí)，我們便得到了關(guān)鍵幀序列中相鄰兩幀的變換關(guān)系。

4.2 全局單應(yīng)矩陣校準(zhǔn)

單應(yīng)矩陣具有傳遞性，即

根據(jù)這一性質(zhì)，我們可以根據(jù)相鄰幀的單應(yīng)變換關(guān)系得到序列中任意兩個(gè)關(guān)鍵幀的單應(yīng)矩陣。在我們的實(shí)現(xiàn)中，將第一幀關(guān)鍵幀作為全局基準(zhǔn)，從 而 當(dāng) H0，i-1已 知 時(shí) ，H0，i=H0，i·Hi-1，i。 其 中Hi-1，i為4.1節(jié)中估計(jì)得到的幀間單應(yīng)矩陣。

然而，在多幀拼接中，由于誤差隨著拼接過(guò)程不斷累積，單純依靠幀間的估計(jì)結(jié)果以及單應(yīng)矩陣的傳遞性而獲得的全局單應(yīng)矩陣H0，i無(wú)法將當(dāng)前關(guān)鍵幀Ki準(zhǔn)確地拼接到全局基準(zhǔn)圖中，從而產(chǎn)生鬼影現(xiàn)象，如圖4所示。誤差累計(jì)的特點(diǎn)是多圖大范圍拼接與兩張或少數(shù)圖像拼接之間的重要差別之一。

圖4 因拼接誤差造成的殘影

校準(zhǔn)算法如下：

1）根據(jù)H0，i計(jì)算Ki在全局中的對(duì)應(yīng)圖像區(qū)域

3）在Ki中提取特征點(diǎn) pi，跟蹤這些特征點(diǎn)在Iroi中的位置 pr。

在實(shí)現(xiàn)中，由于我們記錄的是前一關(guān)鍵幀在全局基準(zhǔn)圖中的校正后的位置，即當(dāng)前幀為Ki時(shí)，我們已知糾正后的位姿H0，i-1與未糾正的幀間單應(yīng)矩陣H'i-1，i，最后可以得到糾正后的幀間位姿轉(zhuǎn)移

風(fēng)俗油畫(huà)以現(xiàn)實(shí)的生活場(chǎng)景以及日常情感為主題，其故事性為人們了解不同時(shí)期、地域、文明、種族的歷史提供了一個(gè)橋梁，將那些模糊的世界寫(xiě)實(shí)而又豐富地展現(xiàn)到人們面前。

4.3 圖像融合

在圖像拼接中，很難定量地衡量拼接結(jié)果的好壞。因此在實(shí)驗(yàn)中，為了能更明顯地展現(xiàn)拼接結(jié)果的優(yōu)劣性，均衡考慮效率，我們采用了加權(quán)的方式融合重疊區(qū)域，即

這樣，當(dāng)融合后的圖像出現(xiàn)較為明顯的鬼影時(shí)，說(shuō)明拼接的準(zhǔn)確性較低，如圖4所示。

5 實(shí)驗(yàn)及分析

為了驗(yàn)證我們的圖像拼接算法的有效性，我們分別在無(wú)人機(jī)直線(xiàn)飛行、原地旋轉(zhuǎn)以及路口這三種典型場(chǎng)景下進(jìn)行拼接實(shí)驗(yàn)，并將相同的數(shù)據(jù)與商用全景拼接軟件PTGui進(jìn)行對(duì)比。PTGui版本號(hào)9.19。所有圖像數(shù)據(jù)均來(lái)自禪思X3-FC350相機(jī)，圖像分辨率3840*2160，幀率為30fps。

實(shí)驗(yàn)平臺(tái)為Windows 10，CPU Intel i7-5500U 2.4GHz，8G內(nèi)存。所有代碼均用python 2.7語(yǔ)言實(shí)現(xiàn)。

在三組實(shí)驗(yàn)中，我們均先將原始的視頻流數(shù)據(jù)作為本文提出的拼接算法的輸入，將最終參與拼接的關(guān)鍵幀挑選出來(lái)PTGui的輸入。所有關(guān)鍵幀之間均具有合適（且足夠）的重疊區(qū)域。

評(píng)價(jià)標(biāo)準(zhǔn)：如前文所述，本文的方法對(duì)重疊區(qū)域采用等值加權(quán)融合的方法。因此，拼接效果的好壞將會(huì)體現(xiàn)在鬼影上的嚴(yán)重程度上。

5.1 路口場(chǎng)景

路口場(chǎng)景來(lái)自387張連續(xù)視頻圖像，其中參與拼接的關(guān)鍵幀共9張。

PTGui的操作過(guò)程分為對(duì)準(zhǔn)圖像與拼接全景圖兩個(gè)部分，其中圖像對(duì)準(zhǔn)耗時(shí)約8s，全景圖拼接耗時(shí)約18s，拼接后的圖像分辨率為4178*4199。效果如圖5（a）所示。可以看到，在下方的斑馬線(xiàn)處出現(xiàn)了明顯的扭曲與鬼影，以及左側(cè)的斑馬線(xiàn)處也發(fā)生了輕微的變形。

本文的拼接算法運(yùn)行結(jié)果如圖5（b）所示，全圖分辨率為4112*4224。其中特征檢測(cè)總耗時(shí)3.37s，平均耗時(shí)0.37s/幀；圖像拼接與校正總耗時(shí)3.76s，平均耗時(shí)0.41s/幀；光流跟蹤總耗時(shí)31.45s，平均耗時(shí)0.08s/幀。

可以看到，圖像中路面部分，尤其是道線(xiàn)邊緣清晰，無(wú)圖5（a）中的扭曲與模糊。這說(shuō)明拼接的誤差足夠小。值得一提的是，動(dòng)態(tài)物體在式（8）的融合策略下，會(huì)出現(xiàn)鬼影（我們利用這一特點(diǎn)直觀(guān)地評(píng)價(jià)算法的好壞）。如果僅是為了消除鬼影，我們可以單一式融合準(zhǔn)則，即對(duì)重疊區(qū)域只選擇某一圖像（這也是PTGui中的做法），然而這一策略并不能過(guò)濾動(dòng)態(tài)物體。

5.2 直線(xiàn)飛行

路口場(chǎng)景來(lái)自532張連續(xù)視頻圖像，其中參與拼接的關(guān)鍵幀共16張。

PTGui的拼接效果如圖6（a）所示，圖像配準(zhǔn)時(shí)間約為20s，全景圖生成耗時(shí)30s。圖像分辨率4677*5613?？梢钥吹剑瑘D像中有明顯的扭曲，在下半部分的直線(xiàn)發(fā)生了錯(cuò)位，且道路的走向往右傾斜。

本文的拼接算法運(yùn)行結(jié)果如圖6（b）所示，全圖分辨率為4438*5789。其中特征檢測(cè)總耗時(shí)8.67s，平均耗時(shí)0.54s/幀；圖像拼接與校正總耗時(shí)15.84s，平均耗時(shí)0.99s/幀；光流跟蹤總耗時(shí)44.54s，平均耗時(shí)0.13s/幀。

從圖6（c）、（d）的局部對(duì)比圖可以看到，我們的方法對(duì)于直線(xiàn)的恢復(fù)效果優(yōu)于PTGui的拼接效果。

圖6 直飛場(chǎng)景的拼接

5.3 原地旋轉(zhuǎn)

旋轉(zhuǎn)場(chǎng)景來(lái)自751張連續(xù)視頻圖像，其中參與拼接的關(guān)鍵幀共25張。

PTGui圖像對(duì)準(zhǔn)耗時(shí)約43s，全景圖拼接耗時(shí)約63s，拼接后的圖像分辨率為5177*5230。效果如圖7（a）所示。對(duì)于純旋轉(zhuǎn)的場(chǎng)景，PTGui無(wú)法完成拼接，整張圖像呈現(xiàn)破碎的效果。

本文的拼接算法運(yùn)行結(jié)果如圖7（b）所示，全圖分辨率為4927*4812。其中特征檢測(cè)總耗時(shí)11.15s，平均耗時(shí)0.45s/幀；圖像拼接與校正總耗時(shí)27.91s，平均耗時(shí)1.12s/幀；光流跟蹤總耗時(shí)65.34秒，平均耗時(shí)0.09s/幀。相比于PTGui的拼接結(jié)果，我們的方法完整地恢復(fù)了旋轉(zhuǎn)場(chǎng)景下的道路圖像。

圖7 旋轉(zhuǎn)場(chǎng)景拼接結(jié)果

三組實(shí)驗(yàn)的拼接時(shí)間對(duì)比如表1所示。

表1 各個(gè)場(chǎng)景下拼接時(shí)間的比較

5.4 大場(chǎng)景拼接

最后，我們采用上述算法對(duì)一段長(zhǎng)達(dá)5min的路口航拍視頻進(jìn)行路口重建，如圖8所示。圖像分辨率為19117×18916，其表示范圍是單幀圖像的45倍，地表分辨率約為1cm每像素。

圖8 大場(chǎng)景拼接效果圖

6 結(jié)語(yǔ)

根據(jù)與PTGui的對(duì)比，以及最后長(zhǎng)視頻序列的結(jié)果可知，本文的算法拼接無(wú)人機(jī)航拍的道路圖像序列時(shí)效果更佳，能完成紋理稀疏和局部相似度高場(chǎng)景下的圖像拼接。然而，由于圖像的高分辨率，算法無(wú)法做到實(shí)時(shí)拼接，時(shí)間效率有待進(jìn)一步提高。