楊光

【摘要】全景拼接是將多張圖片拼接到一張整幅圖片的技術(shù)，實(shí)現(xiàn)該技術(shù)需要對(duì)多張圖片提取特征點(diǎn)及部分關(guān)鍵點(diǎn)，然后匹配多張圖片中的重合特征并匹配，最后通過RANSAC算法及透視變換完成全景拼接。由于整個(gè)工程涉及底層基礎(chǔ)數(shù)學(xué)算法及圖形學(xué)算法較多，計(jì)算量較大，傳統(tǒng)CPU完成計(jì)算效率較低，本文提出基于CUDA-GPU加速的全景拼接實(shí)現(xiàn)流程，并與CPU計(jì)算進(jìn)行效率對(duì)比。

【關(guān)鍵字】CUDA GPU;全景圖像;拼接

中圖分類號(hào)：TN94? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? ?DOI：10.12246/j.issn.1673-0348.2020.24.012

1. 概述

全景拼接可用于多幅圖片的拼接，也可用于多攝像頭圖像的實(shí)時(shí)拼接呈現(xiàn)。實(shí)現(xiàn)全景拼接需要完成檢測(cè)并提取圖像的特征和關(guān)鍵點(diǎn)，匹配兩個(gè)圖像之間的描述符，使用RANSAC算法使用我們匹配的特征向量估計(jì)單應(yīng)矩陣，拼接圖像等多個(gè)流程。全流程如采用CPU流水線計(jì)算效率較低，利用CUDA的GPU加速技術(shù)可以采用并行計(jì)算思想對(duì)相關(guān)圖形學(xué)計(jì)算、底層數(shù)學(xué)矩陣運(yùn)算進(jìn)行CUDA加速，完成性能提升。

2. 全景拼接實(shí)現(xiàn)業(yè)務(wù)流程

我們采用江蘇有線蘇州分公司播控調(diào)度客服中心不同位置拍照作為樣例，如圖1所示。全景拼接就是完成右半部分與左半部分重合區(qū)域的去處拼接成為一張整圖。

2.1 檢測(cè)圖像的特征

使用傳統(tǒng)圖形學(xué)中SURF算法對(duì)圖像進(jìn)行特征提取，如圖2所示，其中圓圈的部分為提取到局部宏塊及區(qū)域的特征點(diǎn)。

2.2 提取圖像的特征關(guān)鍵點(diǎn)描述

使用SURF算法的DescriptorExtractor實(shí)現(xiàn)，提取圖像特征點(diǎn)描述，如圖3所示。

從圖3中可以看出，匹配的關(guān)鍵點(diǎn)為直線兩端的兩個(gè)圓點(diǎn)，通過大量的線條可以看出主觀上的從左到右較直的可能為正確的特征點(diǎn)對(duì)，而從左下角到右上角或者相關(guān)方向的大量連線可能為誤差干擾，這個(gè)可在關(guān)鍵點(diǎn)描述的匹配算法中加以去除從而達(dá)到特征點(diǎn)匹配。

2.3 使用FLANN對(duì)特征點(diǎn)進(jìn)行匹配

使用FLANN算法對(duì)特征點(diǎn)進(jìn)行匹配，如圖4所示，右圖中可以看出FLANN算法對(duì)圖3中提取到的關(guān)鍵點(diǎn)描述進(jìn)行匹配，尋找到對(duì)應(yīng)的匹配特征點(diǎn)，這些特征點(diǎn)為全景拼接提供了方位參考。其中匹配到的特征點(diǎn)最大歐幾里得距離為0.7136，最小歐幾里得距離為0.0021。

2.4 使用RANSAC算法對(duì)特征計(jì)算單應(yīng)性矩陣并透射變換

RANSAC（Random Sample Consensus）即隨機(jī)采樣一致性，該方法是用來找到正確模型來擬合帶有噪聲數(shù)據(jù)的迭代方法。給定一個(gè)模型，例如點(diǎn)集之間的單應(yīng)性矩陣，RANSAC的基本思想在于，找到正確數(shù)據(jù)點(diǎn)的同時(shí)摒棄噪聲點(diǎn)。相關(guān)計(jì)算過程可參照OpenCV對(duì)應(yīng)模塊實(shí)現(xiàn)C++實(shí)現(xiàn)。

通過RANSAC得到的單應(yīng)矩陣通過warpPerspective透視變換即可得到拼接好的全景圖片。

3. 算法優(yōu)化及CUDA-GPU加速

3.1 全景拼接算法優(yōu)化效果

OpenCV2.4.9版本后提供了Stitcher類可用于圖像拼接類應(yīng)用的實(shí)現(xiàn)，從圖5中可以看出，第二章的基本算法做為底層框架被用于Stitcher類的實(shí)現(xiàn)，在此基礎(chǔ)上對(duì)圖片增加了曝光處理、圖像wrap彎折、圖像混合特性等post-processing后處理細(xì)節(jié)，保證了拼接后的圖片亮色一致性、圖像彎折一致性等，優(yōu)化了全景圖像拼接效果。

通過Stitcher類實(shí)現(xiàn)的全景拼接，可以看到最后的效果基本達(dá)到了完整拼接并且亮色一致性保持較好。

3.2 全景拼接CUDA-GPU加速

針對(duì)3.1節(jié)較好參數(shù)下效果的全景拼接代碼，我們編譯具有CUDA的OpenCV代碼及第三方模塊出相應(yīng)lib和dll后進(jìn)行測(cè)試。得出的基于CPU和GPU的實(shí)驗(yàn)對(duì)比如表一所示。

通過表一實(shí)驗(yàn)數(shù)據(jù)可知，CUDA-GPU能大幅度提高計(jì)算效率，相對(duì)于CPU一次48s，GPU加速后只需要0.3s，大大提升性能。

4. 結(jié)論

本文針對(duì)全景圖像拼接場(chǎng)景，對(duì)其核心實(shí)現(xiàn)算法進(jìn)行了代碼驗(yàn)證，并在基礎(chǔ)上提出了CUDA-GPU加速的實(shí)現(xiàn)方法，通過GPU加速大大提升了圖像拼接性能。作為全景視頻呈現(xiàn)的核心要素，全景圖形拼接的性能一定程度上決定了全景視頻呈現(xiàn)的主觀效果，而英偉達(dá)的VRWorks-SDK也是利用本文提及相關(guān)特征提取算法實(shí)現(xiàn)的全景視頻VR呈現(xiàn)。

參考文獻(xiàn)：

[1]基于SIFT特征點(diǎn)的圖像拼接技術(shù)研究[D].楊艷偉.西安電子科技大學(xué).2009.

[2]基于SIFT圖像特征提取與FLANN匹配算法的研究[J].王金龍，周志峰.計(jì)算機(jī)測(cè)量與控制.2018（02）.

[3]基于改進(jìn)SIFT特征點(diǎn)匹配的圖像拼接算法研究[J].張勇，王志鋒，馬文.微電子學(xué)與計(jì)算機(jī).2016（03）.