吳彧

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

在運(yùn)動(dòng)視點(diǎn)下跟蹤平面物體是計(jì)算機(jī)視覺領(lǐng)域中的重要問題之一。精確、魯棒的平面目標(biāo)跟蹤直接決定了增強(qiáng)現(xiàn)實(shí)、無人機(jī)和無人駕駛汽車等領(lǐng)域的應(yīng)用效率。目前，國內(nèi)外已經(jīng)提出了許多方法來解決這些困難。然而，由于在視點(diǎn)移動(dòng)過程中會(huì)出現(xiàn)縮放、旋轉(zhuǎn)等情況，跟蹤仍然是一項(xiàng)艱巨的任務(wù)。特別是在戶外，與室內(nèi)情況相比，跟蹤的穩(wěn)定性和準(zhǔn)確性很難得到保證。因此，我們致力于解決上述問題，并在結(jié)合校準(zhǔn)算法和模型匹配算法的基礎(chǔ)上，提出了一種有效而魯棒的方法。

到目前為止，主流方法可以分為兩類，一類是基于模板的方法[1]，另一類是基于關(guān)鍵點(diǎn)的方法[2-3]。第一類方法不考慮特征點(diǎn)，而是直接利用平面信息，通過最小化測(cè)量兩幀間誤差來估算模板的轉(zhuǎn)換參數(shù)。這些方法在復(fù)雜環(huán)境中工作良好，但是容易受到諸如快速移動(dòng)、部分不可見等因素的影響。另一部分提取原始特征以適應(yīng)各種影響。這些方法依賴于圖像梯度來勾勒被跟蹤物體的輪廓或提取幾何特征以形成用于二維匹配的描述子。雖然它們已被證明在跟蹤過程中是有效的，但它們可能在不包含可提取統(tǒng)一特征集的復(fù)雜圖像中失效。

在本文中，我們介紹了一種新的平面物體跟蹤方法，該方法基于光流和邊緣特征匹配的對(duì)平面進(jìn)行跟蹤，并通過單應(yīng)性矩陣對(duì)目標(biāo)圖像坐標(biāo)進(jìn)行約束。與以前的方法不同，我們的算法對(duì)室內(nèi)或戶外視頻都可適用。由于照明變化、快速運(yùn)動(dòng)和豐富紋理的影響，在復(fù)雜場(chǎng)景中難以提取平面邊緣相關(guān)特征，并且在特征匹配過程需要在亮度和位置上都具有高精度，因此我們面臨的主要挑戰(zhàn)是邊緣特征描述子的構(gòu)建以及特征匹配的算法。

我們通過以下三個(gè)主要步驟來解決這些挑戰(zhàn)，改善平面跟蹤：①每條線上的初始點(diǎn)集位置由前一幀的光流跟蹤獲取。然后通過使用基于光流點(diǎn)的線段檢測(cè)算法來挑選當(dāng)前幀的候選線段。②我們用顏色亮度和幾何信息的組合將候選線段建模成邊緣特征描述子。我們將相應(yīng)的描述子和估算的直線位置合并到一個(gè)統(tǒng)一的直線匹配框架中，從而可以優(yōu)化候選集，進(jìn)行匹配。③為了彌補(bǔ)光流的不足以及特征匹配的失效，我們用單應(yīng)性矩陣進(jìn)行平面邊緣的形狀矯正。上述方法已在Temple University基準(zhǔn)數(shù)據(jù)集上進(jìn)行了測(cè)試，并獲得了準(zhǔn)確和穩(wěn)定的實(shí)驗(yàn)結(jié)果。

1 算法實(shí)現(xiàn)

我們假設(shè)視頻序列當(dāng)前幀為第k+1幀，前一幀為第k幀，算法具體流程圖如圖1所示。

圖1 算法流程圖

1.1 特征提取與匹配

我們首先通過光流法跟蹤第k幀平面目標(biāo)物體輪廓上的點(diǎn)集。由于光流跟蹤算法較為耗時(shí)，所以我們放棄全局光流而采用稀疏光流來跟蹤平面上的目標(biāo)點(diǎn)集。盡管全局光流的精度要更高些，但是LK稀疏光流既可以提高效率，也可以省略其余雜點(diǎn)的多余計(jì)算，精度的缺失可以用后續(xù)的處理與優(yōu)化來彌補(bǔ)。有了從k幀上光流跟蹤而來的點(diǎn)，可以大致計(jì)算出當(dāng)前第k+1幀的對(duì)應(yīng)點(diǎn)的圖像坐標(biāo)。然后采用Canny算法來檢測(cè)第k+1幀中所有包含光流跟蹤結(jié)果的凸包內(nèi)的輪廓邊緣，根據(jù)梯度一致性選出其中存在的線段集合，并編上序號(hào)，提供給后續(xù)處理。為了選擇更有可能位于平面邊緣上的線段，我們根據(jù)候選線段到角點(diǎn)的距離、內(nèi)點(diǎn)數(shù)量和斜率的相似度給每條線段一個(gè)綜合分?jǐn)?shù)。

公式（1）中L（tt=1,2…n）表示候選線段（假設(shè)有n條候選線段，下標(biāo)t表示線段序號(hào)），L（ll=1,2,3,4）是第k幀內(nèi)被跟蹤的樣本邊緣線段，d1和d2并且分別表示從候選線段到兩個(gè)最近角點(diǎn)的歐氏距離。Ninlier是內(nèi)點(diǎn)的數(shù)量，Nsum是內(nèi)點(diǎn)和外點(diǎn)的總和。kt和kl分別是Lt和Ll的斜率，ω1,ω2,ω3分別是權(quán)重參數(shù)。根據(jù)從低到高的分?jǐn)?shù)，只有前五個(gè)可以保留用于后續(xù)處理。本文的剩余部分將選定候選線段的集合表示為S。

有了這些候選線段目標(biāo)就可以邊緣特征描述子的構(gòu)建。首先在線段上進(jìn)行采樣，并將平面邊緣的順時(shí)針方向設(shè)置為取樣方向，線段長度同比例獲取采樣數(shù)量。為了確保特征描述子的光照不變性和旋轉(zhuǎn)不變性，我們沿目標(biāo)線段梯度方向獲取三個(gè)點(diǎn)集，分別是在梯度平面外，梯度平面內(nèi)和平面邊緣上。采樣點(diǎn)的按照一定順序記錄在一種三維向量中，形成該目標(biāo)線段的特征描述子，如下所示：

在公式（2）中，?fCB是從點(diǎn) C到B的梯度，?fCA是從點(diǎn)C到A的梯度，?fAB是從點(diǎn)A到B的梯度，RC,GC,BC是RGB顏色空間中的點(diǎn)C的通道值。如圖2所示，點(diǎn)C在目標(biāo)邊緣上，而A在平面內(nèi)，B在平面外，藍(lán)色虛線框內(nèi)的線段即目標(biāo)線段。該特征向量除以通道值的模是為了消除顏色空間中的光照影響。

圖2 邊緣特征描述子示意圖

在正式匹配之前，我們根據(jù)光流跟蹤點(diǎn)計(jì)算出每條平面邊緣的最小外接圓，并在圓內(nèi)將合格的候選線段補(bǔ)全，同一組中的候選線段就可延長成相同外接圓內(nèi)的某一條割線，通過線段的補(bǔ)充，我們可以計(jì)算出原先短線的相對(duì)位置并在同一位置與樣本邊緣進(jìn)行匹配過程，從而可以減少由錯(cuò)位引起的匹配誤差。

構(gòu)建好邊緣特征描述子后，我們用顏色直方圖的方式統(tǒng)計(jì)特征向量的概率分布。當(dāng)進(jìn)行特征描述子的兩兩匹配時(shí)，我們根據(jù)直方圖的相似度來進(jìn)行篩選，符合要求則認(rèn)為匹配成功，可得出當(dāng)前幀的平面邊緣結(jié)果；否則將被認(rèn)為匹配失敗，將進(jìn)行后續(xù)基于單應(yīng)性矩陣的形狀矯正。

1.2 單應(yīng)性矩陣矯正

我們將S集合內(nèi)的每個(gè)線段與被跟蹤的對(duì)象邊緣進(jìn)行匹配，并為每個(gè)邊緣選擇最佳的匹配線段，然而平面對(duì)象的邊緣可能因?yàn)橐恍┨厥馇闆r無法在S中找到任何行進(jìn)的段，例如平面對(duì)象的一部分被遮擋、視點(diǎn)移動(dòng)速度較快或者特征匹配失效等。因此，我們需要計(jì)算單應(yīng)矩陣H來完成平面邊緣的矯正。因?yàn)閱螒?yīng)性矩陣的獲取需要同一平面內(nèi)的特征點(diǎn)對(duì)，我們通過使用SURF算法將第k幀每個(gè)跟蹤對(duì)象與它們?cè)诘趉+1幀中的對(duì)應(yīng)點(diǎn)關(guān)聯(lián)起來，然后獲取多組前后幀對(duì)應(yīng)點(diǎn)對(duì)，用RANSAC的算法計(jì)算出單應(yīng)性矩陣H。并用該單應(yīng)性矩陣表示相鄰兩幀的同一平面的變換關(guān)系，以此來求出第k+1幀中的平面邊緣上點(diǎn)集。單應(yīng)性矩陣求解公式如公式（3）和（4）所示。

其中，X為第k幀平面邊緣點(diǎn)集，設(shè)Xin為與目標(biāo)平面共面的平面上采樣X點(diǎn)集，Xout為Xin經(jīng)過SURF算法計(jì)算得到的第k+1幀對(duì)應(yīng)點(diǎn)集。由這兩者運(yùn)用RANSAC算法得到一個(gè)最佳的單應(yīng)性矩陣H，進(jìn)而算出由第k幀中X點(diǎn)集映射到第k+1幀上的對(duì)應(yīng)點(diǎn)集X′，以此來保證平面邊緣整體的輪廓形狀，有效地減少錯(cuò)誤追蹤點(diǎn)，解決顏色匹配失效和遮擋的問題。

2 實(shí)驗(yàn)結(jié)果

本文是在3.10 GHz CPU，8 GB內(nèi)存的PC上運(yùn)行算法。軟件環(huán)境為VS2010+OpenCV2.4.9。我們用三組實(shí)驗(yàn)對(duì)比圖來說明，在三種情況下，我們的算法與CCRE[4]算法進(jìn)行同幀對(duì)比。其中，圖3為縮放實(shí)驗(yàn)，這種情況下視點(diǎn)會(huì)前后移動(dòng)，目標(biāo)平面在圖像坐標(biāo)內(nèi)呈現(xiàn)縮小或者放大的情況。（a）（b）分別為CCRE算法和我們的算法效果圖?？梢钥闯鑫覀兊乃惴ㄒ獪?zhǔn)確很多，CCRE在前期序列中還可以跟準(zhǔn)，100幀以后開始出現(xiàn)偏差。圖4為旋轉(zhuǎn)實(shí)驗(yàn)，視點(diǎn)會(huì)在原地進(jìn)行順時(shí)針或者逆時(shí)針旋轉(zhuǎn)，（a）為CCRE算法，在移動(dòng)速度較快時(shí)，圖像比較模糊，會(huì)丟失跟蹤目標(biāo)，（b）為我們的算法實(shí)驗(yàn)，可以準(zhǔn)確地跟蹤到目標(biāo)平面，甚至目標(biāo)比較模糊，通過單應(yīng)性矩陣的形狀約束下也可以跟準(zhǔn)目標(biāo)。圖5為透視實(shí)驗(yàn)，視點(diǎn)會(huì)從多個(gè)角度進(jìn)行拍攝，目標(biāo)平面會(huì)在圖像內(nèi)發(fā)生透視形變，（a）為CCRE算法，當(dāng)形變程度較大時(shí)會(huì)失效，而（b）為我們的算法結(jié)果，可見準(zhǔn)確度要高于CCRE?？傮w來說，我們的算法要優(yōu)于CCRE。

圖3 縮放實(shí)驗(yàn)對(duì)比

圖4 旋轉(zhuǎn)實(shí)驗(yàn)對(duì)比

圖5 透視實(shí)驗(yàn)對(duì)比

3 結(jié)語

本文提出了一種面向增強(qiáng)現(xiàn)實(shí)的基于邊緣特征的平面目標(biāo)跟蹤算法，針對(duì)室內(nèi)或者戶外的平面目標(biāo)都可以進(jìn)行有效的跟蹤。不同于基于視頻體或者圖像序列的后期跟蹤處理方式，本文通過對(duì)視頻中的每幀進(jìn)行在線處理，滿足效率需求。在對(duì)視頻圖像中的平面目標(biāo)進(jìn)行準(zhǔn)確跟蹤后，可以進(jìn)一步對(duì)目標(biāo)識(shí)別、平面分割等拓展領(lǐng)域進(jìn)行完善。

本文算法在視點(diǎn)抖動(dòng)劇烈或者快速移動(dòng)下進(jìn)行測(cè)試時(shí)，特征比較模糊，難以提取與匹配，并且單應(yīng)性矩陣計(jì)算也會(huì)出現(xiàn)誤差，此時(shí)的跟蹤效果就會(huì)出現(xiàn)偏差，我們會(huì)針對(duì)這些問題進(jìn)行后續(xù)的研究與解決。