閆興亞，馬 柯，崔曉云

(1.西安郵電大學 數字媒體藝術學院，陜西 西安 710121；2.西安郵電大學 計算機學院，陜西 西安 710121；3.陜西師范大學 教育學院，陜西 西安 710062)

0 引 言

三維跟蹤注冊技術是增強現實(augment reality，AR)[1,2]中的關鍵和難點，它是對真實環(huán)境中的運動目標進行跟蹤，從而將虛擬物體實時疊加在目標上[3]。目前，關于運動目標跟蹤的解決方法主要是依據特征點的匹配和跟蹤[4]，這種方法在遮擋、尺度變換等情況下，會使跟蹤不穩(wěn)定；比如ORB(oriented fast and rotated briEF)算法[5]運行速度快，且能提取穩(wěn)定的特征點，但不具有尺度不變性，存在大量的誤匹配。Maidi M等[6]針對增強現實技術中的遮擋問題，開發(fā)了一種用于對象識別和遮擋處理的多模態(tài)跟蹤框架，該框架主要由姿態(tài)估計和特征點跟蹤兩個模塊組成，分別用于目標注冊和遮擋處理。

Camshift(continuously adaptive mean-shift)[7]是一種連續(xù)自適應跟蹤算法，廣泛應用于目標跟蹤，但背景與運動目標的顏色相似時，會導致跟蹤失敗[8]。郭金朋等針對這種情況，結合SURF(speed up robust features)算法進行特征匹配，使Camshift算法能夠在復雜背景下正常跟蹤[9]。

根據以上研究，本文為了提高增強現實系統(tǒng)在跟蹤注冊過程中的準確率以及適應目標尺度變換，提出一種基于Camshift與ORB算法相結合的自適應三維跟蹤注冊方法。該方法利用高斯分布的背景建模法檢測運動目標，提高Camshift算法跟蹤的準確率[10]；當跟蹤目標失效，即前后兩幀目標區(qū)域顏色直方圖相差較大時[11]，使用ORB算法對目標區(qū)域進行匹配，找到丟失的目標；在ORB算法中利用尺度空間理論建立圖像金字塔，使提取出的特征點具有尺度不變性。實驗結果驗證了本文方法具有良好的實時性和魯棒性。

1 主要理論

1.1 Camshift算法

Camshift算法是在Meanshift算法基礎上改進的，其中，Meanshift算法[12]在跟蹤時主要是依據目標顏色概率直方圖，進行相似性度量計算以尋找最佳目標，從而達到實時跟蹤。Camshift算法與Meanshift算法相比[13]，能夠自動調節(jié)搜索窗口適應目標的大小，對視頻中尺寸變化的目標進行跟蹤，提高了算法的有效性。它是以視頻圖像中運動物體的顏色信息作為特征，對輸入圖像的每一幀做Meanshift運算，并將上一幀的目標中心和核函數帶寬作為下一幀Meanshift算法的中心和核函數帶寬的初始值，以此方式迭代計算，實現對目標的跟蹤。

1.2 ORB算法

ORB算法主要是對圖像中的特征進行檢測和提取，但檢測出的特征點不具備方向不變性，所以引入灰度質心來計算特征點的主方向。實現的主要步驟是：①特征點檢測：選擇一個像素點與周圍的點相比，不一致則為特征點；②特征點描述：將特征點附近的圖片放大，對放大后的像素點對進行灰度值比較，組成n位二進制串，所得的二進制串為特征點的描述子；③特征點匹配：提取目標模型與候選模型的特征點和描述子，求出兩點之間的最短及次短漢明距離，再進行異或運算得到相似程度，當相似度達到50%時，即特征點匹配成功。

2 自適應跟蹤注冊方法及過程

利用本文方法實現增強現實自適應跟蹤注冊的過程如下：首先，將獲取的視頻流采用高斯分布建模的方法檢測出運動的目標區(qū)域，作為Camshift算法的初始搜索窗進行跟蹤；然后，利用ORB算法對目標區(qū)域進行特征提取、匹配和誤匹配點對剔除；最后，計算與模板的映射矩陣，完成對虛擬物體的注冊。

2.1 目標檢測和跟蹤

為提高跟蹤的準確率，采用高斯分布對背景模型進行更新。通過統(tǒng)計每個像素點的均值和方差，利用式(1)建立背景模型

(1)

式中：f(x,y)為該點的灰度值，p[f(x,y)]為該點計算出來的概率值，如果p[f(x,y)]的值大于閾值，則判定該點為背景點，否則為前景點。μ和σ2分別為均值和方差，是背景模型的主要參數，主要是利用式(2)和式(3)進行更新

μt(x,y)=(1-m)μt-1(x,y)+mf(x,y,t)

(2)

(3)

依據上述建立的背景模型，利用式(4)與當前幀的像素值進行差分運算，選擇合適的閾值，計算出運動目標的二值掩模

(4)

式中：Et(x,y)是當前幀圖像的像素值，Ft(x,y)是當前幀背景圖像的像素值；T為分割閾值，It(x,y)為二值圖像,如果值為1，表示前景點，也是要跟蹤的運動目標區(qū)域；值為0，則為分割出來的背景點。將目標區(qū)域的特征參數提取，作為Camshift算法初始搜索窗口的位置。將當前視頻幀的RGB顏色模型轉換成HSV顏色模型，建立顏色直方圖。依據目標區(qū)域的中心、大小和運動方向，利用Camshift算法計算當前幀中目標的質心位置、零階矩和一階矩，并以此計算出搜索窗的大小。

2.2 特征匹配

傳統(tǒng)的ORB算法采用FAST(features from accelerated segment test)角點檢測算法進行特征點的提取，主要是通過比較采樣點與周圍像素點的強度，判斷該點是否為特征點。該算法運行速度快，但不具有尺度不變性的信息，會導致圖像經過縮放后無法匹配到相應的特征點。因此，在特征點提取時，首先利用尺度空間理論，建立圖像金字塔。將圖像的尺度定義為函數L(x,y,s)，利用式(5)建立Gauss函數，隨后采用式(6)與圖像進行卷積運算可得到

(5)

L(x,y,s)=G(x,y,σ)I(x,y)

(6)

式中：s為尺度因子。通過式(7)將相鄰兩個尺度圖像相減，得到穩(wěn)定的尺度空間

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]I(x,y)=L(x,y,ks)-L(x,y,s)

(7)

在不同尺度的高斯差分空間中，以一個像素點p為中心，半徑為3的圓上，得到16個像素點，分別計算到中心點的像素差。如果像素差的絕對值有9個超過設定的閾值，則判斷點p為角點。對確定的角點利用非極大值抑制的方法，在以p點為中心的鄰域內進行最后的篩選，若p點的得分最高，則保留，否則舍棄。依次篩選所有空間的角點，確定最終的特征點。

將提取的特征點利用rBRIEF算法進行描述，該算法是一種二值特征描述子，將角點主方向信息融入其中，使特征描述子具有旋轉不變性。對得到的描述子利用暴力匹配的方式進行粗匹配，依據漢明距離的大小進行初步的篩選。最后針對誤匹配點對，采用隨機采樣一致性算法[14](random sample consensus)進行剔除。

2.3 三維注冊

通過上述方法對目標進行跟蹤和匹配后，計算和測量攝像機的內外參數矩陣，得到三維注冊矩陣，與虛擬物體融合，完成增強現實的三維注冊。利用式(8)將投影點由世界坐標系轉換為攝像機坐標系

(8)

式中：該矩陣是4*4規(guī)格，需要在最后添加“1”補足位進行矩陣運算[15]。其中Ec為點c在世界坐標系的位置，Fc為轉換后在攝像機坐標系的位置，Me為攝像機外部參數矩陣，采用式(9)計算

(9)

式中：R是旋轉分量，通過計算攝像機與世界坐標的旋轉角度獲得[15]；T為世界坐標系轉換到攝像機坐標系的位移分量，通過攝像機在世界坐標系中的位移得到。

將點c在攝像機坐標系的位置，利用式(10)進行投影計算

hc(u,v)T=MiFc(Xc,Yc,Zc)T

(10)

式中：hc(u,v)T為點c在屏幕上的投影位置，也是三維注冊的結果，Mi為攝像機內部參數矩陣，通過人工測量的方法得到。實現的過程如圖1所示。

圖1 增強現實的三維注冊流程

2.4 實現步驟

如圖2所示，本文方法實現的主要流程如下：

步驟1 初始化待跟蹤的目標和位置，載入視頻并利用高斯分布建立初始的背景模型。

步驟2 對背景模型進行更新，利用背景差分法，得到包含運動目標的區(qū)域。

步驟3 將目標區(qū)域作為搜索窗，并計算該搜索窗的顏色直方圖。

步驟4 采用Camshift算法對目標區(qū)域進行跟蹤。

步驟5 將目標區(qū)域的跟蹤結果，利用ORB算法將搜索框的跟蹤目標與當前幀圖像進行匹配，確定目標區(qū)域。

步驟6 在特征點匹配之后，判斷跟蹤區(qū)域是否失效；如果失效，返回步驟4，將ORB算法匹配的目標窗口，提供給Camshift算法對目標區(qū)域重新進行跟蹤；如果沒有失效，則計算出三維注冊矩陣，完成虛擬物體的三維注冊。

步驟7 虛擬物體注冊完成之后，判斷是否是最后一幀視頻，如果是，則方法結束，否則返回步驟2選取下一幀重新開始運行。

圖2 方法流程

3 實驗結果及分析

3.1 目標跟蹤結果及分析

本文方法的實驗硬件環(huán)境為Inter(R) Core(TM) i5-3230，2.6 GHz，12 G內存；仿真環(huán)境為Windows10操作系統(tǒng)，VS2013、Opencv 3.1.0和Opengl 3.1.2。

為了驗證本文方法跟蹤目標的有效性，分別利用Camshift算法、Meanshift算法、本文方法對相同的視頻序列進行跟蹤。跟蹤視頻序列是一段汽車運動，總幀數為252，具有背景復雜、尺度變化、遮擋等復雜環(huán)境因素。跟蹤結果如圖3所示。

圖3 Meanshift、Camshift、本文方法部分 視頻幀跟蹤結果對比

圖3所截取跟蹤結果分別為第29幀、第104幀、第166幀、第182幀、第222幀。從29幀和104幀可以看出，在目標的尺度較小時，Meanshift和Camshift算法的跟蹤窗口發(fā)散，不能正常跟蹤到目標；在第166幀具有遮擋的情況下，本文方法和Meanshift算法可以正常跟蹤；Camshift算法也可以跟蹤到目標，但跟蹤窗口很小，被方塊遮擋，導致顯示不清楚；在182和222幀時，都可以正常跟蹤，但Camshift算法跟蹤窗口發(fā)散，將背景區(qū)域也包括進來，Meanshift算法跟蹤窗口魯棒性較差，本文方法可以正常跟蹤。

3.2 特征匹配結果及分析

針對特征匹配，本文選取6組特征匹配數據，分別具有尺度變化、旋轉變化等特征。選擇SIFT(scale-invariant feature transform)、SURF、ORB與本文方法進行比較，部分結果如圖4所示。

圖4 具有尺度變化的圖像匹配

圖4是一組具有尺度變化的數據集，線條表示兩幅不同尺度圖像的特征匹配點對。由圖可以看出，SIFT與SURF算法存在少量的誤匹配，ORB算法的誤匹配點對較多，本文方法匹配點對多且準確率高。在匹配的運行效率上，本文將每種算法的全部運行時間進行對比。實驗結果表明(如圖5所示)，ORB算法的運行時間最短，本文方法次之，SIFT和SURF算法的運行時間要遠高于前面兩種算法。從匹配結果可以看出(如圖6所示)，本文方法特征點匹配準確率高于SIFT、SURF和傳統(tǒng)的ORB匹配算法。綜上，ORB算法的運行效率較高，但匹配準確率最低，本文方法的運行效率低于ORB算法，但高于SIFT和SURF算法，匹配準確率也高于其它算法。因此，本文方法在尺度、運行效率及匹配準確率上可以滿足增強現實三維注冊的要求。

圖5 算法匹配的運行時間對比

圖6 算法的匹配準確率對比

3.3 三維注冊結果及分析

選擇SURF算法與本文方法進行實時的三維跟蹤注冊測試。在實時跟蹤注冊時，分別截取4張注冊結果。第一張和第二張是對象正面和旋轉注冊的結果，第三張是目標對象發(fā)生視角變化的注冊結果，第四張目標發(fā)生大面積遮擋的注冊結果。結果如圖7、圖8所示。

圖7 SURF算法三維注冊結果

圖8 本文方法三維注冊結果

對比結果可以看出，SURF與本文方法在目標正面、旋轉、視角變化的情況下，都可以正常注冊，但在目標發(fā)生大面積遮擋時，SURF算法不能正常注冊；同時，在運行效率上，本文方法遠高于SURF算法，沒有出現卡頓效果。實驗結果表明，本文方法在目標發(fā)生旋轉、視角和遮擋的情況下，能準確跟蹤到目標并進行注冊。

4 結束語

本文提出了一種基于增強現實的自適應跟蹤注冊方法，該方法通過高斯分布的背景建模法提高Camshift算法對目標區(qū)域顏色的檢測，保證目標跟蹤的準確性；利用尺度空間理論，使ORB算法在尺度發(fā)生變化的情況下，仍能準確的進行特征點的提取和匹配；通過攝像機的內外參數，計算三維注冊矩陣完成虛擬物體與目標對象的注冊。實驗結果表明，本文方法基本滿足增強現實系統(tǒng)對準確性和穩(wěn)定性的要求。