高智 虞錦東 劉嘉敏

摘 要：目前移動增強現(xiàn)實系統(tǒng)，由于采用閾值法進行圖像分割，當標識位置發(fā)生變化時，不能較好的實現(xiàn)增強現(xiàn)實；針對這一問題，根據(jù)系統(tǒng)的魯棒性，能夠確定視頻幀中的點對之間的關(guān)系不變，通過提取特征點對方法進行圖像分割，進而實現(xiàn)增強現(xiàn)實。結(jié)果表明該方法在標識位置變動時，系統(tǒng)仍能很好實現(xiàn)增強現(xiàn)實，驗證了該方法的有效性與實時性，提高了增強現(xiàn)實系統(tǒng)的整體性能。

關(guān)鍵詞：增強現(xiàn)實；魯棒性；特征點對

中圖分類號：TP391 文獻標識碼：A

1 引言（Introduction）

增強現(xiàn)實（Augmented Reality，簡稱AR）是一種將計算機生成的虛擬信息疊加到真實環(huán)境中，實現(xiàn)虛擬和現(xiàn)實的融合，達到增強現(xiàn)實環(huán)境效果的技術(shù)[1]。隨著移動平臺可用性能的提升，增強現(xiàn)實技術(shù)在終端平臺上得到了很大的發(fā)展[2]。AndAR是基于非常流行的ARToolKitPlus跟蹤器的增強現(xiàn)實框架[3]。其提供了面向?qū)ο蟮募僇ava API，隱藏了所有的本地庫調(diào)用。移動端一般采用基于人工標識實現(xiàn)增強現(xiàn)實，而標識識別中圖像分割[4]對增強現(xiàn)實效果有決定的作用。目前在PC端通過ARToolKit結(jié)合其他工具開發(fā)增強現(xiàn)實系統(tǒng)，文獻5利用ARToolKit設(shè)計一套能夠?qū)崟r展現(xiàn)三維物體的系統(tǒng)，開發(fā)過程中通過閾值實現(xiàn)圖像分割，所以系統(tǒng)的實時性較好，但不能適應(yīng)場景的較大變化。文獻6中采用了一種基于計算機視覺的算法，檢測查找相關(guān)的標識和特征點，然后得到模型視圖矩陣，此方法在實時性、穩(wěn)定性方面效果良好，同樣不能適應(yīng)場景的較大變化。針對以上問題，本文對實時視頻序列中的圖像采用一種全新的方法實現(xiàn)三維注冊，當標識位置發(fā)生變化時，也能準確的進行圖像分割，提高系統(tǒng)的整體性能。

2 關(guān)鍵技術(shù)與算法（The key technique and

algorithm）

2.1 AndAR的工作原理

AndAR通過計算機來判斷是否找到標識（標識物一般情況下都是黑色矩形框），及在標識識別成功后計算虛擬物體所需疊加的位置。這里標識采用人工標識，目前人工標識的識別方法主要分為兩種：基于圖像模板匹配的標識識別和基于編碼特征的標識識別[7]?；趫D像模板匹配的標識具有可讀性，標識本身帶有一定的信息。程序初始化時根據(jù)用戶判斷，設(shè)定一個固定的圖像分割閾值，此分割閾值在系統(tǒng)運行過程中保持不變，通過此閾值對采集到的每一幀圖形進行分割，找出此幀圖像中所有的四邊形區(qū)域作為候選匹配區(qū)域，然后將每一候選區(qū)域進行模板匹配測試，如果達到匹配成功條件，則系統(tǒng)認為找到了一個標識，閾值的設(shè)定直接影響分割的效果，進而影響能否實現(xiàn)增強現(xiàn)實。即使采用動態(tài)閾值分割圖像，當場景發(fā)生變化時，以及在噪聲的干擾下無法得到最優(yōu)的分割閾值[8]等問題，也會影響匹配結(jié)果。

2.2 基于邊緣的分割方法

在AndAR增強現(xiàn)實系統(tǒng)中，因為標識物一般情況下都是黑色矩形框，和背景的灰度有相當大的反差，由于這種設(shè)計，它在攝像機上的投影圖像一般應(yīng)該是由一個較黑的物體疊加在一個相對較白的背景上形成的，根據(jù)這種特性采用閾值分割法能夠做到系統(tǒng)的實時性，但不能適應(yīng)場景較大變化。由于進行此方法是確定合適的閾值，進而提取興趣區(qū)域，最終目的是根據(jù)興趣區(qū)域的特性進而進行圖像分割。一般通過攝像頭獲取的視頻幀，是沒有深度信息的，可以求得黑色矩形框的直線方程提取興趣區(qū)域。四條邊的直線方程y=kx+b。這樣就能提取興趣區(qū)域，由平行四邊形的特性對邊斜率相同，需求得四個點坐標和兩個斜率。

為計算興趣區(qū)域的直線方程，首先對攝像頭獲取的視頻幀進行圖像二值化處理[9]，然后采用橫向掃描的方式尋找興趣點。經(jīng)過掃描檢測，掃描線與黑色矩形邊框的位置關(guān)系呈現(xiàn)以下四種關(guān)系如圖1所示。

圖1 掃描線和興趣邊框的關(guān)系

Fig.1 Relationship between scan

line and interest border

當掃描線找到黑色連續(xù)的區(qū)域，能夠確定連續(xù)區(qū)域左側(cè)點P1坐標（如圖1所示），以及興趣區(qū)域的寬度d1，如圖1黑色線條所示，進行如下處理：

（1）以P1點為圓心，并且以為d1半徑，以旋轉(zhuǎn)方向順時針方向進行檢測（向量起點P1，方向水平，長度d1）。

（2）當檢測半徑方向上首次出現(xiàn)與興趣區(qū)域灰度不一樣的點P'時，計算P'到P1點的距離d0。若d0=d1，則執(zhí)行（3）。若d0≠d1，判斷方向若為順時針則執(zhí)行（1）方向改為逆時針，否則執(zhí)行（5）。

（3）以P'為起點橫向進行區(qū)域檢測到長度d'，判斷若d1=d'，則執(zhí)行（4）。若d1≠d'，則執(zhí)行（5）。

（4）可以得到興趣區(qū)域邊緣與檢測線的角度θ，以及旋轉(zhuǎn)方向（0表示順時針反向，1表示逆時針方向）。

（5）P1點不是目標點繼續(xù)掃描檢測。

通過以上步驟就能判斷出掃描線與疑似興趣邊框的關(guān)系，并且能確定特征區(qū)域與掃描線的姿態(tài)，θ=90°則是圖1（b）、順時針方向則是圖1（c）、逆時針方向則是圖1（d）。

通過上述步驟能夠得到多個疑似興趣點，通過角度θ相同為依據(jù)進行點對分組，理想情況下出現(xiàn)一種角度θ，若出現(xiàn)多個角度θ，按照出現(xiàn)點個數(shù)多于一個保留其他舍棄。下面要進行縱向點的選取以及對橫向點的取舍，如圖2所示。

圖2 特征點選取

Fig.2 Feature selection

選取橫向掃描線上點對兩點P1P2中心坐標點P0進行縱向掃描，進行上述處理，若不符合說明橫向點對不是目標點對，若符合就能得到縱向兩點P3P4、興趣區(qū)域的寬度d3、d4以及角度。這樣就能的到興趣區(qū)域邊緣的直線方程。進而提取興趣區(qū)域。這樣還不能做到將所有干擾點對排除。由于系統(tǒng)具有魯棒性的特點，并且通過上述步驟可以得到P1P2點和P3P4點之間的距離分別為d12、d34。興趣點區(qū)域的寬度與興趣點之間的長度之間關(guān)系隨著場景變換不變，通過這種關(guān)系能夠進一步確定目前的到點對是目標所求。通過攝像頭獲取視頻幀是平面圖像，當場景發(fā)生變化時，黑色矩形框的位置變化如圖3所示。

圖3 矩形框的位置變化示意圖

Fig.3 Rectangle position figure

通過上圖可以發(fā)現(xiàn)，當場景變化時，由于系統(tǒng)具有魯棒性，圖形的變化都呈現(xiàn)規(guī)律變化。通過這種變化可以確定橫向的點對，關(guān)系如式（1）。

d1/d3=d12/d34 （1）

上述步驟確定的特征點P1（x1，y1）P2（x2，y2）P3（x3，y3）P4（x4，y4），興趣區(qū)域?qū)挾萪以及邊框與掃描線的角度θ以及方向dir。如果θ=90°，興趣區(qū)域范圍為：f（x，y）={（x，y）|x1≤x≤x2，y3≤y≤y4}。若θ≠90°，興趣區(qū)域范圍為：

3 實現(xiàn)與測試（Experimental and test）

3.1 系統(tǒng)流程

首先通過手機攝像頭獲取真實場景的視頻幀，對視頻幀進行預(yù)處理，通過上述方法獲得特征點，計算直線方程，根據(jù)直線方程對視頻幀進行圖像分割，提取目標區(qū)域與模板庫進行匹配，若匹配不成功繼續(xù)獲取視頻幀，重復(fù)上述過程。若匹配成功，則進行標識的變換矩陣的計算，然后在進行三維模型渲染[10]，將虛擬物體在屏幕上顯示。系統(tǒng)流程如圖4所示。

圖4 系統(tǒng)流程圖

Fig.4 System flow chart

3.2 測試與分析

本文基于AndAR系統(tǒng)框架進行相應(yīng)的實驗，選取移動設(shè)備中興N909，操作系統(tǒng)：AndroidOS4.1，CPU配置為高通曉龍Snapdragon MSM8625Q，854×480像素。程序使用Eclipse4.3編寫，使用OpenGL ES 2.0來渲染三維虛擬模型。

圖5（a）和（b）分別為采用閾值法[11]和本文方法得到的結(jié)果，標識正對攝像頭時都能實現(xiàn)增強現(xiàn)實的效果。當標識被水平放置時，以瓶子為參照；圖6（a）為采用閾值法的結(jié)果，因標識傾斜角度將大，不能將虛擬物體注冊在標識上。圖6（b）為采用本文方法的結(jié)果，標識旋轉(zhuǎn)（瓶子放置在桌面，標識和瓶子的位置表示標識變化）仍能虛擬物體注冊在標識上。

圖5 標識水平時兩種方法的效果

Fig.5 The effect of two methods for marking level

圖6 標識旋轉(zhuǎn)后兩種方法的效果

Fig.6 The effect of two methods for marking rotation

從實驗結(jié)果可以看出，當人工標識相對攝像頭的位置發(fā)生較大變化，采用閾值法無法實現(xiàn)增強現(xiàn)實；而對實時視頻幀中的圖像采用本文方法進行圖像分割，即使場景發(fā)生變化，能夠很好的跟蹤標識，實驗結(jié)果表明該法在場景發(fā)生較大變化時仍能實現(xiàn)增強現(xiàn)實且實時性較好。

4 結(jié)論（Conclusion）

本文采用AndAR開發(fā)包增強現(xiàn)實系統(tǒng)中采用上述方法來計算實時視頻幀的特征點進行圖像分割，當場景發(fā)生變化時，再識別標識，進而實現(xiàn)增強現(xiàn)實，實驗結(jié)果表明圖像分割能隨著場景變化做出適當提取，同時能夠滿足增強現(xiàn)實系統(tǒng)的實時性要求，在一定程度上提高了整個系統(tǒng)的性能。

參考文獻（References）

[1] 朱森良，姚遠，蔣云良.增強現(xiàn)實綜述[J].中國圖象圖形學(xué)報，

2004，9（7）：767-771.

[2] 周國眾.移動增強現(xiàn)實關(guān)鍵技術(shù)及應(yīng)用[J].測繪與空間地理信

息，2012，35（9）：140-144.

[3] D Wagner，D Schmalstieg."ARTooIKitPlus for Pose Tracking

on Mobile Devices".Computer Vision Winter Workshop 2007，

Austria，F(xiàn)ebruary 6-8，2007.

[4] 孫陽光，蔡志華.一種基于局部自適應(yīng)的女書字符圖像分割算

法[J].微電子學(xué)與計算機，2014，31（3）：142-145；149.

[5] 胡穎群，尹長春.基于ARToolKit的三維虛擬商品展示系統(tǒng)設(shè)

計與實現(xiàn)[J].計算機應(yīng)用與軟件，2012，29（8）：259-261.

[6] 范利君，童小念.移動增強現(xiàn)實中視覺三維注冊方法的實現(xiàn)

[J].數(shù)字工程，2011，39（15）：138-140.

[7] GANDYM，MACINTYREB.Designer's augmented reality

toolkit，ten years later：implications for new media authoring

tools.Proceedings of the 27th annual ACM symposium on User

interface software and technology，2014.

[8] 張新明，張玉珊，李振云.一種改進的矩不變圖像分割方法[J].

廣西師范人學(xué)學(xué)報：自然科學(xué)版，2011，29（2）：185-190.

[9] 馬頌德，張正友.計算機視覺——計算理論與算法基礎(chǔ).北京：

科學(xué)出版社，1998.

[10] 官酩杰.基于OpenGL ES的移動平臺圖形渲染引擎研究與

實現(xiàn)[D].北京：北京交通大學(xué)，2010：1-7.

[11] 李俊峰，張志彥.基于矩不變性的閾值選擇圖像分割算法研

究[J].計算機應(yīng)用與軟件，2013，30（12）：170-172.

作者簡介：

高 智（1990-），男，碩士生.研究領(lǐng)域：計算機圖形學(xué)與虛擬

現(xiàn)實.

虞錦東（1993-），男，碩士生.研究領(lǐng)域：計算機圖形學(xué)與虛擬

現(xiàn)實.

劉嘉敏（1964-），女，博士，副教授.研究領(lǐng)域：布局優(yōu)化，計

算機圖形學(xué)與增強現(xiàn)實.