汪永生 李 巖 劉 明

（銅陵學(xué)院，安徽 銅陵 244000）

一、引文

近幾年來，越來越多高校興建了機(jī)器人實(shí)驗(yàn)室，開設(shè)了機(jī)器人相關(guān)實(shí)踐課程，對機(jī)器人技術(shù)發(fā)展和人才培養(yǎng)發(fā)揮著重要作用[1-3]。機(jī)器人實(shí)驗(yàn)相對于其他工科類實(shí)驗(yàn)要復(fù)雜，操作流程與步驟較繁瑣，實(shí)驗(yàn)難度大。教學(xué)機(jī)器人[4]是一種適合高校學(xué)生的具有開放式特征的實(shí)訓(xùn)實(shí)驗(yàn)平臺，其作用主要以展示機(jī)械結(jié)構(gòu)、運(yùn)動特征和功能關(guān)系為主，特點(diǎn)是將機(jī)器人的開放性、易用性、教育性和趣味性與一體。就教學(xué)機(jī)器人實(shí)驗(yàn)常規(guī)操作方式而言，學(xué)生在實(shí)驗(yàn)過程遇到困難和問題時(shí)，通常會暫停進(jìn)行中的實(shí)驗(yàn)，去對照查閱實(shí)驗(yàn)指導(dǎo)書或?qū)嶒?yàn)操作手冊等輔助資料，不能實(shí)時(shí)解決問題和困難，這樣很難把所有的注意力都集中在實(shí)驗(yàn)上，導(dǎo)致實(shí)驗(yàn)效率低下，降低了實(shí)驗(yàn)興趣。針對此種情況，本文對增強(qiáng)現(xiàn)實(shí)（Augmented Reality,AR）等相關(guān)技術(shù)進(jìn)行了深入分析與研究，并提出了基于移動AR技術(shù)教學(xué)機(jī)器人實(shí)驗(yàn)輔助系統(tǒng)框架，通過設(shè)計(jì)和開發(fā)移動AR技術(shù)教學(xué)機(jī)器人實(shí)驗(yàn)輔助系統(tǒng)，對教學(xué)機(jī)器人實(shí)驗(yàn)提供實(shí)時(shí)輔助，減少實(shí)驗(yàn)操作錯(cuò)誤，降低實(shí)驗(yàn)難度，增強(qiáng)實(shí)驗(yàn)興趣，提高實(shí)驗(yàn)效率。

AR技術(shù)在機(jī)器人領(lǐng)域的應(yīng)用國內(nèi)外有著諸多的研究。Koji Ohmori，Kunio Sakamoto[5]研發(fā)了基于 AR技術(shù)自動移動機(jī)器人系統(tǒng)，通過標(biāo)識器和遠(yuǎn)程指示控制，給定一個(gè)目標(biāo)位置，機(jī)器人能自動準(zhǔn)確地移動到該目標(biāo)位置。Fang H C，Ong S K[6-7]等人針對機(jī)器人任務(wù)規(guī)劃問題，將AR技術(shù)應(yīng)用于末端執(zhí)行器，并由其指引機(jī)器人進(jìn)行路徑規(guī)劃取向，通過交互界面，用戶能夠直觀地評價(jià)機(jī)器人軌跡規(guī)劃過程?劉國現(xiàn),于蓮芝等人[8]設(shè)計(jì)實(shí)現(xiàn)一種用于空間遙操作的增強(qiáng)現(xiàn)實(shí)系統(tǒng)模型,實(shí)現(xiàn)虛擬模型與現(xiàn)場信息在同一窗口中顯示,從而方便操作者的觀察與操作，解決了虛擬現(xiàn)實(shí)預(yù)測技術(shù)的不足,提高了遙操作系統(tǒng)的可靠性。周明珠,陳一民等人在文獻(xiàn)[9]中提出了基于增強(qiáng)現(xiàn)實(shí)多視圖視頻融合方法,構(gòu)建多視圖控制系統(tǒng)能有效地提高疊加顯示仿真機(jī)器人的穩(wěn)定性，很大程度上提高了操作的正確率。李國梁在其博士論文中[10]對機(jī)器人在增強(qiáng)現(xiàn)實(shí)環(huán)境中的操控策略進(jìn)行研究,實(shí)現(xiàn)預(yù)測仿真圖像和真實(shí)圖像疊加顯示,達(dá)到移動機(jī)器人環(huán)境感知信息重構(gòu)以及實(shí)時(shí)跟蹤的目的,實(shí)現(xiàn)用戶對遠(yuǎn)程端移動機(jī)器人遠(yuǎn)程操控目標(biāo)。李實(shí),劉波等人[11]將AR技術(shù)應(yīng)用于帶電作業(yè)機(jī)器人系統(tǒng)，利用雙目立體攝像機(jī)和激光雷達(dá)獲取精確數(shù)據(jù)信息標(biāo)注在顯示器上，操作平臺上的機(jī)器臂通過遙操作方式完成帶電作業(yè)，操作效率得到了提升，使用體驗(yàn)顯著改善。對比傳統(tǒng)的機(jī)器人操控模式，以上國內(nèi)外研究大多數(shù)在不同程度上改善和提升了機(jī)器人操控性能，也給本文研究提供了良好的借鑒。

二、移動增強(qiáng)現(xiàn)實(shí)系統(tǒng)

AR技術(shù)是利用計(jì)算機(jī)系統(tǒng)產(chǎn)生的虛擬信息實(shí)時(shí)融合到真實(shí)場景中，以實(shí)現(xiàn)增強(qiáng)真實(shí)環(huán)境，加強(qiáng)用戶對真實(shí)世界的感知，真正實(shí)現(xiàn)技術(shù)以人為本，而不是人去適應(yīng)機(jī)器[12-13]。跟蹤注冊、虛實(shí)融合和實(shí)時(shí)交互是AR技術(shù)三個(gè)重要的基本特征。

將AR技術(shù)移植于移動終端設(shè)備的技術(shù)稱之為移動AR技術(shù)[14]。當(dāng)前以智能手機(jī)、平板電腦等為代表的移動終端設(shè)備，在硬件性能和軟件功能上逐漸與臺式機(jī)相差甚微，從而為增強(qiáng)現(xiàn)實(shí)系統(tǒng)在移動終端設(shè)備上的實(shí)現(xiàn)提供了一個(gè)全新的運(yùn)行平臺。

圖1 移動增強(qiáng)現(xiàn)實(shí)系統(tǒng)

一個(gè)完整的移動增強(qiáng)現(xiàn)實(shí)系統(tǒng)包含六大模塊構(gòu)成，分別是視頻采集模塊、特征識別模塊、模型數(shù)據(jù)庫、三維注冊模塊、模型渲染模塊、顯示交互模塊[15]，如圖1所示。視頻采集模塊主要由移動設(shè)備攝像頭捕獲真實(shí)場景的圖像或視頻信息。特征識別模塊對采集的圖像或視頻信息中的目標(biāo)進(jìn)行識別，并計(jì)算待注冊目標(biāo)的初始位置。待注冊目標(biāo)的虛擬模型和特征存儲在模型數(shù)據(jù)庫，以便三維注冊和模型渲染時(shí)調(diào)用。三維注冊模塊功能主要是實(shí)時(shí)跟蹤目標(biāo)對象，在目標(biāo)正確的位置進(jìn)行虛擬信息注冊。交互模塊主要用來處理用戶與真實(shí)環(huán)境實(shí)時(shí)互動信息，并實(shí)時(shí)給出相應(yīng)的反饋結(jié)果。模型渲染模塊對待增強(qiáng)信息進(jìn)行渲染，最大程度上實(shí)現(xiàn)虛實(shí)完美融合。顯示交互模塊通過視覺方式為用戶和系統(tǒng)之間構(gòu)建一座橋梁，用戶可以通過觸摸、身體姿態(tài)、語言等多種方式實(shí)現(xiàn)對系統(tǒng)的交互操作。

三、移動AR技術(shù)教學(xué)機(jī)器人實(shí)驗(yàn)輔助系統(tǒng)

（一）系統(tǒng)框架設(shè)計(jì)與功能

結(jié)合AR技術(shù)在機(jī)器人方面的應(yīng)用研究，本文將AR技術(shù)應(yīng)用到教學(xué)機(jī)器人實(shí)驗(yàn)，提出了基于移動AR技術(shù)教學(xué)機(jī)器人實(shí)驗(yàn)輔助系統(tǒng)框架 （以下簡稱“移動AR輔助系統(tǒng)”）。移動AR輔助系統(tǒng)主要功能有視頻圖像捕獲、目標(biāo)物體識別與跟蹤、虛擬輔助信息創(chuàng)建和存儲型、虛擬信息三維注冊、視頻虛實(shí)融合顯示和交互操作、系統(tǒng)原理框架結(jié)構(gòu)如圖2所示。

圖2 系統(tǒng)原理框架結(jié)構(gòu)

系統(tǒng)基本工作流程是：通過視頻圖像捕獲功能從真實(shí)的機(jī)器人實(shí)驗(yàn)場景中獲取視頻圖像，并對視頻圖像進(jìn)行目標(biāo)識別與跟蹤，從而實(shí)時(shí)獲取目標(biāo)在視頻圖像中的精確位置。后臺數(shù)據(jù)庫中存儲著目標(biāo)特征、3D模型、操作手冊、輔助信息等，通過目標(biāo)識別和跟蹤的結(jié)果確定所需的信息，再調(diào)用數(shù)據(jù)庫中相關(guān)信息。根據(jù)目標(biāo)跟蹤而得到的位置實(shí)時(shí)進(jìn)行虛擬模型和輔助信息三維注冊，疊加到真實(shí)實(shí)驗(yàn)場景中。最后進(jìn)行虛擬模型和信息虛實(shí)融合的視頻渲染，顯示增強(qiáng)用戶視覺感官，并能進(jìn)行實(shí)驗(yàn)操作人機(jī)交互。

（二）系統(tǒng)開發(fā)流程

系統(tǒng)開發(fā)主要流程有目標(biāo)對象三維建模、AR系統(tǒng)開發(fā)工具平臺、機(jī)器人特征提取等。

1.目標(biāo)對象三維建模

通過三維建模工具或軟件創(chuàng)建機(jī)器人實(shí)驗(yàn)?zāi)繕?biāo)對象三維模型，以便在三維注冊時(shí)系統(tǒng)調(diào)用虛擬模型疊加到真實(shí)場景中。目前三維物體建模方法主要有三維軟件建模、儀器設(shè)備測量建模、圖像或者視頻來建模等三種，而通過三維軟件建模是比較流行的一種。

2.AR系統(tǒng)開發(fā)工具平臺

目前，AR SDK（Software Development Kit，軟件開發(fā)工具包）開發(fā)工具平臺眾多，國外比較著名的開發(fā)工 具 平 臺 有 Apple ARKit、PTC Vuforia、ARToolKit等，而國內(nèi)近幾年也涌現(xiàn)了一批像百度AR、EasyAR等非常優(yōu)秀AR SDK開發(fā)工具平臺。對比而言，國外AR SDK開發(fā)工具技術(shù)更加成熟，功能穩(wěn)定完備。其中，Unity與Vuforia組合是一個(gè)相當(dāng)不錯(cuò)的AR系統(tǒng)開發(fā)工具平臺。

本系統(tǒng)開發(fā)環(huán)境基于Windows7、Unity2017.3個(gè)人版、Vuforia7 SDK。Unity3D主要以圖形化開發(fā)環(huán)境方式跨平臺綜合型游戲開發(fā)工具，可以讓用戶非常容易地創(chuàng)建三維動畫、目標(biāo)可視化等互動內(nèi)容。Vuforia是目前世界上主流的AR SDK，主要由Vuforia引擎、Vuforia系列工具和云識別服務(wù)三個(gè)部分組成，支持多種AR識別類型，如Image Targets、VuMark、Multi-Targets、Object Recognization等。 Unity3D 作為一款功能強(qiáng)大的游戲引擎，對3D模型導(dǎo)入導(dǎo)出和控制極其方便，加上Vuforia強(qiáng)大的AR識別功能，是一款非常適合AR開發(fā)工具組合。Unity2017以及更高版本已經(jīng)集成了Vuforia SDK插件，更容易進(jìn)行AR軟件系統(tǒng)開發(fā)，并能將系統(tǒng)應(yīng)用發(fā)布至Android、iOS、Mac等移動平臺。

觀察組與對照組術(shù)后6個(gè)月的血清TNF‐α值均顯著低于術(shù)前（P＜0.05）；且觀察組顯著低于對照組（P＜0.05）。見表4。

3.機(jī)器人特征提取

機(jī)器人實(shí)驗(yàn)操作目標(biāo)對象為三維物體，其特征提取有別于二維圖形圖像，需要對其進(jìn)行三維特征提取，形成目標(biāo)對象特征文件存儲到機(jī)器人特征數(shù)據(jù)庫中。安卓機(jī)器人是目前高校一種較為常見的教學(xué)機(jī)器人，搭載了安卓操作系統(tǒng)，具有較為逼真的人形外觀，在程序控制下能模仿人類各種動作等。以下以安卓機(jī)器人為目標(biāo)對象，對其進(jìn)行三維特征提取。實(shí)驗(yàn)硬件為華為G9青春版，型號HUAWEI VNSAL00，系統(tǒng)為Android 6.0，三維特征提取軟件為Vuforia Object Scanner。 啟動 Vuforia Object Scanner，對安卓機(jī)器人進(jìn)行三維掃描，盡可能讓綠色區(qū)域覆蓋機(jī)器人，從而提取到更多的特征點(diǎn)，最終形成目標(biāo)對象特征文件。由于安卓機(jī)器人具有人形特征，形狀較為對稱，角點(diǎn)和邊緣點(diǎn)不多，特征不明顯。為了提取更多的特征點(diǎn)，增強(qiáng)識別效果，故對安卓機(jī)器人身體顯著部位貼上標(biāo)識物，以便獲取更多的特征點(diǎn)。

表1 安卓機(jī)器人特征點(diǎn)提取數(shù)據(jù)

從表1可以看出，當(dāng)給安卓機(jī)器人貼上標(biāo)識物后，提取的特征點(diǎn)顯著增多，形成的特征數(shù)據(jù)庫文件也較無標(biāo)識物情況下要大。提取的特征點(diǎn)數(shù)量多少對機(jī)器人的識別效果會產(chǎn)生很大影響，下面就對安卓機(jī)器人在無標(biāo)識物和有標(biāo)識物兩種情況下，對其進(jìn)行三維識別測試。

在無標(biāo)識物情況下，分別對安卓機(jī)器人正面、背面和側(cè)面進(jìn)行了測試。圖3（b）所示，在機(jī)器人右下腳處出現(xiàn)綠色長方體，則表示機(jī)器人能正常識別，而圖3（c）、（d）均未出現(xiàn)綠色長方體，則表示未能識別機(jī)器人。

圖3 無標(biāo)識物安卓機(jī)器人特征點(diǎn)提取與識別效果

對貼有標(biāo)識物安卓機(jī)器人正面、背面和側(cè)面分別進(jìn)行測試，測試結(jié)果在機(jī)器人右下腳處均出現(xiàn)了綠色長方體，表示安卓機(jī)器人能正常被識別，如圖4（b）、（c）、（d）所示。

圖4 有標(biāo)識物安卓機(jī)器特征點(diǎn)提取與識別效果

四、實(shí)驗(yàn)結(jié)果與分析

（一）系統(tǒng)應(yīng)用實(shí)驗(yàn)

本次實(shí)驗(yàn)選用智能手機(jī)作為移動終端測試設(shè)備，安裝移動AR教學(xué)機(jī)器人實(shí)驗(yàn)輔助系統(tǒng)，以安卓機(jī)器人實(shí)驗(yàn)為實(shí)例，進(jìn)行移動AR教學(xué)機(jī)器人實(shí)驗(yàn)輔助系統(tǒng)測試。安卓機(jī)器人實(shí)驗(yàn)項(xiàng)目主要有安卓機(jī)器人藍(lán)牙通訊實(shí)驗(yàn)、基本控制實(shí)驗(yàn)、多線程實(shí)驗(yàn)、傳感器實(shí)驗(yàn)和自主避障實(shí)驗(yàn)等，實(shí)驗(yàn)涉及到機(jī)器人程序編程、控制與通訊，實(shí)驗(yàn)難度和復(fù)雜度比較大。移動AR輔助系統(tǒng)具體操作流程如圖5所示。

圖5 移動AR輔助系統(tǒng)操作流程

在手機(jī)上啟動移動AR教學(xué)機(jī)器人輔助系統(tǒng)，通過手機(jī)攝像頭系統(tǒng)開始對安卓機(jī)器人進(jìn)行掃描，直至識別出目標(biāo)對象，同時(shí)相關(guān)信息也融合到真實(shí)實(shí)驗(yàn)場景之中，如圖6（a）所示。點(diǎn)擊其中一個(gè)實(shí)驗(yàn)項(xiàng)目按鈕，進(jìn)入安卓機(jī)器人實(shí)驗(yàn)輔助界面，內(nèi)有“實(shí)驗(yàn)準(zhǔn)備”、“實(shí)驗(yàn)內(nèi)容”、“實(shí)驗(yàn)步驟”、“參考文檔”、“實(shí)驗(yàn)APP”等功能按鈕，如圖6（b）所示。通過這些功能，實(shí)驗(yàn)操作者可以十分輕松地學(xué)習(xí)和掌握該項(xiàng)實(shí)驗(yàn)的內(nèi)容、方法、步驟和操作。利用疊加在實(shí)驗(yàn)場景中增強(qiáng)現(xiàn)實(shí)虛擬模型信息，可進(jìn)行諸如機(jī)器人“前進(jìn)”、“轉(zhuǎn)頭”等人機(jī)交互操作，如圖 6（c）、（d）所示。

圖6 AR輔助實(shí)驗(yàn)場景

（二）系統(tǒng)性能評價(jià)

為了度量傳統(tǒng)方法和移動AR輔助系統(tǒng)的性能差異，在與機(jī)器人相關(guān)專業(yè)學(xué)生中隨機(jī)抽取40人，分2組每組20人進(jìn)行測試，一組使用傳統(tǒng)方法（輔助工具是紙質(zhì)實(shí)驗(yàn)指導(dǎo)書），另一組使用移動AR輔助系統(tǒng)進(jìn)行教學(xué)機(jī)器人實(shí)驗(yàn)對比，給出滿意度（Satisfaction Degree,SD）、易用度（Usability Degree,UD）和興趣度（Interest Degree,ID）主觀評價(jià)[16]。主觀評價(jià)分?jǐn)?shù)由李克特量表(Likert Scale)確定[17]，即5級態(tài)度“很滿意、滿意、一般、不滿意、很不滿意”，分別對應(yīng)賦予“5，4，3，2，1”的分值，如表 2 所示。

表2 主觀評價(jià)分?jǐn)?shù)確定原則

用離散系數(shù)(Coefficient of Variation,CV)考察評價(jià)數(shù)據(jù)的波動范圍，確保參與評價(jià)數(shù)據(jù)有效性和代表性。離散系數(shù)是測度數(shù)據(jù)離散程度的相對指標(biāo)，在一定程度上可反映變量之間的離散程度，其定義為標(biāo)準(zhǔn)差與平均值之比：

2.評價(jià)結(jié)果與分析

表3 兩種方法主觀評價(jià)平均分?jǐn)?shù)據(jù)對比

從表3數(shù)據(jù)分析得出，在滿意度、易用度和興趣度3個(gè)指標(biāo)上，AR輔助系統(tǒng)主觀評價(jià)平均分值均遠(yuǎn)高于傳統(tǒng)方法。易用度指標(biāo)上說明了移動AR輔助系統(tǒng)降低了實(shí)驗(yàn)難度，提升了實(shí)驗(yàn)效率。興趣度指標(biāo)則說明了移動AR輔助系統(tǒng)使實(shí)驗(yàn)增添了新穎性，更能激發(fā)學(xué)生的興趣。滿意度指標(biāo)方面，是學(xué)生對移動AR輔助系統(tǒng)的主觀認(rèn)可。

傳統(tǒng)方法和移動AR輔助系統(tǒng)SD、UD和ID的主觀評價(jià)分的均值和離散系數(shù)對比如圖7所示，圖中橫坐標(biāo)對應(yīng)主觀評價(jià)指標(biāo)，主觀評價(jià)分的均值（藍(lán)色星號標(biāo)記）和CV值（橙色星號標(biāo)記）由縱坐標(biāo)顯示?？梢钥闯?，兩種方法的3個(gè)指標(biāo)CV值都較小，說明評價(jià)數(shù)據(jù)波動范圍小，平均指標(biāo)的代表性較好，可以作為衡量移動AR輔助系統(tǒng)的評價(jià)依據(jù)。移動AR輔助系統(tǒng)SD、UD離散系數(shù)值都比傳統(tǒng)方法小，則表明了參與測試學(xué)生對移動AR輔助系統(tǒng)的滿意度和易用度評價(jià)較為一致。在對實(shí)驗(yàn)興趣度評價(jià)數(shù)據(jù)方面，兩種方法的CV值相同，體現(xiàn)了參評學(xué)生對兩種方法帶來實(shí)驗(yàn)興趣度的評價(jià)數(shù)據(jù)波動程度一致。

圖7 主觀評價(jià)指標(biāo)平均值和離散系數(shù)

設(shè)計(jì)的主觀評價(jià)實(shí)驗(yàn)方法雖然會受到諸如參評學(xué)生數(shù)量、參評學(xué)生專業(yè)知識水平和教學(xué)機(jī)器人實(shí)驗(yàn)項(xiàng)目樣本量等因素限制，可能對實(shí)驗(yàn)結(jié)果產(chǎn)生一定影響，但對改進(jìn)與優(yōu)化移動AR教學(xué)機(jī)器人實(shí)驗(yàn)輔助系統(tǒng)設(shè)計(jì)具有較高的參考價(jià)值。相對于傳統(tǒng)方法，移動AR輔助系統(tǒng)的滿意度、易用度和興趣度指標(biāo)穩(wěn)定性好，可用于系統(tǒng)性能評價(jià)。

五、結(jié)束語

本文通過研究AR技術(shù)在機(jī)器人領(lǐng)域的應(yīng)用，提出了基于移動AR技術(shù)教學(xué)機(jī)器人實(shí)驗(yàn)輔助系統(tǒng)，設(shè)計(jì)開發(fā)了移動AR輔助系統(tǒng)并將其應(yīng)用于教學(xué)機(jī)器人實(shí)驗(yàn)，利用虛擬信息與實(shí)驗(yàn)真實(shí)場景緊密融合，直觀形象地對每一步的實(shí)驗(yàn)進(jìn)行輔助操作。采用分組實(shí)驗(yàn)對比評價(jià)方法對系統(tǒng)進(jìn)行主觀評價(jià)，數(shù)據(jù)對比結(jié)果顯示，移動AR輔助系統(tǒng)要優(yōu)于傳統(tǒng)方法，并能提升實(shí)驗(yàn)效率。由于本系統(tǒng)中目標(biāo)識別借助了第三方識別工具，在目標(biāo)機(jī)器人無標(biāo)識物的情況下，識別效果一般。研究和改進(jìn)以機(jī)器人自然特征的識別算法，提高識別準(zhǔn)確率和成功率，將是今后重點(diǎn)研究目標(biāo)與方向。