崔穎賀，曹司琪

開放教育中增強(qiáng)現(xiàn)實(shí)技術(shù)APP的設(shè)計(jì)與實(shí)現(xiàn)
——以現(xiàn)當(dāng)代建筑賞析課程為例

崔穎賀，曹司琪

開放教育中增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用具體是指以手機(jī)端為溝通媒介，調(diào)用服務(wù)器上的資源,將多媒體影像融合到現(xiàn)實(shí)環(huán)境中。本文試將開放教育課程與增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用相結(jié)合，介紹APP的設(shè)計(jì)、開發(fā)及測(cè)試等過程。

APP；AR；開放教育；增強(qiáng)現(xiàn)實(shí)

一、AR與開放教育

增強(qiáng)現(xiàn)實(shí)（AR）的發(fā)展進(jìn)步是驚人的，其在各個(gè)領(lǐng)域的應(yīng)用已成為國內(nèi)外學(xué)者關(guān)注和研究的熱點(diǎn)。這種技術(shù)在開放教育的建筑設(shè)計(jì)教學(xué)中的應(yīng)用，可以通過立體書籍、技能培訓(xùn)及創(chuàng)建多方的可視化交流平臺(tái)等展開。

增強(qiáng)現(xiàn)實(shí)技術(shù)不僅可以有效突破開放教學(xué)中軟硬件條件的限制,而且其新穎的表現(xiàn)形式、時(shí)空的擴(kuò)張、人性化的交互，為學(xué)習(xí)者提供了新型、和諧、交互的學(xué)習(xí)環(huán)境。增強(qiáng)現(xiàn)實(shí)技術(shù)與開放教學(xué)設(shè)計(jì)策略相結(jié)合，能給學(xué)習(xí)者帶來身臨其境的虛擬體驗(yàn)，真正實(shí)現(xiàn)數(shù)字反哺現(xiàn)實(shí),技術(shù)改變生活。

二、APP系統(tǒng)

以開放教育?？茖I(yè)通識(shí)課現(xiàn)當(dāng)代建筑賞析課程為例，主要通過增強(qiáng)現(xiàn)實(shí)互動(dòng)建筑模型，為在線學(xué)習(xí)搭建綜合平臺(tái)。學(xué)生可以在軟件上接收消息，更改個(gè)人消息，觀看AR動(dòng)畫與微課程，進(jìn)行課后練習(xí)測(cè)試并得到最終形考成績(jī)，通過管理端對(duì)資源和數(shù)據(jù)進(jìn)行編輯管理。

三、需求分析與設(shè)計(jì)

（一）功能圖

App需要實(shí)現(xiàn)的是達(dá)到增強(qiáng)虛實(shí)結(jié)合的功能。用戶用智能手機(jī)自帶的攝像頭掃描紙質(zhì)互動(dòng)建筑圖片與微課程二維碼圖片，就可以在屏幕上看到與建筑圖片和外觀三維模型共同出現(xiàn)的場(chǎng)景，以及建筑外觀及建筑所在環(huán)境，還可看到根據(jù)腳本及配音產(chǎn)生動(dòng)態(tài)效果。

（二）AR增強(qiáng)現(xiàn)實(shí)互動(dòng)建筑手機(jī)APP功能

基于AR技術(shù)的增強(qiáng)現(xiàn)實(shí)互動(dòng)建筑App軟件可分為用戶模塊，課程模塊和系統(tǒng)模塊。用戶模塊有信息更改與消息接收兩個(gè)功能，課程模塊有課程查詢、資源學(xué)習(xí)和成績(jī)查詢?nèi)齻€(gè)功能，系統(tǒng)模塊則提供操作資源管理、用戶導(dǎo)入和消息發(fā)送三個(gè)功能。其中資源管理又細(xì)分為試題管理、微課管理和AR動(dòng)畫管理功能。

1.學(xué)生端。學(xué)生通過學(xué)號(hào)登錄并選擇課程后，開始學(xué)習(xí)并記錄學(xué)習(xí)過程、得到成績(jī)。學(xué)生可以更改個(gè)人信息及密碼（除學(xué)號(hào)外）。

2.管理端。需要具備導(dǎo)入學(xué)生學(xué)號(hào)及導(dǎo)出最終形考成績(jī)功能，以及管理學(xué)生信息數(shù)據(jù)、課程數(shù)據(jù)、AR動(dòng)畫資料、微課數(shù)據(jù)，對(duì)學(xué)生發(fā)送消息的功能。

四、功能使用說明

手機(jī)APP的用戶模塊、課程模塊和系統(tǒng)模塊功能如下。

（一）登錄與安裝功能

系統(tǒng)安裝：可掃描二維碼或下載安裝文件，安卓用戶和iOS用戶均可安裝。手動(dòng)登錄：登錄頁面下，點(diǎn)擊登錄按鈕，跳轉(zhuǎn)到登錄頁面，輸入賬號(hào)和密碼進(jìn)行登錄。自動(dòng)登錄：手動(dòng)登錄時(shí)，選中自動(dòng)登錄，然后登錄系統(tǒng)，下次再開啟程序時(shí)會(huì)自動(dòng)登錄保存的賬號(hào)。退出登錄：主頁面下，點(diǎn)擊用戶名稱上方的按鈕，點(diǎn)擊退出登錄，退出當(dāng)前賬戶。

（二）首頁

“課程”板塊用于對(duì)課程進(jìn)行選擇、查詢和學(xué)習(xí)；“用戶”板塊用于對(duì)用戶信息管理；“關(guān)于”板塊用于點(diǎn)擊關(guān)于條目，查看軟件版本信息。

（三）用戶信息

主頁面下，點(diǎn)擊用戶名稱的按鈕，可跳轉(zhuǎn)到用戶個(gè)人資料頁面查看個(gè)人信息。個(gè)人資料頁面點(diǎn)擊修改按鈕，可以對(duì)用戶基本信息進(jìn)行修改。消息一項(xiàng)用于接收服務(wù)端的各種消息，顯示接收到的到賬信息以及系統(tǒng)消息。

（四）課程管理

AR模型、微課、試題掃描：在課程列表中選擇要學(xué)習(xí)的課程，點(diǎn)擊課程學(xué)習(xí)按鈕后，進(jìn)入學(xué)習(xí)應(yīng)用界面。成績(jī)查詢：在課程列表中選擇已學(xué)習(xí)的課程，點(diǎn)擊成績(jī)查詢按鈕，查看本課程的最終成績(jī)。

（五）應(yīng)用

二維碼掃描：點(diǎn)擊右上角的二維碼按鈕，跳轉(zhuǎn)到二維碼掃描窗口，對(duì)準(zhǔn)AR模型圖或是微課二維碼進(jìn)行掃描。掃描后出現(xiàn)本章節(jié)建筑的三維立體模型圖形、微課視頻講解和課后習(xí)題的測(cè)試。拍照：頁面上點(diǎn)擊拍照按鈕，對(duì)當(dāng)前AR模型進(jìn)行拍照。電子練習(xí)題：掃描圖片出現(xiàn)練習(xí)題，要求出現(xiàn)方式靈活，題型為單選、多選和拖拽三種方式。點(diǎn)擊按鈕配合相應(yīng)音效。一套練習(xí)題做完，應(yīng)顯示答題的對(duì)錯(cuò)并可查看正確答案功能。12套章節(jié)練習(xí)，1套期末測(cè)試共13套題。

（六）管理平臺(tái)

管理與動(dòng)態(tài)配置功能：服務(wù)器設(shè)置AR模型、微課和試題加載功能，為手機(jī)端可以展示，登錄以后通過與服務(wù)器交換，展示動(dòng)態(tài)數(shù)據(jù)的功能。常用的增刪改查等功能通過讀取配置信息操作不同的信息。數(shù)據(jù)反饋：用戶完成課程學(xué)習(xí)后，AR模型查看數(shù)據(jù)、微課學(xué)習(xí)數(shù)據(jù)和測(cè)試數(shù)據(jù)提交給服務(wù)器。消息發(fā)送：在平臺(tái)內(nèi)編輯相關(guān)消息并發(fā)送給用戶。

五、開發(fā)過程及測(cè)試

增強(qiáng)現(xiàn)實(shí)是一個(gè)多種媒體綜合的技術(shù)，包括視覺技術(shù)、圖形技術(shù)、傳感技術(shù)、人機(jī)交互技術(shù)等，是合并現(xiàn)實(shí)和3D虛擬對(duì)象而產(chǎn)生的對(duì)現(xiàn)實(shí)世界補(bǔ)充的新可視化交互環(huán)境。其具體的實(shí)現(xiàn)技術(shù)包含了多媒體、三維建模、實(shí)時(shí)交互視頻顯示及控制、多傳感器溶合、實(shí)時(shí)跟蹤及3D注冊(cè)、場(chǎng)景融合等新技術(shù)與新手段。目前增強(qiáng)現(xiàn)實(shí)的開發(fā)工具有 ARToolKit、Unifeye、Vuforia 等軟件，本文使用的VuforiaSDK，是由Qualcomm公司提供的一個(gè)增強(qiáng)現(xiàn)實(shí)（AR）套件,它提供了許多免費(fèi)的功能，可以省去開發(fā)中的一些底層算法，如識(shí)別算法和三維注冊(cè)跟蹤等。本軟件通過VuforiaSDK在Unity3D平臺(tái)上實(shí)現(xiàn)開發(fā)。

（一）VuforiaSDK開發(fā)包

隨著市場(chǎng)對(duì)AR技術(shù)關(guān)注度的提高，相關(guān)的應(yīng)用研究和行業(yè)研究也越來越多。AR的軟件開發(fā)包也就是SDK和Unity引擎來實(shí)現(xiàn)這種效果，現(xiàn)在很多企業(yè)都有自己的系統(tǒng)開發(fā)工具包，其中支持Android系統(tǒng)的開發(fā)包比較多，使用比較多的是Realmax和Vuforia，而Vuforia是被廣泛使用的AR開發(fā)平臺(tái)。開發(fā)者基于Vuforia平臺(tái)開發(fā)了數(shù)萬件AR應(yīng)用，并支持智能手機(jī)、平板電腦和智能眼鏡使用。

基于VuforiaSDK的APP使用增強(qiáng)現(xiàn)實(shí)終端的顯示屏作為虛實(shí)融合人機(jī)交互的中介，應(yīng)用程序渲染真實(shí)的攝像頭預(yù)覽圖到顯示設(shè)備上，以作為真實(shí)的圖像。虛擬的3D物體被疊加到真實(shí)圖像上，真實(shí)圖像和虛擬的3D物體緊密融合，給人一種沉浸感。

（二）Unity3D開發(fā)平臺(tái)

Unity3D作為三維視頻及建筑可視化3D開發(fā)平臺(tái)，是一個(gè)跨多平臺(tái)的綜合型游戲開發(fā)工具，可以在Windows和MacOS等多個(gè)平臺(tái)運(yùn)行和發(fā)布，擁有強(qiáng)大的功能。它可以開發(fā)任一平臺(tái)的應(yīng)用系統(tǒng)，還能夠支持Mac和Windows的網(wǎng)頁瀏覽，為3D系統(tǒng)的開發(fā)提供了一站式解決方案。它還是一個(gè)經(jīng)過全面整合的專業(yè)游戲引擎，能夠幫助開發(fā)者縮短開發(fā)時(shí)間,提高質(zhì)量。

目前Unity3D的最新版本是Unity2017，可以橫跨當(dāng)前主要的游戲平臺(tái)，在PC、MAC、iphone上都可以使用Unity3D輕松實(shí)現(xiàn)跨平臺(tái)的開發(fā)。

基于Unity3D的增強(qiáng)現(xiàn)實(shí)的程序基本流程：

獲取交互輸入設(shè)備的識(shí)別圖像；標(biāo)記物（Marker）標(biāo)識(shí)信息的識(shí)別；標(biāo)記物（Marker）標(biāo)識(shí)信息的位置和方向檢測(cè)；虛實(shí)融合，即生成虛擬圖像疊加現(xiàn)實(shí)合成動(dòng)畫后再輸出顯示。在Unity中利用Vuforia實(shí)現(xiàn)虛實(shí)結(jié)合的操作如下：

（1）打開 Unity，新建一個(gè)工程，（2）導(dǎo)入下載VuforiasdkAssert→ImprortPackage→CustomPackagevuforia-unity-mobile-android-ios-4-0-103.unitypackage，（3）將下載下來的資源包導(dǎo)入unity3d，（4）刪除原來的MainCamera添加ARCamera，添加 ImageTarget，（5）設(shè)置 ARCamera 和 ImageTarget的屬性，（6）在視域范圍內(nèi)加上在識(shí)別出圖像時(shí)顯示出的物體，（7）下面一步將完成的項(xiàng)目導(dǎo)出為App：①將Unity的工程導(dǎo)出為app需要用到android的sdk,所以先要設(shè)置androidsdk的目錄；②生成的基本設(shè)置——將平臺(tái)設(shè)置為android；將當(dāng)前的場(chǎng)景添加入構(gòu)建列表；③點(diǎn)build選擇app導(dǎo)出的目錄，為app命名。

（三）界面的實(shí)現(xiàn)

在AR應(yīng)用中，人們向往自然和諧的交互操作方式。在現(xiàn)實(shí)世界中與虛擬物體交互有多種方式，本軟件主要通過菜單、特殊標(biāo)記兩種方法，結(jié)合腳本實(shí)現(xiàn)現(xiàn)實(shí)世界與虛擬物體之間的交互操作。系統(tǒng)主界面為啟動(dòng)系統(tǒng)首先進(jìn)入登錄界面，輸入學(xué)生姓名與學(xué)號(hào)進(jìn)入首頁。首頁設(shè)計(jì)較為簡(jiǎn)單，有兩個(gè)按鈕，一個(gè)是個(gè)人信息，一個(gè)是進(jìn)入課程學(xué)習(xí)及AR功能。在本程序中，選擇相關(guān)課程章節(jié)，手機(jī)攝像頭對(duì)準(zhǔn)課本中的建筑圖片，App會(huì)在視頻中疊加顯示建筑物的3D仿真模型，可以通過手指點(diǎn)擊虛擬播放按鈕。除了利用手勢(shì)與3D模型、3D動(dòng)畫交互外，還可以通過按鈕播放音頻、視頻，添加文字圖片等輔助信息。

（四）系統(tǒng)測(cè)試

系統(tǒng)的設(shè)計(jì)開發(fā)，以Android操作系統(tǒng)的手機(jī)作為增強(qiáng)現(xiàn)實(shí)終端進(jìn)行測(cè)試與研究。系統(tǒng)主要使用AR手機(jī)進(jìn)行人機(jī)交互輸入和輸出的硬件，用手機(jī)的攝像頭和傳感器做交互輸入工具，通過攝像頭采集和識(shí)別標(biāo)識(shí)圖像，通過傳感器調(diào)整手機(jī)攝像頭的空間角度，以便模型的3D立體、全息光場(chǎng)顯示效果能輸出在標(biāo)識(shí)圖上。用手機(jī)的顯示屏做交互輸出工具，展示人機(jī)交互如手勢(shì)與圖像識(shí)別等效果。測(cè)試過程：首先輸入學(xué)號(hào)進(jìn)行登錄，核對(duì)用戶信息，選擇課程后進(jìn)入AR功能，觀察攝像頭視野內(nèi)的虛擬模型渲染情況，移動(dòng)視角，觀察建筑物等風(fēng)景渲染表現(xiàn)效果。

增強(qiáng)現(xiàn)實(shí)技術(shù)在教育中的應(yīng)用有很大的發(fā)展空間。在開放教育中，將各學(xué)科的特點(diǎn)與增強(qiáng)現(xiàn)實(shí)技術(shù)融合，才能充分發(fā)揮出開放教育的作用。Unity3D+Vuforia的增強(qiáng)現(xiàn)實(shí)技術(shù)，使我們可以比較方便地開發(fā)具有交互功能的增強(qiáng)現(xiàn)實(shí)應(yīng)用App。經(jīng)過在AR手機(jī)上運(yùn)行交互測(cè)試，本軟件開發(fā)的增強(qiáng)現(xiàn)實(shí)App取得了良好的使用效果。后期團(tuán)隊(duì)準(zhǔn)備在情境創(chuàng)設(shè)、建筑展示、虛實(shí)互動(dòng)方面加以改進(jìn)強(qiáng)化，使之更加方便、易用和有效，并進(jìn)一步探索增強(qiáng)現(xiàn)實(shí)技術(shù)在教育領(lǐng)域的應(yīng)用。

[1]張洪波.增強(qiáng)現(xiàn)實(shí)技術(shù)在教學(xué)中的應(yīng)用研究[D].河南大學(xué)，2012.

[2]王志強(qiáng).基于移動(dòng)增強(qiáng)現(xiàn)實(shí)的虛擬機(jī)械臂系統(tǒng)研究與實(shí)現(xiàn)[D].河北工程大學(xué)，2015.

[3]徐敏等.一種基于Unity3D+Vuforia的增強(qiáng)現(xiàn)實(shí)交互App的開發(fā)[J].現(xiàn)代計(jì)算機(jī)，2016.

[4]周大镕.基于增強(qiáng)現(xiàn)實(shí)的體驗(yàn)式教學(xué)演示軟件的設(shè)計(jì)與實(shí)現(xiàn)[D].廣西師范大學(xué)，2014.

G202

A

1671-6531（2017）12-0068-03

崔穎賀/長春廣播電視大學(xué)講師（吉林長春130051）；曹司琪/吉林大學(xué)文學(xué)院在讀碩士(吉林長春130000)。

郭一鶴