何福本, 梁延德, 張紅哲, 王克欣, 吳 濤

(1. 大連理工大學(xué) 工程訓(xùn)練中心, 遼寧 大連 116024；2. 大連一特科技有限公司, 遼寧 大連 116085)

增強(qiáng)現(xiàn)實(shí)技術(shù)在車削加工實(shí)訓(xùn)教學(xué)中的應(yīng)用

何福本1, 梁延德1, 張紅哲1, 王克欣1, 吳 濤2

(1. 大連理工大學(xué) 工程訓(xùn)練中心, 遼寧 大連 116024；2. 大連一特科技有限公司, 遼寧 大連 116085)

將虛擬仿真技術(shù)應(yīng)用于工程訓(xùn)練教學(xué),開發(fā)了適用于主流移動(dòng)終端操作系統(tǒng)的增強(qiáng)現(xiàn)實(shí)(AR)技術(shù)的應(yīng)用APP,并用于普通車床加工工藝實(shí)訓(xùn)教學(xué)環(huán)節(jié)。該APP以三維注冊(cè)技術(shù)和區(qū)域識(shí)別方法予以實(shí)現(xiàn)。學(xué)生通過對(duì)技術(shù)圖紙進(jìn)行掃描識(shí)別和手指操控,可以方便地查看零件的虛擬立體圖像、相關(guān)知識(shí)及其影像,實(shí)現(xiàn)了平面圖紙的立體化,建立了包括理論知識(shí)、工藝規(guī)程和安全應(yīng)知等教學(xué)內(nèi)容的AR輔助工訓(xùn)教學(xué)模式。

增強(qiáng)現(xiàn)實(shí)； 虛擬仿真； 工程訓(xùn)練

在傳統(tǒng)工程訓(xùn)練實(shí)踐教學(xué)中,學(xué)生往往會(huì)在工程圖紙識(shí)別上出現(xiàn)認(rèn)識(shí)偏差和理解錯(cuò)誤。如何在傳統(tǒng)實(shí)訓(xùn)項(xiàng)目中引入新的思路和方法,有針對(duì)性地對(duì)一部分實(shí)訓(xùn)項(xiàng)目進(jìn)行教學(xué)方法改進(jìn)和教學(xué)內(nèi)容建設(shè),是一項(xiàng)十分必要且具有意義的教學(xué)改革探索。近年來,虛擬現(xiàn)實(shí)(virtual reality,VR)技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)(augmented reality,AR)和混合現(xiàn)實(shí)技術(shù)(mixed reality,MR)得到了迅速的發(fā)展,已經(jīng)在諸多領(lǐng)域得到應(yīng)用。

AR技術(shù)是將計(jì)算機(jī)產(chǎn)生的三維虛擬對(duì)象與真實(shí)世界相融合,將虛擬的信息和真實(shí)的環(huán)境集成起來,提升用戶對(duì)現(xiàn)實(shí)世界的感知和認(rèn)識(shí),是一種先進(jìn)的虛擬現(xiàn)實(shí)技術(shù),具有虛實(shí)結(jié)合、交互性好、真實(shí)感強(qiáng)等特點(diǎn)[1-8]。工程訓(xùn)練教學(xué)的特點(diǎn)在于實(shí)踐場(chǎng)景的真實(shí)性、教學(xué)形式的多樣化以及強(qiáng)調(diào)學(xué)生動(dòng)手操作,如果將AR技術(shù)引入實(shí)訓(xùn)項(xiàng)目中,將會(huì)提升學(xué)生的參與感和學(xué)習(xí)興趣。

目前,AR技術(shù)在教學(xué)中的應(yīng)用主要體現(xiàn)在展示內(nèi)容和引導(dǎo)操作的教學(xué)內(nèi)容建設(shè)方面,例如將AR技術(shù)應(yīng)用于虛擬裝配過程[9-10]。一些教學(xué)實(shí)例都很好地利用AR技術(shù)的特點(diǎn),提高了學(xué)習(xí)的趣味性和吸引力,但是缺乏與真實(shí)環(huán)境交互的功能,學(xué)生仍然是以“看”為主。因此,對(duì)于AR技術(shù)在工程訓(xùn)練教學(xué)中的應(yīng)用,需要提出一種新的、可行的教學(xué)新方法,將虛擬現(xiàn)實(shí)技術(shù)緊密地應(yīng)用于現(xiàn)場(chǎng)實(shí)踐教學(xué)。

工程圖紙是重要的機(jī)械加工工藝交流媒介,用來表達(dá)和記錄設(shè)計(jì)人員的設(shè)計(jì)意圖和加工信息。在工程訓(xùn)練車削加工實(shí)訓(xùn)教學(xué)中,學(xué)生需要掌握一定的專業(yè)知識(shí)和技能,才能夠正確地識(shí)圖并操作車床進(jìn)行零件加工。筆者應(yīng)用AR技術(shù)進(jìn)行輔助車削加工實(shí)訓(xùn)教學(xué),將傳統(tǒng)的平面工程圖紙進(jìn)行立體化呈現(xiàn),建立了一種包含相關(guān)理論知識(shí)、工藝規(guī)程和安全應(yīng)知等教學(xué)內(nèi)容的AR輔助工程訓(xùn)練教學(xué)模式,開發(fā)了手機(jī)移動(dòng)端APP,取得了較好的教學(xué)效果。

1 AR工程圖紙的應(yīng)用

AR技術(shù)的核心是基于機(jī)器視覺的三維注冊(cè)技術(shù)，基于標(biāo)識(shí)的注冊(cè)技術(shù)需要在真實(shí)環(huán)境中添加人工標(biāo)記?；谧匀惶卣鞯娜S注冊(cè)技術(shù)是根據(jù)真實(shí)環(huán)境中的某些自然特征,提取相應(yīng)的關(guān)鍵點(diǎn)作為識(shí)別特征點(diǎn),與數(shù)據(jù)庫(kù)中預(yù)存的特征點(diǎn)匹配,從而實(shí)現(xiàn)三維注冊(cè)。不同于其他AR識(shí)別對(duì)象,工程圖紙是根據(jù)國(guó)家標(biāo)準(zhǔn)或行業(yè)標(biāo)準(zhǔn)繪制的,因而無法通過添加特殊的標(biāo)記以增強(qiáng)視覺識(shí)別能力,所以只能采用基于自然特征的跟蹤注冊(cè)方法。

1.1 三維注冊(cè)實(shí)現(xiàn)

三維注冊(cè)的目的是要確定所添加的虛擬對(duì)象在真實(shí)空間坐標(biāo)系中的位置,從而將虛擬對(duì)象實(shí)時(shí)、正確地顯示在顯示器上,實(shí)現(xiàn)虛擬對(duì)象與真實(shí)環(huán)境的結(jié)合,而其主要工作就是確定世界坐標(biāo)系、攝像機(jī)坐標(biāo)系和圖像平面坐標(biāo)系之間的關(guān)系,相關(guān)變換關(guān)系如圖1所示。

圖1 三維注冊(cè)坐標(biāo)系變換

三維空間中一點(diǎn)P在世界坐標(biāo)系中的坐標(biāo)為(xw,yw,zw),在攝像機(jī)坐標(biāo)系中的坐標(biāo)為(xc,yc,zc),在圖像平面坐標(biāo)系中的坐標(biāo)為(u,v)。點(diǎn)P從世界坐標(biāo)系轉(zhuǎn)換為圖像平面坐標(biāo)系的過程可由式(1)和(2)進(jìn)行表示：

1.2 區(qū)域識(shí)別方法

目前，通用的AR識(shí)別方法是使用算法檢測(cè)和追蹤采集平面圖像特征點(diǎn),與目標(biāo)資源數(shù)據(jù)庫(kù)里的特征點(diǎn)進(jìn)行匹配,以實(shí)現(xiàn)三維注冊(cè)。因此,適合AR技術(shù)的圖片需滿足圖片細(xì)節(jié)豐富、特征點(diǎn)明顯、圖像對(duì)比度強(qiáng)、重復(fù)圖案少等技術(shù)要求。但是,在實(shí)際生產(chǎn)和工程訓(xùn)練中,工程圖紙一般是黑白打印,缺乏色彩細(xì)節(jié),線條和尺寸標(biāo)注較多,不容易提取出特征點(diǎn),尤其在同類零件、不同尺寸的圖紙中,零件相似度高。如果對(duì)整張圖紙進(jìn)行AR識(shí)別,誤識(shí)別率將比較高,甚至無法識(shí)別。所以提出一種將圖紙圖形進(jìn)行區(qū)域劃分、并按區(qū)域進(jìn)行識(shí)別的方法,以滿足實(shí)訓(xùn)項(xiàng)目的AR實(shí)現(xiàn)要求。

工程圖紙一般由3部分組成:圖框、標(biāo)題欄和零件圖形,用區(qū)域識(shí)別方法進(jìn)行AR識(shí)別時(shí),首先要識(shí)別圖框以確認(rèn)圖紙類型,然后識(shí)別標(biāo)題欄以確認(rèn)圖紙信息,最后識(shí)別零件圖形以確認(rèn)零件類型。只有三者均識(shí)別正確,才算圖紙整體特征匹配成功。

在進(jìn)行AR識(shí)別時(shí),設(shè)置一個(gè)圖紙識(shí)別閾值α,只有特征匹配度大于α?xí)r才會(huì)顯示匹配成功,且在一定范圍下閾值α是有效的。α值過小會(huì)增加誤識(shí)別率；α值過大則會(huì)增加識(shí)別時(shí)間、降低識(shí)別效率。圖2所示為車削加工實(shí)訓(xùn)中使用的階梯軸零件圖以及將零件圖整體識(shí)別轉(zhuǎn)化為區(qū)域識(shí)別及融合識(shí)別后的效果。

圖2 階梯軸圖紙區(qū)域識(shí)別

采用區(qū)域識(shí)別方法可以將工程圖紙中標(biāo)題欄和圖形分別進(jìn)行識(shí)別,再進(jìn)行融合識(shí)別,能有效降低識(shí)別誤差、避免重復(fù)識(shí)別,從而提高對(duì)工程圖紙的識(shí)別正確率和準(zhǔn)確度。

2 AR輔助工程訓(xùn)練教學(xué)模式

2.1 AR教學(xué)認(rèn)知模型

在虛擬現(xiàn)實(shí)技術(shù)實(shí)驗(yàn)教學(xué)中,從技術(shù)層面上講,學(xué)生在虛擬情境下的知識(shí)轉(zhuǎn)移度主要取決于沉浸度、認(rèn)知度和交互度,通常稱此為AR三維度[11]。在工程訓(xùn)練教學(xué)中,每個(gè)維度又包含層遞進(jìn)式內(nèi)容。

沉浸度主要包含環(huán)境沉浸和多元感知。環(huán)境沉浸是指學(xué)生在實(shí)訓(xùn)過程中完全專注于現(xiàn)場(chǎng)環(huán)境和虛擬場(chǎng)景；多元感知是指學(xué)生從視覺、聽覺、觸覺等產(chǎn)生多元化感官體驗(yàn)。

認(rèn)知度主要包含模型構(gòu)建和信息傳遞。模型構(gòu)建是指學(xué)生能夠在虛實(shí)結(jié)合的環(huán)境下主動(dòng)進(jìn)行探索和構(gòu)建；信息傳遞是指借助于虛擬現(xiàn)實(shí)環(huán)境向?qū)W生傳遞知識(shí)和信息。

交互度主要包含設(shè)備交互和圖紙交互。設(shè)備交互是指學(xué)生在實(shí)訓(xùn)過程中與加工設(shè)備的交互；圖紙交互是指學(xué)生通過圖紙掌握實(shí)訓(xùn)內(nèi)容和操作指導(dǎo)。

AR教學(xué)認(rèn)知模型(見圖3)融合了沉浸度、認(rèn)知度和交互度,能夠最大化地克服傳統(tǒng)教學(xué)環(huán)境的限制,有利于提高學(xué)生的學(xué)習(xí)興趣和求知潛能。將AR技術(shù)引入實(shí)驗(yàn)教學(xué)是對(duì)目前工程訓(xùn)練教學(xué)體系的補(bǔ)充和增強(qiáng)。

圖3 AR教學(xué)認(rèn)知模型

2.2 移動(dòng)端AR學(xué)習(xí)

隨著移動(dòng)互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展,教學(xué)系統(tǒng)也逐漸走向了網(wǎng)絡(luò)信息化和移動(dòng)應(yīng)用化,智能手機(jī)或平板電腦的使用也越來越普遍。因此,工程訓(xùn)練教學(xué)也需要對(duì)原有的教學(xué)模式進(jìn)行改進(jìn)和升級(jí),在移動(dòng)端上開發(fā)有針對(duì)性的工程訓(xùn)練教學(xué)APP,讓學(xué)生在工程訓(xùn)練過程中體驗(yàn)并應(yīng)用新技術(shù),有利于提高學(xué)習(xí)質(zhì)量和改善教學(xué)效果。結(jié)合上述車削加工實(shí)訓(xùn)中AR輔助圖紙識(shí)別應(yīng)用,設(shè)計(jì)了一套基于移動(dòng)端的AR學(xué)習(xí)流程,如圖4所示。

圖4 移動(dòng)端AR學(xué)習(xí)流程圖

在AR學(xué)習(xí)流程中,學(xué)生需要先使用智能手機(jī)或平板電腦等設(shè)備掃描指定的二維碼,下載實(shí)訓(xùn)項(xiàng)目適用的APP程序,然后對(duì)車削實(shí)訓(xùn)中相關(guān)的零件圖進(jìn)行現(xiàn)場(chǎng)掃描,系統(tǒng)會(huì)自動(dòng)識(shí)別零件的虛擬化模型,學(xué)生可以對(duì)模型進(jìn)行手指操控。在虛擬化模型加載的過程中,對(duì)于該零件相關(guān)理論知識(shí)及影像、工藝規(guī)程和安全應(yīng)知等都可以進(jìn)行查看,方便學(xué)生在車削加工過程中進(jìn)行操作。結(jié)合立體模型更能夠幫助學(xué)生加深對(duì)切削加工理論知識(shí)的理解和認(rèn)識(shí)。

3 結(jié)語

在虛擬現(xiàn)實(shí)技術(shù)快速發(fā)展的背景下,將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于實(shí)踐教學(xué)中,建立起適用于工程訓(xùn)練的AR鋪助教學(xué)模式。該模式將虛擬內(nèi)容與實(shí)際環(huán)境相結(jié)合、突出真實(shí)體驗(yàn)感,通過強(qiáng)交互方式拉近理論知識(shí)和實(shí)踐內(nèi)容距離。學(xué)生可以通過手機(jī)APP進(jìn)行掃描識(shí)別和手指操控,增強(qiáng)了工程訓(xùn)練實(shí)踐教學(xué)的吸引力,提升了學(xué)生的學(xué)習(xí)興趣,也有助于教師更好地進(jìn)行現(xiàn)場(chǎng)授課。此外,學(xué)生還可以在實(shí)訓(xùn)現(xiàn)場(chǎng)進(jìn)行AR輔助學(xué)習(xí),可以在課余時(shí)間自行打印工程圖紙,隨時(shí)查看圖紙信息和相關(guān)教學(xué)內(nèi)容,加強(qiáng)對(duì)知識(shí)技能的掌握和經(jīng)驗(yàn)的累積。由于AR技術(shù)的可擴(kuò)展性,該輔助工訓(xùn)教學(xué)模式不但可以應(yīng)用于車削加工工程訓(xùn)練教學(xué)中,還能夠延伸應(yīng)用于其他類型的實(shí)訓(xùn)教學(xué)中。對(duì)于不同類型的實(shí)訓(xùn)AR教學(xué)資源的建設(shè),需要根據(jù)實(shí)訓(xùn)教學(xué)內(nèi)容進(jìn)行研究和探索。

References)

[1] Mura M D, Dini G, Failli F. An Integrated Environment Based on Augmented Reality and Sensing Device for Manual Assembly Workstations[J].Procedia Cirp, 2016, 41:340-345.

[2] Martín-Gutiérrez J, Fabiani P, Benesova W, et al. Augmented Reality to Promote Collaborative and Autonomous Learning in Higher Education [J]. Computers in Human Behavior, 2014, 51(PB):752-761.

[4] 王巍,王志強(qiáng),趙繼軍,等.基于移動(dòng)平臺(tái)的增強(qiáng)現(xiàn)實(shí)研究[J].計(jì)算機(jī)科學(xué),2015(增刊2):510-519，549.

[5] Girbacia F. An Approach to Augmented Reality Technical Drawings [C]//Proceedings of the 2nd WSEAS International Conference on Sensors, and Signals and Visualization, Imaging and Simulation and Materials Science.2009: 27-29.

[6] 閆甲鵬,何漢武,陳和恩,等.基于移動(dòng)終端的增強(qiáng)現(xiàn)實(shí)虛實(shí)融合技術(shù)[J].中國(guó)科技論文,2015,10(16):1890-1893.

[7] 邸馗,于天彪,陳培媛,等.虛擬現(xiàn)實(shí)技術(shù)在機(jī)械工程實(shí)驗(yàn)教學(xué)中的應(yīng)用[J].實(shí)驗(yàn)技術(shù)與管理,2014,31(10):10-12.

[8] 倪曉赟,鄭建榮,周煒.增強(qiáng)現(xiàn)實(shí)系統(tǒng)軟件平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì),2009,30(9):2297-2300.

[9] 彭濤,李世其,王峻峰,等.基于增強(qiáng)人機(jī)交互技術(shù)的虛擬裝配[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2009,21(3):354-361.

[10] Paolis L T D, Ricciardi F, Dragoni A F, et al. An Augmented Reality Application for the Radio Frequency Ablation of the Liver Tumors [J].Lecture Notes in Computer Science, 2011(11):572-581.

[11] 劉德建,劉曉琳,張琰,等.虛擬現(xiàn)實(shí)技術(shù)教育應(yīng)用的潛力、進(jìn)展與挑戰(zhàn)[J].開放教育研究,2016,22(4):25-31.

Applications of augmented reality technique in lathing training teaching

He Fuben1, Liang Yande1, Zhang Hongzhe1, Wang Kexin1, Wu Tao2

(1. Engineering Training Center, Dalian University of Technology, Dalian 116024, China; 2. Dalian 1Tek Co., Ltd., Dalian 116085, China)

Applying the new progress of virtual simulation technology to engineering training teaching in colleges and universities, and according to the characteristics of practical teaching, an APP of augmented reality (AR) applicable to the mainstream mobile terminal operating system is developed and applied to the general lathe processing in the practical teaching segment. Through scanning and identifying the technical drawings of practical program and using fingers to control it, the students can conveniently see the virtual graphics of parts, related knowledge and its images in real time, realizing “Plate drawings to three-dimensional graphics.” It proposes and establishes an AR assistant engineering training mode including the relevant theoretical knowledge, the technical process and the security instruction.

augmented reality; virtual simulation; engineering training

10.16791/j.cnki.sjg.2017.03.032

2016-10-14

何福本(1984—),男,遼寧莊河，博士,助教,主要研究方向?yàn)闄C(jī)器人技術(shù)和虛擬現(xiàn)實(shí)技術(shù).

E-mail：hefuben@gmail.com

TG511；G642

B

1002-4956(2017)3-0127-03