華子荀

摘? 要 從體感技術(shù)、體感技術(shù)教學(xué)應(yīng)用入手進行研究綜述，在研究綜述和理論基礎(chǔ)指導(dǎo)下，選擇厲動的內(nèi)置插件Touchless

和Flash軟件開發(fā)并應(yīng)用厲動體感控制器的學(xué)習資源。選擇美國某州立大學(xué)展開案例研究，進行為期兩周的教學(xué)：第一周為開發(fā)的互動學(xué)習資源學(xué)習;第二周為利用體感控制器的Sculp-ting軟件進行3D模型建構(gòu)，并利用Form 1+機器進行3D打印。研究結(jié)果表明，厲動體感控制器及其學(xué)習資源能夠促進學(xué)生的學(xué)習表現(xiàn)，開展有效的STEAM實踐教學(xué)活動。該研究對于推動體感技術(shù)教學(xué)應(yīng)用、豐富體感技術(shù)支持的課堂學(xué)習活動具有重要的理論意義和實踐價值。

關(guān)鍵詞 體感技術(shù);厲動體感控制器;STEAM教育;學(xué)習資源;實踐教學(xué)項目;Flash;3D

中圖分類號：G652? ? 文獻標識碼：B

文章編號：1671-489X（2019）04-0012-05

Abstract This research focus on the aspects of gesture-based tech-nology and its teaching method. Based on the literature review and related theory， researcher apply the device of Leap Motion， the Touchless app， and Flash software in the process of development. For the case study， STEAM program has been chosen as the teachingframework. The period includes two weeks. The first weeks task is to apply the resources of interactive Leap Motion. The second weekstask is to teach students to construct virtual 3D model by the Sculp-ting app of Leap Motion， and to teach students printing the virtual 3D model by Form 1+ 3D printing machine. After case study， the researcher pointed out the conclusion that Leap Motions STEAM program can promote students learning performance and the active STEAM activities. The research not only can increase the resources and app of Leap Motion， but also help concrete the related theory of STEAM practice and gesture-based technology.

Key words gesture-based technology; Leap Motion gesture-based controller; STEAM education; learning resources; practical teaching project; Flash; 3D

1 前言

當前，移動計算、體感技術(shù)、3D打印技術(shù)等新一代信息技術(shù)逐步在課堂學(xué)習中得到廣泛應(yīng)用。體感技術(shù)（Gesture-

based Technology）是一種直接利用軀體動作、聲音、眼動等方式與周邊的裝置或環(huán)境互動，由機器對用戶的動作進行識別、解析并做出反饋的人機交互技術(shù)[1]。教育部在《教育信息化“十三五”規(guī)劃》中指出：“應(yīng)利用信息技術(shù)改造傳統(tǒng)教學(xué)中‘進不去、看不見、動不了、難再現(xiàn)的難題?！斌w感技術(shù)以其互動性、情境性、沉浸性的特點，在動作模仿、技能訓(xùn)練、情境演練、動態(tài)展示等方面，具有其他技術(shù)所不具備的優(yōu)勢。而且在課堂教學(xué)中應(yīng)用體感技術(shù)主要是解決兩方面問題：一是某些現(xiàn)象、模型、實驗在課堂教學(xué)中難以模擬再現(xiàn);二是傳統(tǒng)課堂中的實驗、活動存在明顯短缺[2]。所以，體感技術(shù)教學(xué)應(yīng)用，對于解決課堂教學(xué)重點、難點，改進學(xué)生的學(xué)習方式方面，具有獨特的重要作用。

2 研究綜述

體感技術(shù)? 體感技術(shù)是通過肢體運動即可實現(xiàn)人機交互的一種技術(shù)實現(xiàn)方式，一般通過慣性感測、光學(xué)感測和綜合感測三種途徑進行交互[1]。體感技術(shù)架構(gòu)由體感設(shè)備、體感軟件、現(xiàn)實設(shè)備、語音識別設(shè)備、手部數(shù)字化設(shè)備等組成[3]，具體的設(shè)備有數(shù)據(jù)手套、力矩球、觸覺和力覺反饋裝置、手持式交互設(shè)備等，基于這些設(shè)備能夠開展互動式教學(xué)應(yīng)用[4]。

體感技術(shù)支持的教學(xué)方法? 體感技術(shù)教學(xué)方面，體感技術(shù)能夠給予學(xué)生真實感受，所以在開展情境教學(xué)方面效果突出，教師可以利用體感技術(shù)進行實物演示、扮演體會等教學(xué)，幫助學(xué)生進行知識建構(gòu)[5];除此之外，技能訓(xùn)練、虛擬場景展示[6]、情境式教學(xué)、體驗式學(xué)習[7]都能夠激發(fā)學(xué)生的創(chuàng)造性思維，培養(yǎng)其創(chuàng)新能力[8]。體感技術(shù)也要與實體結(jié)合進行操控，從生活中提煉主題，以累進的方式加強程序的功能性[9]。

問題提出? 通過以上綜述可以發(fā)現(xiàn)，體感技術(shù)在支持課堂教學(xué)方面具有突出作用，因此，如何應(yīng)用體感技術(shù)優(yōu)點開展教學(xué)應(yīng)用，成為本研究的主要問題，具體包括：

1）如何開發(fā)適用于Leap Motion體感控制器的學(xué)習資源？

2）如何開展案例研究，證明體感技術(shù)具有顯著的教學(xué)效果？

3 Leap Motion體感控制器及其學(xué)習資源開發(fā)

Leap Motion體感控制器? 基于成本低廉、性能穩(wěn)定和使用方便三個特點，本研究體感技術(shù)選擇Leap Motion體感控制器。Leap Motion（厲動）是一款于2013年發(fā)布的體感控制設(shè)備，支持Windows、OS X和Linux等系統(tǒng)的使用，其優(yōu)點是可以迅速捕捉人手指及其手勢的動作實現(xiàn)人機交互，與同類設(shè)備相比，厲動體感控制器使用便捷，安裝簡易[10]。厲動體感控制器擁有兩個單色紅外攝像頭（IR）和三個LED攝像頭，允許學(xué)習者進行前后150°范圍內(nèi)的操作，活動距離在25～600毫米之間，具有較高的靈活性以及精準性。厲動體感控制器使用示意圖如圖1所示。

如圖2所示，厲動體感控制器具有優(yōu)于其他體感控制設(shè)備的優(yōu)點，它可以精確識別手指關(guān)節(jié)，如遠端指骨（Distal phalanges）、中間指骨（Intermediate phalanges）、近節(jié)指骨（Proximal phalanges）和掌骨（Metacarpals），允許更加精確的手勢操作[11]。厲動體感控制器基于紅外檢測技術(shù)，可檢測手部29塊骨頭、29個關(guān)節(jié)的復(fù)雜的手部動作，檢測精度高達1/100毫米。同時在150°的超寬幅空間中，可以利用厲動體感控制器在3D虛擬環(huán)境中進行各種手勢操作。厲動體感控制器的檢測幀速為每秒200幀，可以對快速的手部動作進行瞬時捕捉，實現(xiàn)體感技術(shù)與互動內(nèi)容的即時互動與反饋。

厲動體感控制器的學(xué)習資源開發(fā)? 本研究計劃實現(xiàn)的學(xué)習資源形式為利用控制器內(nèi)置插件Touchless for windows

進行體感控制，利用Flash軟件開發(fā)可點擊的互動模塊學(xué)習體感技術(shù)控制方法，學(xué)習基礎(chǔ)知識后應(yīng)用厲動的3D模型軟件制作虛擬3D模型，最后在案例研究中優(yōu)化模型進而3D打印模型。

如圖3所示，Touchless for windows應(yīng)用可以進行光標控制，靈活操作學(xué)習資源中的視頻模塊，為學(xué)習者提供了可懸空的虛擬觸摸屏，學(xué)習者只需抬起手或手指即可實現(xiàn)人機互動。同時能夠?qū)崿F(xiàn)用手指指向屏幕進行點擊，在空中滑動手指進行滾動，用單手或雙手進行縮放等功能。

應(yīng)用Flash CS5軟件進行可互動學(xué)習資源的開發(fā)，以HTML網(wǎng)頁的形式保存，能夠簡化操作。

在Flash中，使用ActionScript實現(xiàn)交互性。將每個視頻作為一個交互按鈕，學(xué)習者可以利用體感技術(shù)設(shè)備點擊按鈕實現(xiàn)人機交互的過程，交互按鈕的命令代碼如下所示：

【交互按鈕1】

addEventListener （MouseEvent.CLICK， clickListener1）：

Function clickLisener1 （event：MouseEvent）：void{

SoundMixer. stopALL（）;

gotoAndStop（“xxx”）;}

以上代碼即為點擊交互按鈕1，便執(zhí)行一個交互按鈕的命令。

之后對每一個知識進行嵌套，嵌套的模式即依據(jù)學(xué)習資源結(jié)構(gòu)進行編輯，在一個模塊之后加載外部文件，代碼如下：

Page1_mc.addEventListerner（MouseEvent. CLICK， page1

content）;

Function page1content （myevent：MouseEvent）：void{

Var myURL：URLRequest=new URLRequest （“交互按鈕1”）;

myLoader. Load（myURL）;

addChild（myLoader）;}

以上代碼通過創(chuàng)建一個偵聽器，檢測名為“page1_mc”

的對象上的鼠標點擊事件，實現(xiàn)播放交互模塊“page1.swf”

的目的。完成以上命令，即完成資源的開發(fā)，該資源以網(wǎng)頁HTML的形式進行互動，以適應(yīng)各種計算機平臺的使用。

體感技術(shù)學(xué)習資源的內(nèi)容設(shè)計? 體感技術(shù)學(xué)習資源包括3D建模軟件與體感控制器使用方法兩部分內(nèi)容。內(nèi)容設(shè)計包括菜單界面設(shè)計與模塊設(shè)計。

該學(xué)習資源的菜單界面設(shè)計首先將3D建模軟件的學(xué)習模塊與體感控制器的學(xué)習模塊進行區(qū)分，以幫助學(xué)生能夠按目的進行學(xué)習，在界面首行設(shè)計三個交互按鈕，即“開始”“3D建模軟件”“Leap Motion體感控制器”。其中“開始”即返回至主界面，“3D建模軟件”即進入與3D建模軟件相關(guān)的菜單界面，“Leap Motion體感控制器”即進入與厲動體感控制器相關(guān)的菜單界面。菜單界面中，學(xué)習資源按標號進行排序，學(xué)生既可以按順序進行自主學(xué)習，也可以按目的索引標號進行針對性學(xué)習。其中“3D建模軟件”模塊資源包括八個，“Leap Motion體感控制器”模塊資源包括七個。

學(xué)習模塊設(shè)計方面，在每一個模塊布局中均放置了說明文字、微課視頻窗口和交互按鈕。其中說明文字即該模塊的名稱;視頻窗口是將開發(fā)的微課視頻資源按照播放器的形式放入Flash中，便于學(xué)生觀看。如圖4所示，交互按鈕設(shè)計三個，分別是“主界面”“上一節(jié)”和“下一節(jié)”。其中“主界面”即返回至課堂學(xué)習資源的主界面，“上一節(jié)”即觀看當前視頻資源上一節(jié)的視頻資源，“下一節(jié)”即按照標號順序?qū)σ曨l資源進行觀看。在學(xué)習界面設(shè)計中，為保證學(xué)習者人機互動的流暢性，盡量將交互按鈕的范圍擴大，同時保證視頻窗口的比例，保證學(xué)習者能夠?qū)W習到視頻中的關(guān)鍵知識點。

4 基于美國某州立大學(xué)的STEAM實踐教學(xué)項目案例

美國某州立大學(xué)STEAM實踐教學(xué)項目? 本研究選擇美國某州立大學(xué)STEAM實踐教學(xué)項目作為體感技術(shù)學(xué)習應(yīng)用案例。該州立大學(xué)是一所以理工類專業(yè)為主要特色的美國公立大學(xué)，由于該學(xué)校教育類專業(yè)以STEAM教育為主，因此在科學(xué)、技術(shù)、工程類教學(xué)法和教學(xué)支撐工具上能夠為本研究提供便利的實驗條件。該項目基于州立大學(xué)教育學(xué)院的STEAM教學(xué)實踐開展，已經(jīng)對大學(xué)的學(xué)生、教師、訪問學(xué)者展開案例研究。

實驗?zāi)康? 本研究采用單組前后測對比實驗的方法，驗證該學(xué)習策略對促進學(xué)生的學(xué)習質(zhì)量和學(xué)習效果的有效性。將學(xué)習質(zhì)量界定為學(xué)生的課堂學(xué)習表現(xiàn);基于Clarke

（2008）對學(xué)習效果的詮釋，將學(xué)習效果界定為五項指標，包括學(xué)習動機、自主學(xué)習能力、協(xié)作學(xué)習能力、問題解決能力和創(chuàng)新性思維能力[11]，最后通過學(xué)習質(zhì)量、學(xué)習效果、指標評價來驗證本研究的結(jié)論。

實驗對象? 本研究選取大學(xué)的16名學(xué)生志愿者，進行為期兩周的準實驗研究（2016年5月16日至6月1日），同時向具有不同國家背景（美國、中國、韓國、墨西哥、巴西等）、專業(yè)背景（核能、航空航天、醫(yī)學(xué)、文學(xué)等）、層次背景（本科生、碩士、博士、博士后、訪問學(xué)者）的36名被調(diào)查者進行調(diào)查，以驗證應(yīng)用效果。

實驗過程? 該課程教學(xué)周期為兩周，第一周以學(xué)習互動資源為主。如圖5所示，基于厲動體感控制器，利用開發(fā)的“Leap Motion使用方法”Flash學(xué)習資源進行教學(xué)。利用厲動體感控制器可以對資源進行旋轉(zhuǎn)、縮放、查看等操作的學(xué)習，以促進學(xué)生對利用體感技術(shù)形成初步了解。在教學(xué)過程中，教師將兩個學(xué)生作為一組，利用體感控制器進行查看，并在之后的展示環(huán)節(jié)進行展示;完成展示部分，學(xué)生將根據(jù)該軟件和技術(shù)對教學(xué)法進行討論，以豐富STEAM教育中體感技術(shù)應(yīng)用的教學(xué)法。

第二周以工程課內(nèi)容為主，選擇厲動體感控制器和Form1+3D打印機作為教學(xué)工具，利用Sculpting軟件制作三維模型，讓學(xué)生熟悉三維建模與3D打印制作流程。如圖6所示，利用Sculpting軟件允許學(xué)生進行3D模型的建構(gòu)，在建構(gòu)過程中學(xué)生通過厲動體感控制器對模型進行相關(guān)操作，完成3D模型后將導(dǎo)出的STL文件與Form 1+打印機連接，利用3D打印機將建模作品實體化，如圖7所示。此課程目的旨在向?qū)W生介紹體感技術(shù)與3D打印技術(shù)相結(jié)合的教學(xué)過程，并促進學(xué)生操作體感技術(shù)進行建模以及操作3D打印機制作模型的過程。

實驗結(jié)果

①學(xué)習表現(xiàn)評價。教師對學(xué)生的學(xué)習表現(xiàn)進行評價，采取前后測對比實驗的方法，在學(xué)生參與學(xué)習之前進行調(diào)查，確定學(xué)生的初始水平，在學(xué)習結(jié)束后進行后測評定，該評定結(jié)果為教師根據(jù)學(xué)生在課堂中的表現(xiàn)以及任務(wù)完成情況給出，評定等級為5級，包括A+、A、B+、B、C，分別對應(yīng)5、4、3、2、1，采用IBM SPSS 22對學(xué)生的學(xué)習成績進行分析，采用單樣本t檢驗的方法，首先提出假設(shè)H0，即研究對象前后測成績無顯著差異，分析后得到學(xué)生前后測成績均值如表1所示。

表中p=0.00，小于0.05，故拒絕原假設(shè)H0，即拒絕單組前后測成績無顯著差異。驗證得出結(jié)論，學(xué)生在參與以體感技術(shù)支持學(xué)習模式下的教學(xué)活動后，其學(xué)習質(zhì)量得到明顯提高。

②學(xué)習態(tài)度評價。學(xué)習態(tài)度評價調(diào)查分別向16名學(xué)生和36名調(diào)查者展開，根據(jù)學(xué)習態(tài)度子指標設(shè)計學(xué)習態(tài)度調(diào)查量表，該量表為五維單向量表，在課程結(jié)束后向?qū)W生發(fā)放，利用F檢驗得到結(jié)果，F(xiàn)值計算公式如下：

其中，F(xiàn)值以大于0.5為標志，解釋為回答者對該項表示肯定。a為認為“很好”的人數(shù)，b為認為“較好”的人數(shù)，c為認為“中等”的人數(shù)，d為認為“較差”的人數(shù)，e為認為“很差”的人數(shù)，n為總?cè)藬?shù)。通過F檢驗，得到五項能力的均值如表2所示。

5 結(jié)語

本研究從體感技術(shù)、體感技術(shù)教學(xué)應(yīng)用方面入手，進行研究綜述，在研究綜述和理論基礎(chǔ)指導(dǎo)下，選擇厲動的內(nèi)置插件Touchless和Flash軟件開發(fā)并應(yīng)用厲動體感控制器的學(xué)習資源。選擇美國某州立大學(xué)展開案例研究，進行為期兩周的教學(xué)：第一周為開發(fā)的互動學(xué)習資源學(xué)習;第二周為利用體感控制器的Sculpting軟件進行3D模型建構(gòu)，并利用Form 1+機器進行3D打印。課程結(jié)束后，通過對16名學(xué)生和36名觀察者的調(diào)查得到相關(guān)數(shù)據(jù)：學(xué)生的前測成績均值為2.500 0，后測成績均值為4.687 5，p值為0（0<0.05），表明厲動體感控制器及其學(xué)習資源能夠提高學(xué)生的學(xué)習表現(xiàn)。學(xué)習態(tài)度的調(diào)查結(jié)果為：學(xué)習動機均值（F1=0.90）、自主學(xué)習能力均值（F2=0.90）、協(xié)作學(xué)習能力均值（F3=0.78）、問題解決能力均值（F4=0.82）、創(chuàng)新性思維能力均值（F5=0.88）都超過均值0.5，表明學(xué)生和觀察者都認同厲動體感控制器及其學(xué)習資源的教學(xué)效果。通過以上數(shù)據(jù)表明，厲動體感控制器及其學(xué)習資源能夠開展有效的STEAM實踐教學(xué)活動，對于推動體感技術(shù)教學(xué)應(yīng)用、豐富課堂學(xué)習活動和促進信息技術(shù)與教育教學(xué)深度融合，具有重要的理論意義和實踐價值。

參考文獻

[1]李青，王青.體感交互技術(shù)在教育中的應(yīng)用現(xiàn)狀述評[J].遠程教育雜志，2015（1）：48-56.

[2]CAI S， WANG X， Chiang F K. A case study of AugmentedReality simulation system application in a chemistrycourse[J].Computers in Human Behavior，2014（37）：31-40.

[3]鮑禮銘.基于虛擬現(xiàn)實技術(shù)在教育系統(tǒng)中的運用[J].電子測試，2015（3X）：130-132.

[4]葉裴雷.虛擬現(xiàn)實技術(shù)及應(yīng)用分析[J].電子技術(shù)與軟件工程，2015（16）：44.

[5]葛萱，王清.虛擬現(xiàn)實技術(shù)在教學(xué)中的應(yīng)用模式探析[J].中國醫(yī)學(xué)教育技術(shù)，2007，21（3）：198-201.

[6]姬洪強.淺談虛擬現(xiàn)實技術(shù)在學(xué)科教學(xué)中的應(yīng)用[J].中國現(xiàn)代教育裝備，2008（3）：46-47.

[7]董麗，陳仕品.體感技術(shù)：拓展教學(xué)方式改革的新途徑[J].軟件導(dǎo)刊·教育技術(shù)，2015（7）：93-95.

[8]朱海，李瑞芬，趙輝.談虛擬現(xiàn)實技術(shù)及實踐教學(xué)的虛擬化[J].現(xiàn)代遠距離教育，2005（3）：64-66.

[9]秦賽玉.Kinect2Scratch：嘗試以更自然的方式對話機器[J].中國信息技術(shù)教育，2014（1）：64-67.

[10]Potter L E， Araullo J， Carter L. The Leap Motion controller： a view on sign language[M]//OzCHI 13 Proceedings of the 25th Australian Computer-Human Interaction Conference： Augmentation， Application， Innovation， Collaboration.2013：175-178.

[11]Carmen A G D Olmo. Study and analysis of the LeapMotion sensor and the Software Development Kit（SDK） for the implementation of visual Human Computer Interfaces[DB/OL].http：//oa.upm.es/37299/7/PFC_CARMEN_ALABART_GUTIERREZ_DEL_OLMO_2015.pdf.