邢海風(fēng)

摘要：學(xué)習(xí)分析技術(shù)已經(jīng)廣泛運(yùn)用于課堂教學(xué)各個(gè)層面，手勢(shì)計(jì)算緊密聯(lián)系實(shí)踐教學(xué)環(huán)節(jié)。運(yùn)用學(xué)習(xí)分析技術(shù)，準(zhǔn)確把握學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，搭建了基于Kinect的3D手勢(shì)計(jì)算環(huán)境，對(duì)人手的復(fù)雜運(yùn)動(dòng)形態(tài)進(jìn)行捕捉、分割、追蹤與識(shí)別，并與實(shí)際進(jìn)行對(duì)比驗(yàn)證。闡述了3D手勢(shì)計(jì)算的內(nèi)涵與特征，論證了其應(yīng)用于教育的理論與實(shí)踐基礎(chǔ)，為進(jìn)一步改進(jìn)課堂教學(xué)策略，推動(dòng)理論知識(shí)與教學(xué)實(shí)踐相融合提出了建議。

關(guān)鍵詞：手勢(shì)計(jì)算；學(xué)習(xí)分析技術(shù)；教學(xué)實(shí)踐

DOIDOI：10.11907/rjdk.172940

中圖分類(lèi)號(hào)：G434

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2018）008-0219-04

英文摘要Abstract：Current， learning analytics technology has been widely used in all aspects of classroom teaching. Gestures computing is closely connected with teaching links. First of all， this paper expounds the connotation and characteristics of 3D gesture to computing and demonstrates its application in the education theory and practice. By the application of the learning analytics technology to accurately grasp the status in the field of learning， we set up a computing environment based on the 3D gesture from Kinect to capture， segmentate， track and identify the complex movement forms of a man's hand， and the actual results were compared with reality. The strategies of how to further improve classroom teaching are also proposed to promote integration of theory with teaching practice.

英文關(guān)鍵詞Key Words：3D gesture-based computing；learning analytics technology；teaching practical

0 引言

學(xué)習(xí)分析技術(shù)在教學(xué)領(lǐng)域的作用日漸突出，特別是對(duì)實(shí)踐教學(xué)環(huán)節(jié)中的一些數(shù)據(jù)分析更為清晰，能更多視角地反饋教學(xué)質(zhì)量，有效實(shí)施教學(xué)活動(dòng)的預(yù)警與監(jiān)控，能為分層次教學(xué)建立精準(zhǔn)的個(gè)性化服務(wù)模型。

2011年“學(xué)習(xí)分析與知識(shí)國(guó)際學(xué)術(shù)會(huì)議”，第一次提出以學(xué)習(xí)數(shù)據(jù)的測(cè)量、收集、分析及報(bào)告為依據(jù)，解析與改善學(xué)習(xí)環(huán)境。目前，學(xué)習(xí)分析已成為炙手可熱的研究領(lǐng)域，掀起了教育信息化新浪潮[1]。

1 學(xué)習(xí)分析技術(shù)相關(guān)概念

學(xué)習(xí)分析技術(shù)是指以提高學(xué)習(xí)效果和質(zhì)量為目標(biāo)，對(duì)學(xué)習(xí)系統(tǒng)中分析與處理后的海量數(shù)據(jù)進(jìn)行解讀，實(shí)現(xiàn)數(shù)據(jù)可視化，獲得學(xué)習(xí)狀態(tài)的預(yù)測(cè)和教學(xué)過(guò)程的干預(yù)。學(xué)習(xí)分析技術(shù)不僅將優(yōu)化教學(xué)資源，改進(jìn)教學(xué)質(zhì)量，而且為優(yōu)化教學(xué)管理、改善教學(xué)環(huán)境提供了精準(zhǔn)數(shù)據(jù)支持，正如喬納森[2]所言：“技術(shù)的發(fā)展刺激了研究者和教育實(shí)踐者去拓展學(xué)習(xí)的概念和開(kāi)展學(xué)習(xí)環(huán)境的設(shè)計(jì)?！?/p>

2 手勢(shì)計(jì)算相關(guān)概念

Dan Saffer[3]將手勢(shì)定義為“在不借助任何輸入設(shè)備的情況下，能被數(shù)字化系統(tǒng)感知并反饋的任意身體運(yùn)動(dòng)”。手勢(shì)是一種符合人類(lèi)日常習(xí)慣的交互手段，現(xiàn)實(shí)生活中的交流通常會(huì)輔以手勢(shì)來(lái)表達(dá)特定的情感或傳遞某些信息[4]。3D手勢(shì)計(jì)算起初用于虛擬現(xiàn)實(shí)環(huán)境下用戶(hù)與三維對(duì)象的互動(dòng)，典型的交互任務(wù)包括導(dǎo)航、選擇、操控以及系統(tǒng)控制[5]。

手勢(shì)計(jì)算（Gesture-Based Computing，也稱(chēng)基于手勢(shì)的計(jì)算），屬于自然用戶(hù)界面領(lǐng)域的研究課題，強(qiáng)調(diào)用戶(hù)使用自己的身體直接作為輸入設(shè)備，具體指“通過(guò)指尖、人手、手臂以及身體等的運(yùn)動(dòng)與計(jì)算機(jī)發(fā)生的自然交互”[6]。

2.1 手勢(shì)計(jì)算技術(shù)模型

3D手勢(shì)計(jì)算起初用于虛擬現(xiàn)實(shí)環(huán)境下用戶(hù)與三維對(duì)象的互動(dòng)，典型的交互任務(wù)包括導(dǎo)航、選擇、操控以及系統(tǒng)控制[7]，3D手勢(shì)計(jì)算建立了自由手勢(shì)的完整規(guī)則[8]。手勢(shì)計(jì)算有多種技術(shù)模型，隱馬爾科夫HMM技術(shù)較為成功的案例是微軟的Kinect捕捉用戶(hù)的動(dòng)作游戲平臺(tái)。隱馬爾科夫HMM模型將采樣與參考模型集的似然度比較，判斷最大值從而確定實(shí)驗(yàn)樣本的類(lèi)別。

用戶(hù)的動(dòng)態(tài)手勢(shì)識(shí)別，先根據(jù)Kinect捕捉掌心運(yùn)行軌跡，再以其切線(xiàn)角度為坐標(biāo)，采用隱馬爾科夫模型對(duì)動(dòng)態(tài)手勢(shì)進(jìn)行有效采集。隱馬爾可夫模型非常適合描述序列模型，尤其適合上下文相關(guān)場(chǎng)合[9]。

2.2 手勢(shì)計(jì)算基本原理

手勢(shì)計(jì)算在實(shí)踐教學(xué)環(huán)節(jié)的應(yīng)用是一項(xiàng)新探索。學(xué)習(xí)者之所以能通過(guò)3D手勢(shì)計(jì)算理解認(rèn)知領(lǐng)域涉及的復(fù)雜內(nèi)容，潛在機(jī)制就是借助身體經(jīng)驗(yàn)的實(shí)體表征，擴(kuò)展大腦對(duì)這些抽象知識(shí)的概念圖示[10]。系統(tǒng)設(shè)計(jì)幾個(gè)關(guān)鍵點(diǎn)如下：

2.2.1 手勢(shì)捕捉

系統(tǒng)使用Kinect for Windows作為手勢(shì)捕捉工具，與Kinect for XBOX版本相比，它的near mode模式在0.4～0.8m內(nèi)仍可獲得穩(wěn)定的深度圖像，滿(mǎn)足用戶(hù)手勢(shì)軌跡要求。此外，Kinect搭配了追焦技術(shù)，底座馬達(dá)會(huì)隨人手位置的移動(dòng)而適當(dāng)轉(zhuǎn)動(dòng)。當(dāng)手勢(shì)運(yùn)動(dòng)時(shí)，Kinect機(jī)身上的3個(gè)鏡頭同時(shí)工作，減少光照不佳、變化強(qiáng)烈因素的干擾，并借助SDK的核心NUI API實(shí)現(xiàn)彩色圖像和深度圖像的捕捉。

（1）中間鏡頭是一個(gè)常見(jiàn)的RGB Camera，即通常所說(shuō)的彩色攝像頭，它以30ftps的速度捕捉分辨率為640×480的彩色圖像，這些圖像以Kinect SDK自定義的PlanerImage格式存儲(chǔ)。系統(tǒng)運(yùn)用Kinect SDK存儲(chǔ)的大量訓(xùn)練數(shù)據(jù)，通過(guò)彩色圖像估算身體各部分所處位置，判定目標(biāo)用戶(hù)身份，并確保不會(huì)出現(xiàn)因衣著、人物、造型不同而產(chǎn)生的錯(cuò)誤。

（2）左右兩邊分別為IR projector（紅外線(xiàn)發(fā)射器）和IR Camera（紅外線(xiàn)CMOS攝像頭），共同構(gòu)成3D Depth Sensor（3D深度傳感器）。IR projector發(fā)出紅外線(xiàn)并均勻地投射到整個(gè)Kinect的可視范圍內(nèi)，IR Camera接收反射光線(xiàn)獲得圖像的一個(gè)“深度場(chǎng)”，這個(gè)過(guò)程模擬人眼立體成像過(guò)程，兩個(gè)攝像頭以30ftps的速度相互配合捕捉用戶(hù)動(dòng)作，記錄身體各部分的三維數(shù)據(jù)，以用戶(hù)面對(duì)方向?yàn)榛鶞?zhǔn)，X、Y、Z的軸向指示如圖1所示。X軸正軸向右，Y軸正軸向上，Z軸正軸指向Kinect sensor，Z軸信息代表人與Kinect鏡頭的距離。Kinect SDK對(duì)這組攝像頭獲取的三維數(shù)據(jù)進(jìn)行計(jì)算，處理后產(chǎn)生深度圖像，用于手勢(shì)分割階段獲取用戶(hù)雙手的動(dòng)作信息。深度圖像本質(zhì)是一個(gè)256灰階的單色圖，通過(guò)黑白光譜方式表示人與Kinect的距離：純黑代表無(wú)窮遠(yuǎn)，純白代表無(wú)窮近，黑白間的灰色對(duì)應(yīng)人手各部分到Kinect的真實(shí)距離。

2.2.2 手勢(shì)分割

手勢(shì)分割指消除背景噪音的干擾，將待檢測(cè)的身體部位從背景圖像中提取出來(lái)，手勢(shì)分割的好壞直接影響到后續(xù)識(shí)別效果。由于本系統(tǒng)需要分割出手指的精確信息以識(shí)別出手指的軌跡，故將人手定義為前景，人臉、衣物等部分定義為背景，具體步驟如圖2所示。

（1）手形分割。根據(jù)Kinect之前捕獲的深度圖像，對(duì)人手與背景的像素點(diǎn)進(jìn)行不同標(biāo)記，人手的標(biāo)記索引號(hào)為PlayerIndex。Kinect SDK已經(jīng)具備了骨骼識(shí)別功能，即提供左右手關(guān)節(jié)點(diǎn)的三維位置，當(dāng)PlayerIndex>0時(shí)，代表該像素點(diǎn)屬于人手部分，完成了手形分割。

（2）手部輪廓分割。對(duì)得到的手形區(qū)域進(jìn)行細(xì)致分割，目的是識(shí)別手部輪廓，方法是以用戶(hù)的右手為對(duì)象，設(shè)置特定的顏色閾值，在深度圖上進(jìn)行逐點(diǎn)遍歷，當(dāng)深度圖像上兩個(gè)相鄰像素點(diǎn)的顏色值居于閾值兩側(cè)且差別較大時(shí)，這兩個(gè)像素點(diǎn)的中間便是手形輪廓。

（3）指尖分割。將得到的手形輪廓上的點(diǎn)存儲(chǔ)到數(shù)組中，用K-curvature算法計(jì)算任意一點(diǎn)的近似曲率，即對(duì)任意輪廓上的J點(diǎn)point（J），計(jì)算point（J）和point（J-K）之間的向量與point（J）和point（J+K）之間向量的夾角。若輪廓線(xiàn)上某點(diǎn)的曲率過(guò)大時(shí)，代表該點(diǎn)是尖峰點(diǎn)，即手指指尖。

2.2.3 手勢(shì)追蹤

由于手勢(shì)是一個(gè)動(dòng)態(tài)的過(guò)程，相鄰兩幀圖像中手勢(shì)的位置表現(xiàn)出一定的鄰近性，因此在分割出某一幀圖像中的手勢(shì)時(shí)，需要借助手勢(shì)追蹤過(guò)程：①對(duì)右手進(jìn)行持續(xù)定位；②精確預(yù)測(cè)下一幀圖像中手的位置，以有效降低重復(fù)手勢(shì)分割所帶來(lái)的數(shù)據(jù)計(jì)算量。手勢(shì)追蹤階段經(jīng)“匹配—修正—預(yù)測(cè)”這一循環(huán)實(shí)現(xiàn)：首先采取系統(tǒng)中已有的手勢(shì)特征參數(shù)匹配求解當(dāng)前圖像中手勢(shì)的位置，也就是運(yùn)用之前一幀手勢(shì)分割結(jié)果計(jì)算運(yùn)動(dòng)指尖的當(dāng)前區(qū)域，然后用獲取的最新手勢(shì)信息對(duì)系統(tǒng)中的手勢(shì)特征參數(shù)進(jìn)行修正并實(shí)時(shí)更新，最后根據(jù)系統(tǒng)參數(shù)預(yù)測(cè)下一幀圖像中手勢(shì)的位置。當(dāng)一輪循環(huán)結(jié)束后，預(yù)測(cè)結(jié)果傳送至下一幀圖像的匹配過(guò)程，開(kāi)始新一輪手勢(shì)追蹤。

三維空間中手勢(shì)追蹤實(shí)質(zhì)是對(duì)右手所勾畫(huà)的軌跡進(jìn)行實(shí)時(shí)監(jiān)測(cè)，軌跡所代表的動(dòng)態(tài)手勢(shì)即為手指運(yùn)動(dòng)軌跡。

2.2.4 手勢(shì)識(shí)別

手勢(shì)識(shí)別是計(jì)算機(jī)理解人類(lèi)手勢(shì)從而完成一系列交互體驗(yàn)的過(guò)程。Kinect是使用CMOS紅外感應(yīng)器采集用戶(hù)骨骼圖像與全鏡頭下的深度圖像、結(jié)構(gòu)光與光源定標(biāo)為Kinect的核心技術(shù)。結(jié)構(gòu)光技術(shù)為獲得對(duì)象3D坐標(biāo)，使用激光散斑（Laser Speckle）在整個(gè)對(duì)象照射，光源射出具有三維z軸深度的“體編碼”。當(dāng)激光發(fā)射到相對(duì)粗糙的手指表面時(shí)形成高度隨機(jī)的衍射散斑點(diǎn)，由于距離不同，圖像位于空間散斑點(diǎn)也不相同，這為整個(gè)空間賦上標(biāo)記，從而確保任何物體進(jìn)入到照射空間并發(fā)生位移時(shí)，都能記錄物體的位置信息。Kinect光源定標(biāo)技術(shù)則強(qiáng)調(diào)測(cè)量之前對(duì)原始空間中散斑圖案記錄進(jìn)行光源定標(biāo)。假定用戶(hù)的位移距離攝像頭0.4～0.8m，則每隔50mm取一個(gè)參考平面，定標(biāo)后存儲(chǔ)30幅散斑圖像，測(cè)量過(guò)程中拍攝一張待測(cè)場(chǎng)景散斑圖案，然后將此圖按照時(shí)間順序與之前定標(biāo)存儲(chǔ)的30幅圖像逐一做關(guān)系運(yùn)算，由此獲取30幅相關(guān)圖像。空間中物體位置在相關(guān)圖像上出現(xiàn)峰值，將這些峰值層層疊加，經(jīng)差值運(yùn)算后得到全場(chǎng)景三維形狀。

識(shí)別算法包括特征提取、手勢(shì)建模、分析識(shí)別3個(gè)步驟，如圖3所示。

（1）通過(guò)特征提取算法提取出手勢(shì)的4個(gè)基本屬性，即運(yùn)動(dòng)、形狀、位置和方向，并將這些屬性轉(zhuǎn)化為對(duì)應(yīng)的數(shù)學(xué)矢量x1、x2、x3、x4存儲(chǔ)在計(jì)算機(jī)中。

（2）將上述4個(gè)矢量分別由適當(dāng)且有效的數(shù)學(xué)模型予以描述，該模型同時(shí)包含手勢(shì)的空間屬性和時(shí)間特征，即完成由xi到f（xi）的映射，此過(guò)程稱(chēng)為手勢(shì)建模，是通過(guò)模型化方法將特征矢量轉(zhuǎn)化為計(jì)算機(jī)可以處理的數(shù)據(jù)。

（3）通過(guò)機(jī)器學(xué)習(xí)或模式識(shí)別方法，將步驟（2）建立的模型與動(dòng)態(tài)字庫(kù)D（x）進(jìn)行匹配，匹配程度最高的c（x）作為該用戶(hù)的手勢(shì)識(shí)別結(jié)果，最后將函數(shù)c（x）表征的信息X識(shí)別出來(lái)，完成對(duì)手勢(shì)含義的理解。

2.2.5 應(yīng)用顯示

本系統(tǒng)使用OpenGL這一圖形程序接口進(jìn)行漢字的應(yīng)用顯示，把數(shù)據(jù)描述的手勢(shì)識(shí)別結(jié)果轉(zhuǎn)換成二維圖像并予以呈現(xiàn)。OpenGL全稱(chēng)為Open Graphics Library，即開(kāi)放圖形數(shù)據(jù)庫(kù)，適用于多種操作系統(tǒng)和硬件平臺(tái)，并具有易于編程開(kāi)發(fā)和高度的可重用性特點(diǎn)，基于OpenGL開(kāi)發(fā)的應(yīng)用程序便于在不同平臺(tái)間移植。

在OpenGL下顯示用戶(hù)手勢(shì)運(yùn)動(dòng)過(guò)程是：①運(yùn)用C++編程語(yǔ)言作為開(kāi)發(fā)環(huán)境，在系統(tǒng)內(nèi)部建立字體的設(shè)備場(chǎng)景（MDC）。由于本系統(tǒng)目的是顯示出只有黑白灰三類(lèi)色彩的手勢(shì)，故在設(shè)備場(chǎng)景中將文字設(shè)置為單色位圖而非RGB圖；②調(diào)用OpenGL庫(kù)中的3類(lèi)函數(shù)實(shí)現(xiàn)文字的繪制和顯示，分別是以“gl”為前綴的核心函數(shù)，以“glu”為前綴的實(shí)用函數(shù)和以“aux”為前綴的編程輔助函數(shù)。在此主要使用繪制函數(shù)“void CGLFONT：：Print（int x，int y，LPCTSTR lpszText）”，將手勢(shì)識(shí)別的數(shù)據(jù)結(jié)果轉(zhuǎn)換為計(jì)算機(jī)可識(shí)別的函數(shù)形式，其中x，y用于定位漢字顯示位置，lpszText為要實(shí)現(xiàn)的漢字，之后使用平面位圖顯示函數(shù)glBitmap（…）將繪制的結(jié)果顯示；③為獲得平滑的顯示效果，避免因大量數(shù)據(jù)計(jì)算造成的屏幕閃爍，使用OpenGL的雙緩沖技術(shù)，將繪圖命令置于屏幕外的緩沖區(qū)中執(zhí)行。在這個(gè)緩沖區(qū)中存放著每個(gè)像素的信息，當(dāng)有新像素需要顯示時(shí)，迅速將顯示結(jié)果交換到可視化窗口視圖上。

3 實(shí)踐教學(xué)中的學(xué)習(xí)分析技術(shù)

大數(shù)據(jù)技術(shù)應(yīng)用于教育過(guò)程中，學(xué)習(xí)分析把采集、轉(zhuǎn)存、建模、分析與數(shù)據(jù)可視化的各項(xiàng)指標(biāo)和特征匯總起來(lái)。在各項(xiàng)指標(biāo)體系中，存在數(shù)據(jù)采集、數(shù)據(jù)捕獲、網(wǎng)頁(yè)開(kāi)發(fā)、圖像識(shí)別等不同工作，大數(shù)據(jù)異構(gòu)存儲(chǔ)、語(yǔ)義識(shí)別、數(shù)據(jù)結(jié)構(gòu)優(yōu)化等困難亟待解決，尤其是構(gòu)造不同種類(lèi)的分析問(wèn)題模型與差異化數(shù)據(jù)粒度分析等，對(duì)今后研究提出了更多挑戰(zhàn)。數(shù)據(jù)挖掘、數(shù)據(jù)統(tǒng)計(jì)等課堂教學(xué)存在不少困難，需要使用學(xué)習(xí)分析工具開(kāi)發(fā)能應(yīng)用于課堂的操作系統(tǒng)平臺(tái)。

學(xué)習(xí)分析過(guò)程中，教師對(duì)學(xué)習(xí)分析工具的應(yīng)用是優(yōu)化教學(xué)的有效途徑，用戶(hù)對(duì)使用的系統(tǒng)接受度取決于適用性與易用性。通過(guò)Kinect設(shè)計(jì)基于現(xiàn)場(chǎng)操作的手勢(shì)計(jì)算系統(tǒng)，為未來(lái)課堂提供了一套符合實(shí)踐教學(xué)需要的教學(xué)模型，為構(gòu)建一種行之有效的課堂模式與新的教學(xué)手段開(kāi)拓了一條新思路，信息技術(shù)在教學(xué)演示與實(shí)驗(yàn)領(lǐng)域的應(yīng)用前景廣闊。

參考文獻(xiàn)：

[1] 吳永和，曹盼，邢萬(wàn)里，等.學(xué)習(xí)分析技術(shù)的發(fā)展和挑戰(zhàn)——第四屆學(xué)習(xí)分析與知識(shí)國(guó)際會(huì)議評(píng)析[J].開(kāi)放教育研究，2012（12）：72-80.

[2] JONASSE D H ，LAND M S.Theoretical foundations of learning environments[M].Lawrence Erlbaum Associates，Inc，2002.

[3] SAFFER D.Designing gestural interfaces[M].O′Reilly，2008.

[4] 葉海智，劉駿飛，王春麗，等.3D手勢(shì)計(jì)算支持的教學(xué)應(yīng)用研究[J].遠(yuǎn)程教育雜志，2017（1）：45-51.

[5] SALMAN CHEEMA，MICHAEL HOFFMAN，JOSEPH J LA VIOLA JR.3D Gesture classification with linear acceleration and angular velocity sensing devices for video games[J].Entertainment Computing，2013 （4）：11-24.

[6] THE NEW MEDIA CONSORTIUM.The 2010 Higher Ed Edition of the annual NMC horizon report [EB/OL].http：//www.nmc.org/publication/nmc-horizon-report-2010-higher-ed-edition/，2010-3-10.

[7] SALMAN CHEEMA， MICHAEL HOFFMAN， JOSEPH J. 3D Gesture classification with linear acceleration and angular velocity sensing devices for video games[J].Entertainment Computing，2013 （4）：11-24.

[8] CAPUTO M，DENKER K，DUMS B，et al.3D Hand gesture recognition based on sensor fusion of commodity hardware[J].Mensch & Computer，2012 （12）：293-302.

[9] DUDA R O，HART P E，STORK D G.模式分類(lèi)[M].第2版.北京：機(jī)械工業(yè)出版社，2003.

[10] SMITH C J P，MARTIN T.Mind your body： learning mathematics through Physical Action[C].Annual Conference of the American Educational Research Association，2012.

（責(zé)任編輯：杜能鋼）