陳東升

（湖南信息職業(yè)技術(shù)學(xué)院，湖南 長沙 410200）

0 引言

在信息技術(shù)高速發(fā)展的背景下，課堂教學(xué)模式發(fā)生了巨大的變化，虛擬教室、線上課堂慕課等教學(xué)模式層出不窮。依托于電子信息終端豐富的信息獲取渠道，通過手機(jī)、電腦的攝像功能，提取圖像中學(xué)生的面部表情，并對(duì)表情進(jìn)行概括處理，通過眉間距、眼球轉(zhuǎn)動(dòng)、嘴角形狀等面部微表情，映射為疑惑、茫然、欣喜、激動(dòng)等情緒活動(dòng)，結(jié)合課程進(jìn)展的時(shí)間維度，總結(jié)為對(duì)當(dāng)時(shí)教授知識(shí)點(diǎn)的接受程度，對(duì)教學(xué)質(zhì)量進(jìn)行評(píng)價(jià)?；谠撛O(shè)計(jì)思想，在會(huì)計(jì)專業(yè)的在線教學(xué)中使用測(cè)試，以便發(fā)現(xiàn)會(huì)計(jì)專業(yè)深?yuàn)W難懂的課程知識(shí)點(diǎn)是否為學(xué)生所掌握。

基于微表情識(shí)別的技術(shù)路線，需要獲取到清晰、大小合適的學(xué)生面部圖像，并且能夠準(zhǔn)確提取到關(guān)鍵位置的變化情況，映射為典型的心理活動(dòng)表征，再對(duì)結(jié)果進(jìn)行統(tǒng)計(jì)與分析，概括出多數(shù)學(xué)生的學(xué)習(xí)感受，評(píng)估教學(xué)質(zhì)量。以上四個(gè)關(guān)鍵點(diǎn)為微表情識(shí)別的關(guān)鍵技術(shù)，也是該文重點(diǎn)涉及的內(nèi)容。

1 卷積網(wǎng)絡(luò)神經(jīng)的特征處理

在卷積層中，通過對(duì)特征曲線的卷積運(yùn)算，將所得的結(jié)果輸入一個(gè)激活函數(shù)中，最后生成一個(gè)新的特征圖，該特征圖由多個(gè)特征圖疊加而成。在公式（1）中表示了卷積層的計(jì)算。

式中：為輸入的維度，為輸出的維度，為突觸的初始化值。

式（3）所示神經(jīng)元網(wǎng)絡(luò)中的權(quán)值由時(shí)刻到+1時(shí)刻的更新過程。

式中：是學(xué)習(xí)速率，（）為神經(jīng)元的輸入，（）為其誤差項(xiàng)。

為提高模型的平移不變性，提高模型的推廣能力，該文引入了神經(jīng)視覺感知域（Lecun）等概念。局部感覺區(qū)允許神經(jīng)元從視覺中提取出最基礎(chǔ)的視覺特性，如眼、眉、唇、棱角、邊緣等。如果該特征與其他特征點(diǎn)有關(guān)，則該特征的絕對(duì)位置信息會(huì)被稀釋，因?yàn)樵诓煌娜四槇D像中，它的絕對(duì)位置信息會(huì)被稀釋。就拿震驚的表情來說，因?yàn)閭€(gè)人的不同，眉毛的準(zhǔn)確位置也會(huì)有很大的差別，但是眉毛和眼睛的距離卻能讓人分辨出一張臉有沒有驚訝情緒的傾向。在映射情況下，由于不同的特征會(huì)產(chǎn)生不同的編碼位置，降低了定位準(zhǔn)確度的同時(shí)還減少了在線教學(xué)中的面部識(shí)別控制分辨率。

2 基于低分辨率圖像的微表情識(shí)別

移動(dòng)通信端的圖像攝錄設(shè)備解析度偏低，為適應(yīng)信號(hào)傳輸還進(jìn)行了圖像壓縮，損失了部分圖像細(xì)節(jié)，為提取圖像中的微表情制造了困難。需要針對(duì)低分辨率圖像，建立圖像還原模型，盡可能多地提取圖像中眉眼嘴鼻的器官的變化，表征為具有特定含義的微表情語言。具體實(shí)施路徑：將低分辨率圖像分為小尺寸（Small Size）、低質(zhì)量（Poor Quality）和小尺寸&低質(zhì)量（Small Size& Poor Quality），針對(duì)不同的圖像特征采取相應(yīng)的處理措施，完成圖像重建。

在圖像重建任務(wù)中，基于高分辨率圖像的微表情識(shí)別，建立特征庫，再將高分辨率圖像采用抽值取樣等處理手段降為低分辨率圖像，由此建立低分辨率圖像特征與微表情的對(duì)應(yīng)關(guān)系映射，實(shí)現(xiàn)低分辨率圖像下的微表情識(shí)別。

高分辨率圖像降為低分辨率圖像一般的手段有模糊化、下采樣和噪聲處理，其數(shù)學(xué)模型如公式（4）所示。

式中：為下采樣，對(duì)應(yīng)通信傳輸中的圖像壓縮處理；為模糊化，對(duì)應(yīng)圖像處理中的濾波；為高清原圖；為加性噪聲，對(duì)應(yīng)通信傳輸中的隨機(jī)噪聲。經(jīng)過綜合處理后，得到低分辨率圖像。

基于低分辨率的微表情識(shí)別功能主要對(duì)MATLAB的GUI功能，對(duì)圖形用戶界面開發(fā)環(huán)境下的圖像進(jìn)行處理。使用GUI功能中g(shù)uide方法，進(jìn)行圖像分析與處理。在MATLAB的命令框中輸入guide命令，在自動(dòng)生成的.fig資源文件和.m界面初始化的相關(guān)代碼兩個(gè)文件中，調(diào)用控件，調(diào)整顯示區(qū)域、調(diào)整界面布局。

圖1為基于低分辨率的微表情識(shí)別功能結(jié)構(gòu)圖。首先對(duì)上傳視頻與已知的微表情特征數(shù)據(jù)集輸出共同作用于低分辨率環(huán)境下的微表情識(shí)別，提取上傳視頻中與微表情特征數(shù)據(jù)集的關(guān)聯(lián)數(shù)據(jù)，定義為該表情結(jié)果，在通過參數(shù)設(shè)置的微調(diào)功能，實(shí)現(xiàn)結(jié)果修正，輸出最終微表情結(jié)果。

圖1 基于低分辨率的微表情識(shí)別功能結(jié)構(gòu)圖

3 基于微表情的學(xué)習(xí)專注度映射

人們?cè)谕饨绛h(huán)境刺激下所產(chǎn)生的心理活動(dòng)體現(xiàn)在面部表情，這個(gè)表情就是微表情，其包括眉眼鼻嘴腮等器官的肌肉收縮，廣義上還包括肢體的配合動(dòng)作。

將微表情概念引入教學(xué)活動(dòng)中，通過拾取學(xué)生的微表情，映射出學(xué)生的即時(shí)心理活動(dòng)，聯(lián)系到課堂的授課進(jìn)程，可以在一定程度上反映學(xué)生對(duì)所學(xué)知識(shí)點(diǎn)的理解程度，進(jìn)而匯總出課堂教學(xué)的質(zhì)量。例如當(dāng)教師講授的內(nèi)容引起學(xué)生的興趣，學(xué)生的學(xué)習(xí)狀態(tài)表現(xiàn)為專注，體現(xiàn)在面部表情上則為眉頭舒展、眼球注視，沒有大角度的轉(zhuǎn)動(dòng)，有時(shí)會(huì)隨著嘴角上揚(yáng)、顴骨肌肉收縮；而對(duì)教師講授內(nèi)容疑惑或不懂，會(huì)出現(xiàn)眉頭緊鎖、目光飄忽不定、眼球轉(zhuǎn)動(dòng)加速等特征；當(dāng)學(xué)生在課堂上分心時(shí)，會(huì)表現(xiàn)出搖頭、眼睛注意力不在屏幕上等表情變化。通過這些微表情折射出的學(xué)生內(nèi)心活動(dòng)，可以定性的評(píng)估學(xué)生的課堂投入情況，進(jìn)而有針對(duì)性地提醒某位同學(xué)注意聽講，或針對(duì)大部分學(xué)生不理解的內(nèi)容進(jìn)行重點(diǎn)講解。即通過學(xué)生在教學(xué)過程情緒外顯的表現(xiàn)，輔助教師關(guān)注學(xué)生學(xué)習(xí)狀態(tài)的變化，及時(shí)調(diào)整授課方式和教學(xué)策略，使學(xué)生達(dá)到更好的學(xué)習(xí)效果。

4 在線教學(xué)質(zhì)量評(píng)估設(shè)計(jì)

學(xué)生的面部表情能間接反應(yīng)其內(nèi)心活動(dòng)，也可以在一定程度上代表對(duì)課程內(nèi)容的參與程度。極具趣味性和技巧性的在線教學(xué)課程，能否吸引學(xué)生的注意力，使其完全掌握知識(shí)點(diǎn)，達(dá)到良好的教學(xué)效果，從學(xué)生的反應(yīng)中可以得以反饋。該文根據(jù)微表情識(shí)別出學(xué)生的心理活動(dòng)，通過學(xué)生上課的專注程度得出教師的教學(xué)質(zhì)量，對(duì)教師的會(huì)計(jì)在線教學(xué)質(zhì)量進(jìn)行客觀評(píng)估。針對(duì)教室內(nèi)的各個(gè)學(xué)生的面部特征，對(duì)常見的視頻監(jiān)控系統(tǒng)設(shè)備和結(jié)構(gòu)進(jìn)行了調(diào)查，并根據(jù)教室的實(shí)際條件，設(shè)計(jì)出一套具有安全穩(wěn)定性、技術(shù)先進(jìn)性和性價(jià)比合理性的高清全景視頻監(jiān)控系統(tǒng)。對(duì)一幅靜止圖像或視頻，要對(duì)一張或多張人臉的位置進(jìn)行準(zhǔn)確定位和探測(cè)，需要從圖像分割、提取人臉、提取細(xì)節(jié)特征3個(gè)方面進(jìn)行分析。由于臉部的個(gè)體、姿勢(shì)、表情、光線等因素的影響，使臉部特征點(diǎn)的定位和追蹤成為一個(gè)十分困難的問題。目前，對(duì)臉部微表情特征點(diǎn)的定位主要有兩種，即模型的定位和非模型的定位。

該方法首先在訓(xùn)練集合中標(biāo)注出關(guān)鍵點(diǎn)，然后使用主分量分析進(jìn)行降維，得到最大的平均形態(tài)。圖2為人臉特征點(diǎn)提取的流程框圖，通過訓(xùn)練圖像及標(biāo)記點(diǎn)建立點(diǎn)分布模型，并區(qū)分正確樣本與錯(cuò)誤樣本，通過提取特征，建立與形狀模塊和局部紋理模型的映射關(guān)系，實(shí)現(xiàn)人臉特征點(diǎn)的提取。為了讓人臉的微表情形態(tài)模型能更好地適應(yīng)不同的人臉形態(tài)，在訓(xùn)練集合中必須盡量包括人臉的姿態(tài)、表情和光照的改變。通過構(gòu)造局部約束模型，將訓(xùn)練集內(nèi)的關(guān)鍵節(jié)點(diǎn)局部紋理作為正確的樣本，將與關(guān)鍵點(diǎn)相隔一定距離的部分作為錯(cuò)誤樣本，通過SVM的學(xué)習(xí)，獲得局部紋理模型。在進(jìn)行人臉特征點(diǎn)定位時(shí)，首先要對(duì)其進(jìn)行初始化，求出局部反應(yīng)圖象，并將其與形狀模型的約束相結(jié)合，反復(fù)迭代，獲得最后的特征點(diǎn)。

圖2 人臉特征點(diǎn)提取框圖

將形態(tài)模型和局部紋理模型相結(jié)合，提取出多個(gè)姿態(tài)的面部微表情特征，從而有效地克服了不同的面部姿態(tài)，并能很好地檢測(cè)到遮擋物體。針對(duì)一個(gè)學(xué)生的近景照片，該系統(tǒng)可以很好地識(shí)別出學(xué)生的頭部轉(zhuǎn)動(dòng)角度和面部微表情特征區(qū)。并且其對(duì)眼鏡、手部遮擋等干擾，表現(xiàn)出很強(qiáng)的穩(wěn)定性。通過對(duì)側(cè)面局部圖像的多目標(biāo)人臉提取，發(fā)現(xiàn)除部分人臉發(fā)生偏移或遮擋太大外，其余的人臉特征都能得到。通過對(duì)學(xué)生頭部角度、眉尾和眼中之間的角度、唇部幅度的變化進(jìn)行分析，并對(duì)其頭部姿態(tài)、唇角、眉眼角度等進(jìn)行了詳細(xì)分析。聽課中的聽覺狀態(tài)分為5種：傾聽、疑惑、理解、抗拒、鄙視。將初始化的頭部姿勢(shì)設(shè)定為-1，如果檢測(cè)成功，就可以得到相應(yīng)的頭部角度。從這一點(diǎn)來看，絕大多數(shù)學(xué)生都是被系統(tǒng)捕捉到的，系統(tǒng)會(huì)自動(dòng)給每個(gè)學(xué)生的微表情識(shí)別標(biāo)上一個(gè)數(shù)值。學(xué)生眉、眼、鼻、口等的點(diǎn)是學(xué)生的面部表情特點(diǎn)。通過對(duì)“傾聽”、“疑惑”、“理解”、“抗拒”、“鄙視”等5種不同的表達(dá)方式進(jìn)行界定，并將學(xué)生的“眉眼角度”、“唇部角度”、“頭部角度”等因素進(jìn)行綜合，得出了“會(huì)計(jì)在線教學(xué)”的具體情況，并對(duì)學(xué)生的聽覺狀況進(jìn)行統(tǒng)計(jì)和分析。圖3為該文所設(shè)計(jì)的基于微表情識(shí)別的會(huì)計(jì)在線教學(xué)質(zhì)量評(píng)估方法結(jié)構(gòu)圖。

圖3 教學(xué)質(zhì)量評(píng)估方法結(jié)構(gòu)圖

課堂教學(xué)質(zhì)量評(píng)估是以采集足夠相關(guān)信息作為數(shù)據(jù)基礎(chǔ)，從中挖掘出有價(jià)值信息，并通過模型對(duì)信息進(jìn)行整理、分類，在統(tǒng)計(jì)分析的基礎(chǔ)上建立共性概念，形成具有指向性的定性結(jié)論，實(shí)現(xiàn)對(duì)教學(xué)效果的評(píng)估。通過對(duì)表情的分類，在教學(xué)課堂中常見的微表情按照屬性賦值。將無法判斷或無意義的表情，權(quán)值設(shè)置為0；將焦躁、困惑等負(fù)面情緒設(shè)置為-1；將厭惡、生氣等極端情緒設(shè)置為-2；將喜悅、開心等正面情緒設(shè)置為1；將驚喜、狂歡等非常情緒設(shè)置為2。其中，權(quán)值為0對(duì)教學(xué)質(zhì)量評(píng)估沒有貢獻(xiàn)；權(quán)值為正數(shù)表明教學(xué)質(zhì)量良好或優(yōu)秀，而權(quán)值為負(fù)數(shù)則表明教學(xué)質(zhì)量差強(qiáng)人意或令人不滿。

影響會(huì)計(jì)在線課堂教學(xué)質(zhì)量的因素很多，而影響教學(xué)的主要因素是對(duì)學(xué)生活躍時(shí)間的計(jì)算。通過對(duì)各個(gè)時(shí)間間隔的離散圖像進(jìn)行分析，得到學(xué)生的活動(dòng)時(shí)間。根據(jù)微表情的有效時(shí)間和運(yùn)算效率，將獲取的圖像頻率設(shè)置為2s?；顒?dòng)時(shí)間是通過對(duì)整節(jié)課時(shí)間的綜合分析得出的，其活動(dòng)時(shí)間的特定統(tǒng)計(jì)如公式（5）所示。

式中：為活躍時(shí)間，（）為學(xué)生參與度，為閾值，為圖像采樣。

學(xué)生參與度（）時(shí)，學(xué)生整體處于活躍狀態(tài)?；谖⒈砬樽R(shí)別的會(huì)計(jì)在線教學(xué)質(zhì)量評(píng)估以多種顏色進(jìn)行標(biāo)識(shí)，例如目前的學(xué)生總體關(guān)注度為黃色，代表參與度為綠色，而紅色為目前教學(xué)內(nèi)容的難點(diǎn)。當(dāng)學(xué)生的注意力、參與度和困難度都很低時(shí)，就表明學(xué)生的聽課狀態(tài)不佳，教師要提供解決的舉措，調(diào)整教學(xué)策略，活躍課堂氣氛，從而達(dá)到提高教學(xué)效果的目的。會(huì)計(jì)在線教學(xué)質(zhì)量評(píng)估不僅能實(shí)時(shí)地評(píng)估全班情況，而且能偵測(cè)到學(xué)生的負(fù)面情緒（抵觸、輕蔑），并發(fā)出信息提醒老師，類似為一種“警報(bào)裝備”，時(shí)刻提醒著老師和同學(xué)們認(rèn)真完成線上學(xué)習(xí)。

對(duì)同一知識(shí)點(diǎn)的教學(xué)質(zhì)量評(píng)估，采取時(shí)刻法，即同一時(shí)刻各個(gè)學(xué)生移動(dòng)客戶端采集的單幀圖像賦值后，再通過統(tǒng)計(jì)平均，得到全班的整體印象，不同情緒、不同理解程度的學(xué)生數(shù)量分別作為分子，得到各種課堂反應(yīng)的百分比，以此作為單個(gè)知識(shí)點(diǎn)的被接受程度，評(píng)估該知識(shí)點(diǎn)的教學(xué)質(zhì)量。

會(huì)計(jì)教師在線教學(xué)質(zhì)量評(píng)估包括兩個(gè)方面。1）整節(jié)課全部學(xué)生課堂狀態(tài)評(píng)價(jià)。在假定全體學(xué)生完全投入課堂教學(xué)的背景下，計(jì)算負(fù)面情緒的學(xué)生占比，作為課堂教學(xué)質(zhì)量的待改進(jìn)得分；正面情緒的學(xué)生占比，作為該節(jié)課的經(jīng)驗(yàn)得分。通過分析待改進(jìn)得分和經(jīng)驗(yàn)得分的比值，可以看出全班學(xué)生對(duì)課堂內(nèi)容的投入情況。2）時(shí)間段全部學(xué)生課堂狀態(tài)評(píng)價(jià)。統(tǒng)計(jì)會(huì)計(jì)課程教學(xué)時(shí)長中學(xué)生的投入狀態(tài)，即可作為全部學(xué)生課堂狀態(tài)的數(shù)值表征，用以對(duì)教學(xué)效果做出評(píng)價(jià)。

最后，通過整堂課的分?jǐn)?shù)得到會(huì)計(jì)在線教學(xué)的教學(xué)質(zhì)量評(píng)估等級(jí)。

5 結(jié)語

隨著科學(xué)技術(shù)的發(fā)展，教師利用該文所設(shè)計(jì)出的基于微表情識(shí)別的會(huì)計(jì)在線教學(xué)質(zhì)量評(píng)估方法，一方面能夠根據(jù)評(píng)估結(jié)果對(duì)自己的專業(yè)水平進(jìn)行提高。另一方面，能夠根據(jù)學(xué)生的反饋結(jié)果調(diào)整課堂教學(xué)方式，提高學(xué)習(xí)學(xué)習(xí)積極性和專注度，提高學(xué)習(xí)效果。由于時(shí)間原因該文沒有對(duì)所設(shè)計(jì)方法進(jìn)行試驗(yàn)，還需要在今后的研究中不斷完善。