潘仙張,陳 堅(jiān),馬仁利

（臺(tái)州學(xué)院 信息技術(shù)中心,臺(tái)州 317099）

學(xué)生在課堂上學(xué)習(xí)的面部表情和對(duì)知識(shí)點(diǎn)的掌握程度存在很強(qiáng)的關(guān)聯(lián)性[1].在生物學(xué)方面也證明了這個(gè)觀點(diǎn)[2].課堂教學(xué)是教師提高教學(xué)質(zhì)量的最主要措施.學(xué)生在學(xué)習(xí)中的表情會(huì)隨著對(duì)知識(shí)點(diǎn)的掌握程度變化而變化[3],當(dāng)學(xué)生存在困惑時(shí),教師若不及時(shí)發(fā)現(xiàn)并干預(yù)自己的教學(xué)方式,學(xué)生在課堂上的情緒就會(huì)越來越消極,影響學(xué)習(xí)成績(jī)甚至?xí)z學(xué).反之,要是教師及時(shí)調(diào)整教學(xué)方式,進(jìn)而解決他的困惑,學(xué)生將會(huì)轉(zhuǎn)變自身的學(xué)習(xí)態(tài)度,從而自信滿滿地接受新的知識(shí),那么他們的學(xué)習(xí)成績(jī)將會(huì)得到很大的提高.學(xué)生的面部表情是學(xué)生和教師在課堂上交流的窗口,教師通過學(xué)生的表情了解每個(gè)學(xué)生對(duì)課堂知識(shí)的掌握情況,有針對(duì)性地調(diào)整課堂教學(xué)的節(jié)奏、知識(shí)點(diǎn)內(nèi)容以及課后知識(shí)點(diǎn)的補(bǔ)充,這些均是教師提高教學(xué)質(zhì)量的重要保障.

在課堂上,教師需要調(diào)動(dòng)學(xué)生的積極性和主動(dòng)性,并實(shí)時(shí)觀察他們的聽課狀態(tài)、鼓勵(lì)其獨(dú)立思考,讓學(xué)生獲得求知的成就感.但在一對(duì)多的教學(xué)環(huán)境下,由于教師個(gè)人精力有限,不能做到面面俱到地觀察每個(gè)學(xué)生的課堂表現(xiàn),因而致使教師不能有效地根據(jù)學(xué)生聽課情況來調(diào)整自身的教學(xué)方式.這樣就影響了課堂教學(xué)效果的質(zhì)量.為了提高教師在課堂上的教學(xué)質(zhì)量,輔助教師實(shí)時(shí)、全面地分析每個(gè)學(xué)生在課堂上的學(xué)習(xí)狀態(tài),及時(shí)解決學(xué)生對(duì)知識(shí)點(diǎn)的困惑,很需要有一套輔助教師分析學(xué)生課堂表情的系統(tǒng).

隨著教學(xué)方式地不斷改革,對(duì)課堂教學(xué)的要求越來越多,傳統(tǒng)的教學(xué)手段和教學(xué)管理方式已遠(yuǎn)遠(yuǎn)不能滿足目前課程教學(xué)的需求,因此需要不斷地添加現(xiàn)代化的教學(xué)手段和教學(xué)管理方式[4].隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)的飛躍發(fā)展,智慧教室教學(xué)、多媒體教學(xué)等利用前沿技術(shù)的教育形式越來越受到人們的關(guān)注.電腦、攝像頭等電子設(shè)備越來越普及,近幾年人臉表情識(shí)別技術(shù)[5]也在突飛猛進(jìn)地發(fā)展,開始在社會(huì)生活中發(fā)揮越來越重要的作用,不同程度地應(yīng)用到了輔助教學(xué)中.課堂中的人臉表情識(shí)別技術(shù)就是讓計(jì)算機(jī)對(duì)課堂上的師生面部表情進(jìn)行獲取、識(shí)別和響應(yīng),以幫助教師和學(xué)生在和諧、愉快的交互模式下完成目標(biāo)任務(wù)[6].本文針對(duì)課堂教學(xué)質(zhì)量的應(yīng)用需求,結(jié)合目前智慧教室等已有的智能監(jiān)控設(shè)備,提出了基于面部表情的課堂教學(xué)效果反饋系統(tǒng).它采用教室中的攝像頭實(shí)時(shí)地監(jiān)督和跟蹤學(xué)生在課堂上的表情,自動(dòng)分析學(xué)生的課堂表現(xiàn),幫助教師全面地了解課堂上每個(gè)學(xué)生的學(xué)習(xí)狀態(tài),及時(shí)解決學(xué)生在上課過程和課后中的困惑,最終提高學(xué)生的學(xué)習(xí)成績(jī).

1 相關(guān)研究

面部表情識(shí)別在安防[7]、醫(yī)療[8]和疲勞駕駛[9]等領(lǐng)域有廣泛的應(yīng)用,但是把表情識(shí)別應(yīng)用到智慧課堂教學(xué)質(zhì)量保障的研究還不多.比如馬希榮等利用情感識(shí)別技術(shù)實(shí)現(xiàn)了基于情感計(jì)算的e-Learning系統(tǒng)[10].馮滿堂等將表情識(shí)別技術(shù)應(yīng)用到智能網(wǎng)絡(luò)教學(xué)在線系統(tǒng)中,它在認(rèn)知和情感兩個(gè)維度提高在線教學(xué)的效率[11].程萌萌等從教師、學(xué)生、課程和情感4個(gè)維度構(gòu)建智能教學(xué)系統(tǒng)模型,利用視線跟蹤和面部表情識(shí)別技術(shù)實(shí)現(xiàn)情感模塊的反饋,為網(wǎng)絡(luò)學(xué)習(xí)中的學(xué)生的情感反饋提供技術(shù)保障[12].詹澤慧在智能Agent的基礎(chǔ)上開發(fā)了遠(yuǎn)程學(xué)習(xí)者情感識(shí)別模塊,它利用了表情識(shí)別和視頻跟蹤技術(shù),提高了遠(yuǎn)程環(huán)境下學(xué)習(xí)者狀態(tài)判斷的準(zhǔn)確率[13].孫波等將表情識(shí)別技術(shù)應(yīng)用到三維虛擬學(xué)習(xí)平臺(tái)Magic Learning的師生情感交互子系統(tǒng)中,實(shí)現(xiàn)了學(xué)習(xí)者的情感識(shí)別和情感干預(yù)功能[14].

以上文獻(xiàn)可以看出:（1）表情識(shí)別技術(shù)作為教學(xué)的輔助手段,研究者用表情識(shí)別技術(shù)彌補(bǔ)了在線教學(xué)系統(tǒng)的情感缺失問題,提高了學(xué)生在線學(xué)習(xí)的效果.（2）由于課堂教學(xué)比在線教學(xué)系統(tǒng)的技術(shù)環(huán)境復(fù)雜,在線教學(xué)系統(tǒng)是單目標(biāo)人臉識(shí)別,人臉背景簡(jiǎn)單; 而課堂教學(xué)是多目標(biāo)人臉識(shí)別,人臉背景復(fù)雜.目前將面部表情識(shí)別應(yīng)用到課堂教學(xué)中的研究文獻(xiàn)非常少,因此,本文的研究很有必要.

2 學(xué)生在課堂上的學(xué)習(xí)表情分析

Ekman和Friesen早在1971年就提出了表情編碼系統(tǒng)的概念,他們把人臉的表情變化總結(jié)為6種:生氣、驚訝、厭惡、高興、害怕、悲傷,他們分析了這6種表情,得到這6種表情是人類共性的結(jié)論[15].但是這6種表情并不能直接應(yīng)用到課堂教學(xué)反饋中,本項(xiàng)目在這6種表情的基礎(chǔ)上,再結(jié)合學(xué)生上課時(shí)的表情狀態(tài)經(jīng)驗(yàn),把學(xué)生上課時(shí)的常用面部表情歸納為掌握、認(rèn)真聽課、中性、困惑、不想聽課.在課堂教學(xué)中,學(xué)生的面部表情向教師傳達(dá)了聽課時(shí)的大量信息.學(xué)生能掌握當(dāng)前所學(xué)內(nèi)容,并愿意學(xué)習(xí),他的表情是愉快的,這說明該學(xué)生正在認(rèn)真聽課,積極思考.當(dāng)學(xué)生聽不懂當(dāng)前所學(xué)的內(nèi)容時(shí),他會(huì)表現(xiàn)出疑惑表情,甚至是不想聽課的表情,這說明該學(xué)生對(duì)課堂的內(nèi)容掌握困難.學(xué)生在聽課過程中的心理和人臉表情關(guān)系如圖1.學(xué)生的聽課心理反映在他的面部表情上具有明顯的區(qū)分度.不同表情具有明顯的區(qū)分度,特別是眼角和嘴角的距離,眉毛和眼睛的距離比率.計(jì)算機(jī)通過深度學(xué)習(xí)模型[16]識(shí)別到眉毛或嘴的特征就可判斷出該師生的課堂表情.本系統(tǒng)主要關(guān)注學(xué)生對(duì)課堂知識(shí)的掌握度和困惑度.

圖1 學(xué)生在聽課過程中的心理和人臉表情關(guān)系

3 系統(tǒng)設(shè)計(jì)

為了幫助教師全面地了解每個(gè)學(xué)生在課堂上的學(xué)習(xí)狀態(tài),本文提出的基于面部表情識(shí)別的課堂教學(xué)效果反饋系統(tǒng),它主要分為4大功能模塊,依次為視頻監(jiān)控模塊、關(guān)鍵幀提取模塊、圖像處理模塊、統(tǒng)計(jì)分析模塊.它的結(jié)構(gòu)圖如圖2所示.

圖2 系統(tǒng)的結(jié)構(gòu)

本系統(tǒng)主要采用B/S結(jié)構(gòu),本系統(tǒng)主要由3大部分組成:第1部分是攝像頭,攝像頭采集到動(dòng)態(tài)圖像并通過網(wǎng)絡(luò)進(jìn)行數(shù)字信號(hào)傳輸; 第2部分是PC機(jī),PC機(jī)顯示采集到的人臉圖像和統(tǒng)計(jì)指標(biāo)信息,并且與教師交互; 第3部分是服務(wù)器,服務(wù)器采用訓(xùn)練好的模型對(duì)該人臉圖像進(jìn)行表情分類以及統(tǒng)計(jì)指標(biāo)信息,供PC機(jī)調(diào)用.

3.1 系統(tǒng)組成模塊

（1）視頻監(jiān)控模塊

本模塊能對(duì)教室無盲區(qū)、圖像清晰地拍攝,視頻信號(hào)的傳輸通過網(wǎng)絡(luò)傳輸.采用2臺(tái)攝像頭監(jiān)控臺(tái)下左右兩邊的學(xué)生,教室選用階梯教室或?qū)W生之間的位置間隔比較大的教室,學(xué)生嚴(yán)格地按照從低到高的座次坐到位置上,每列的學(xué)生隔一排坐一個(gè)學(xué)生,這樣就能有效避免學(xué)生面部的遮擋,如圖3.通過該模塊對(duì)攝像頭的參數(shù)進(jìn)行調(diào)整,使之適應(yīng)到最佳的視頻采集狀態(tài).

圖3 學(xué)生在教室中的座位情況

（2）關(guān)鍵幀提取模塊

本模塊對(duì)視頻監(jiān)控模塊采集到的視頻流,自動(dòng)提取關(guān)鍵幀（學(xué)生面孔的幀）,用于情感識(shí)別.

（3）圖像處理模塊

本模塊主要對(duì)關(guān)鍵幀的圖像進(jìn)行預(yù)處理,除去背景等對(duì)人臉表情識(shí)別帶來的影響,再進(jìn)行多目標(biāo)人臉檢測(cè).再對(duì)檢測(cè)到的人臉圖像進(jìn)行歸一化處理,再提取出人臉區(qū)域特征,進(jìn)行情感分析.

（4）統(tǒng)計(jì)分析模塊

依據(jù)面部表情分析,統(tǒng)計(jì)分析學(xué)生對(duì)課堂內(nèi)容的掌握度指標(biāo)和困惑度指標(biāo).

由于學(xué)生處于聽課時(shí)的姿態(tài)比較單一,而處于不想聽課的學(xué)生比較消極,他的頭低下去,對(duì)計(jì)算機(jī)的人臉檢測(cè)的難度非常大,即隨機(jī)取某一時(shí)刻t,當(dāng)本系統(tǒng)對(duì)某個(gè)學(xué)生i在該時(shí)刻的人臉檢測(cè)失敗,則認(rèn)為該學(xué)生目前對(duì)知識(shí)點(diǎn)的掌握比較困難,處于困惑狀態(tài).

本文中主要是用人臉驗(yàn)證算法[17]鎖定某個(gè)學(xué)生,并在整節(jié)課堂中跟蹤該學(xué)生的人臉,并分析他的課堂表情,判定出該學(xué)生對(duì)課堂內(nèi)容的掌握程度和困惑度.教師通過對(duì)某個(gè)學(xué)生的掌握度的判斷,在教學(xué)中調(diào)整教學(xué)進(jìn)度,在課后有針對(duì)性地為該學(xué)生布置課后作業(yè).

本系統(tǒng)也可以檢測(cè)出處于不想聽課狀態(tài)的學(xué)生,向教師發(fā)送報(bào)警信號(hào),引起教師對(duì)該學(xué)生的注意.本系統(tǒng)就像一個(gè)“報(bào)警器”,時(shí)刻提醒學(xué)生的學(xué)習(xí)狀態(tài).

3.2 表情訓(xùn)練數(shù)據(jù)采集

本文的系統(tǒng)采用深度學(xué)習(xí)技術(shù)識(shí)別學(xué)生課堂表情,深度學(xué)習(xí)對(duì)訓(xùn)練數(shù)據(jù)集的要求很高.學(xué)生人臉表情數(shù)據(jù)庫的規(guī)模是決定表情識(shí)別率的重要因素.本系統(tǒng)的訓(xùn)練數(shù)據(jù)集來源兩個(gè)部分,分別是已有的公開表情數(shù)據(jù)集,和自己采集并通過人工標(biāo)注得到的學(xué)生課堂面部表情數(shù)據(jù)庫.供深度學(xué)習(xí)模型訓(xùn)練模型,提高表情識(shí)別率.其中公開的表情數(shù)據(jù)集采用劉永娜建立的BNU學(xué)習(xí)情感數(shù)據(jù)庫[18],它包含144位學(xué)習(xí)者的22 708張表情圖片、1792組圖像序列以及243個(gè)視頻片段.自己采集的數(shù)據(jù)集過程如下:選取某學(xué)院90名本科生分批進(jìn)行不同的課程聽課實(shí)驗(yàn),男女比例設(shè)置成2:1,我們選取的課程難度分為:難、中、易.這些學(xué)生中也由1:1:1按照成績(jī)好、中等、差組成.實(shí)驗(yàn)環(huán)境見圖3.教室中的攝像頭實(shí)時(shí)采集學(xué)生的課堂表情,教師每個(gè)知識(shí)點(diǎn)講完就通過提問這一批的每個(gè)學(xué)生來確定他們對(duì)知識(shí)點(diǎn)的掌握程度,并標(biāo)注這段視頻中的每個(gè)人的表情信息.總共采集了150個(gè)短視頻,它們分別標(biāo)注了每個(gè)人在學(xué)習(xí)過程中的表情狀態(tài).表情視頻的標(biāo)注分為掌握和困惑.每個(gè)學(xué)生的掌握和困惑標(biāo)簽是通過教師依據(jù)學(xué)生回答問題的情況和學(xué)生自我評(píng)價(jià)結(jié)合在一起確定的.

提取出單個(gè)學(xué)生的人臉后,對(duì)于一幅人臉圖像,人臉圖像的寬度一般是兩只眼睛的距離的兩倍,而人臉圖像的高度是兩只眼睛距離的3倍.因此,根據(jù)兩只眼睛的標(biāo)準(zhǔn)距離（55個(gè)像素）,從原始人臉圖像中裁剪出包含嘴巴、鼻子、額頭等關(guān)鍵表情部位的150×110×3大小區(qū)域的圖像,作為卷積神經(jīng)網(wǎng)絡(luò)的輸入.為了符合AlexNet的輸入大小,我們分別人臉表情圖像縮放到227×227×3.

3.3 學(xué)生面部表情識(shí)別算法

為了取得最好的學(xué)生面部表情識(shí)別性能,本文選用目前公認(rèn)的流行的分類算法.目前表情識(shí)別的算法比較多,比如Chen等利用深度卷積神經(jīng)網(wǎng)絡(luò)識(shí)別表情[19],Chen等利用深度卷積神經(jīng)網(wǎng)絡(luò)特征和AdaBoost識(shí)別面部表情[20],Salmam等利用面部表情的關(guān)鍵點(diǎn)和決策樹算法識(shí)別面部表情[21],Li等利用卷積神經(jīng)網(wǎng)絡(luò)特征和支持向量機(jī)（SVM）識(shí)別面部表情[22]等,它們?cè)诠矓?shù)據(jù)集上的測(cè)試都取得了比較好的識(shí)別效果.其中,深度卷積神經(jīng)網(wǎng)絡(luò)是目前很流行地處理圖像方面的算法,它在圖像識(shí)別領(lǐng)域取得了突破性的進(jìn)展[23].

本文分別比較了卷積神經(jīng)網(wǎng)絡(luò)（CNN）,卷積神經(jīng)網(wǎng)絡(luò)組合AdaBoost（CNN+AdaBoost）、卷積神經(jīng)網(wǎng)絡(luò)組合決策樹（CNN+Decision Tree）、以及本文所采用的卷積神經(jīng)網(wǎng)絡(luò)組合SVM[24]（CNN+SVM）的方式在學(xué)生表情識(shí)別中的性能.因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)具有很好的特征提取能力,它提取的特征都是向量特征,而AdaBoost、決策樹和SVM的經(jīng)典輸入都是向量.所以本文比較的都是它們與卷積神經(jīng)網(wǎng)絡(luò)組合后的表情識(shí)別性能.同時(shí)本文也比較了僅用微調(diào)卷積神經(jīng)網(wǎng)絡(luò)的方式得到的人臉表情識(shí)別性能.

卷積神經(jīng)網(wǎng)絡(luò)是前饋神經(jīng)網(wǎng)絡(luò)的一種,它的每個(gè)神經(jīng)元響應(yīng)一些覆蓋范圍內(nèi)的周圍單元,它包含池化層和卷積層,近年來卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域取得了突破[16],由于目前已有的學(xué)生課堂表情數(shù)據(jù)集比較小,因此我們不直接訓(xùn)練自己的卷積神經(jīng)網(wǎng)絡(luò).而是采用已經(jīng)預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型在目標(biāo)視頻情感數(shù)據(jù)集上進(jìn)行微調(diào)訓(xùn)練,從而實(shí)現(xiàn)遷移學(xué)習(xí)的目的.為此,我們首先采用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的AlexNet參數(shù)初始化卷積神經(jīng)網(wǎng)絡(luò).本文采用的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與AlexNet模型相同,包含5個(gè)卷積層,3個(gè)池化層,和3個(gè)全連接層（fc6,fc7,fc8）.其中,fc6和fc7包含4096個(gè)結(jié)點(diǎn),而fc8層是分類層（如Softmax）,對(duì)應(yīng)目標(biāo)數(shù)據(jù)的類別數(shù)目,如表情的種類數(shù)量.本文采用這兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)fc7輸出的4096-D（D指維度）特征,分別作為卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的時(shí)間特征和空間特征.當(dāng)獲得4096-D的特征之后,采用線性支持向量機(jī)（SVM）實(shí)現(xiàn)最終的視頻表情識(shí)別任務(wù),輸出視頻的表情類別.本文采用的面部表情識(shí)別算法見圖4,即采用卷積神經(jīng)網(wǎng)絡(luò)組合SVM識(shí)別人臉中的表情.

圖4 學(xué)生的面部表情識(shí)別算法

本文的卷積神經(jīng)網(wǎng)絡(luò)組合SVM具體過程如下:本系統(tǒng)利用深度神經(jīng)網(wǎng)絡(luò)提取出人臉圖像的高級(jí)特征,再用這個(gè)高級(jí)特征輸入到SVM進(jìn)行表情識(shí)別.深度學(xué)習(xí)訓(xùn)練時(shí),批處理batch大小設(shè)為30,學(xué)習(xí)速率設(shè)為0.001,最大循環(huán)（epoch）次數(shù)設(shè)為2000,采用MatConv-Net toolbox工具箱.通過在目標(biāo)數(shù)據(jù)集上微調(diào)預(yù)先訓(xùn)練的AlexNet卷積神經(jīng)網(wǎng)絡(luò)[16]得到最終的模型.SVM采用線性核函數(shù),即linear kernel核函數(shù),采用LIBSVM package包實(shí)現(xiàn).

AdaBoost[25]是迭代算法的一種,它主要是用不同的訓(xùn)練器（弱分類器）對(duì)同一個(gè)訓(xùn)練集進(jìn)行訓(xùn)練,最后把所有的弱分類器組合在一起,構(gòu)成一個(gè)更強(qiáng)的最終分類器,它的核心思想是對(duì)數(shù)據(jù)分布進(jìn)行改變,它根據(jù)每次訓(xùn)練集中每個(gè)樣本分類是否正確,和上次的總體分類的準(zhǔn)確率,來確定每個(gè)樣本的權(quán)值,并將修改后的權(quán)值的新數(shù)據(jù)集送到下層分類器進(jìn)行訓(xùn)練,最后將每次訓(xùn)練后的分類器融合在一起,作為最終的決策分類器.本文中把面部表情的卷積神經(jīng)網(wǎng)絡(luò)的高級(jí)特征作為AdaBoost的輸入,由AdaBoost最終判斷該表情的情緒.

決策樹算法[26]是逼近離散函數(shù)值的方法的一種,它在分類算法中是比較經(jīng)典的一種算法,它先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,再用歸納算法生成可讀的規(guī)則和決策樹,最后使用決策樹對(duì)新數(shù)據(jù)進(jìn)行決策分析.本質(zhì)上決策樹就是通過規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類的算法.本文中把面部表情的卷積神經(jīng)網(wǎng)絡(luò)的高級(jí)特征作為決策樹算法的輸入,由決策樹算法最終判斷該表情的情緒.

SVM是在統(tǒng)計(jì)學(xué)習(xí)理論VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上,依據(jù)有限樣本信息模型的復(fù)雜性（特定訓(xùn)練樣本的學(xué)習(xí)精度）與學(xué)習(xí)能力（無錯(cuò)誤的識(shí)別任意樣本的能力）之間尋求最好的折衷,使之得到最好的泛化能力.

3.4 學(xué)生面部表情識(shí)別分類算法評(píng)估

本文采用準(zhǔn)確率P、召回率R和F值作為各面部表情分類算法的性能評(píng)價(jià)指標(biāo)[27],準(zhǔn)確率P、召回率R、F值指標(biāo)的計(jì)算公式如下:

其中,真正例（True Positive,TP）:真實(shí)類別為正例,預(yù)測(cè)類別為正例.假正例（False Positive,FP）:真實(shí)類別為負(fù)例,預(yù)測(cè)類別為正例.假負(fù)例（False Negative,FN）:真實(shí)類別為正例,預(yù)測(cè)類別為負(fù)例.真負(fù)例（True Negative,TN）:真實(shí)類別為負(fù)例,預(yù)測(cè)類別為負(fù)例.它們用混淆矩陣表示見表1.

表1 TP、FP、FN和 TN用混淆矩陣表示

本文的實(shí)驗(yàn)采用5折（5-fold）交叉驗(yàn)證進(jìn)行學(xué)生課堂表情識(shí)別模型訓(xùn)練,即將整個(gè)訓(xùn)練數(shù)據(jù)集分成5組,將每組數(shù)據(jù)子集分別作一次驗(yàn)證集,其余的4組子集數(shù)據(jù)作為訓(xùn)練集,這樣就得到了5個(gè)驗(yàn)證集的分類結(jié)果,再用這5個(gè)驗(yàn)證集的分類準(zhǔn)確率的平均數(shù)作為這個(gè)該模型的性能指標(biāo),這樣也有效地提升了模型的泛化能力.

各種模型的學(xué)生表情識(shí)別性能比較見表2,4種分類算法都可較好的識(shí)別出學(xué)生在課堂上對(duì)知識(shí)的掌握程度和困惑程度.它們的識(shí)別正確率均高于70%,其中,本文采用的面部表情識(shí)別算法的識(shí)別正確率能達(dá)到85%,它們的F值均高于0.7,其中,僅用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別出學(xué)生表情的性能是最低的,當(dāng)用卷積神經(jīng)網(wǎng)絡(luò)組成其他模型時(shí)候,它們的識(shí)別性能都有提高.其中本文采用的卷積神經(jīng)網(wǎng)絡(luò)組合SVM的表情識(shí)別性能最好,它在識(shí)別學(xué)生的掌握度表情和困惑度表情均高于其他的算法.這也說明了通過卷積神經(jīng)網(wǎng)絡(luò)提取特征,再用這個(gè)特征作為表情識(shí)別算法的輸入會(huì)提高表情識(shí)別性能,同時(shí)也說明了卷積神經(jīng)網(wǎng)絡(luò)的提取學(xué)生表情特征的能力很強(qiáng).

表2 各種模型的學(xué)生表情識(shí)別性能比較

3.5 各種面部表情識(shí)別算法表現(xiàn)差異原因分析

僅用卷積神經(jīng)網(wǎng)絡(luò)做學(xué)生面部表情識(shí)別的性能差,是因?yàn)樯疃葘W(xué)習(xí)的關(guān)鍵在于訓(xùn)練樣本量,只有在巨大樣本的情況下,深度學(xué)習(xí)的識(shí)別性能發(fā)揮到極致,而目前的學(xué)生課堂表情的數(shù)據(jù)量還沒有達(dá)到深度學(xué)習(xí)的樣本量要求.而SVM的特長(zhǎng)就是處理小樣本量的情況,因它具有結(jié)構(gòu)風(fēng)險(xiǎn)最小化的嚴(yán)格數(shù)學(xué)證明.故把卷積神經(jīng)網(wǎng)絡(luò)的特征提取特征和SVM的小樣本識(shí)別性能組合起來,這樣對(duì)表情識(shí)別的性能就會(huì)提高.同樣AdaBoost和決策樹模型在小樣本上的識(shí)別性能也比卷積神經(jīng)網(wǎng)絡(luò)模型要好,但是比SVM要差.把AdaBoost和決策樹分別組合卷積神經(jīng)網(wǎng)絡(luò)后,它們的識(shí)別性能也會(huì)提高.

4 輔助教師課堂教學(xué)案例

本系統(tǒng)在課堂上服務(wù)教師教學(xué)的過程如圖5.教師通過該系統(tǒng)能全面了解學(xué)生的聽課情況,并能及時(shí)糾正學(xué)生的課堂聽課情緒,從而提高教學(xué)質(zhì)量.以3.3節(jié)的數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù),本系統(tǒng)在課堂中識(shí)別學(xué)生的掌握度和困惑度的準(zhǔn)確率分別為86%和83%; 本系統(tǒng)識(shí)別學(xué)生的掌握度和困惑度的混淆矩陣如圖6.這些都表明本系統(tǒng)的可用性.

圖5 本系統(tǒng)輔助教師課堂教學(xué)圖

圖6 本系統(tǒng)識(shí)別的混淆矩陣

5 結(jié)論

本文應(yīng)用視頻中的人臉表情識(shí)別技術(shù)解決課堂教學(xué)中的反饋問題.本系統(tǒng)融合了深度學(xué)習(xí)算法和SVM算法有效地提高了多目標(biāo)人臉的表情識(shí)別率.總結(jié)了學(xué)生在課堂上接受知識(shí)過程中的表情變化.本系統(tǒng)能在實(shí)際的課堂教學(xué)中輔助教師課堂教學(xué).接下來進(jìn)一步研究如何把表情識(shí)別應(yīng)用到某門課程在全國高校中的課堂教學(xué)效果評(píng)價(jià)中,為課程改革提供參考.