收稿日期:2023-08-05
基金項(xiàng)目:無(wú)錫城市職業(yè)技術(shù)學(xué)院橫向課題項(xiàng)目(HX2023017);無(wú)錫城市職業(yè)技術(shù)學(xué)院校級(jí)教育教學(xué)改革立項(xiàng)課題
DOI:10.19850/j.cnki.2096-4706.2024.06.041
摘? 要:隨著人工智能技術(shù)的飛速發(fā)展,人臉表情識(shí)別技術(shù)的應(yīng)用越來(lái)越廣泛。學(xué)校是學(xué)生的聚集地,人臉表情數(shù)據(jù)的來(lái)源充足,為表情識(shí)別技術(shù)的研究提供了數(shù)據(jù)支撐。文章以課堂實(shí)錄視頻為研究對(duì)象,采用K210檢測(cè)人臉進(jìn)行表情特征提取及分類,借此對(duì)課堂質(zhì)量進(jìn)行等級(jí)評(píng)分,并以皮爾遜積矩相關(guān)系數(shù)驗(yàn)證課堂質(zhì)量等級(jí)評(píng)分與教師評(píng)價(jià)的相關(guān)性,最終進(jìn)行教學(xué)效果反饋的研究。
關(guān)鍵詞:人工智能;表情識(shí)別;教學(xué)效果
中圖分類號(hào):TP39;G434? 文獻(xiàn)標(biāo)識(shí)碼:A? 文章編號(hào):2096-4706(2024)06-0194-05
Research on Teaching Effect Feedback Based on Expression Recognition Technology
XU Xiaoping
(Wuxi City College of Vocational Technology, Wuxi? 214153, China)
Abstract: With the rapid development of artificial intelligence technology, the application of facial expression recognition technology is becoming increasingly widespread. A college is a gathering place for students, and the source of facial expression data is abundant, providing data support for the research of facial expression recognition technology. This paper takes classroom recorded videos as the research object, uses K210 to detect face for facial expression feature extraction and classification, and grades the classroom quality. The Pearson product moment correlation coefficient is used to verify the correlation between classroom quality grade rating and teacher evaluation, and finally, a study on teaching effect feedback is conducted.
Keywords: artificial intelligence; facial expression recognition; teaching effect
0? 引? 言
相對(duì)于指紋、虹膜等識(shí)別技術(shù),面部表情識(shí)別技術(shù)的發(fā)展較慢,但是由于其具有多樣性和復(fù)雜性的特點(diǎn),在人機(jī)交互領(lǐng)域得到越來(lái)越廣泛的應(yīng)用。相關(guān)研究表明,在人與人的日常溝通和交流中,語(yǔ)言表達(dá)、肢體動(dòng)作、面部表情等信息傳遞占據(jù)著重要地位,其中面部表情是重要角色,在沒(méi)有任何外力或修飾下最能反映人的心理活動(dòng)和情緒狀態(tài)。隨著人工智能技術(shù)及其相關(guān)學(xué)科的迅速發(fā)展,表情識(shí)別技術(shù)在各行各業(yè)中的應(yīng)用也越來(lái)越廣泛,比如公安測(cè)謊、疲勞駕駛檢測(cè)、醫(yī)療監(jiān)護(hù)系統(tǒng),等等。在教育方面,無(wú)論是線上方式還是線下方式,通過(guò)記錄、分析學(xué)生的面部表情,教師能更有效地判斷學(xué)生的學(xué)習(xí)狀態(tài)及其知識(shí)掌握情況,便于教師及時(shí)調(diào)整教學(xué)設(shè)計(jì)和教學(xué)方法,從而提高教學(xué)質(zhì)量。本文采用K210從課堂視頻中獲取人臉檢測(cè)目標(biāo),通過(guò)人臉表情識(shí)別網(wǎng)絡(luò)模型進(jìn)行表情判別,計(jì)算學(xué)生的表情分?jǐn)?shù)和課堂教學(xué)質(zhì)量等級(jí)分值,并與測(cè)試分值進(jìn)行比較,從而分析學(xué)生的知識(shí)掌握情況,最后進(jìn)行教學(xué)效果反饋的研究。
1? 人臉表情識(shí)別概述
課堂教學(xué)中,學(xué)生面部表情隨著教師教學(xué)進(jìn)程的推進(jìn)而不斷變化,從課堂教學(xué)視頻幀中獲取學(xué)生的人臉圖像,通過(guò)圖像預(yù)處理進(jìn)行表情特征信息提取及分類,達(dá)到表情識(shí)別的目的。人臉表情識(shí)別框架圖如圖1所示。
圖1? 表情識(shí)別框架圖
1.1? 人臉識(shí)別
人臉識(shí)別任務(wù)的執(zhí)行除借助識(shí)別算法之外,還需搭載一個(gè)識(shí)別設(shè)備,目前嵌入式設(shè)備有很多,本文主要采用K210單片機(jī),主要原因在于其成本低,容易實(shí)現(xiàn)MicroPython的開發(fā),且其內(nèi)部擁有一個(gè)神經(jīng)網(wǎng)絡(luò)處理器,可以進(jìn)行高性能的計(jì)算,亦可以加載和運(yùn)行各種現(xiàn)成的AI算法模型,可對(duì)人臉進(jìn)行實(shí)時(shí)檢測(cè),還可進(jìn)行均衡、去噪、裁剪、仿射變形等一系列處理,接下來(lái)再進(jìn)行圖像預(yù)處理。
圖像預(yù)處理是指對(duì)原圖像進(jìn)行人臉對(duì)齊、數(shù)據(jù)增強(qiáng)及人臉歸一化等操作,在提取特征值關(guān)鍵點(diǎn)之前,排除掉與之無(wú)關(guān)的一切干擾。恰當(dāng)?shù)膱D像預(yù)處理能夠提高表情識(shí)別度,有利于實(shí)現(xiàn)情緒分類。其中,圖像預(yù)處理之一“人臉對(duì)齊”也叫人臉關(guān)鍵點(diǎn)定位,在檢測(cè)到人臉的基礎(chǔ)上,找到眉毛、眼睛、鼻子、嘴、人臉輪廓等關(guān)鍵點(diǎn)位置,目前要求至少找到5個(gè)關(guān)鍵點(diǎn),而網(wǎng)絡(luò)上一般基于68個(gè)關(guān)鍵點(diǎn)的變化情況進(jìn)行特征提取,滿足表情識(shí)別的需要。圖像預(yù)處理之二“數(shù)據(jù)增強(qiáng)”是指在圖像識(shí)別過(guò)程中,為了提高識(shí)別率,防止過(guò)擬合現(xiàn)象的發(fā)生,隨機(jī)改變訓(xùn)練集樣本,從而降低網(wǎng)絡(luò)模型對(duì)某些屬性的依賴。圖像預(yù)處理之三“人臉歸一化”主要是指亮度歸一化和姿態(tài)歸一化。
1.2? 表情特征提取及分類
20世紀(jì)70年代,美國(guó)心理學(xué)家Ekman [1]定義了人類的6種基本表情:高興、生氣、吃驚、恐懼、厭惡和悲傷,并與Friesen共同建立了面部動(dòng)作編碼系統(tǒng)(FACS),可使研究者按照系統(tǒng)劃分的一系列人臉動(dòng)作單元(AU)來(lái)描述人臉面部動(dòng)作,為如今的人臉表情識(shí)別統(tǒng)一了標(biāo)準(zhǔn)。由于本文主要研究課堂教學(xué)中學(xué)生臉部表情變化,與生氣、恐懼等情緒的相關(guān)性不大,特此分析歸納了學(xué)生學(xué)習(xí)過(guò)程中各類情緒與面部表情特征之間的關(guān)系,具體分為以下6類:1)疑惑、思考類特征:眼睛瞪大,鼻孔變大,嘴緊閉或張開。2)喜歡、理解類特征:下眼皮有皺紋,魚尾紋向外擴(kuò)張,嘴角向后拉高。3)不感興趣類特征:下眼皮有橫紋,鼻子上有皺紋,嘴緊閉嘴角下拉。4)排斥類特征:眼睛睜大可能斜視,嘴張開。5)疲憊類特征:上眼皮抬高,嘴角下拉。6)興奮類特征:眼睛瞪大,上眼瞼挑高,下眼瞼垂落,嘴未閉,不緊張,不拉伸。根據(jù)這六類特征提取面部特征值,進(jìn)行相關(guān)標(biāo)注及劃分。
2? 基于K210的人臉識(shí)別技術(shù)
2.1? 環(huán)境配置
硬件:K210開發(fā)板、攝像頭、屏幕、SD卡、USB Type-C數(shù)據(jù)線
環(huán)境搭建:硬件接線,下載并安裝MaixPy IDE,分別安裝串口驅(qū)動(dòng)、Python 3.8、pip、TensorFlow,進(jìn)行CUDA環(huán)境配置。
2.2? 實(shí)現(xiàn)人臉識(shí)別
基于K210的人臉識(shí)別[2]的主要目標(biāo)是人臉檢測(cè)。目前人臉檢測(cè)有Maix Hub [3]云端訓(xùn)練和本地訓(xùn)練兩種方式。MaixHub云端訓(xùn)練即在云端進(jìn)行,只需上傳訓(xùn)練數(shù)據(jù)即可輸出訓(xùn)練模型,無(wú)須進(jìn)行本地環(huán)境配置及相關(guān)軟件的安裝,但缺點(diǎn)是功能十分有限,因此采用本地訓(xùn)練方式。檢測(cè)人臉的數(shù)據(jù)集來(lái)源于某高校課堂實(shí)錄視頻,視頻總長(zhǎng)為8分鐘,學(xué)生聽課內(nèi)容為計(jì)算機(jī)基礎(chǔ)課程中二進(jìn)制與十進(jìn)制的快速轉(zhuǎn)換。從長(zhǎng)期的教學(xué)經(jīng)驗(yàn)來(lái)看,這個(gè)知識(shí)點(diǎn)沒(méi)有太多承上啟下的銜接,易理解,易計(jì)算,學(xué)生在聽講的過(guò)程中情緒變化較為明顯,面部表情豐富,適合進(jìn)行基于表情識(shí)別技術(shù)的教學(xué)效果反饋研究。
首先,按照Sipeed官方K210教程中本地訓(xùn)練的步驟進(jìn)行環(huán)境配置;其次,采用Maix Hub以48幀為單位對(duì)課堂視頻進(jìn)行數(shù)據(jù)采集并實(shí)現(xiàn)頭像標(biāo)注,數(shù)據(jù)集圖像命名如圖2所示,數(shù)量為300張;從Maix Hub網(wǎng)站下載人臉檢測(cè)模型文件face_model_at_0x300000.kfpkg至K210開發(fā)板中,并進(jìn)行參數(shù)設(shè)定,在KPU中運(yùn)行YOLO(You Only Look Once)目標(biāo)檢測(cè)算法實(shí)現(xiàn)人臉檢測(cè)。
然后,對(duì)圖像數(shù)據(jù)集中獲取的單張人臉進(jìn)行定位,考慮到光線、坐姿、分辨率等因素,除去定位錯(cuò)誤或不符合要求的圖像,最后將人臉圖像統(tǒng)一調(diào)整為200×200大小,形成如圖3所示的人臉數(shù)據(jù)集。
最后進(jìn)行圖像變換、裁剪、旋轉(zhuǎn)等仿射變換矩陣操作實(shí)現(xiàn)人臉對(duì)齊,最終形成1 300張有效人臉圖像。仿射變換矩陣計(jì)算式為:
(1)
其中,X′和Y′表示矯正后的像素位置,θ表示旋轉(zhuǎn)的角度,a、b分別表示水平位移和垂直位移,x和y表示原圖片的像素位置。通過(guò)計(jì)算左眼和右眼中心坐標(biāo),求得雙眼的傾斜夾角θ,逆時(shí)針旋轉(zhuǎn)θ度獲得對(duì)齊后的人臉圖像。
3? 表情特征提取及分類
通過(guò)上文歸納出的學(xué)生學(xué)習(xí)過(guò)程中6類情緒與面部表情特征之間的關(guān)系可以看出,特征值主要定位在嘴巴、眼睛、鼻子等位置。dlib [4]庫(kù)中自帶的預(yù)訓(xùn)練人臉特征點(diǎn)檢測(cè)器主要用于獲取臉部特定區(qū)域?qū)?yīng)的68(x, y)個(gè)坐標(biāo)點(diǎn)[5],這68個(gè)坐標(biāo)點(diǎn)的編號(hào)從1至68,主要分布在人臉、眉毛、眼睛、鼻子、嘴等部位,根據(jù)六類表情特征,結(jié)合關(guān)聯(lián)關(guān)鍵點(diǎn)的變化進(jìn)行分類,并為課堂教學(xué)效果反饋賦予相應(yīng)權(quán)值,如表1所示。
4? 課堂教學(xué)反饋
4.1? 課程質(zhì)量等級(jí)評(píng)價(jià)方法描述
學(xué)生學(xué)習(xí)情緒的變化主要體現(xiàn)在表情特征的變化,這是課堂教學(xué)效果反饋的最主要途徑,從教學(xué)經(jīng)驗(yàn)得出,學(xué)生的情緒變化既能直接影響教師的教學(xué)情緒,又能直觀體現(xiàn)教學(xué)效果。若要研究課堂教學(xué)反饋,需要建立表情識(shí)別模型,將學(xué)習(xí)情緒分為6類,為每類學(xué)習(xí)情緒設(shè)置一個(gè)置信度作為判斷學(xué)生存在這個(gè)表情的可能性,而將這一可能性作為對(duì)學(xué)生聽課狀態(tài)評(píng)分的標(biāo)準(zhǔn)。現(xiàn)結(jié)合表情特征將學(xué)生聽課狀態(tài)分成6種[6]:很不好、不好、較不好、好、較好、非常好,并給予賦權(quán)值。如表1所示,fear作為對(duì)聽課狀態(tài)很不好的判斷,權(quán)值設(shè)置為-3;disgust作為對(duì)聽課狀態(tài)不好的判斷,權(quán)值設(shè)為-2;sad作為對(duì)聽課狀態(tài)較不好的判斷,權(quán)值設(shè)為-1;anger作為對(duì)聽課狀態(tài)好的判斷,權(quán)值設(shè)為1;happy作為對(duì)聽課狀態(tài)較好的判斷,權(quán)值設(shè)為2;surprised作為對(duì)聽課狀態(tài)非常好的判斷,權(quán)值設(shè)為3。最終得分取值在-3到3之間,再進(jìn)行歸一化處理,就可以得到學(xué)生a在t時(shí)刻的表情分?jǐn)?shù),計(jì)算式如式(2)所示。其中E表示表情集,g表示各類表情權(quán)值。
(2)
累加所有學(xué)生的表情權(quán)重并求平均值即可得到所有學(xué)生一幀圖片的表情分?jǐn)?shù),如式(3)所示:
(3)
根據(jù)視頻總時(shí)長(zhǎng),將所有時(shí)刻的分?jǐn)?shù)累計(jì)取平均值獲得整個(gè)視頻中學(xué)生的表情分?jǐn)?shù),由于該分?jǐn)?shù)值在-1~1之間,數(shù)值太小,不利于劃分等級(jí),現(xiàn)將權(quán)值乘上5再加上5分基礎(chǔ)分,使得分?jǐn)?shù)在0~10之間,如式(4)所示:
(4)
根據(jù)數(shù)值將聽課質(zhì)量劃分為5個(gè)等級(jí)[7]:非常好(Very Good)、好(Good)、一般(General)、差(Bad)、很差(Very Bad),數(shù)值分布如表2所示。
表2? 課堂質(zhì)量等級(jí)劃分表
質(zhì)量等級(jí) Very Bad Bad General Good Very Good
數(shù)值 0~2.0 2.0~4.0 4.0~6.0 6.0~8.0 8.0~10
4.2? 實(shí)驗(yàn)與分析
采用如前所述的質(zhì)量等級(jí)評(píng)價(jià)方法對(duì)錄取的8分鐘課堂視頻進(jìn)行計(jì)算處理。通過(guò)以48幀為單位截取的300張有效圖像計(jì)算學(xué)生的表情分?jǐn)?shù)和等級(jí)分值,根據(jù)時(shí)間點(diǎn)顯示部分中間過(guò)程數(shù)據(jù),如表3所示。
通過(guò)計(jì)算得出課堂質(zhì)量等級(jí)平均值為7.12,屬于6.0~8.0之間,顯示聽課質(zhì)量為好。觀看此視頻,雖然由于錄制范圍、教室座位、架設(shè)角度、光線等問(wèn)題畫面呈現(xiàn)不夠全面,但是教師與學(xué)生互動(dòng)頻繁,學(xué)生聽課質(zhì)量較高,符合聽課質(zhì)量好的等級(jí)。接著通過(guò)選擇跟蹤上文進(jìn)行人臉識(shí)別及表情分類的10名學(xué)生的評(píng)價(jià)等級(jí)數(shù)值,與課堂隨測(cè)結(jié)果進(jìn)行比較,結(jié)果如表4所示。
表3? 部分時(shí)間點(diǎn)學(xué)生表情分?jǐn)?shù)及等級(jí)分值圖
圖像編號(hào) 表情分?jǐn)?shù) 質(zhì)量等級(jí)
iamge_1.jpg 0.301 915 2 6.509 576 00
iamge_15.jpg 0.306 579 90 6.532 899 50
iamge_29.jpg 0.332 463 50 6.662 317 50
iamge_43.jpg 0.343 934 50 6.719 672 50
iamge_57.jpg 0.359 208 65 6.796 043 25
iamge_71.jpg 0.394 482 80 6.972 414 00
iamge_85.jpg 0.427 569 50 7.137 847 50
iamge_99.jpg 0.455 031 10 7.275 155 50
iamge_113.jpg 0.525 179 10 7.625 895 50
iamge_127.jpg 0.565 621 70 7.828 108 50
iamge_141.jpg 0.525 321 50 7.626 607 50
iamge_155.jpg 0.497 645 60 7.488 228 00
iamge_169.jpg 0.386 579 20 6.932 896 00
iamge_183.jpg 0.370 763 10 6.853 815 50
iamge_197.jpg 0.344 082 50 6.720 412 50
iamge_211.jpg 0.397 223 10 6.986 115 50
iamge_225.jpg 0.427 320 10 7.136 600 50
iamge_239.jpg 0.496 752 20 7.483 761 00
iamge_253.jpg 0.525 843 90 7.629 219 50
iamge_267.jpg 0.524 105 80 7.620 529 00
表4? 學(xué)生等級(jí)分值及測(cè)試分值
Student ALL_Point Exam Student ALL_Point Exam
Student1 8.125 895 5 10 Student6 7.460 432 5 10
Student2 8.828 108 5 7 Student7 6.545 412 5 9
Student3 6.562 317 5 9 Student8 7.187 847 5 8
Student4 6.469 672 5 10 Student9 6.356 421 0 4
Student5 5.987 317 5 9 Student10 6.789 956 0 7
表4中Exam [8]值來(lái)自學(xué)習(xí)通課堂隨測(cè),題目數(shù)量為10,題型為單選題和填空題,分別為5題,每題1分,知識(shí)點(diǎn)涵蓋視頻中內(nèi)容,難度分布均衡,針對(duì)性極強(qiáng),可作為教師評(píng)分項(xiàng)。
最后,通過(guò)皮爾遜積矩相關(guān)系數(shù)驗(yàn)證課堂質(zhì)量等級(jí)評(píng)分與測(cè)試評(píng)分的相關(guān)性。皮爾遜積矩[9]相關(guān)系數(shù)的計(jì)算式為:
(5)
其中,sn為學(xué)生數(shù)量,σ為標(biāo)準(zhǔn)差,皮爾遜積矩[10]相關(guān)系數(shù)的取值范圍為[-1, 1],相關(guān)系數(shù)的絕對(duì)值代表相關(guān)度,且成正比。取-1時(shí)是負(fù)線性相關(guān),取1時(shí)是正線性相關(guān)。其相關(guān)程度與相關(guān)系數(shù)密切相關(guān),如表5所示。
表5? 相關(guān)系數(shù)的絕對(duì)值與相關(guān)程度表
相關(guān)系數(shù)
絕對(duì)值區(qū)間 0.0~0.2 0.2~0.4 0.4~0.6 0.6~0.8 0.8~1.0
相關(guān)度 無(wú)相關(guān)或極弱相關(guān) 弱相關(guān) 中等程度相關(guān) 強(qiáng)相關(guān) 極強(qiáng)
相關(guān)
通過(guò)計(jì)算得出,該課堂視頻的Pearson [3]值為0.611,大于0且處于0.6~0.8之間,說(shuō)明課堂質(zhì)量等級(jí)評(píng)分與測(cè)試成績(jī)存在強(qiáng)相關(guān)性,能夠切實(shí)體現(xiàn)教學(xué)效果反饋,從而驗(yàn)證了本次課堂教學(xué)效果較好。
5? 結(jié)? 論
大學(xué)的公共基礎(chǔ)課程大部分都是合班課,學(xué)生人數(shù)眾多,教師無(wú)法一一關(guān)注到每位學(xué)生的聽課情況。有效的教學(xué)效果反饋是教學(xué)的重要組成部分,教師通過(guò)傳統(tǒng)觀察方式獲取的教學(xué)效果反饋不一定準(zhǔn)確,通過(guò)測(cè)試方式獲取的教學(xué)效果反饋也存在不確定性,研究表明通過(guò)表情識(shí)別技術(shù)獲取教學(xué)效果反饋是一種可行且可靠的方式。但是其也存在一些不足之處,有待做進(jìn)一步的深入研究:1)課堂視頻針對(duì)性強(qiáng),缺乏普及性。在錄制視頻前,教師與學(xué)生已經(jīng)溝通過(guò),且視頻較短,學(xué)生的注意力較集中,聽課專注度較好,與真實(shí)上課的情況存在差異。在后續(xù)研究中應(yīng)獲取多段課堂視頻,擴(kuò)充表情數(shù)據(jù)源,以期更加全面真實(shí)地反饋教學(xué)效果。2)表情識(shí)別數(shù)據(jù)集數(shù)據(jù)單一,不夠全面。除人臉表情外,人物情緒還可以由微表情、語(yǔ)音、肢體動(dòng)作等多種模態(tài)展現(xiàn),本文主要采用單模態(tài)數(shù)據(jù)集進(jìn)行表情識(shí)別技術(shù)研究,比較單一,在后續(xù)研究中還可以加入其他模態(tài)數(shù)據(jù)進(jìn)行分析,力求使教學(xué)效果反饋更周全。
參考文獻(xiàn):
[1] EKMAN P,ROSENBERG E L. What the Face Reveals: Basicand Applied Studies of Spontaneous Expression Using the Facial Action Coding System (FACS) [M].Oxford:Oxford Uni-versity Press,1997.
[2]卓瑪cug. dlib人臉識(shí)別安裝及使用教程 [EB/OL].(2020-01-13).https://blog.csdn.net/qq_29153321/article/details/103952475.
[3] 于方軍,焦玉杰,孫麗君.人體關(guān)鍵點(diǎn)檢測(cè)及教學(xué)應(yīng)用之人臉表情識(shí)別 [J].中國(guó)信息技術(shù)教育,2023(1):96-98.
[4] 戴海云.基于人臉表情識(shí)別的課堂質(zhì)量分析研究 [D].鎮(zhèn)江:江蘇科技大學(xué),2022.
[5] 鐘源,李鴻天,袁家政,等.基于深度學(xué)習(xí)的人臉表情識(shí)別研究綜述 [C]//中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2022年第二十六屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì).北京:[出版者不詳],2022:9-12.
[6] 劉建華,唐雷.人臉表情識(shí)別技術(shù)研究綜述 [J].信息通信技術(shù)與政策,2022(8):89-96.
[7] 王曄,王峰,賈海蓉,等.結(jié)合人臉關(guān)鍵點(diǎn)與光流特征的微表情識(shí)別 [J].激光雜志,2023,44(5):72-77.
[8] 崔海生,侯晨杰.基于Tensorflow框架的面部識(shí)別技術(shù) [J].科技與創(chuàng)新,2023(10):34-38.
[9] 孫廨堯,李秀茹,王松林.基于改進(jìn)YOLOv5的學(xué)生面部表情識(shí)別 [J].齊魯工業(yè)大學(xué)學(xué)報(bào),2023,37(1):28-35.
[10] 賴東升,馮開平,羅立宏.基于多特征融合的表情識(shí)別算法 [J].廣東工業(yè)大學(xué)學(xué)報(bào),2023,40(3):10-16.
作者簡(jiǎn)介:許曉萍(1979—),女,漢族,江蘇無(wú)錫人,講師,碩士,研究方向:計(jì)算機(jī)及應(yīng)用。