胡建華 張軍 吳偉美 魏嘉俊 張嘉誠

（廣東科學(xué)技術(shù)職業(yè)學(xué)院計(jì)算機(jī)工程技術(shù)學(xué)院 廣東省珠海市 519090）

學(xué)生課堂行為表現(xiàn)是課堂教學(xué)評價(jià)的重要組成部分，而進(jìn)行學(xué)生課堂行為識別對課堂教學(xué)評價(jià)有重要意義。使用基于人工智能和深度學(xué)習(xí)的學(xué)生課堂行為識別方法識別學(xué)生典型的課堂行為，能及時(shí)、有效地反映學(xué)生的學(xué)習(xí)狀態(tài)，并幫助教師精準(zhǔn)掌握學(xué)生的課堂學(xué)情，從而助力智能化課堂教學(xué)?；谌斯ぶ悄芎蜕疃葘W(xué)習(xí)的學(xué)生課堂行為識別方法可用于學(xué)生典型課堂行為（包括睡覺、玩手機(jī)、逃課等）的識別，能及時(shí)、有效反映學(xué)生的學(xué)習(xí)狀態(tài)，并幫助教師精準(zhǔn)地掌握學(xué)生的課堂學(xué)情，從而助力智能化課堂教學(xué)[1]。

隨于深度學(xué)習(xí)目標(biāo)檢測與動作識別算法在學(xué)術(shù)界與工業(yè)界的研究與應(yīng)用，目前相關(guān)學(xué)者將這兩種技術(shù)應(yīng)用于學(xué)情監(jiān)測，如基于CNN 深度學(xué)習(xí)模型的大學(xué)生課堂行為檢測研究[2]、改進(jìn)的多目標(biāo)回歸學(xué)生課堂行為檢測方法等[3]。由于這些算法存在目標(biāo)檢測算法，只能針對每一幀進(jìn)行檢測，會出現(xiàn)檢測丟幀現(xiàn)象，無法進(jìn)行準(zhǔn)確的動作識別。因此也有學(xué)者采用基于OpenPose 姿態(tài)估計(jì)方法來提取學(xué)生行為骨架，從而實(shí)現(xiàn)行為識別[4]。姿態(tài)估計(jì)對于學(xué)生逃課有比較好的檢測效果，但是對于玩手機(jī)這種細(xì)粒度動作卻無法進(jìn)行有效識別，因?yàn)楸疚耐ㄟ^改進(jìn)傳統(tǒng)的目標(biāo)檢測YOLO 算法來實(shí)現(xiàn)玩手機(jī)這種細(xì)粒度動作進(jìn)行識別，基于改動的動作識別方法開發(fā)線上教學(xué)學(xué)情監(jiān)測系統(tǒng)，旨在對線上學(xué)習(xí)的過程中學(xué)生行為進(jìn)行監(jiān)督、統(tǒng)計(jì)、分析，并通過可視化在網(wǎng)頁上進(jìn)行展示。

1 系統(tǒng)概述與架構(gòu)

基于深度學(xué)習(xí)的課堂行為識別系統(tǒng)主要應(yīng)用于高校學(xué)生課堂上的行為分析，此系統(tǒng)從學(xué)生玩手機(jī)、睡覺、出勤三個(gè)方面的數(shù)據(jù)來分析學(xué)生課堂質(zhì)量。通過在課室安裝普通的攝像頭來實(shí)時(shí)采集課堂現(xiàn)場畫面，將圖像傳輸?shù)椒?wù)器進(jìn)行處理，使用YOLO 目標(biāo)檢測算法對課堂行為進(jìn)行檢測識別，具體步驟：首先后臺服務(wù)器讀取攝像頭圖像，輸入神經(jīng)網(wǎng)絡(luò)模型，輸出目標(biāo)結(jié)果，通過改進(jìn)的方法對課堂行為進(jìn)行識別。其次將檢測出來的行為數(shù)據(jù)進(jìn)行分類，統(tǒng)計(jì)等預(yù)處理并保存到數(shù)據(jù)庫。再次將處理后的數(shù)據(jù)傳輸?shù)角岸恕Ｗ詈笄岸嗽谕ㄟ^渲染界面后展示各項(xiàng)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)可視化，可以直觀、有效、快捷的了解各課堂的實(shí)時(shí)情況。

系統(tǒng)架構(gòu)如圖1所示，該系統(tǒng)最關(guān)鍵是課堂行為識別算法設(shè)計(jì)，因此數(shù)據(jù)采集實(shí)現(xiàn)對教室中各個(gè)角度、不同場景的數(shù)據(jù)進(jìn)行采集、清洗、處理等操作。完成數(shù)據(jù)標(biāo)注后，使用經(jīng)典的目標(biāo)檢測算法YOLO v3[5]，在GPU 服務(wù)器進(jìn)行模型訓(xùn)練，得到訓(xùn)練好的模型，然后可以使用該模型對教室里的圖像畫面進(jìn)行檢測，檢測出學(xué)生玩手機(jī)、睡覺、逃課等行為，因?yàn)槟繕?biāo)檢測主要是針對每一幀進(jìn)行檢測，無法實(shí)現(xiàn)全過程的監(jiān)控，有可能單幀檢測結(jié)果與實(shí)際行為不符，因此本文設(shè)計(jì)基于目標(biāo)檢測與物體跟蹤的行為識別來實(shí)現(xiàn)對玩手機(jī)這種細(xì)粒度動作識別。該系統(tǒng)支持使用?？?、大華等多路網(wǎng)絡(luò)攝像頭讀取，并實(shí)時(shí)進(jìn)行圖像處理。使用目標(biāo)檢測Yolo_v3 算法進(jìn)行目標(biāo)檢測，將目標(biāo)檢測的結(jié)果進(jìn)行數(shù)據(jù)存儲，同時(shí)將人、玩手機(jī)、睡覺等行為在視頻中進(jìn)行標(biāo)記。為了將視頻數(shù)據(jù)在web 端進(jìn)行顯示，將目標(biāo)檢測識別標(biāo)記后的視頻幀，使用推流的方式用于前端的顯示，前端通過拉流操作將視頻流在前端網(wǎng)頁進(jìn)行顯示；將目標(biāo)檢測的結(jié)果數(shù)據(jù)保存在數(shù)據(jù)庫，還將根據(jù)不同課程，不同時(shí)間，不同老師的數(shù)據(jù)情況進(jìn)行深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)情況行為預(yù)測，最終將數(shù)據(jù)情況，數(shù)據(jù)分析以及趨勢情況在網(wǎng)頁端進(jìn)行數(shù)據(jù)可視化展示。

圖1：系統(tǒng)架構(gòu)

系統(tǒng)采用node.js 作為后端框架，nodejs 是一個(gè)基于Chrome V8 引擎的JavaScript 運(yùn)行環(huán)境，使用了一個(gè)事件驅(qū)動、非阻塞式I/O 模型，使其輕量又高效，且Node.js 具有強(qiáng)大軟件包管理工具npm 是全球最大的開源庫生態(tài)系統(tǒng)。前端使用vue 框架設(shè)計(jì)，vue是目前較為流行的前端框架，是一套用于構(gòu)建用戶界面的漸進(jìn)式JavaScript 框架，不僅易于上手，還便于與第三方庫或既有項(xiàng)目整合。利用Echarts 進(jìn)行數(shù)據(jù)可視化，Echarts 是一個(gè)基于 JavaScript的開源可視化圖表庫，涵蓋各行業(yè)圖表，滿足各種需求，且兼容當(dāng)前絕大部分瀏覽器及兼容多種設(shè)備，可隨時(shí)隨地任意展示，通過后臺傳輸?shù)臄?shù)據(jù)，可以做到實(shí)時(shí)數(shù)據(jù)可視化等。其中深度學(xué)習(xí)行為識別算法是基于python 編程，因此使用websocket 實(shí)現(xiàn)Python 與JavaScript 兩種編程語言之間進(jìn)行通信。

2 改進(jìn)的YOLO算法的動作識別過程

基于深度學(xué)習(xí)算法的一系列目標(biāo)檢測算法已取得了很大的突破。比較流行的算法可以分為兩類：一類是兩步走（two-stage）算法，基于候選區(qū)域的R-CNN 系算法（R-CNN，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN等），其目標(biāo)是通過兩個(gè)階段來進(jìn)行，需要先使用算法產(chǎn)生目標(biāo)候選框，也就是目標(biāo)位置，然后再對候選框做分類與回歸；另一類是一步走（one-stage）算法，例YOlO，SSD 等使用單階段（一步實(shí)現(xiàn)位置檢測與分類）算法，其僅僅使用一個(gè)卷積神經(jīng)網(wǎng)絡(luò)直接預(yù)測不同目標(biāo)的類別與位置。本系統(tǒng)使用YOLO v3 網(wǎng)絡(luò)模型進(jìn)行課堂行為檢測。

2.1 標(biāo)注訓(xùn)練集

通過采集教室里不同攝像機(jī)、不同角度、不同場景下的視頻圖像數(shù)據(jù)，通過數(shù)據(jù)標(biāo)注建立大型的訓(xùn)練集，數(shù)據(jù)包括圖片集和標(biāo)注文件。為了降低數(shù)據(jù)標(biāo)注的工作量以及提高古模型訓(xùn)練的準(zhǔn)確率，從視頻中通過程序選出動作變化大、固定長度抽幀等方式進(jìn)行處理，得到待標(biāo)注圖片，每張圖片使用LabelImg 工具手工標(biāo)注目標(biāo)區(qū)域，并設(shè)置類型標(biāo)簽，標(biāo)注文件為XML 格式，每個(gè)標(biāo)注文件中存放分類標(biāo)簽信息和目標(biāo)位置信息（x 軸、y 軸坐標(biāo)數(shù)值對）。文中所用圖片為某學(xué)校教室監(jiān)控錄像處理后的視頻幀，標(biāo)注文件的分類標(biāo)簽信息為person（學(xué)生）、phone（玩手機(jī)）、sleep（睡覺）等。

2.2 神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

項(xiàng)目采用YOLOv3 目標(biāo)檢測進(jìn)行模型訓(xùn)練，首先根據(jù)下載了官方提供的默認(rèn)權(quán)重文件，并對權(quán)重進(jìn)行初始化，并且設(shè)置模型對應(yīng)的標(biāo)簽類型等信息，然后將本文中建立的數(shù)據(jù)集輸入到網(wǎng)絡(luò)中進(jìn)行數(shù)據(jù)預(yù)處理。最后進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練，將數(shù)據(jù)集中的圖片數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)計(jì)算得到輸出結(jié)果，在開始訓(xùn)練需要注意調(diào)整模型中的層數(shù)、每層隱藏層的節(jié)點(diǎn)數(shù)以及激活函數(shù)。再用所帶標(biāo)簽進(jìn)行損失函數(shù)計(jì)算，然后通過反向傳播來更新權(quán)重，反復(fù)訓(xùn)練過程，直到損失函數(shù)達(dá)到預(yù)期效果。

2.3 目標(biāo)檢測結(jié)果

配置好YOLO 目標(biāo)檢測模塊的圖像數(shù)據(jù)庫集文件路徑，并加載上述訓(xùn)練完成的網(wǎng)絡(luò)模型，啟動目標(biāo)檢測過程，完成后將檢測結(jié)果輸出到圖片上（被檢測到的學(xué)生行為用矩形邊框標(biāo)記），邊框上分別標(biāo)有該目標(biāo)的標(biāo)簽和置信度，將目標(biāo)的標(biāo)簽、置信度、預(yù)測邊框的中心坐標(biāo)、預(yù)測邊框的寬和高等數(shù)據(jù)進(jìn)行保存，形成坐標(biāo)分析序列，用于后續(xù)行為分析，如圖2所示。

圖2：目標(biāo)檢測結(jié)果

2.4 課堂行為識別方法

使用訓(xùn)練好的模型進(jìn)行測試時(shí)發(fā)現(xiàn)，目標(biāo)檢測結(jié)果非常不穩(wěn)定，經(jīng)常出現(xiàn)丟失目標(biāo)檢測結(jié)果信息，導(dǎo)致目標(biāo)檢測結(jié)果與實(shí)際行為不一致的情況。同時(shí)對于玩手機(jī)還是手機(jī)放在桌面上這種細(xì)粒度動作識別出現(xiàn)無法判斷的現(xiàn)象，因此本文構(gòu)建一個(gè)動作序列比較比較算法，將目標(biāo)檢測到手機(jī)的每一幀數(shù)據(jù)進(jìn)行存儲，根據(jù)動作的連續(xù)性，對于某一幀目標(biāo)檢測結(jié)果丟失進(jìn)行插值處理，還原其變化位置坐標(biāo)，這樣形成目標(biāo)檢測（手機(jī)）測試時(shí)序序列，同時(shí)建立一個(gè)標(biāo)準(zhǔn)拿手機(jī)的動作序列，將兩個(gè)序列進(jìn)行比較來判斷玩手機(jī)的動作作為。

當(dāng)對標(biāo)準(zhǔn)動作以及被測試者動作提取的序列數(shù)據(jù)進(jìn)行比較時(shí)，由于每個(gè)人動作序列時(shí)間長短不一定相同，直接使用常規(guī)的距離比較方法例如歐氏距離，會導(dǎo)致評分準(zhǔn)確率差，因此本文針對這種序列的比較匹配方法采用動態(tài)時(shí)間規(guī)整DTW 算法[6]。DTW 算法主要針對序列匹配提出的，解決當(dāng)序列出現(xiàn)飄移時(shí)，歐氏距離度量失效問題。因此通過將目標(biāo)結(jié)果軌跡轉(zhuǎn)化為序列比較來實(shí)現(xiàn)行為識別，這樣對于玩手機(jī)這種細(xì)粒度動作識別更準(zhǔn)確。

3 實(shí)驗(yàn)分析

系統(tǒng)以網(wǎng)頁形式多維度展示課堂關(guān)注度數(shù)據(jù)，如圖3所示，頁面中心播放經(jīng)過目標(biāo)檢測處理后的學(xué)生課堂監(jiān)控視頻，左邊主要是分析學(xué)生的課堂考勤情況、學(xué)生精神狀態(tài)，并且根據(jù)綜合數(shù)據(jù)得出學(xué)生總體分值；右邊主要展示學(xué)生人臉簽到情況以及學(xué)生課堂累計(jì)數(shù)據(jù)；下邊主要通過展示目標(biāo)檢測以及行為實(shí)時(shí)實(shí)時(shí)結(jié)果，包括玩手機(jī)、睡覺人數(shù)等。

圖3：課堂行為實(shí)時(shí)數(shù)據(jù)分析

4 結(jié)果與討論

基于深度學(xué)習(xí)的課堂行為識別系統(tǒng)能夠支持教學(xué)管理人員分析、判斷課堂教學(xué)監(jiān)控視頻中學(xué)生的學(xué)習(xí)狀態(tài)，有助于管理人員客觀、及時(shí)地實(shí)施質(zhì)量監(jiān)控措施，也有助于教學(xué)質(zhì)量管理部門制定有針對性的管理制度，數(shù)據(jù)交互實(shí)現(xiàn)了學(xué)情分析數(shù)據(jù)可視化等功能。通過改進(jìn)的YOLO 目標(biāo)檢測算法，測試表明能夠準(zhǔn)確判斷玩手機(jī)行為，為課堂行為分析提供了準(zhǔn)確的依據(jù)。