陳彬杰 田生偉 易大強 常朋肖

摘 要 為了有效管理日益增多的高校學生，對學生進行實時準確監(jiān)控，解決在機房或者網(wǎng)上課堂等教師難以觀察學生狀態(tài)的環(huán)境中如何有效了解學生動態(tài)的問題，提出并研制基于視頻分析的機房教學監(jiān)控系統(tǒng)，系統(tǒng)通過攝像頭捕獲人臉，使用深度學習來識別學生狀態(tài)。經(jīng)驗證，該系統(tǒng)能及時讓教師了解學生上課狀態(tài)。

關鍵詞 人臉識別；教學監(jiān)控系統(tǒng)；機房教學；深度學習

中圖分類號：G642 文獻標識碼：B

文章編號：1671-489X（2018）10-0024-03

Development of Automatic Monitoring System in Computer Lab//

CHEN Binjie， TIAN Shengwei， YI Daqiang， CHANG Pengxiao

Abstract In order to effectively manage a growing number of uni-versity students， monitor students in real time and accurately， and solve the problem of how to understand the students ‘status in an environment where the teachers classrooms or online classrooms are

difficult to observe. This paper presents and develops a computer lab teaching monitoring system based on video analysis. The system uses the camera to capture face and identify students status. The system is verified that can help teachers understand the status of stu-dents in time.

Key words face recognition； teaching monitoring system； computer lab teaching； deep learning

1 引言

在高等教育中，機房教學是培養(yǎng)計算機人才必不可少的環(huán)節(jié)，機房也是高等教育的主要進行場所。我國高等教育的現(xiàn)狀大多是一個教師在課堂上至少要管理百余人，若是在機房環(huán)境中上課，教師和學生之間被計算機屏幕等設備阻隔，教師無法獲得學生學習狀態(tài)，這讓學校從課堂表現(xiàn)上評價學生變得非常困難，評價學生的學習效果只能通過考試分數(shù)，而評價不準確也讓教學質(zhì)量難以獲得保證。解決這個矛盾的關鍵點在于，如何解決機房中教師無法準確全面獲得學生信息的問題，即如何監(jiān)管學生的問題。

1）機房課堂中學生和教師之間的空間阻隔大，教師視線受到機房中計算機屏幕等設備的遮擋，無法觀察學生的一舉一動，導致課堂上出現(xiàn)學生睡覺、玩手機、聊天甚至中途離開機房早退的現(xiàn)象，而這些問題教師都難以察覺和監(jiān)督。

2）現(xiàn)今大學生曠課、遲到、早退現(xiàn)象尤為常見，還有學生上課代答到的現(xiàn)象發(fā)生，在考勤管理上使用傳統(tǒng)點名方式管理學生極為困難，無法得到真實的考勤情況。

3）在人數(shù)多的機房中進行點名工作、統(tǒng)計到勤情況是十分耗費時間的，耽誤學生學習和教師講課；若要檢查學生的早退情況，在下課時還要進行一次點名，教師無法實時掌握學生的到崗情況。

2 系統(tǒng)簡介

基于視頻分析的機房教學監(jiān)控系統(tǒng)（以下簡稱“本系統(tǒng)”）是一個基于人臉識別、機器學習、深度學習，適用于機房教學環(huán)境的教學輔助類系統(tǒng)。本系統(tǒng)可以實時地分析學生的課堂學習情況，克服傳統(tǒng)教學評價系統(tǒng)的高延遲性這一缺陷。此外，應用軟件系統(tǒng)將對學生學習狀況進行匯總分析，形成基于真實數(shù)據(jù)的數(shù)字報告并反饋給學生和學校，更好地輔助學生優(yōu)化在機房中的學習效果。該系統(tǒng)能對學生的學習情況進行全面客觀分析：以往，課堂學習情況本應作為學生學習成績評價的重要依據(jù)，但由于考查難度大而大打折扣、難以實施，因而不得已采用考試分數(shù)作為學生學習成績評價的主要指標；若使用該系統(tǒng)，就能夠克服這一缺陷，將學生的上課表現(xiàn)納入期末綜合考核中，同時大大減輕教師的調(diào)查負擔，讓教師能夠專心于上課而不需要分心觀察記錄學生情況，相當于為教師配備了一個“電子助教”。

3 系統(tǒng)功能介紹

本系統(tǒng)主要有課程管理功能、簽到考勤功能、學習狀態(tài)分析功能、學生信息發(fā)送功能、教師后臺管理功能等五大功能。以下是教學監(jiān)控系統(tǒng)各功能的介紹。

課程管理功能 系統(tǒng)可以從數(shù)據(jù)庫中獲取學生課表信息，結合課表信息自動設置課程監(jiān)控開始時間和結束時間。同時，系統(tǒng)可以手動添加學生和課程數(shù)據(jù)：添加學生數(shù)據(jù)時需要添加學生人臉照片和姓名等個人信息，學生的人臉數(shù)據(jù)將用于簽到考勤功能；添加課程數(shù)據(jù)時需要添加課程名稱和課程開始時間、結束時間等。

簽到考勤功能 系統(tǒng)將在課程上課時間啟動該功能，當?shù)竭_上課時間時，攝像頭會自動運行，并每隔一段時間截取攝像頭當前所拍攝的視頻中某一幀的圖片，通過人臉檢測模塊截取人臉部分，和數(shù)據(jù)庫中修該課程的學生的人臉圖片進行比對識別，將該學生識別為數(shù)據(jù)庫中與攝像頭截取的圖片相似度最高的學生，將考勤情況記為已到；當連續(xù)10分鐘未截取到人臉或截取到的人臉不屬于原學生時，將會把情況記錄生成學生課堂信息，用作學生信息發(fā)送功能要發(fā)送的數(shù)據(jù)。這樣便可做到對學生上課全時間段的考勤，其準確性和實時性是傳統(tǒng)考勤方式無法做到的，且考勤不會占用學生和授課教師的時間。

學習狀態(tài)分析功能 在教師上課期間，系統(tǒng)會將所有學生攝像頭截取到的視頻圖片通過LBP閉眼檢測[1]和人臉定位來檢測學生是否在上課睡覺，當人臉無法定位時，默認學生低頭或者趴下，系統(tǒng)在數(shù)據(jù)庫中會將這些行為標記為未在學習。目前系統(tǒng)能區(qū)分的狀態(tài)有認真學習、閉眼睡覺、低頭未在學習三種。當認真學習的時間和其他狀態(tài)的時間比率低于教師設定值時，系統(tǒng)將會把學生姓名發(fā)送到教師端，教師將能收到當前學生攝像頭前的即時畫面和系統(tǒng)分析的學生學習狀態(tài)。同時，所有的學生上課狀態(tài)信息都會被保存在數(shù)據(jù)庫中，以便于在期末或者其他任意時間段導出學生的上課情況表。

學生信息發(fā)送功能 簽到考勤狀況和學生狀態(tài)的狀況將永久保留在系統(tǒng)內(nèi)，同時會對每個人的學習情況進行分析，統(tǒng)計出給定時間內(nèi)某門課程的學習情況分析表并發(fā)送給任課教師，任課教師可以通過綁定微信的方式來快速收取系統(tǒng)發(fā)送的信息；同時可生成給定時間內(nèi)某學生的個人學習情況分析表，學生也能通過綁定微信的方式來接收信息，讓學生和教師對自己和對方上課的狀態(tài)進行分析，從而更好地進行教學工作。

教師后臺管理功能 教師登錄教師賬號后可以管理自己課程內(nèi)的學生，修改其考勤情況，錄入學生請假信息，需要輸入學生學號、請假原因以及請假起訖時間。在請假時間段內(nèi)，簽到考勤模塊將不會對該生進行考勤，而是直接記錄為“請假”。教師還可以在系統(tǒng)后臺設置學習狀態(tài)分析系統(tǒng)參數(shù)，包括：每節(jié)課認真學習時間低于多少時，判定為課堂表現(xiàn)不及格；學生離開屏幕多久后，系統(tǒng)向教師發(fā)送通知；認真學習的學生能得到多少課堂表現(xiàn)分；系統(tǒng)每隔多久截取學生當前的圖像并進行一次識別。

4 系統(tǒng)設計概要

主要總結教學監(jiān)控系統(tǒng)結構設計流程以及系統(tǒng)各模塊的功能及相關原理。應用程序的總體結構設計流程如圖1所示。預處理流程如圖2所示。

各模塊功能概述

1）圖像獲取模塊。該模塊截取攝像頭錄制的視頻中的圖片幀來獲得圖像信息，也可以從現(xiàn)有視頻中選擇導入視頻來獲取，在視頻片段中每隔1 s截取一次圖片，以獲取學生最實時的信息。

2）圖像預處理模塊。該模塊包括四個環(huán)節(jié)，即灰度化、人臉檢測、縮放、歸一化。其中，灰度化環(huán)節(jié)將通常的RGB彩色圖像通過加權平均法轉換成灰度圖；人臉檢測環(huán)節(jié)是這四個環(huán)節(jié)中最重要的，它通過已經(jīng)訓練好的級聯(lián)分類器提取出圖片中的人臉特征部分；縮放環(huán)節(jié)將截取出的人臉圖像的大小縮放到99 px×99 px的大小，這是一個較小的圖片，這樣能減輕計算機識別人臉的計算來獲得更實時的信息；歸一化環(huán)節(jié)將截取的人臉圖像進行歸一化。

3）人臉識別模塊。該模塊將輸入的人臉圖像進行特征提取，然后送入已經(jīng)訓練好的分類器進行概率估計，取概率最大的結果作為輸出結果[2]。

4）學習狀態(tài)識別模塊。該模塊將整張預處理后的圖片作為輸入，然后用之前訓練好的動作級聯(lián)分類器進行提取，共用到眼睛、臉部、低頭的臉部三個級聯(lián)分類器。

算法實現(xiàn)概述 人臉識別部分使用了一種LBP（局部二值模式）+CNN（卷積神經(jīng)網(wǎng)絡）的人臉識別算法。因為LBP對輸入圖片位置敏感，所以當人臉檢測算法截取的人臉區(qū)域不準確時，提取的特征也會不準確，因此需要對算法進行改進。

將圖片歸一化為99 px×99 px的圖片，再把圖片分成9×9個像素大小為11 px×11 px的子集，對子集進行LBP特征的提取。LBP編碼時，LBP算子中的半徑與采樣點的選擇將影響LBP算法的性能，半徑越大，采樣點越多，雖然能夠獲得更高的識別率，但是數(shù)據(jù)維度也將變得巨大，并且算法也將更耗時。根據(jù)文獻[3]中的試驗，本文算法采用LBP8-1編碼方式。將最后編碼獲得的每個子集的直方圖作為CNN的輸入來訓練整個網(wǎng)絡使用BP算法對整個網(wǎng)絡進行微調(diào)。卷積神經(jīng)網(wǎng)絡含有一個可視層、一個卷積層和一個池化層。卷積核大小與池化大小均為10×10。最后用訓練好的CNN提取訓練樣本的人臉特征，并以這些特征訓練一個Softmax分類器進行人臉識別，同時使用驗證集來計算正確率。

5 系統(tǒng)應用測試

簽到考勤功能測試 首先，在YALE[4]庫上進行人臉識別測試，LBP由于計算簡單且具有光照和旋轉不變性，因此在限制條件下的人臉庫YALE上取得較高的識別率。之后將系統(tǒng)部署到機房進行測試，視頻圖像的采集上使用200萬像素的網(wǎng)絡攝像頭。在30人的課堂中進行試驗，系統(tǒng)預先錄入30名學生的臉部信息；在預定的考勤時間開始時，分別讓10人、15人、20人離開教室，系統(tǒng)準確地識別并記錄了考勤成功的學生和離開教室的學生，僅一名學生因錄入臉部信息時沒有佩戴眼鏡，而考勤時佩戴了眼鏡，導致識別偏差。結果表明，試驗中考勤正確率達96.7%，達到實際運行要求。

學習狀態(tài)分析功能測試 在上課的一小時內(nèi)，按每秒一張的頻率采集上一個試驗中的30名學生上課時攝像頭獲取的照片，共108 000張；之后30名學生隨機抽取寫有編號為1～30的紙條，抽到編號為n的紙條的學生在第n×2分鐘做指定的動作，使用學習狀態(tài)分析模塊對輸入的

108 000張照片進行分析，分析睡覺、低頭玩手機和不在屏幕前的時間，并和每個學生記錄的真實情況進行對比。結果表明，試驗中識別這三種狀態(tài)的正確率達到99%以上，極為準確。

參考文獻

[1]徐翠.基于計算機視覺的汽車安全輔助駕駛若干關鍵問題研究[D].合肥：中國科學技術大學，2009.

[2]齊禮成.基于人臉識別考勤系統(tǒng)的設計與實現(xiàn)[D].西安：西安電子科技大學，2012.

[3]Ahonen T， Hadid A， Pietik?inen M. Face Recognition

with Local Binary Patterns[J].Computer Vision，2004（12）：

469-481.

[4]王憲，張彥，慕鑫，等.基于改進的LBP人臉識別算法[J].光電工程，2012，39（7）：109?114.