摘?要：為實時掌握學生線上學習情況，提高學生線上課堂教學質(zhì)量。針對移動設備端、學生圖像尺寸大小不一、背景復雜易遮擋等問題，本文設計了一種基于輕量化卷積神經(jīng)網(wǎng)絡檢測模型。首先以YoloV5s為基準，輕量化改進其主干特征網(wǎng)絡，從而減小模型體積；并通過改進DIoU作為損失函數(shù)，進一步優(yōu)化模型，提升檢測框質(zhì)量。實驗結(jié)果表明，本研究改進的模型大小僅為6.8MB，平均檢測精度達到96.5%，每幅圖像的平均檢測時間為0.025s，與經(jīng)典目標檢測模型比較，表現(xiàn)出較強的魯棒性和泛化能力，是一種有效的學生在線課堂行為識別方法。

關鍵詞：輕量化模型；實時性；特征增強；行為識別；YoloV5s

1?背景介紹

隨著互聯(lián)網(wǎng)及教育事業(yè)的發(fā)展，每年大學生接受線上教育人數(shù)都在不斷地增多。在線課堂中學生學習質(zhì)量難以保證，一部分缺少自制力的學生在線上課堂上的專注度不高。另一方面，授課教師在線上授課的同時做到監(jiān)督規(guī)范學生學習行為。本文引入輕量化卷積神經(jīng)網(wǎng)絡，用以解決大學生在線學習行為識別問題。

引入人工智能技術用于線上教學，采用人工智能算法來識別學生在線課堂學習行為，以此隨時掌握學生的學習情況，對于推進線上教學創(chuàng)新發(fā)展有重要意義。

卷積算法代表著深度學習方法的發(fā)展趨勢，被廣泛應用各個行業(yè)。深度學習算法簡單有效，進一步改進了現(xiàn)有技術和方法，取得了顯著成果。王澤杰等采用Yolov3算法提取的交互物體局部特征［1］，對學生行為進行了識別分析，提高了識別精度；改進了模型結(jié)構，壓縮并優(yōu)化了模型，降低了空間與時間的消耗。該檢測與識別方法在驗證集上的精度達到了95.45%。白捷等使用Faster?RCNN算法進行檢測［2］，該模型的查準率均值可達76.32%，在原有算法基礎上提升了12.22個百分點，取得較好的檢測效果。郭俊奇等改進了Yolov5模型的損失函數(shù)［3］，在教育場景下課堂行為識別工作中，展現(xiàn)了較好的性能。閆興亞等提出了基于深度學習的課堂行為識別方法［4］，采用改進的Yolov5目標檢測算法得到人體檢測框，對人體各個部位的識別平均準確率最高達到了82.6%，能夠有效應用于課堂的多種行為識別。

然而，更深層的神經(jīng)網(wǎng)絡結(jié)構會導致參數(shù)總數(shù)增多，增加了測算壓力，對設備內(nèi)存、計算速率也提出了更高的要求。為了找到計算模型精度、體積和效率之間的平衡點，本文在YoloV5s的基礎上，輕量化改進其主干特征網(wǎng)絡，從而減少整體的參數(shù)數(shù)量。后使用改進的DIoU作為損失函數(shù)，改善檢測框的準確性和穩(wěn)定性，采用自行構建的數(shù)據(jù)集，模擬在線課堂環(huán)境中的真實場景和行為，以確保模型在教學過程中的魯棒性和穩(wěn)定性。

2?目標檢測網(wǎng)絡YoloV5s輕量化改進模型

2.1?YoloV5s模型

YoloV5系列是一組基于回歸方法的單階目標檢測模型。與傳統(tǒng)的檢測方法不同，YoloV5在前向傳遞中同時執(zhí)行目標檢測和定位，使其在速度和準確率方面表現(xiàn)出色。YoloV5進一步細化為四個不同版本，包括V5s、V5m、V5l和V5x，以滿足不同場景和需求。本文的主要目標是設計一個高準確率、實時性強以及相對較小的檢測模型。本文通過選擇YoloV5s作為基礎模型，進一步優(yōu)化，實現(xiàn)在線課堂行為檢測。

在YoloV5s模型的骨干部分引入了Focus結(jié)構，用以實現(xiàn)對輸入圖像的切片操作。這一創(chuàng)新性改進能有效地處理輸入圖像，將其分割為更小的輸出特征圖以便進行后續(xù)處理。主干網(wǎng)絡的設計采用了YoloV4的CSP結(jié)構，主干網(wǎng)絡借助殘差網(wǎng)絡結(jié)構，從輸入圖像中提取重要的特征，能夠高效地捕獲圖像中的信息，從而提升模型的感知能力和特征表達能力。YoloV5s模型在卷積運算操作過程中，兼顧模型的復雜度和參數(shù)數(shù)量，可以在保持良好性能的前提下，有效地控制模型的規(guī)模和計算效率。

2.2?輕量化改進

2.2.1?融合MobilenetV3模型

MobilenetV3通過倒置殘差塊、深度可分離卷積和注意力機制等設計，在輕量級神經(jīng)網(wǎng)絡中成功實現(xiàn)了實時性、速度和準確率的平衡。MobilenetV3在資源有限的環(huán)境下具有更好的推理速度和適應性［7］，這使得它在YoloV5s模型輕量化改進方面具有一定優(yōu)勢。

標準卷積輸入尺寸為H×X×Y（H表示高度，X表示寬度，通道為Y），經(jīng)過Z個K2×Y卷積后輸出的尺寸為H×X×N（H表示高度，X表示寬度，通道為Z）。標準卷積的參數(shù)量：

P1=k2×Y×Z（1）

深度可分離卷積是MobilenetV3中的重要組成部分，由兩個部分組成：深度卷積和逐點卷積。深度卷積階段使用獨立的卷積核，卷積核參數(shù)數(shù)量計算：P1=k2×Y×Z，共有Y個卷積核，每個通道都有對應的卷積核。逐點卷積也稱為1×1卷積，卷積核為1×1×Y，其中有Z個卷積核，進行通道之間的特征變換。深度可分離卷積的參數(shù)量：

P2=k2×1×Y+1×1×Y×Z=Y×（k2+Z）（2）

因此，深度可分離卷積與標準卷積參數(shù)量相比計算如下：

P2P1=Y×k2+Zk2×Y×Z=1k2+1Z（3）

2.2.2?損失函數(shù)改進

原始的Yolov5s網(wǎng)絡中使用GIou-loss作為損失函數(shù)，用以評價預測框和邊界框的距離：

lossGIou=1-IoU+Ac-UAc（4）

lossGIou指的是GIou的損失函數(shù)，IoU是預測框和真實框的交集面積除以它們的并集面積比，Ac是指的是最小包圍框面積，U是指并集面積。但是GIou-loss存在一個問題，如預測框在人工標注框內(nèi)部時，GIou-loss懲罰項為0，因此GIou-loss也退化回了Iou-loss，已無法反映檢測效果的優(yōu)劣，也就無法對檢測框進一步優(yōu)化。

本篇論文引入了一種改進后的損失函數(shù)，其主要創(chuàng)新在于通過計算預測框和真實框的中心點之間的距離，更加精準地引導模型找到準確的位置。損失函數(shù)如下：

lossDIou=1-IoU+ρ2b，bgtc2（5）

式中：b、bgt分別為預測框、真實框中心點，ρ2為兩個中心點的歐氏距離。c為最小包圍框的最短對角線，c用以調(diào)控模型收斂的速度。相比于GIou-loss和Iou-loss，在這種情況下能夠進一步優(yōu)化模型，提升檢測框質(zhì)量。

2.2.3?多特征融合檢測結(jié)構改進

在初始的YoloV5s神經(jīng)網(wǎng)絡設計中，系統(tǒng)構建了一個包含3個尺度特征檢測層的框架，在8、16、32倍的圖像下進行采樣，以便適應不同尺寸的檢測目標。在原始框架下，高層特征圖經(jīng)過多次卷積操作，容易導致特征圖的分辨率持續(xù)降低。與此同時，在線上教學環(huán)境下，學生圖像的尺寸多種多樣，呈現(xiàn)出來的形式豐富。因此在YoloV5s原有結(jié)構中，采樣倍數(shù)較大可能導致小目標的信息特征模糊，導致高層特征圖難以有效捕獲小目標的信息特征。

為了解決這一問題，本研究引入微尺度特征檢測層，針對多特征融合檢測結(jié)構進行改進。引入微尺度特征檢測層，實現(xiàn)了低層和高層特征圖的有機融合，通過將多層次的特征信息有效地整合，系統(tǒng)能夠在不同尺寸的目標上表現(xiàn)出更優(yōu)越的性能，為系統(tǒng)的性能提升帶來了顯著的影響。

3?實驗

3.1?學生在線課堂行為識別數(shù)據(jù)集

針對在線課堂教學環(huán)境，主要針對學生上課經(jīng)常出現(xiàn)的飲食（diet）、交頭接耳（talk_others）、玩手機（play_phone）、閱讀（read）、睡覺（sleep）和寫字（write）6種行為進行數(shù)據(jù)采集?？紤]到學生在線課堂環(huán)境復雜多變，受到電腦的擺放位置、學生的坐姿等影響，為此采集數(shù)據(jù)時加入這些影響因素，使得學生在線課堂行為識別研究更具有現(xiàn)實意義。

本次實驗選取150名高校同學作為研究對象。通過模擬在線課堂環(huán)境，采集150名同學進行上述6種行為的數(shù)據(jù)。每位同學的一種行為需做兩組，這樣可保證至少有一組是考慮坐姿等影響因素下采集的數(shù)據(jù)。每種行為的數(shù)據(jù)都是視頻文件，總共采集到1800組視頻、圖像，并按照3∶1∶1比例，劃分為訓練集、驗證集和測試集。

3.2?實驗環(huán)境與配置

實驗硬件環(huán)境的配置為：兩張TeslaT4（GPU），32G顯存，Intel?I7（CPU），128Ｇ內(nèi)存；實驗所用的編程語言為Python，實驗使用Pytorch框架。

3.3?實驗結(jié)果與分析

隨著訓練的進行，損失值逐漸減小，趨近于零。損失值越接近零，意味著模型有更高的準確度和泛化能力，訓練結(jié)果更優(yōu)。

圖1、圖2呈現(xiàn)了輕量化改進模型和標準模型的損失值變化曲線。隨著訓練的進行，兩種模型的損失值逐漸降低，并最終趨向平穩(wěn)。通過對比發(fā)現(xiàn)，本研究中的改進模型在訓練集和驗證集上的損失值明顯低于標準模型的訓練損失值，這也意味著輕量化改進模型在效果方面表現(xiàn)出色，相對于標準模型具有更好的性能、泛化能力。

3.4?模型改進的性能比較

研究中，將MobilenetV3模型取代標準模型的骨干網(wǎng)絡，旨在降低模型的大小。標準模型大小為14.2MB，通過以上嘗試，成功地將YoloV5sMobilenetV3模型的大小壓縮為6.8MB，相較于標準模型，體積減小了7.4MB。

由上表得出，本文提出的輕量化改進模型相較YoloV5s標準模型，在達到進一步輕量化目標的同時，平均檢測精度也有所提升，增加了1.6%。輕量化改進模型的召回率、檢測時間均優(yōu)于YoloV5s模型，進一步證明用MobilenetV3替換標準YoloV5s模型Backbone結(jié)構可以降低模型復雜度，減少檢測時間，提升平均檢測精度，說明本文提出的輕量化改進模型能有效提高檢測效率。

結(jié)語

本文提出一種輕量化卷積神經(jīng)網(wǎng)絡的大學生在線課堂行為檢測方法，在YoloV5s的基礎上，將輕量級網(wǎng)絡MobilenetV3作為主干特征提取網(wǎng)絡，并使用改進的DIoU作為損失函數(shù)，進一步優(yōu)化模型。結(jié)果表明，本研究改進的模型平均檢測精度為96.5%，召回率為94.99%，每幅圖像的平均檢測時間為0.025s，模型體積減小了7.4MB，進一步提高了工作效率。經(jīng)過實驗比對，本研究的改進模型在成功實現(xiàn)輕量化目標的前提下，具有較優(yōu)的檢測結(jié)果，證實了本文提出的輕量化卷積神經(jīng)網(wǎng)絡的大學生在線課堂行為檢測方法的可行性。

參考文獻：

［1］王澤杰，沈超敏，趙春，等.融合人體姿態(tài)估計和目標檢測的學生課堂行為識別［J］.華東師范大學學報（自然科學版），2022（02）：5566.

［2］白捷，高海力，王永眾，等.基于多路特征融合的Faster?RCNN與遷移學習的學生課堂行為檢測［J］.廣西師范大學學報（自然科學版），2020，38（05）：111.

［3］郭俊奇，呂嘉昊，王汝涵，等.深度學習模型驅(qū)動的師生課堂行為識別［J］.北京師范大學學報（自然科學版），2021，57（06）：905912.

［4］閆興亞，匡婭茜，白光睿，等.基于深度學習的學生課堂行為識別方法［J］.計算機工程，2023，49（07）：251258.

［5］WANG?Z，JIANG?F，SHEN?R.An?Effective?Yawn?Behavior?Detection?Method?in?Classroom［C］.International?Conference?on?Neural?Information?Processing，2019：430441.

［6］李云，邱述金，趙華民，等.基于輕量化YoloV5的谷穗實時檢測方法［J］.江蘇農(nóng)業(yè)科學，2023，51（06）：168177.

［7］DANG?Q，YIN?J，WANG?B，et?al.Deep?learning?based?2d?human?pose?estimation：A?survey［J］.Tsinghua?Science?and?Technology，2019，24（6）：663676.

［8］黃勇康，梁美玉，王笑笑，等.基于深度時空殘差卷積神經(jīng)網(wǎng)絡的課堂教學視頻中多人課堂行為識別［J］.計算機應用，2022，42（03）：736742.

［9］劉新運，葉時平，張登輝.改進的多目標回歸學生課堂行為檢測方法［J］.計算機工程與設計，2020，41（09）：26842689.

［10］劉清堂，何皓怡，吳林靜，等.基于人工智能的課堂教學行為分析方法及其應用［J］.中國電化教育，2019（09）：1321.

［11］李晨，何明，王勇，等.基于深度學習的視頻行為識別技術綜述［J］.計算機應用研究，2022，39（09）：25612569.

［12］INGH?K?K，LEE?Y?J.Hideandseek：Forcing?a?network?to?be?meticulous?for?weaklysupervised?object?and?action?localization［C］.2017?IEEE?international?conference?on?computer?vision（ICCV），2017：35443553.

［13］JIAO?S，MIAO?T，GUO?H：Image?Target?Detection?Method?Using?the?Yolov5?Algorithm，3D?Imaging?Technologies—Multidimensional?Signal?Processing?and?Deep?Learning：Springer，2021：323329.

［14］SUZUKI?S，AMEMIYA?Y，SATO?M.Enhancement?of?grossmotor?action?recognition?for?children?by?CNN?with?OpenPose［C］.IECON?201945th?Annual?Conference?of?the?IEEE?Industrial?Electronics?Society，2019：53825387.

作者簡介：何富江（1989—?），男，漢族，江西上饒人，碩士，助教，研究方向：深度學習。