丁 培，阿里甫·庫爾班，耿麗婷，韓文軒

新疆大學(xué) 軟件學(xué)院，烏魯木齊830046

自2019年12月新冠疫情在全球范圍內(nèi)爆發(fā)以來，人類的健康面臨著持續(xù)的威脅，生活受到巨大的影響。新型冠狀病毒具有強(qiáng)傳染性和長潛伏期性，它可以通過空氣中的飛沫、氣溶膠等載體進(jìn)行傳播[1]。新冠病毒離體后可獨立存活數(shù)天，滯留于空氣中的病毒隨時有可能被人吸入身體。規(guī)范佩戴口罩能有效避免人在呼吸時吸入空氣中的新冠病毒，從而降低被病毒傳染的機(jī)率，因此規(guī)范佩戴口罩對疫情防控至關(guān)重要[2]。國家健康委員會發(fā)布的《新型冠狀病毒感染肺炎預(yù)防指南》中明確指出，個人外出前往公共場所、就醫(yī)和乘坐公共交通工具時，必須規(guī)范佩戴醫(yī)用外科口罩或N95口罩。然而隨著我國新冠疫情防控進(jìn)入常態(tài)化階段，部分公民防護(hù)意識有所松懈，出現(xiàn)了在公共場合不規(guī)范佩戴口罩或不佩戴口罩的現(xiàn)象，增加感染病毒的風(fēng)險。針對此問題，大部分地區(qū)經(jīng)常浪費大量人力用于檢查口罩是否規(guī)范佩戴。人工檢測工作強(qiáng)度大、效率低、覆蓋面窄、時效性差，且無法避免檢測人員與其他人接觸。因此，利用計算機(jī)視覺來設(shè)計人臉口罩規(guī)范佩戴檢測器以替代人力檢測可有效規(guī)避上述弊端，具有重要的研究價值。

傳統(tǒng)的目標(biāo)檢測算法通?；谑止ぬ卣髟O(shè)計如HOG[3]檢測器（Histogram of Oriented Gradient）；基于可變部件的模型如DPM[4]（Deformable Parts Model）；滑動窗口搜索算法如Viola Jones檢測器[5]。傳統(tǒng)的目標(biāo)檢測算法需在特定檢測環(huán)境下進(jìn)行，手工設(shè)計特征存在工作量大和滑動窗口搜索性能差等問題。

隨著深度學(xué)習(xí)在圖像分類與識別領(lǐng)域的飛速發(fā)展，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測成為研究熱點[6]?；谏疃葘W(xué)習(xí)的目標(biāo)檢測主要分為兩類，一類是基于候選框的two-stage算法，另一類則是基于回歸的one-stage算法。two-stage主要是通過啟發(fā)式方法或者卷積神經(jīng)網(wǎng)絡(luò)RPN[7]（Region Proposal Network）來產(chǎn)生一系列的候選框，對其候選框進(jìn)行分類和回歸從而實現(xiàn)目標(biāo)檢測如SPPNet[8]和Fast R-CNN[9]，該方法通常檢測準(zhǔn)確率較高但速度較慢。One-stage直接通過卷積神經(jīng)網(wǎng)絡(luò)來預(yù)測物體的類別和位置，借助錨框加速邊框回歸，輸出向量經(jīng)過非極大值抑制得出最終預(yù)測結(jié)果如SSD[10]和YOLO[11-14]，該方法通常檢測速度快，適合做實時檢測任務(wù)。本文選擇檢測精度和速度均較優(yōu)的YOLOv4算法。YOLOv4的精度是通過161層網(wǎng)絡(luò)來保證，其層數(shù)和參數(shù)量較大，不利于部署應(yīng)用在計算資源較少的設(shè)備上。目前，已有學(xué)者通過對YOLOv4進(jìn)行改進(jìn)以適應(yīng)于其檢測目標(biāo)和檢測環(huán)境，如唐翔翔等人[15]對YOLOv4的特征金字塔池化模塊和損失函數(shù)進(jìn)行優(yōu)化，提高對電線路異物檢測的識別精度?？拙S剛等人[16]將YOLOv4的CSPDarknet53改為MobileNetv3-large網(wǎng)絡(luò)結(jié)構(gòu)，在嵌入式設(shè)備上進(jìn)行實時檢測任務(wù)。王瀅暄等人[17]提出一種改進(jìn)的YOLOv4網(wǎng)絡(luò)對交通場景下車輛目標(biāo)進(jìn)行檢測。本文方法旨在實現(xiàn)自然環(huán)境下的實時人臉口罩檢測與規(guī)范佩戴識別，并可部署應(yīng)用在計算量小的終端設(shè)備上。

目前，已經(jīng)有學(xué)者研究人臉口罩佩戴檢測算法。鄧黃瀟[18]通過遷移學(xué)習(xí)與RetinaNet網(wǎng)絡(luò)對佩戴口罩的人臉和未佩戴口罩的人臉進(jìn)行識別檢測。肖俊杰[19]基于YOLOv3，利用YCrCb的橢圓膚色模型對人臉區(qū)域進(jìn)行膚色檢測，實現(xiàn)人臉是否佩戴口罩及口罩佩戴是否規(guī)范的識別檢測。牛作東等人[20]基于RetinaFace人臉識別算法，優(yōu)化損失函數(shù)，增加改進(jìn)的自注意力機(jī)制，實現(xiàn)人臉口罩檢測。上述算法存在以下不足：在數(shù)據(jù)集方面只有佩戴口罩人臉圖片和未佩戴口罩人臉圖片，缺乏佩戴口罩不規(guī)范人臉圖片；對部署應(yīng)用在計算資源較少的嵌入式設(shè)備實時檢測任務(wù)而言，在實時性和準(zhǔn)確性方面仍有改進(jìn)空間；對自然環(huán)境下目標(biāo)差異大、場景復(fù)雜等問題需做進(jìn)一步研究。

綜上，有必要設(shè)計一種自然環(huán)境下的實時人臉口罩檢測與規(guī)范佩戴識別方法，本文選擇YOLOv4作為基準(zhǔn)網(wǎng)絡(luò)來實現(xiàn)人臉口罩規(guī)范佩戴的識別。針對缺乏佩戴口罩不規(guī)范人臉圖片問題，本文補(bǔ)充收集了不規(guī)范佩戴口罩人臉圖片1 000張。同時，設(shè)計了輕量級骨干網(wǎng)絡(luò)L-CSPDarkNet，以提高模型的檢測速度，滿足實時性的要求。針對自然環(huán)境下目標(biāo)差異大、場景復(fù)雜等問題，設(shè)計輕量級特征增強(qiáng)模塊Light-FEB和多尺度注意力模塊Multi-Scale-Sam增強(qiáng)輕量級主干網(wǎng)絡(luò)的特征提取能力。實驗結(jié)果表明，該方法在自然環(huán)境下人臉口罩檢測任務(wù)中具有良好的檢測速度和精度。

1 算法框架

本文以YOLOv4算法為基礎(chǔ)，為解決模型計算量大，運行內(nèi)存過高等難題，設(shè)計了輕量級的骨干網(wǎng)絡(luò)Light-CSPDarkNet提高人臉口罩檢測速度；為解決自然環(huán)境下多尺度、人臉密集等難題，提出輕量級特征增強(qiáng)模塊Light-FEB和多尺度注意力機(jī)制Multi-Scale-Sam提高人臉口罩檢測的準(zhǔn)確性。算法的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 算法的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure of proposed algorithm

1.1 輕量級骨干網(wǎng)絡(luò)

YOLOv4算法檢測時先將圖片分割成S×S的網(wǎng)格，每個網(wǎng)格進(jìn)行邊框預(yù)測及類別預(yù)測后保留置信度最大的邊框，再采用NMS（Non-Maximum Suppression）非極大值抑制算法去除重疊邊框得到預(yù)測最準(zhǔn)確的邊框。YOLOv4的骨干網(wǎng)絡(luò)為CSPDarknet53，由如圖2（a）的CSPResNe（X）t構(gòu)成，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)Part1和Part2，Part2后接如圖2（b）的殘差網(wǎng)絡(luò)，最后進(jìn)行特征融合。這種設(shè)計提高了網(wǎng)絡(luò)的準(zhǔn)確性，但也增加了網(wǎng)絡(luò)的復(fù)雜度，檢測速度會相對變慢，對本任務(wù)而言性價比不高。YOLOv4的CSPDarknet53有52層，骨干網(wǎng)絡(luò)層數(shù)較多，很難在資源受限的設(shè)備上進(jìn)行實時計算。故本文設(shè)計輕量級的骨干網(wǎng)絡(luò)L-CSPDarkNet降低模型復(fù)雜度，減少計算量，從而提高自然環(huán)境下人臉口罩檢測的速度。

圖2 CSPResNet（X）t模塊Fig.2 CSPResNet（X）t Block

本文提出的輕量級骨干網(wǎng)絡(luò)L-CSPDarkNet還基于以下事實：（1）YOLOv4最初是在MS COCO和Pascal VOC數(shù)據(jù)集上進(jìn)行訓(xùn)練的，其中數(shù)據(jù)集Pascal VOC有9 963張圖片和20種類別的待檢目標(biāo)，MS COCO數(shù)據(jù)集有328 000張圖片和91種目標(biāo)。故52層的CSPDarknet53網(wǎng)絡(luò)才能達(dá)到較好的效果。本任務(wù)只有3 000張圖片和3種待檢目標(biāo)，太深的網(wǎng)絡(luò)不易于訓(xùn)練，同時容易過擬合；（2）隨著網(wǎng)絡(luò)層次的加深，神經(jīng)網(wǎng)絡(luò)的表達(dá)能力增強(qiáng)，所需計算資源增多，檢測速度較慢。而本任務(wù)要求實時準(zhǔn)確，故采用輕量級的L-CSPDarkNet骨干網(wǎng)絡(luò)，其主要是由3個CSPNet構(gòu)成，相比于CSPDarknet53網(wǎng)絡(luò)結(jié)構(gòu)更為簡單，參數(shù)更少，所需計算資源更少，更適合部署應(yīng)用在移動或嵌入式設(shè)備上。

如圖3所示，L-CSPNet模塊是CSPResNe（X）t去掉Part1部分，同時在Part2部分只連接一個類殘差網(wǎng)絡(luò)，其中類殘差網(wǎng)絡(luò)用concat。具體來說是Path B的一半卷積經(jīng)過3×3的卷積后分成兩路，一路先經(jīng)過3×3的卷積與另一路進(jìn)行concat使得卷積核的filter加倍后采用1×1卷積，最后用concat連接Path A和Path B。由于Path A保持原來特征，L-CSPNet模塊在擁有原有特征的同時對特征進(jìn)行了進(jìn)一步的提取，其構(gòu)成的網(wǎng)絡(luò)特征準(zhǔn)確度更高。針對類別數(shù)較少且圖像數(shù)量不多的數(shù)據(jù)集，使用輕量級L-CSPNet模塊能在檢測精度和速度上達(dá)到較好的平衡。

圖3 L-CSPNet模塊Fig.3 L-CSPNet Block

本文算法中的輕量級骨干網(wǎng)絡(luò)L-CSPDarkNet共有23層，由2個3×3步長為2的卷積層，3個下采樣層和3個輕量級L-CSPNet模塊構(gòu)成，其通道數(shù)最多為256，相比于CSPdarknet53體積和參數(shù)量大幅下降，有利于實現(xiàn)實時人臉口罩檢測與規(guī)范佩戴識別。

1.2 輕量級特征增強(qiáng)模塊Light-FEB

針對自然環(huán)境下目標(biāo)多尺度、高密集等問題，本文算法在淺層使用輕量級特征增強(qiáng)模塊Light-FEB。輕量級特征增強(qiáng)模塊Light-FEB在保證小目標(biāo)準(zhǔn)確率提高的同時，兼顧模型的輕量高效，有效解決在淺層特征圖語義信息不足和小目標(biāo)準(zhǔn)確性較低等問題。

輕量級特征增強(qiáng)模塊Light-FEB的設(shè)計主要采用多尺度特征融合網(wǎng)絡(luò)中的多分支Inception[21]設(shè)計思想?？紤]到網(wǎng)絡(luò)的計算量和體積問題，采用膨脹卷積和普通卷積組合設(shè)計該模塊。膨脹卷積通過擴(kuò)展卷積核像素之間的距離，在不增加計算量的前提下增加模型的感受野[22]。該距離稱為膨脹率比例Rate，如卷積核為3×3情況下，當(dāng)Rate=1時感受野為3×3，當(dāng)Rate=2的時感受野為7×7。

受到文獻(xiàn)[23]的啟發(fā)，用多種尺度的卷積核增強(qiáng)目標(biāo)特征，輕量級特征增強(qiáng)模塊Light-FEB如圖4所示。首先用1×1卷積核，再用3×3的卷積核，最后用3×3膨脹卷積。為了減少計算量，卷積核的大小不超過3×3，卷積核的通道數(shù)小于等于輸入通道數(shù)的1/4。具體來說，每一個分支的前部分，使用普通的卷積，在分支的后半部分使用膨脹卷積，膨脹率比例Rate分別是1、3、5、7，其感受野分別是3×3、7×7、11×11和19×19，之后進(jìn)行特征融合增大感受野，最后使用add來增加上下文的理解能力。

圖4 輕量級特征提取模塊Light-FEBFig.4 Light feature extraction Light-FEB block

1.3 多尺度注意力機(jī)制Multi-Scale-Sam

為了增加自然環(huán)境下人臉口罩檢測與規(guī)范佩戴的準(zhǔn)確率，本文提出一種多尺度空間注意力機(jī)制Multi-Scale-Sam。如圖5（a）所示的空間注意力機(jī)制Sam，卷積神經(jīng)網(wǎng)絡(luò)通過池化層將圖片信息壓縮，減少運算量，池化具有特征不變性，但會降低特征的分辨率，丟失特征細(xì)節(jié)。如圖5（b）所示的點注意力機(jī)制，不經(jīng)過池化層，直接將有用的信息合并，會導(dǎo)致一些關(guān)鍵信息無法識別。

圖5 空間和點注意力機(jī)制Fig.5 Spatial and point attention mechanism

通過對上面兩種注意力機(jī)制模型和文獻(xiàn)[24]總結(jié)分析，發(fā)現(xiàn)注意力機(jī)制只從一個尺度來對網(wǎng)絡(luò)特征進(jìn)行操作，容易產(chǎn)生錯誤的注意，或注意信息不全面。本文設(shè)計的多尺度注意力機(jī)制由膨脹卷積構(gòu)成的空間卷積池化金字塔和點注意力機(jī)制相結(jié)合而成。膨脹卷積增大濾波器視野，其構(gòu)成的空間卷積池化金字塔可以捕獲不同尺度信息，獲得的多尺度信息再經(jīng)過點注意力機(jī)制，可以保證關(guān)鍵的信息不丟失，從而增加檢測準(zhǔn)確率。

其模型結(jié)構(gòu)如圖6所示，卷積神經(jīng)網(wǎng)絡(luò)先通過3個rate分別是1、3、5的3×3膨脹卷積的和一個1×1的普通卷積。其中膨脹卷積和普通卷積的通道數(shù)都是原始輸入的一半，進(jìn)行特征融合concat捕獲到多尺度信息后經(jīng)過點注意力機(jī)制。實驗結(jié)果表明其mAP比空間注意力Sam提高了3.18個百分點，模型的FPS只比空間注意力Sam少1。

圖6 多尺度注意力機(jī)制Multi-Scale-SamFig.6 Multi-scale attention mechanism Multi-Scale-Sam

2 實驗

2.1 實驗環(huán)境

實驗在CPU Intel?CoreTMi7-8750H 2.21 GHz，32 GB內(nèi)存，Windows 10系統(tǒng)下搭建的Pytorch和Darknet環(huán)境下進(jìn)行，顯卡為GeForce RTX 2070，實驗環(huán)境的配置參數(shù)如表1所示。

表1 實驗環(huán)境配置參數(shù)Table 1 Experimental environment

2.2 實驗數(shù)據(jù)

實驗使用的數(shù)據(jù)集一部分來源于網(wǎng)上公開MAFA（MAsked FAces）和AIZOO數(shù)據(jù)集，另一部由網(wǎng)絡(luò)爬取樣本及相機(jī)拍攝。經(jīng)整理數(shù)據(jù)集共計3 000張圖片，包含自然場景下的規(guī)范佩戴口罩人臉、未規(guī)范佩戴口罩人臉和未佩戴口罩人臉三種情況，部分樣本如圖7所示。使用LableImg標(biāo)注軟件對數(shù)據(jù)集進(jìn)行人工標(biāo)注，標(biāo)注類別分為Mask、Badmask、Nomask三類，數(shù)據(jù)集為VOC2007格式。標(biāo)注后的數(shù)據(jù)集劃分為訓(xùn)練集和測試集，其中訓(xùn)練集包含2 550張圖片。

圖7 圖像數(shù)據(jù)示例Fig.7 Image examples

人工標(biāo)注的3個分類目標(biāo)數(shù)目如表2所示，其中Mask數(shù)目是3 862，Nomask數(shù)目是4 124，Badmask數(shù)目是3 527。

表2 目標(biāo)數(shù)目Table 2 Number of targets

2.3 實驗分析

分別使用目前比較主流的目標(biāo)檢測算法YOLOv4、YOLOv3、SSD和Faster R-CNN與本文算法進(jìn)行實驗對比，訓(xùn)練時圖片大小設(shè)為512×512像素，batch_size設(shè)置為4，epoch設(shè)置為50，初始學(xué)習(xí)率設(shè)置0.001，訓(xùn)練時如果超過5個epoch沒有降低，則降低學(xué)習(xí)率，學(xué)習(xí)率最低設(shè)為0.000 01。對比結(jié)果如表3所示，本文的算法與原始的YOLOv4方法相比，檢測速度（FPS）提高34.8，達(dá)到了69.7，mAP也提高到91.94%。此外與YOLOv3、Faster R-CNN和SSD比，mAP分別提高了13.03、15.49和18.27個百分點，F(xiàn)PS分別提高了19.9、63.4和54。

表3 不同算法測試結(jié)果對比Table 3 Test results of different algorithms

實驗數(shù)據(jù)表明，本文提出的自然環(huán)境下的實時人臉口罩檢測與規(guī)范佩戴識別方法，在自然環(huán)境下對于目標(biāo)差異大、場景復(fù)雜且運算速度要求高的任務(wù)而言，明顯優(yōu)于其他幾種算法，可更好地適用于實際檢測任務(wù)。

設(shè)計消融實驗驗證本文算法的有效性，分別采用5個實驗對本文所提算法進(jìn)行分析：實驗一為原始的YOLOv4算法；實驗二僅采用L-CSPDarkNet輕量級骨干網(wǎng)絡(luò)，如圖8所示；實驗三在實驗二的基礎(chǔ)上將CBL模塊②替換為Light-FEB模塊；實驗四在實驗二的基礎(chǔ)上把CBL模塊①替換為Multi-Scale-Sam模塊；實驗五在實驗二的基礎(chǔ)上把CBL模塊②替換為Light-FEB模塊，CBL模塊①替換為Multi-Scale-Sam模塊。

圖8 實驗二的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.8 Network structure diagram of experiment two

消融實驗的結(jié)果如表4所示，實驗一與實驗二結(jié)果表明，輕量級骨干網(wǎng)絡(luò)L-CSPDarkNet構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)，相比于原始的YOLOv4算法mAP下降了2.81個百分點，F(xiàn)PS提高到74.8，是原始YOLOv4的2.14倍，計算量BFLOPS為9.318是原始YOLOv4的10.3%，犧牲少量精度而獲得速度的較大提升，可見本文算法提出的輕量級骨干網(wǎng)絡(luò)L-CSPDarkNet可用于實時檢測任務(wù)。實驗二和實驗三的實驗數(shù)據(jù)顯示，在輕量級骨干網(wǎng)絡(luò)上添加Light-FEB模塊后mAP提高了4.82個百分點，F(xiàn)PS下降0.9，證明Light-FEB可在提高精度的同時不對速度造成較大影響。實驗四和實驗二的測試數(shù)據(jù)顯示，在輕量級骨干網(wǎng)絡(luò)網(wǎng)絡(luò)上添加多尺度注意力機(jī)制Multi-Scale-Sam后mAP提高3.16個百分點，F(xiàn)PS下降4，證明多尺度注意機(jī)制Multi-Scale-Sam在提取多尺度目標(biāo)的特征方面具有優(yōu)勢。實驗五表明添加Light-FEB和Multi-Scale-Sam的mAP比實驗二提高6.36個百分點，且FPS值下降5.1。綜上，本文所提方法在mAP和FPS上均有不錯的表現(xiàn)，所占用計算資源大幅降低，適用于自然環(huán)境下人臉口罩規(guī)范佩戴的實時檢測任務(wù)，可部署應(yīng)用在計算資源有限的設(shè)備上。

表4 消融實驗Table 4 Ablation Experiment

為驗證本文提出的多尺度空間注意力機(jī)制Multi-Scale-Sam的有效性，將實驗二的網(wǎng)絡(luò)結(jié)構(gòu)圖中CBL模塊①分別替換成Sam、Point-Sam和Multi-Scale-Sam后進(jìn)行實驗，并將未加任何注意力機(jī)制的實驗二（No attention）作為對照進(jìn)行分析。實驗結(jié)果如表5所示，結(jié)果表明，相較于未加任何注意力的實驗二，采用多尺度注意力機(jī)制Multi-Scale-Sam的mAP提高3.16個百分點，采用Sam的mAP提高1.31個百分點，采用Point-Sam的mAP下降0.02個百分點。上述結(jié)果證明了多尺度注意力機(jī)制Multi-Scale-Sam的有效性，且其在多尺度目標(biāo)上特征提取能力更好。

表5 不同注意力機(jī)制對比Table 5 Comparison of different attention mechanisms

通過對測試集的檢測結(jié)果進(jìn)行分析得到如表6所示的YOLOv4和本文方法的誤檢率，數(shù)據(jù)表明，本文方法的Mask誤檢率、Nomask誤檢率和Badmask誤檢率分別比YOLOv4低2.86、2.85和3.21個百分點。

表6 YOLOv4和本文方法的誤檢率對比Table 6 False detection rate comparison between YOLOv4 and proposed algorithm

為進(jìn)一步驗證本文算法在自然環(huán)境下的檢測效果，從測試集中隨機(jī)選擇4張圖片進(jìn)行測試。結(jié)果如圖9所示，本文算法在自然環(huán)境下對規(guī)范佩戴口罩的人臉、不規(guī)范佩戴口罩的人臉、沒有佩戴口罩人臉檢測到的正確個數(shù)和YOLOv4基本一致，且本文方法檢測的置信度高于YOLOv4，誤檢情況也有所改善。除此之外如表4所示，本文算法的檢測速度（FPS）、計算量（BFLOPS）都明顯優(yōu)于YOLOv4，故本文方法總體優(yōu)于YOLOv4，可更好地應(yīng)用于自然環(huán)境下實時人臉口罩檢測與規(guī)范佩戴識別。

圖9 檢測效果對比Fig.9 Comparison of detection results

3 結(jié)束語

本文提出一種高效的自然環(huán)境下實時人臉口罩檢測與規(guī)范佩戴識別方法。一方面針對YOLOv4算法模型過大，運行內(nèi)存占用量過高，精心設(shè)計了輕量級的骨干網(wǎng)絡(luò)L-CSPDarkNet。另一方面，針對自然環(huán)境下目標(biāo)多尺度、場景復(fù)雜等難題，引入輕量級特征增強(qiáng)模塊Light-FEB和多尺度注意力機(jī)制Multi-Scale-Sam。實驗結(jié)果表明，本文方法在自然環(huán)境下檢測人臉口罩的準(zhǔn)確度優(yōu)于YOLOv4，檢測速度也有明顯的優(yōu)勢，可以更好地應(yīng)用到檢測服務(wù)中。