朱亞東洋，李心超，魏文豪，李婧瑩，高夢楠，于沛

(1.北京石油化工學院信息工程學院，北京 102617； 2. 北方自動控制技術(shù)研究所，山西 太原 030006；3.中國消防救援學院，北京 102202)

目標檢測是對圖像或視頻中的目標進行分類和定位，廣泛應用于城市安防、工業(yè)質(zhì)檢、智慧工廠、機器人、衛(wèi)星遙感、自動駕駛等領域[1-2]。應用目標檢測技術(shù)可有效替代人工進行檢測，將工作人員的時間和精力從簡單的重復性勞動中釋放出來。近年來隨著機器學習技術(shù)特別是深度學習技術(shù)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡在目標檢測中得到廣泛應用，使得目標檢測的準確性得到了極大地提升[3]。但視頻監(jiān)控面臨的場景千差萬別，不同設備的景深、角度、現(xiàn)場的光照等條件均存在著不確定性的變化。目標檢測任務目前在很多領域和應用方向上仍然是一項具有挑戰(zhàn)性的任務，有著很大的研究空間和發(fā)展?jié)摿4-5]。

近年來，隨著芯片技術(shù)的發(fā)展，以深度學習為代表的人工智能技術(shù)擺脫了服務器、GPU等高性能計算設備的限制，在FPGA[6]、ASIC[7]等嵌入式邊緣設備上運行。將邊緣計算應用到目標檢測系統(tǒng)中，依托邊緣計算平臺，承接部分服務器端數(shù)據(jù)處理和檢測能力[8-10]。通過邊緣側(cè)的數(shù)據(jù)處理，在圖像采集端將檢測目標識別出來，一方面可有效減少中間數(shù)據(jù)的傳輸；另一方面可擺脫對大型服務器、GPU集群的依賴限制，便于目標檢測系統(tǒng)的靈活布設，滿足小場景中特定目標檢測的使用需求[11]。

針對在小場景中靈活布設目標檢測系統(tǒng)的需求，提出基于邊緣計算的實時目標檢測系統(tǒng)。介紹了如何應用邊緣計算平臺配合云端平臺進行目標檢測，以及在該構(gòu)架下邊緣計算平臺和云平臺所需要實現(xiàn)的功能。介紹了系統(tǒng)所應用的SSD目標檢測算法及邊緣計算平臺。應用MobileNet模型對SSD目標檢測算法進行優(yōu)化，使其更適合應用在邊緣計算平臺上。并對搭建的基于邊緣計算的目標檢測系統(tǒng)進行了實驗及測試。

1 系統(tǒng)概述

應用邊緣計算配合云平臺進行目標檢測的總體結(jié)構(gòu)框圖如圖1所示。

圖1 基于邊緣計算和云平臺的目標檢測系統(tǒng)總體框圖

將攝像頭架設在固定位置或機器人等移動平臺上，采集被檢測的人或物體的圖像數(shù)據(jù)。通過邊緣計算平臺上搭載的視頻智能分析算法進行目標檢測，將識別的圖像和識別結(jié)果通過有線或無線網(wǎng)絡傳輸至云端平臺。在云端平臺對采集的圖像進行歸檔、存儲等操作；將分析結(jié)果實時推送至手持客戶端，實現(xiàn)異常情況的預警；也可在云端控制中心進行可視化展示，有助于管理人員對異常情況的實時監(jiān)管。研究針對邊緣計算平臺上的視頻智能分析展開。

2 模型的構(gòu)建及優(yōu)化

2.1 SSD目標檢測模型

SSD是一階目標檢測模型，其主干網(wǎng)絡是在ImageNet上針對圖像分類預訓練后的VGG-16模型[12]。SSD模型的提出者對其進行了一些微調(diào)，使其能用于檢測任務，其中包括使用卷積層替換全連接層、移除dropout層、使用擴張卷積替換最后的最大池化層[13]，如圖2所示。

圖2 應用VGG-16主干網(wǎng)絡的SSD模型

SSD模型沒有使用K均值聚類來發(fā)現(xiàn)寬高比，而是人工定義了一個寬高比集合，用于每個網(wǎng)格單元位置的B個邊界框。對于每個邊界框，都會預測其在邊界框坐標(x和y)以及尺寸(w和h)上離錨框的偏移量。在計算損失時，會將有最高交并比的每個基本真值框與錨框進行匹配，并將該框定義為負責做出預測的框。也會將基本真值框與交并比超過某個定義閾值(0.5)的任何其他錨框進行匹配，從而不因為這些錨框并不是最佳的而懲罰這些優(yōu)良預測。為了能進行多個尺度的預測，SSD輸出模塊會逐步對卷積特征圖進行下采樣，間歇性地得到邊界框預測。

2.2 Jetson Nano嵌入式平臺

英偉達Jetson Nano是一款嵌入式計算設備，如圖3所示。

圖3 英偉達 Jetson Nano嵌入式開發(fā)板

該設備主要用于開發(fā)需要高處理能力的嵌入式系統(tǒng)，用于深度學習、機器學習和圖像/視頻處理應用。Jetson Nano采用128核CUDA Maxwell GPU、四核ARM A57 CPU 1.43 GHz、4GB LPDDR4內(nèi)存、472 GFLOPS處理能力。由于Jetson Nano功耗小于5 W，內(nèi)置GPU內(nèi)核，與其他嵌入式板相比成本較低。Jetson Nano是業(yè)內(nèi)先進的AI計算平臺，使用Linux操作系統(tǒng)，可以快速執(zhí)行機器學習的算法，并可同時執(zhí)行多個神經(jīng)網(wǎng)絡?？捎糜谇度胧轿锫?lián)網(wǎng)應用、入門及網(wǎng)絡錄像機、家用機器人與完整分析功能的智能網(wǎng)關。

3 優(yōu)化的MobileNet-SSD目標檢測算法

傳統(tǒng)的SSD算法使用多尺度特征圖進行目標檢測，可以提取多尺度特征，減小后續(xù)各層的大小，提高檢測精度和速度，但實時檢測的能力仍然較差。MobileNet[14]算法使用深度可分離卷積層作為基礎層網(wǎng)絡，其在考慮模型大小的同時優(yōu)化了延遲，但是對于目標檢測而言，準確性仍然很低。因此，提出了2種網(wǎng)絡的結(jié)合以同時實現(xiàn)實時和高精度檢測。筆者應用優(yōu)化后的MobileNet-SSD模型進行目標檢測[15]。

MobileNet模型是谷歌提出的一種非常適合計算能力較低的嵌入式視覺應用的基礎架構(gòu)。MobileNet體系結(jié)構(gòu)使用深度可分離卷積而不是標準卷積。與具有相同深度的普通卷積網(wǎng)絡相比，大大減少了參數(shù)的數(shù)量。MobileNet將激活函數(shù)ReLU替換為ReLU6，并在新附加結(jié)構(gòu)的每一層中加入批處理歸一化層，以防止梯度消失。MobileNet很容易訓練，其訓練和推理花費的時間也較少。與VGG-16和其他可用架構(gòu)相比，這使得網(wǎng)絡更加可靠。優(yōu)化后的MobileNet-SSD主干網(wǎng)絡如圖4所示。

圖4 優(yōu)化后的MobileNet-SSD主干網(wǎng)絡

從圖4可以看出，優(yōu)化后的MobileNet-SSD網(wǎng)絡由21個卷積層組成。用于檢測的目標特征層為Conv 4_3、Conv 13、Conv 14_2、Conv 15_2、Conv 16_2和Conv 17_2。該網(wǎng)絡增強了新加入的淺卷積層Conv 5_3，以檢測更小、更密集的目標。由于Conv 4_3和Conv 5_3 的特征圖在尺寸上是不同的，所以為了得到相同的輸出尺寸，Conv5_3之后是1個2倍上采樣的反卷積層。最后，2種卷積層都是通過應用1×1×256卷積減少維數(shù)和特征重組，生成最終的融合特征圖，如圖5所示。

圖5 特征融合連接模型

模型引入1個特征融合拼接模塊，將上下文信息注入到較淺的Conv 4_3層，是檢測小尺度密集目標的重要補充。通過將卷積前向計算中捕獲的語義信息返回到較淺的區(qū)域，提高了小尺度目標的檢測性能。在設計最有效的特征融合拼接模塊的同時，探索了不同的特征融合方法。最終，選擇Conv 4_3和Conv 5_3淺層進行融合，在小尺度檢測時引入較少的背景噪聲。Conv 5_3后的層具有較大的接收域，在檢測小規(guī)模目標時引入更多的背景噪聲。

同時進行逐深度卷積和逐點卷積稱為深度可分離卷積。MobileNet的標準卷積和深度可分離卷積如圖6所示。

圖6 標準卷積和深度可分離卷積

由圖6中可以看出，深度可分離的卷積結(jié)構(gòu)由2層組成，即逐深度卷積D和逐點卷積P。逐深度卷積D層使用3×3的核，逐點卷積P層使用1×1的核。每個卷積的結(jié)果是通過批處理歸一化算法和ReLU6激活處理。

激活函數(shù)ReLU6是非線性的，在性能上也優(yōu)于sigmoid函數(shù)。該算法支持數(shù)據(jù)分布的自動調(diào)整。MobileNet極大地降低了復雜性和計算量，還加快了訓練過程。ReLU6激活函數(shù)表示為：

r(z)=min(max(0，z)，6)

4 實驗結(jié)果

4.1 數(shù)據(jù)集及實驗環(huán)境

應用的優(yōu)化算法在Pascal VOC數(shù)據(jù)集上進行預訓練，并在安全帽數(shù)據(jù)集SHWD上進行遷移學習和測試。Pascal VOC是由20個類別組成的數(shù)據(jù)集。在訓練過程中，模型使用Pascal VOC中的5011張圖像進行訓練。很多優(yōu)秀的計算機視覺模型如分類、定位、檢測、分割、動作識別等都是基于Pascal VOC數(shù)據(jù)集上訓練的。SHWD 提供用于安全帽佩戴和人頭檢測的數(shù)據(jù)集。包括7581張圖像，其中9044個人體安全帽佩戴標注和111514正常頭部標注。

模型的訓練在工作站上進行，工作站的配置如表1所示。模型的推理在工作站和Jetson Nano嵌入式平臺上進行。在Jetson Nano嵌入式平臺上推理的結(jié)果如圖7所示。

表1 工作站配置

圖7 模型在Jetson Nano嵌入式平臺上推理

4.2 檢測速度對比

為了測試模型在嵌入式平臺上的實時檢測效果，應用的模型在低成本的邊緣設備上進行了測試。模型在Quadro P4000 GPU上進行訓練后，在英偉達Jetson Nano評估板上進行推理測試。一般來說，在相同的內(nèi)存和頻率條件下，更多的CUDA核代表更高的計算能力。Jetson Nano的核數(shù)為128，僅為Quadro P4000 (1792核) GPU的1/14，但是Jetson Nano消耗的能量更少。

在Pascal VOC測試數(shù)據(jù)集上測試的模型檢測速度(幀/s)的對比結(jié)果如圖8所示。通過使用相同的視頻進行對比驗證，應用的模型在Jetson Nano上的運行速度為32 fps，這比SSD 300、Yolov3、Tiny Yolov3和改進的Tiny Yolov3 等模型要高得多。

圖8 不同模型檢測速度的對比(在Jetson Nano嵌入式板上運行)

4.3 檢測結(jié)果

為了評價模型的魯棒性，采用目標檢測中常用的評價指標如查全率、查準率、平均精準度(AP)、檢測速度(幀/s)和內(nèi)存占用來對模型進行評價。

在Pascal VOC測試數(shù)據(jù)集上獲得的平均精度與其他模型的比較如表2所示。通過對比發(fā)現(xiàn)，應用的模型具有較好的檢測性能，在Pascal VOC測試數(shù)據(jù)集上，AP值達到80.4%，比SSD 300、Yolov3和Tiny Yolov3分別提高了+9%、+2.3%和+11.8%。從評價結(jié)果可以看出，Tiny-Yolov3的速度是220 幀/s，而優(yōu)化的模型只有155 幀/s。同時，優(yōu)化的模型文件為23.6 MB，比Tiny Yolov3模型文件小得多?？傮w對比，該模型優(yōu)于改進的Tiny Yolov3模型。

表2 不同模型的精度對比(在工作站上運行)

通過模型針對視頻監(jiān)控環(huán)境下工人的安全帽佩戴進行檢測。為了更直觀地測試算法的有效性，分別采集了施工工地和發(fā)電廠的監(jiān)控視頻進行測試，結(jié)果圖9所示。

圖9 SSD模型和優(yōu)化的MobileNet-SSD模型對比

通過對比可以發(fā)現(xiàn)，模型在保證實時性的前提下，檢測小尺度和密度較大的目標時能獲得更好的效果。

5 結(jié)論

由于多尺度目標圖像的分辨率和信息有限，在低端邊緣設備上進行可靠的目標檢測是一項非常具有挑戰(zhàn)性的任務。這是因為現(xiàn)有的模型無法在檢測準確性和實時性上做好平衡。通過引入特征融合模塊，在優(yōu)化的MobileNet-SSD網(wǎng)絡中添加上下文信息，提高了目標檢測的實時性。該模型減少了網(wǎng)絡參數(shù)的數(shù)量，而與常用的目標檢測模型相比，檢測精度也有所提高。通過在Jetson Nano嵌入式板上運行該模型，可有效地實現(xiàn)目標實時檢測。實驗結(jié)果表明，該模型在Pascal VOC測試數(shù)據(jù)集上的平均精度達到80.4%，在邊緣設備Jetson Nano嵌入式板上，能夠以32幀/s的速度實時運行。