陳 朋 何建彬 陳 諾 俞天緯 宦若虹③

(*浙江工業(yè)大學(xué)計算機科學(xué)與技術(shù)學(xué)院 杭州 310023）

(**浙江工業(yè)大學(xué)信息工程學(xué)院 杭州 310023）

0 引言

目標檢測是一項計算機視覺領(lǐng)域中結(jié)合圖像分割和圖像識別的重要技術(shù)。傳統(tǒng)目標檢測的區(qū)域選擇策略沒有針對性,時間復(fù)雜度高,窗口冗余,對于多樣性變化的特征沒有好的魯棒性。因此在邊緣端設(shè)備上實現(xiàn)目標檢測,需要實時性更好、計算復(fù)雜度更低的目標檢測方法。

隨著深度學(xué)習(xí)的發(fā)展,目標檢測領(lǐng)域取得了很多突破性的研究成果,其檢測的精度和速度都有了較好的效果。文獻[1-3]提出了區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region-based convolutional neural network,R-CNN)和Fast R-CNN 網(wǎng)絡(luò),使得神經(jīng)網(wǎng)絡(luò)在目標檢測上獲得了較大的突破。但Fast R-CNN 也暴露出了區(qū)域候選的計算瓶頸問題,文獻[4]在此基礎(chǔ)上提出了Faster R-CNN,引入一個區(qū)域候選網(wǎng)絡(luò)(region proposal networks,RPN),并優(yōu)化了算法。但是Faster R-CNN 在實時性上仍然有所限制,其在圖形處理器(graphics processing unit,GPU)上的幀速率僅有5 fps,因此YOLO[5]提出了one-stage 的概念,此方法將物體分類和物體定位在一個步驟中完成,提高了實時性,但是準確率和漏檢率有待提高。SSD[6]綜合了Faster R-CNN 和YOLO 的優(yōu)點,采用多尺度的特征圖來得到準確率與實時性更高的網(wǎng)絡(luò)模型。

另一方面,目前卷積神經(jīng)網(wǎng)絡(luò)的實現(xiàn)主要搭建在GPU 上,GPU 能夠使卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練得到很好的加速,但是能耗較大,不易作為邊緣端硬件平臺,限制了其應(yīng)用場景?，F(xiàn)場可編程門陣列(field programmable gate array,FPGA)是一種可編程、可定制的芯片,具有并行處理的能力,以及高性能、高靈活性等優(yōu)點[7],可以被運用到CNN 的加速中[8]。Xilinx 公司推出了用于高性能需求的異構(gòu)平臺ZYNQ 系列芯片,配合Cortex 系列的處理器,搭配可編輯邏輯部分,使得芯片架構(gòu)靈活、運行功耗低、可重構(gòu)性和可移植性強。同時Xilinx 公司還推出了高層次綜合工具Vivado HLS 和Vitis,使得卷積神經(jīng)網(wǎng)絡(luò)在FPGA 上的開發(fā)周期大大縮短。2015 -2019年的FPGA 會議[9-13]提出的各種加速器和加速器的框架,都表明FPGA 適用于卷積神經(jīng)網(wǎng)絡(luò)的移植。文獻[14]提出了全棧編譯器深度神經(jīng)網(wǎng)絡(luò)虛擬機(deep neural network virtual machine,DNNVM),采用啟發(fā)式子圖同構(gòu)算法枚舉所有潛在可獲利的融合機會,利用管線和數(shù)據(jù)布局進行硬件資源優(yōu)化,并搜索整個計算圖的最佳執(zhí)行策略。文獻[15]提出了一種特定于域的FPGA 覆蓋處理器(overlay processor unit,OPU),用于加速CNN 網(wǎng)絡(luò)。文獻[16]提出了基于舍入和移位操作量化方案的8 位優(yōu)化的塊浮點算法(block-floating-point,BFP),將能源和硬件效率提高了3 倍。文獻[17]提出了一種將原始網(wǎng)絡(luò)壓縮為定點形式的數(shù)據(jù)量化策略,并設(shè)計了可配置的硬件體系架構(gòu),使得網(wǎng)絡(luò)模型在FPGA 上具有較好的效果。

綜上所述,本文基于FPGA 對視頻實時目標檢測算法進行優(yōu)化實現(xiàn)。本文主要工作如下。

(1) 提出了結(jié)合通道注意力機制與深度可分離卷積的神經(jīng)網(wǎng)絡(luò)模型(attention-based depthwise seperable single shot multibox detector,AtDS-SSD),減少了計算量,增強了高層特征圖的語義信息。

(2) 提出一種基于FPGA 的算法網(wǎng)絡(luò)量化編譯方案,將本文算法移植到FPGA 上,在保證其對目標檢測準確率的基礎(chǔ)上減少算法的復(fù)雜度,降低功耗。

1 系統(tǒng)總體設(shè)計

本文系統(tǒng)總體框架如圖1 所示,由AtDS-SSD 網(wǎng)絡(luò)模型的生成、量化、編譯以及部署4 個部分構(gòu)成。

圖1 系統(tǒng)總體框架

1.1 AtDS-SSD 神經(jīng)網(wǎng)絡(luò)

SSD 采用回歸方法獲取目標對象的位置,并根據(jù)目標對象位置周圍的特征進行目標分類,因此需要將特征圖分割成若干個相同大小的網(wǎng)格,對每個網(wǎng)格分別進行預(yù)測分類,并通過非極大值抑制方法得到最終的檢測結(jié)果。

標準的SSD 神經(jīng)網(wǎng)絡(luò)運行時間較久,不滿足實時性需求,并且模型參數(shù)計算量較大。為了滿足實時性需求,并減少參數(shù)計算量,本文使用深度可分離卷積替換原有的常規(guī)卷積層,將常規(guī)卷積分離成深度卷積和點卷積兩部分,使得計算復(fù)雜度更適合邊緣設(shè)備。深度可分離卷積是輕量級神經(jīng)網(wǎng)絡(luò)MobileNet 的重要組成部分,所以使用MobileNet 作為主體網(wǎng)絡(luò)替換原始SSD 網(wǎng)絡(luò)中的VGG 16。同時本文結(jié)合通道注意力機制增強高層語義特征信息,補償了由于模型參數(shù)計算量減少與實時性提升導(dǎo)致的精度下降,具有重要意義。

圖2 展示了AtDS-SSD 卷積神經(jīng)網(wǎng)絡(luò)的總體結(jié)構(gòu),包含3 部分:第1 部分為MobileNet 基礎(chǔ)網(wǎng)絡(luò),通過深度可分離卷積減少基礎(chǔ)網(wǎng)絡(luò)的計算量;第2 部分為通道注意力機制,通過增加很小的計算消耗,提升網(wǎng)絡(luò)性能;第3 部分為SSD 的類別預(yù)測與位置回歸。本文對網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化在保證實時目標檢測需求的同時,減少邊緣端設(shè)備的計算量,有助于將網(wǎng)絡(luò)模型移植到資源有限、低功耗和低成本的嵌入式應(yīng)用場景。

圖2 AtDS-SSD 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意

1.1.1 深度可分離卷積

深度可分離卷積是MobileNet 的重要組成部分,將標準卷積核分離成一個逐通道處理的深度卷積核和一個跨通道處理的點卷積核,有效縮小模型參數(shù)計算量的同時仍然保持較高的準確率。

標準卷積示意圖如圖3 所示,其中F為輸入,維度為Df × Df,通道為M;將F映射到G作為輸出,維度為Dg × Dg,通道為N。以常規(guī)卷積的卷積核進行卷積,需要N個卷積核,每個卷積核的維度為Dk × Dk,通道為M,總體計算復(fù)雜度為

圖3 標準卷積

深度可分離卷積示意圖如圖4 所示,由深度卷積部分與點卷積部分組成。深度卷積部分有M個Dk × Dk ×1 的卷積核,將產(chǎn)生M個輸出張量,作為點卷積部分的輸入。點卷積部分有N個1×1× M的卷積核,生成N個Dg × Dg的輸出張量。該方法總體計算復(fù)雜度CCDepth為

圖4 深度可分離卷積

深度可分離卷積計算量CCDepth與常規(guī)卷積計算量CCconv的比率為

以AtDS-SSD 中的CONV11 層舉例,輸出N=1024 通道的特征圖,卷積層卷積核的尺寸為3 ×3,則模型的參數(shù)計算量僅為標準卷積參數(shù)計算量的11.21%,大幅減小了模型參數(shù)的計算量。

1.1.2 通道注意力機制

通道注意力機制通過對通道間的依賴關(guān)系進行建模,可以自適應(yīng)調(diào)整各通道的特征響應(yīng)值,僅在犧牲少量計算量的情況下,可以極大地提升網(wǎng)絡(luò)性能。

注意力機制模塊由壓縮(squeeze)、激勵(excitation)及注意(attention)操作3 部分組成,如圖5 所示。

圖5 通道注意力機制

Squeeze 操作是對輸入X(維度為C×H×W)進行壓縮,使用全局平均池化將輸入特征圖的全局信息壓縮為通道描述符,具體的計算公式如式(4)所示。

其中,(i,j) 為輸入X的坐標,輸出Z為C ×1×1的矩陣。

Excitation 操作是對各通道的依賴程度進行建模,本文使用ReLU 非線性激活函數(shù)和Sigmoid 激活函數(shù)的門限機制來實現(xiàn)。其中為了限制模型的復(fù)雜度,增強模型的泛化能力,使用了2 個全連接層去學(xué)習(xí),根據(jù)輸入數(shù)據(jù)可以調(diào)節(jié)各個通道特征的權(quán)重。具體計算公式如式(5)所示。

其中,W1和W2為通道權(quán)重,W1的維度是C′ × C,W2的維度是C × C′,C′=,通過ReLU 激活函數(shù)和Sigmoid 函數(shù)進行訓(xùn)練學(xué)習(xí),最終得到的S的維度為C ×1×1。

Attention 操作為特征加權(quán)的過程,將原始的輸入X替換為經(jīng)過注意力模塊獲得的特征X′,并將其引入到原網(wǎng)絡(luò)中進行目標檢測。通過對各個通道的數(shù)據(jù)乘上不同的權(quán)重,從而增強對關(guān)鍵通道數(shù)據(jù)的信息。具體計算公式如式(6)所示。

1.2 模型量化

由于嵌入式平臺的資源有限,將卷積神經(jīng)網(wǎng)絡(luò)移植到嵌入式平臺需要進行模型壓縮,其中量化模型是一種常用方法。與GPU 及中央處理器(centrol processing unit,CPU)相比較,FPGA 在模型量化上可以更為靈活,故本文采用模型量化的網(wǎng)絡(luò)壓縮方法。

由于卷積神經(jīng)網(wǎng)絡(luò)中不同層的數(shù)據(jù)動態(tài)范圍通常很大,因此,對所有層進行統(tǒng)一的定點量化可能會導(dǎo)致很大的性能損失。為了解決這個問題,本文對每一層都單獨進行定點量化,將32 位浮點型數(shù)據(jù)轉(zhuǎn)換為8 位整型數(shù)據(jù)。

量化的方案如圖1 中的量化部分所示,將訓(xùn)練好的浮點模型和校準數(shù)據(jù)集輸入到量化校準模塊中,獲得定點模型。量化結(jié)束以后得到的定點模型不一定是最優(yōu)狀態(tài),所以對初步量化好以后的模型進行數(shù)據(jù)準確性測試。將測試結(jié)果與浮點模型進行精度對比,當精度損失較大時,需要進行量化微調(diào);當精度損失較小時,即可得到最終的定點模型。

其中量化校準模塊如圖6 所示,本文將每層的特征圖和網(wǎng)絡(luò)參數(shù)收集到量化校準模塊中,對所有參數(shù)進行對數(shù)取整,得到取整后的數(shù)據(jù)直方圖。根據(jù)直方圖中連續(xù)八位占比最大的區(qū)間,可以不同地在每一層中找到最佳零點的位置,隨后根據(jù)零點位置對所有參數(shù)進行移位操作,并進行八位定點量化。在上述步驟中浮點參數(shù)過大或過小容易造成八位定點數(shù)據(jù)溢出,對于過大的數(shù)據(jù),保留符號,將其絕對值設(shè)置為最大值;對于過小的數(shù)據(jù),將其設(shè)置為0。本文逐層確定每一層的零點位置,得到最佳量化結(jié)果的定點模型,用測試數(shù)據(jù)集進行測試,根據(jù)測試結(jié)果可以選擇是否進行下一步的量化微調(diào)。

圖6 量化校準模塊

量化微調(diào)模塊是將量化以后的網(wǎng)絡(luò)模型轉(zhuǎn)換回浮點格式進行微調(diào),期間需要使用到訓(xùn)練數(shù)據(jù)集,且中間參數(shù)如梯度、權(quán)重、激活等浮點數(shù)將會重新訓(xùn)練。將重新訓(xùn)練的結(jié)果再次量化為定點數(shù)據(jù),量化微調(diào)后的定點模型再與最初的浮點模型進行精度對比。重復(fù)上述步驟,直到量化之后的網(wǎng)絡(luò)模型的精度損失在可接受范圍內(nèi)。

校準數(shù)據(jù)集的主要作用是定義模型動態(tài)輸入的范圍,因此本文選取的校準數(shù)據(jù)集包含了模型輸入的所有類別。

1.3 模型編譯

模型編譯使用的是Xilinx 的Vitis AI 編譯工具,該編譯工具是編譯器系列的統(tǒng)一接口,用于優(yōu)化DPU 的神經(jīng)網(wǎng)絡(luò)計算。每個編譯器都將網(wǎng)絡(luò)模型映射到高度優(yōu)化的DPU 指令序列中。Vitis AI 編譯工具如圖1 中的編譯模塊所示,主要由解析器、優(yōu)化器和代碼生成器3 個部分組成。

解析器將模型中的網(wǎng)絡(luò)描述符映射到指令中。Vitis 編譯工具可以根據(jù)不同的FPGA 型號選擇相應(yīng)的指令集。通過指令調(diào)度FPGA 上的資源,進行塊分區(qū)和內(nèi)存映射。塊分區(qū)的主要作用是將網(wǎng)絡(luò)模型和網(wǎng)絡(luò)參數(shù)在片上存儲,對每一層的計算都進行分區(qū),充分利用卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)本地化并減少數(shù)據(jù)輸入輸出,實現(xiàn)高效且減少功耗的作用。內(nèi)存映射主要作用是將外部內(nèi)存空間分配用于主機和網(wǎng)絡(luò)加速器之間的通信。塊分區(qū)和內(nèi)存映射結(jié)束后,FPGA 便可以通過指令集完成網(wǎng)絡(luò)模型的計算。

優(yōu)化器優(yōu)化網(wǎng)絡(luò)模型,其中包括計算節(jié)點的融合(例如將BN 層融合到預(yù)卷積中),充分復(fù)用FPGA 上的數(shù)據(jù),通過固有的并行性進行有效的指令調(diào)度或數(shù)據(jù)的充分利用,可用于處理CNN 的高存儲復(fù)雜性。

最后通過代碼生成器生成可執(zhí)行文件,該文件包含了網(wǎng)絡(luò)模型、參數(shù)與權(quán)重等信息,可將其部署到FPGA 上。

2 實驗結(jié)果分析

本文完成了以下2 組實驗。(1)VGG-SSD、MobileNet-SSD 以及AtDS-SSD 3 種卷積網(wǎng)絡(luò)模型在GPU 上目標檢測的平均精度均值比較以及運行時間比較;(2)AtDS-SSD 網(wǎng)絡(luò)模型在GPU 與FPGA 上的功能驗證以及性能比較。通過上述實驗來驗證基于FPGA 結(jié)合注意力機制與深度可分離卷積的網(wǎng)絡(luò)模型在邊緣端設(shè)備進行目標檢測的綜合優(yōu)勢。

2.1 網(wǎng)絡(luò)模型訓(xùn)練

本文涉及到的3 種卷積網(wǎng)絡(luò)模型都由服務(wù)器訓(xùn)練生成,硬件平臺的處理器為Intel i9-10900X,顯卡為NVIDIA RTX 2080Ti,部署TensorFlow 深度學(xué)習(xí)框架,通過NVIDIA CUDA 運算平臺調(diào)用顯卡進行卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練。本文采用PASCAL VOC 2007 和PASCAL VOC 2012 訓(xùn)練數(shù)據(jù)集進行訓(xùn)練,PASCAL VOC 2007 測試數(shù)據(jù)集進行測試,該數(shù)據(jù)集包括20 個類別,即aeroplane、bicycle、bird、boat、bottle、bus、car、cat、chair、cow、diningtable、dog、horse、motorbike、person、pottedplant、sheep、sofa、train、tvmonitor,共22 163 張訓(xùn)練圖片和4952 張測試圖片。

本文在訓(xùn)練過程中將輸入圖片的分辨率調(diào)整為300 ×300,批尺寸(Batchsize)設(shè)置為32。訓(xùn)練完成后對各個網(wǎng)絡(luò)模型的目標檢測準確性和損失值進行對比,各個網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練過程中損失值的變化如圖7所示,其中縱坐標為損失值,橫坐標為訓(xùn)練的迭代次數(shù),各個網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練過程中準確率的變化如圖8所示,其中縱坐標為準確率,橫坐標為訓(xùn)練的迭代次數(shù)。

圖7 網(wǎng)絡(luò)的損失值的變化

圖8 網(wǎng)絡(luò)的準確率的變化

從圖7 中可以看出,loss 值隨著訓(xùn)練的迭代次數(shù)增加逐漸減少,一直到loss 值幾乎不變的時候,表明訓(xùn)練已經(jīng)達到最優(yōu)值,可以停止訓(xùn)練。圖8 可以看出MobieNet-SSD 與AtDS-SSD 的準確率都低于VGG-SSD 網(wǎng)絡(luò),是因為VGG-SSD 進行檢測分類的最大特征張量的尺寸是30 ×30,而MobieNet-SSD 與AtDS-SSD 進行檢測分類的最大特征張量的尺寸是19 ×19,所以對小目標分類檢測更加弱,準確率有所下降,但實時性增強,速率更快。同時AtDS-SSD 相比較于MobileNet-SSD,通過結(jié)合通道注意力模塊增強了高層特征語義消息,補償了由于參數(shù)計算量的減少帶來的精度損失。

2.2 模型目標檢測對比

本實驗在NVIDIA RTX 2080Ti 上分別使用VGG-SSD 神經(jīng)網(wǎng)絡(luò)、輕量級神經(jīng)網(wǎng)絡(luò)MobileNet-SSD和結(jié)合通道注意力機制和深度可分離卷積的AtDSSSD 神經(jīng)網(wǎng)絡(luò)對PASCAL VOC 2007 測試數(shù)據(jù)集進行目標檢測并比較。在目標檢測中,通常采用平均精度均值(mean average precision,mAP)指標對精度進行評估,實驗結(jié)果如表2 所示。從檢測結(jié)果可以看出,本文提出的AtDS-SSD 網(wǎng)絡(luò)模型在目標檢測的平均精度均值上相較于VGG-SSD 網(wǎng)絡(luò)降低了11.02%,但是相較于MobieNet-SSD 網(wǎng)絡(luò),AtDS-SSD的準確率提升了1.2%。

表2 VOC 測試集中部分目標檢測的平均準確率

此外,為檢測算法的實時性,本文對比了VGGSSD、MobileNet-SSD 和AtDS-SSD 卷積神經(jīng)網(wǎng)絡(luò)的檢測速度,具體檢測結(jié)果如表3 所示。由于VGG-SSD在實時性效果上遠低于其他兩個網(wǎng)絡(luò),因此不適合將其移植到FPGA 上。而結(jié)合注意力機制與可分離卷積的AtDS-SSD 卷積神經(jīng)網(wǎng)絡(luò)在檢測速度上可以滿足實時性需求,且在精度上相較于MobileNet-SSD網(wǎng)絡(luò)略有優(yōu)化,使其實時性和檢測精度達到了更好的平衡,適用于邊緣端設(shè)備進行目標檢測。

表3 VOC 測試集中檢測速率對比

2.3 AtDS-SSD 在不同平臺的性能比較

本實驗對AtDS-SSD 在NVIDIA RTX 2080Ti 和ZCU 102 上的運行結(jié)果進行討論。

首先在不同硬件平臺上對AtDS-SSD 神經(jīng)網(wǎng)絡(luò)進行功能驗證。功能驗證主要是將ZCU 102 上計算得到的預(yù)測數(shù)據(jù)與NVIDIA RTX 2080Ti 上計算得到的預(yù)測數(shù)據(jù)進行對比,保證網(wǎng)絡(luò)模型的輸出能達到目標檢測的基本功能。

本實驗針對單目標檢測和多目標檢測都進行了功能驗證。單目標結(jié)果如圖9 所示。圖9(a)為單目標在NVIDIA RTX 2080Ti 上的檢測結(jié)果,目標位置檢測精準且分類正確,置信度為87.0%;圖9(b)為單目標在ZCU 102 上的檢測結(jié)果,目標位置檢測精準且其分類正確,置信度為80.8%,結(jié)果與NVIDIA RTX 2080Ti 相差不大。多目標檢測如圖10所示。圖10(a)為多目標在NVIDIA RTX 2080Ti 上的檢測結(jié)果,目標位置檢測精準且其分類正確;圖10(b)為多目標在ZCU 102 上的檢測結(jié)果,目標位置檢測精準且其分類正確,但是置信度略低于NVIDIA RTX 2080Ti 的運行結(jié)果。上述結(jié)果表明,在NVIDIA RTX 2080Ti 與ZCU 102 上運行最后的檢測結(jié)果產(chǎn)生的偏差不影響最終結(jié)果的呈現(xiàn)。

圖9 單目標檢測結(jié)果

圖10 多目標檢測結(jié)果

本實驗對AtDS-SSD 神經(jīng)網(wǎng)絡(luò)在NVIDIA RTX 2080Ti 和ZCU 102 上的性能和功耗進行測量與對比,其結(jié)果如表4 所示。在NVIDIA RTX 2080Ti 上進行目標檢測需要的功耗為77 W,而在ZCU 102 上進行測試,功耗為8.56 W,設(shè)計功耗低,非常適合用于邊緣端設(shè)備處理實時目標檢測。而且在ZCU 102上使用多線程模式對輸入圖像進行測試時,幀率達到311.7 fps,高于NVIDIA RTX 2080Ti 平臺。

表4 GPU 和FPGA 性能對比

3 結(jié)論

本文提出了結(jié)合通道注意力機制與深度可分離卷積的AtDS-SSD 網(wǎng)絡(luò),減少了計算復(fù)雜度,增強了高層特征圖的語義信息。提出了一種對基于FPGA的算法網(wǎng)絡(luò)原始模型進行量化編譯方案,將本文算法移植到FPGA 上,相較于現(xiàn)有邊緣實時目標檢測系統(tǒng),綜合兼顧了目標檢測的實時性和準確性,使得2 種參數(shù)得到了更好提升,且降低了功耗,提高了計算能效。實驗結(jié)果表明,本文對視頻實時目標檢測的優(yōu)化與實現(xiàn)滿足了邊緣端設(shè)備計算實時性的要求,同時也解決了功耗問題。