耿麗婷，阿里甫·庫爾班，米娜瓦爾·阿不拉，丁 培，蔣潤熙新疆大學 軟件學院，烏魯木齊 830046

隨著我國經(jīng)濟生活的進步，人們生活質(zhì)量大幅提升，垃圾產(chǎn)量迅猛增加。伴隨著2019年7月1日上海市《上海市生活垃圾管理條例》的實施，垃圾分類也逐漸進入大家的視野[1]。然而如今我國垃圾的再利用主要依靠人工分揀的方式，造成人力資源浪費、分揀效率低下、資源利用率低等問題。因此，本文提出利用深度學習技術(shù)檢測可回收垃圾，提高資源利用率，促進生態(tài)文明建設(shè)。

近年來，深度學習的飛速發(fā)展，目標檢測技術(shù)也取得了矚目成就。目前主流的檢測方法，主要分為兩類[2]。一類是基于候選框的兩階檢測算法，將檢測分為兩步，先產(chǎn)生候選框，再對候選框分類。常見的算法有R-CNN[3]、SPPNet[4]、Fast R-CNN[5]、Faster R-CNN[6]等。另一類是基于回歸的一階檢測算法，該方法不需要產(chǎn)生候選框，直接將目標框定位問題轉(zhuǎn)化為回歸問題處理，雖然精度會有所損失，但是檢測速度一般比兩階算法更快。常見的算法有SSD[7]和YOLO[8-9]系列。

深度學習技術(shù)在垃圾檢測方面也取得了較大進展。Liu等人[10]提出采用MobileNet-YOLOv2[11]的輕量化的神經(jīng)網(wǎng)絡(luò)與物聯(lián)網(wǎng)技術(shù)相結(jié)合，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于嵌入式端，降低工業(yè)檢測成本。劉恩乾[12]提出采用CBAM注意力機制和SSD算法相結(jié)合用于檢測和分類生活垃圾。寧凱等人[13]提出采用改進的YOLOv2算法嵌入到機器人中用于檢測和分類垃圾，實現(xiàn)了智能掃地機器人。Cui等人[14]采用YOLOv3算法檢測街道的生活垃圾、裝修垃圾以及大型垃圾，在GTX1080Ti上檢測速度可以達到60 ms。雖然以上研究為垃圾檢測任務(wù)做出了一定貢獻，但是在精度或者檢測速度等方面仍有較大的改進空間。SSD算法作為經(jīng)典的目標檢測算法之一，具有檢測速度快的優(yōu)勢，便于實時檢測。但是在實際應(yīng)用中，需要考慮占用硬件的內(nèi)存空間、檢測速度以及檢測精度等問題。而原始SSD以VGG16作為骨干網(wǎng)絡(luò)，存在模型參數(shù)量大的問題，難以應(yīng)用于算力低的嵌入式設(shè)備中，同時隨著深度學習的不斷發(fā)展，VGG16-SSD算法的精度已經(jīng)遠達不到實際需求。

因此本文主要針對可回收垃圾檢測實時性和精度的需求，以SSD算法為基礎(chǔ)進行改進，提出基于輕量化高精度卷積神經(jīng)網(wǎng)絡(luò)。采用輕量的RepVGG作為骨干網(wǎng)絡(luò)，通過結(jié)構(gòu)重參數(shù)化方式大幅減少計算量，滿足實時性要求。對SSD算法的輔助卷積層提出改進的同時引入SK模塊，動態(tài)調(diào)整感受野尺寸，提高網(wǎng)絡(luò)空間信息的聚合能力，提高檢測精度。實驗表明，該方法在可回收垃圾檢測任務(wù)中具有良好的檢測性能，可以更好地應(yīng)用于工業(yè)。

1 傳統(tǒng)的SSD檢測模型

SSD模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，該結(jié)構(gòu)由兩部分組成。SSD模型在特征提取部分中采用VGG16[15]結(jié)構(gòu)，通過深度卷積提取多個尺度的特征圖。另一部分為輔助卷積層，通過不同尺度的卷積層輸出進行特征融合。

圖1 SSD模型圖Fig.1 SSD model diagram

SSD使用VGGNet作為骨干網(wǎng)絡(luò)時，使用了VGGNet的前13個網(wǎng)絡(luò)層，其中Conv4_3作為提取特征的特征圖。為了獲取更多的特征信息，在VGGNet后增加了幾層卷積結(jié)構(gòu)，即組成了SSD算法的輔助卷積層。使用Conv6、Conv7取代原始VGGNet中的全連接層。Conv6中使用擴張率為6的空洞卷積，使用該結(jié)構(gòu)可以在增加感受野的同時保持參數(shù)量不變。由骨干網(wǎng)絡(luò)和輔助卷積層生成的6個不同尺度的特征圖，如圖1中所示的Conv4_3生成大小為38×38的特征圖，Conv7至Conv11依次輸出大小為19×19、10×10、5×5、3×3和1×1的特征圖。其中淺層的特征圖用于檢測小物體，深層的特征圖用于檢測大物體。

6個特征圖分別對應(yīng)人工設(shè)置的PriorBox，分別為4、6、6、6、4、4。將其與標簽邊框匹配，篩選出正負樣本，并計算損失。通過分類網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)預(yù)測不同大小目標的位置和分類。

2 改進的SSD目標檢測模型

由于SSD算法采用多層特征圖進行預(yù)測，且為一階網(wǎng)絡(luò)，因此在速度和精度上都有較好的效果。尤其是在速度方面可以很好地應(yīng)用于工業(yè)中，可滿足可回收垃圾檢測任務(wù)的速度要求。

本文試圖采用輕量級的網(wǎng)絡(luò)結(jié)構(gòu)在保證精度的情況下，以解決由VGG16網(wǎng)絡(luò)造成的參數(shù)量大、內(nèi)存占有率高等問題。同時對SSD算法的輔助卷積層進行改進，對比了多種卷積結(jié)構(gòu)，最終選用由不對稱卷積組成的RepVGG式結(jié)構(gòu)與ReLU相結(jié)合的方式作為SSD的輔助卷積層。為進一步降低參數(shù)量和計算量，采用結(jié)構(gòu)重參數(shù)化提高模型的推理速度。同時對可回收垃圾數(shù)據(jù)進行研究，發(fā)現(xiàn)其尺寸變化大的問題，因此引入了SK模塊旨在提高網(wǎng)絡(luò)結(jié)構(gòu)的檢測準確率。算法的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 實驗?zāi)Ｐ蛨DFig.2 Experimental model diagram

2.1 骨干網(wǎng)絡(luò)的選取

2021年Ding等人[16]提出了RepVGG網(wǎng)絡(luò)，組建了一個由3×3卷積、1×1卷積分支和identity的殘差分支結(jié)合的結(jié)構(gòu)。同時該網(wǎng)絡(luò)中采用了結(jié)構(gòu)重參數(shù)化方式，將訓(xùn)練階段和推理階段分割開。訓(xùn)練階段的模型可以更好地提取特征，更方便優(yōu)化，得到更好的訓(xùn)練結(jié)果，獲取更多的特征信息。在訓(xùn)練階段選用組合的殘差結(jié)構(gòu)以提高檢測精度，同時在推理階段轉(zhuǎn)化為類VGG的架構(gòu)，極大地提高了推理速度，方便模型部署和加速。

類VGG式的結(jié)構(gòu)有諸多優(yōu)勢。首先在GPU中3×3的卷積結(jié)構(gòu)相較于1×1卷積甚至是5×5卷積而言計算密度更大，因此使用3×3的卷積結(jié)構(gòu)在GPU運行上速度更快。其次，VGG結(jié)構(gòu)采用單路架構(gòu)，具有較高的并行度更加節(jié)省內(nèi)存。

因此，RepVGG網(wǎng)絡(luò)采用結(jié)構(gòu)重參數(shù)化的方式后，具有以下幾個優(yōu)點：

（1）采用結(jié)構(gòu)重參數(shù)化的方式，可將分支結(jié)構(gòu)轉(zhuǎn)變?yōu)楹唵蔚?×3卷積、ReLU堆疊的方式，提高模型的推理速度，方便模型高效部署。

（2）推理后的模型為單路結(jié)構(gòu)，速度快且并行度高，節(jié)省內(nèi)存。同時單路結(jié)構(gòu)靈活性更好，方便模型剪枝。

為滿足檢測模型實時性和精度的需求，本文使用RepVGG作為骨干網(wǎng)絡(luò)用于特征提取。在訓(xùn)練階段中引入1×1卷積分支，形成不對稱卷積結(jié)構(gòu)，提高模型的特征分辨能力，獲取更多特征信息；采用identity的殘差結(jié)構(gòu)使模型更易收斂，避免出現(xiàn)梯度消失問題。而推理階段的模型更方便部署，大幅減少計算量，提高檢測速度。RepVGG結(jié)構(gòu)在訓(xùn)練階段和推理階段的模型結(jié)構(gòu)，如圖3所示。

圖3 RepVGG網(wǎng)絡(luò)在訓(xùn)練和推理時的結(jié)構(gòu)圖Fig.3 Structure diagram of RepVGG network in training and inference

本文采用的RepVGG網(wǎng)絡(luò)為RepVGG-A0結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)在RepVGG網(wǎng)絡(luò)系列中是最輕量的網(wǎng)絡(luò)，同時RepVGG-A0不僅具有更少的參數(shù)量，擁有更快的推理速度，在獲取特征信息方面也有較好的性能。因此本文考慮到可回收垃圾檢測任務(wù)需要部署于工業(yè)應(yīng)用，采用RepVGG-A0作為骨干網(wǎng)絡(luò)。

整個RepVGG網(wǎng)絡(luò)共分為5個Stage，本文未改變原始SSD算法的輸出特征圖大小，將RepVGG作為骨干網(wǎng)絡(luò)時輸出的特征圖為38×38、19×19、10×10，分別由Stage2、Stage3和Stage4生成。其中Stage3設(shè)置層數(shù)為14，可獲取更多信息。RepVGG的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置如表1所示。

表1 RepVGG網(wǎng)絡(luò)結(jié)構(gòu)Table 1 RepVGG network structure

2.2 結(jié)構(gòu)重參數(shù)化

結(jié)構(gòu)重參數(shù)化這一思想是指在訓(xùn)練階段和推理階段采用不同的網(wǎng)絡(luò)結(jié)構(gòu)和模型參數(shù)，將訓(xùn)練階段產(chǎn)生的模型通過結(jié)構(gòu)和參數(shù)變化得到推理模型。推理階段的模型所表達的模型功能在數(shù)學推理上是等價的，因此采用該方法可以大幅降低參數(shù)量，方便模型高效部署。

Ding于ICCV2019中提出的ACNet[17]和ICCV2021中提出的RepVGG網(wǎng)絡(luò)將結(jié)構(gòu)重參數(shù)化這一思想貫徹到底。為提高模型的推理速度，在結(jié)構(gòu)重參數(shù)化思想中主要采用數(shù)學推導(dǎo)的方式，并經(jīng)過實驗驗證了該思想的有效性，而本文主要采用了其中的Conv-BN合并、分支合并的思路，以下將對這兩個思路進行分析，從而驗證該方法。

2.2.1 Conv-BN合并

在神經(jīng)網(wǎng)絡(luò)中，BN（batch normalization）層的加入，可以快速收斂加速網(wǎng)絡(luò)，有效解決梯度消失和梯度爆炸問題。雖然BN結(jié)構(gòu)有諸多優(yōu)勢，但是BN層在網(wǎng)絡(luò)前向推理是會占用更多的內(nèi)存和顯存，影響模型性能。為減少模型在前向推理時的耗時，本文采用Conv層和BN層融合的方式。公式推導(dǎo)如下所示：

卷積層計算的公式，如公式（1）所示，其中ω為權(quán)重，b為偏置：

BN層的計算如公式（2）所示，其中γ和β是學習參數(shù)，u是樣本均值，σ是方差，ε表示一個很小的數(shù)（防止分母為0）：

將公式（1）代入公式（2）中，卷積和BN合并得到公式（3）：

將公式（3）拆分后即可得到公式（4），如下所示：

根據(jù)卷積的齊次性，合并BN層的過程是線性運算，該過程相當于對卷積核進行修改，而卷積仍不變。因此根據(jù)推理得知，采用卷積層和BN層合并可以提升模型前向推理的速度。

2.2.2 分支合并

在RepVGG結(jié)構(gòu)中有1×1卷積核identity兩種分支結(jié)構(gòu)。對1×1卷積而言可以將1×1卷積padding為3×3卷積，在該3×3卷積中，除了卷積核中心位置，其他位置都為0，即將卷積核移動至3×3卷積核中心。而對identity而言可利用權(quán)重等于1的卷積核，將identity結(jié)構(gòu)構(gòu)造為一個1×1的卷積，同時該卷積的權(quán)重值為1。通過設(shè)置一個3×3的卷積核，對輸入特征映射相乘后，identity前后值不變。此時1×1卷積和identity均可轉(zhuǎn)變?yōu)?×3卷積，而根據(jù)卷積的加法特性，卷積核在形狀一致的情況下，可以滿足可加性。因此三個卷積分支可以融合，具體過程如圖4所示。

圖4 分支合并過程Fig.4 Branch merge process

2.3 SK模塊

在CVPR2019中Li等人[18]提出selective kernel networks（SKNet），該網(wǎng)絡(luò)是對squeeze-and-excitation networks（SENet）[19]提出的改進網(wǎng)絡(luò)。SKNet可以根據(jù)不同的圖像得到具有不同重要性信息的卷積核，相較于Inception[20]結(jié)構(gòu)而言，SKNet更具靈活性。Inception結(jié)構(gòu)的參數(shù)是固定的，而SKNet可以根據(jù)卷積核的權(quán)重值，針對不同尺度的圖像自適應(yīng)生成卷積參數(shù)。圖5是本文采用的數(shù)據(jù)集樣本分布圖，可見該數(shù)據(jù)樣本尺度存在不均衡的情況。因此引入SK模塊以適應(yīng)本文圖像尺度變化大的問題。

圖5 樣本分布圖Fig.5 Sample distribution

SK模塊主要由Split、Fuse和Select三部分組成，圖6展示了SK模塊的結(jié)構(gòu)。其中，Split部分是對輸入向量進行不同卷積核大小的卷積操作的過程，該部分可根據(jù)輸入的特征圖自適應(yīng)產(chǎn)生多個分支結(jié)構(gòu)。Fuse部分對特征進行融合，根據(jù)聚合多個分支的信息以計算每個卷積核的權(quán)重。Select部分是根據(jù)不同卷積核的權(quán)重信息計算后得到新的特征圖的過程。研究發(fā)現(xiàn)，SK模塊可以自適應(yīng)地調(diào)整結(jié)構(gòu)，以獲取不同感受野信息。

圖6 SK模塊圖Fig.6 SK module structure diagram

2.4 改進輔助卷積層

原始SSD算法采用普通卷積結(jié)構(gòu)、空洞卷積、池化操作和ReLU相結(jié)合的思路。該結(jié)構(gòu)采用了大量的池化操作，該方式會丟失大量的信息，同時普通卷積相較于本文的RepVGG式結(jié)構(gòu)而言，有諸多弊端，因此為進一步降低模型參數(shù)量，本文延續(xù)RepVGG中結(jié)構(gòu)重參數(shù)化的思路，采用3×3卷積、1×1卷積分支和ReLU相結(jié)合的方式，結(jié)構(gòu)Block如圖7所示。

圖7 Block結(jié)構(gòu)Fig.7 Block structure

將SSD輔助卷積層結(jié)構(gòu)重置，改用Block結(jié)構(gòu)，減小了卷積層數(shù)，同時采用步長為2的方式改變輸出特征圖的大小。

改進后的SSD的輔助卷積結(jié)構(gòu)如表2所示，其中輸出大小為5×5、3×3和1×1的特征圖作為檢測層。最后同樣采用結(jié)構(gòu)重參數(shù)化法在推理階段將Block的殘差結(jié)構(gòu)轉(zhuǎn)化為普通卷積結(jié)構(gòu)，極大地提高了模型的推理速度。

表2 RepVGG網(wǎng)絡(luò)結(jié)構(gòu)Table 2 RepVGG network structure

3 實驗對比及分析

3.1 數(shù)據(jù)集的劃分

本文所采用的數(shù)據(jù)集主要來源于Kaggle網(wǎng)站中的Waste Classification data數(shù)據(jù)集（https：//www.kaggle.com/techsash/wasteclassification-data），由于該數(shù)據(jù)集分為有機廢物和可回收廢物兩類，并未對可回收垃圾的類別分類，因此本文選取了部分Waste Classification data數(shù)據(jù)，并通過網(wǎng)絡(luò)爬蟲、相機拍攝的方式，獲得1 650張數(shù)據(jù)，部分樣本如圖8所示。數(shù)據(jù)共分為三類：紙板（cardboard）、玻璃（glass）、塑料（plastic）。采用LabeLImg軟件對數(shù)據(jù)集進行人工標注，數(shù)據(jù)集為PASCAL_VOC格式。將原始數(shù)據(jù)集劃分70%作為訓(xùn)練數(shù)據(jù)，20%作為測試數(shù)據(jù)，10%作為驗證集。后采用數(shù)據(jù)擴充的方式，經(jīng)過隨機旋轉(zhuǎn)30°、270°、330°，將原始數(shù)據(jù)集擴充3倍后，得到新數(shù)據(jù)集共4 950張數(shù)據(jù)。

圖8 部分數(shù)據(jù)集內(nèi)容Fig.8 Partial dataset content

3.2 實驗分析

實驗在CPU E5 2450 2.10 GHz，16 GB內(nèi)存，Ubuntu 16.04系統(tǒng)下搭建的Pytorch環(huán)境下進行，顯卡為GeForce GTX1080Ti。

為驗證本文改進的SSD算法在可回收垃圾檢測任務(wù)上的有效性，本文設(shè)計了4組實驗。第一組實驗是驗證RepVGG作為骨干網(wǎng)絡(luò)時的性能，對比了原始SSD算法與RepVGG-SSD算法；第二組實驗是驗證本文所提出的SSD輔助卷積層結(jié)構(gòu)，對比了普通卷積結(jié)構(gòu)、Mobile-Netv2中的深度可分離結(jié)構(gòu)以及本文所采用的RepVGG式的Block結(jié)構(gòu)；第三組實驗是為了驗證結(jié)構(gòu)重參數(shù)化的效果，對比了使用結(jié)構(gòu)重參數(shù)化時和未使用時的效果；第四組實驗是加入SK模塊后，與目前主流的網(wǎng)絡(luò)在可回收垃圾檢測任務(wù)上的性能進行比較，以驗證本文所提出的網(wǎng)絡(luò)的優(yōu)勢。

訓(xùn)練時輸入圖像設(shè)置為300×300，采用SGD作為優(yōu)化函數(shù)對模型進行訓(xùn)練。初始學習率為1E-4，學習率在60 000時降低為1E-5，至90 000停止訓(xùn)練，本實驗采用與原始SSD相同的圖像增強方法。

本文采用的評判標準有：mAP（mean average precision）、每秒傳輸幀數(shù)（frames per second，F(xiàn)PS）、浮點運算數(shù)量（giga floating-point operations per second，GFLOPs）、乘加運算次數(shù)（MAdds）、參數(shù)量（parameters，Params）、內(nèi)存占有量（Memory）、讀入和寫入時的內(nèi)存量（MemR+W）。其中Memory反應(yīng)運行時占用的內(nèi)存量，GFLOPs用來衡量模型或算法的復(fù)雜度，Params表示模型的大小。通常GFLOPs和Params越小，代表模型所需要的算力越小，對硬件的性能要求越低，越容易搭建于低端設(shè)備中。

實驗一比較了以VGG16和RepVGG作為SSD的骨干網(wǎng)絡(luò)時的效果，如表3所示。驗證發(fā)現(xiàn)采用RepVGG作為骨干網(wǎng)絡(luò)時精度提升1.7個百分點，同時GFLOPs大幅降低，提高了檢測速度。

表3 RepVGG性能比較Table 3 Performance comparison of RepVGG

為進一步減小模型的計算量，本文更換了SSD的輔助卷積層。實驗二對比了更換為深度可分離結(jié)構(gòu)的卷積層和RepVGG結(jié)構(gòu)時的卷積層，效果如表4所示。采用RepVGG結(jié)構(gòu)時相較于深度可分離結(jié)構(gòu)提升了1.63個百分點，相較于原始SSD結(jié)構(gòu)精度提升了0.93個百分點。同時，采用該結(jié)構(gòu)時的浮點數(shù)最小為5.82，參數(shù)量雖然相較于深度可分離結(jié)構(gòu)有小幅提升，但是在精度方面展現(xiàn)的效果更好。

表4 SSD輔助卷積層比較Table 4 Comparison of SSD auxiliary convolution layer

由于可回收垃圾檢測通常應(yīng)用于工業(yè)中，為滿足輕量化的要求，方便日后的模型部署于移動端和嵌入式端，本文采用BN層和卷積層融合，分支結(jié)構(gòu)合并的思路，減小模型前向推理的時間，提高檢測速度。主要通過結(jié)構(gòu)重參數(shù)化的方式，為驗證該方式的有效性，本文設(shè)計了實驗三。表5對使用結(jié)構(gòu)重參數(shù)化和未使用時進行了比較。由實驗可見，內(nèi)存占有量降低了43.65×106，讀入寫入時的內(nèi)存也下降了近一半。因此該方式可大幅減小參數(shù)量和計算量，加快模型推理。

表5 結(jié)構(gòu)重參數(shù)化性能比較Table 5 Comparison of performance of structural re-parameterization

本文加入了SK模塊，用于自適應(yīng)調(diào)整感受野尺寸，所提出的網(wǎng)絡(luò)為RepVGG-SK-SSD。為進一步驗證所提算法的有效性，本文比對了VGG16-SSD、MobileNet-YOLOv3、CBAM+SSD、YOLOv3、MobilNet-SSDLite、RepVGG-SSD、RFBNet[21]等網(wǎng)絡(luò)結(jié)構(gòu)的性能，如表6所示。由實驗可得，本文所提算法在可回收垃圾檢測任務(wù)上可達到95.23%的精度。相較于原始SSD算法，共提升了4.33個百分點。同時，該算法的參數(shù)量和計算量較小，浮點數(shù)只有5.16，參數(shù)量也只有10.33×106。相較于原始SSD的浮點數(shù)為60.29以及22.94×106的參數(shù)量而言，本文所提算法做出了更大的改進，且擁有更好的性能。雖然MobileNet-YOLOv3的精度相對本文所提算法高了0.47個百分點，但是其浮點數(shù)以及參數(shù)量遠大于本文算法。同時驗證該算法在單個GTX1080TI顯卡下可達64 FPS，可滿足在移動端和嵌入式端部署的需求。

表6 不同算法測試結(jié)果對比Table 6 Comparison of detection results of different algorithms

本文將RepVGG網(wǎng)絡(luò)與SK模塊融合，選用新的輔助卷積層，實驗也驗證了該算法的有效性，圖9展示了本文所提算法的檢測效果。

圖9 檢測效果圖Fig.9 Inspection effect picture

4 結(jié)束語

本文提出了一個實時高效的基于SSD算法的可回收垃圾檢測器。針對VGG16模型過大、運行內(nèi)存量過高，無法用于工業(yè)部署問題。提出采用輕量化的網(wǎng)絡(luò)RepVGG作為骨干網(wǎng)絡(luò)，使用結(jié)構(gòu)重參數(shù)化的方式減少參數(shù)量和計算量，提高模型的推理速度，實現(xiàn)實時檢測。同時為進一步減少參數(shù)量，提高模型的檢測速度，修改了SSD的輔助卷積層。針對圖像尺度變化大的問題，提出采用SK模塊，自適應(yīng)調(diào)節(jié)感受野尺寸，提高檢測精度。實驗表明，本模型具有良好的檢測精度和實時性，可以更好地應(yīng)用于可回收垃圾檢測任務(wù)。