倪瑞濤, 鄒紅艷, 倪 超, 朱瑞林

(南京林業(yè)大學(xué) 機械電子工程學(xué)院,江蘇 南京 210037)

塑料是一種以合成的或天然的高分子聚合物,任意捏成各種形狀最后能保持形狀不變的材料或可塑材料產(chǎn)品。由于其質(zhì)輕,化學(xué)性穩(wěn)定,不會銹蝕;耐沖擊性好;具有較好的透明性和耐磨性;絕緣性好,導(dǎo)熱性低;一般成型性、著色性好,加工成本低。因此,常見的容器通常都是塑料產(chǎn)物,包括飲料瓶、牛奶瓶等。隨著我國國民經(jīng)濟高速發(fā)展,人民生活水平不斷提高,以塑料為原材料的飲料瓶以其超高的性價比迅速占領(lǐng)市場。超市、便利店都有專門的貨架放置各式各樣的飲料,在夏天,冰箱里的飲料更是給酷署下的人們帶來涼爽的慰藉,提高了人們的生活質(zhì)量[1]。

而塑料難以降解,在造福人類的同時,也帶來了新的環(huán)境問題——“白色污染”。據(jù)有關(guān)數(shù)據(jù)報道,目前全球仍有55%的廢棄塑料被丟棄,25%被焚化,只有20%被回收。全球每年約產(chǎn)生3.3億t塑料制品,預(yù)計到2050年將倍增至6.6億t。塑料瓶作為一次性制品,用完即丟,作為垃圾的塑料瓶通常有以下幾種處理方案:一是被隨手丟棄,混在土壤中或是水體中;二是隨著其他垃圾一起扔進填埋場;三是在垃圾場被焚化;四是回收利用,生產(chǎn)成衣服等其他產(chǎn)品。前三者都或多或少存在著對生態(tài)環(huán)境的污染,而回收的方案才是變廢為寶,實現(xiàn)塑料可持續(xù)發(fā)展的出路[2]。

大部分塑料瓶的生產(chǎn)原料都是聚對苯二甲酸乙二醇酯(polyethylene terephthalate,簡稱PET)。塑料瓶在生產(chǎn)過程中,由于每家品牌都有其獨特的設(shè)計理念,比如想到雪碧就是綠色的瓶子,想到礦泉水一般則是透明或者透明的淡藍(lán)色。塑料瓶呈現(xiàn)出多種不同的顏色、形狀,不同顏色的PET塑料瓶由于其添加成分不一,如果不分類回收利用,則最后生產(chǎn)出來的塑料原料純度低,再利用價值低[3]。

近年來,回收行業(yè)的人工智能水平不斷發(fā)展,對塑料瓶進行分類回收在保護環(huán)境、節(jié)約資源等方面具有重要意義。李俊宇等[4]使用Faster R-CNN算法,對多種顏色的透明PET塑料瓶進行分類,在對ResNet網(wǎng)絡(luò)進行損失函數(shù)的改進,并且在樣本不均衡時,采用權(quán)重采樣法改進ResNet網(wǎng)絡(luò),最終對塑料瓶顏色分類的準(zhǔn)確率達到了96.6%。Wttaya等[5]首先通過對比PET瓶和非PET瓶的RGB的顏色直方圖進行了處理,將圖像縮小至統(tǒng)一尺寸;然后將彩色圖像轉(zhuǎn)換為灰度圖像,再轉(zhuǎn)換為黑白圖像來去除背景,從而得到了色彩分布的直方圖與去除背景的圖像,用非背景圖像對直方圖進行歸一化處理;用最終得到的無背景直方圖,通過計算直方圖的相關(guān)性來對塑料瓶進行材質(zhì)分類,算法精準(zhǔn)度為93.33%。Suzaimah等[6]提出了一種新的方法,通過實現(xiàn)自動分揀的成像技術(shù)的可行性來對塑料瓶進行分類。根據(jù)塑料瓶的原始圖像,有明顯的特征可以區(qū)分PET和非PET兩類塑料瓶,該方法包括從區(qū)域分割技術(shù)中自動檢測“ROI”,并提出了像素強度直方圖算法,以區(qū)分兩類瓶子;即PET和非PET。實驗結(jié)果表明,塑料瓶分類的準(zhǔn)確率超過80%。Wang等[7]在分揀過程中將回收瓶的顏色分為7類,由于瓶子的頂部和中間可能分別有瓶蓋和標(biāo)簽,因此使用底部部分的顏色特征來代表回收瓶的顏色特征,采用ReliefF算法選擇回收瓶的顏色特征,采用支持向量機(SVM)算法進行顏色識別。最終,回收瓶的顏色識別準(zhǔn)確率達到了94.7%。

由上述文獻的實驗結(jié)果,我們可以看到,基于深度學(xué)習(xí)網(wǎng)絡(luò)的算法在塑料瓶顏色分選上優(yōu)于機器學(xué)習(xí)。由于機器學(xué)習(xí)通常通過手工提取特征,因而手工提取特征的好壞直接影響了目標(biāo)檢測的效果,使用任何分類器都難以彌補最后的效果。并且,這種針對特定任務(wù)設(shè)計的特征提取方法,在大數(shù)據(jù)的樣本中表現(xiàn)較差,需要不斷添加訓(xùn)練樣本,費時費力。而深度學(xué)習(xí)由于數(shù)據(jù)集的數(shù)據(jù)數(shù)量大,在塑料瓶分類問題上的準(zhǔn)確率普遍優(yōu)于機器學(xué)習(xí)。

1 分選系統(tǒng)設(shè)計

1.1 分選系統(tǒng)的硬件設(shè)計

回收塑料瓶分選系統(tǒng)的硬件結(jié)構(gòu)如圖1所示,主要由工控機、工業(yè)相機、照明光源、可編程邏輯控制器(PLC)及噴閥機構(gòu)等組成。其中,工控機與工業(yè)相機通過千兆網(wǎng)線連接,與PLC通過RS-485連接,使用串口通信[8]。

圖1 系統(tǒng)結(jié)構(gòu)示意圖

當(dāng)前市場上的相機根據(jù)所采用的傳感器不同,可分為CCD(Charge Coupled Device)相機和CMOS(Complementary Metal Oxide Semiconductor)相機[9]。它們的核心感光元件都是光敏二極管(photodiode),在光照下會產(chǎn)生輸出電流,其強度與光線強度成正比。CCD相機擁有更大的有效感光面積,在相同條件下可以接收到更強的光信號?？偟膩碚f,與CMOS相機相比,CCD相機的成像噪聲更低,圖像顏色更準(zhǔn)確,圖像細(xì)節(jié)更豐富,但成本更高。由于本系統(tǒng)的圖像處理單元主要依賴顏色和殘留標(biāo)簽的紋理、形狀特征來識別塑料瓶,對圖像質(zhì)量有較高要求。因此,本系統(tǒng)選擇了CCD工業(yè)相機作為圖像采集設(shè)備。CCD相機根據(jù)掃描方式還可分為隔行掃描和逐行掃描兩種。在捕捉快速移動物體時,隔行掃描相機由于奇數(shù)場和偶數(shù)場的采集時間不同,可能會導(dǎo)致圖像撕裂現(xiàn)象,從而對本系統(tǒng)的性能產(chǎn)生不利影響。因此,在本系統(tǒng)的圖像采集模塊中,選擇了逐行掃描的CCD工業(yè)相機。

綜上所述,系統(tǒng)選用?？低暪旧a(chǎn)的 MV-CA050-10GC 型面陣工業(yè)相機,以及 MVL-HF0824M-10MP型 1 000萬分辨率工業(yè) 鏡頭。工業(yè)相機的參數(shù)見表1。

表1 工業(yè)相機參數(shù)

分撿模塊主要依據(jù)接收到的目標(biāo)信息,對目標(biāo)塑料瓶進行氣動分離。分揀模塊主要由 PLC、電磁閥、驅(qū)動器、氣動噴嘴以及光電編碼器組成。使用 PLC 結(jié)合光電編碼器對目標(biāo)瓶進行跟蹤,光電編碼器主要對傳送帶進行測速。上位機在獲取到目標(biāo)瓶的位置與類別信息后,即可計算出該目標(biāo)瓶與相應(yīng)氣動噴嘴間的距離。通過光電編碼器旋轉(zhuǎn)的角度,便可計算出塑料瓶到達噴嘴時光電編碼器的脈沖數(shù),從而 PLC 控制電磁閥開關(guān),對目標(biāo)進行分離[10]。

1.2 分選系統(tǒng)原理與工作流程

廢棄塑料瓶智能分選系統(tǒng)的工作流程如圖2所示。首先,將去除雜質(zhì)和經(jīng)過熱洗處理的塑料瓶引入震動裝置。在震動裝置的作用下,由于傳送帶的寬度和震動裝置下料槽的限制,塑料瓶以單個的方式均勻地進入傳送帶上,此時它們之間保持著均勻的間距。傳送帶在電機的驅(qū)動下以均勻速度前進,當(dāng)目標(biāo)塑料瓶通過圖像采集區(qū)域時,工業(yè)相機對其進行圖像捕捉,并通過千兆網(wǎng)絡(luò)將拍攝到的圖像傳輸?shù)綀D像處理計算機。計算機接收到圖像后,對圖像進行預(yù)處理、目標(biāo)識別和定位,最終獲得圖像中目標(biāo)物體的種類和位置信息,并通過串口將該信息發(fā)送給以PLC為核心控制單元的控制模塊。PLC在接收到目標(biāo)坐標(biāo)后,結(jié)合傳送帶的速度,對目標(biāo)塑料瓶進行跟蹤。當(dāng)目標(biāo)塑料瓶的中心到達氣動噴嘴的操作區(qū)域時,PLC控制氣動噴嘴執(zhí)行分離操作,將目標(biāo)塑料瓶噴射到特定的收集裝置中,從而實現(xiàn)了塑料瓶的自動分揀。

圖2 系統(tǒng)工作流程圖

2 基于YOLOv7網(wǎng)絡(luò)的廢棄塑料瓶顏色分類算法

YOLOv7代表了YOLO系列的最新一代目標(biāo)檢測器[11-12]。在5 FPS到160 FPS的范圍內(nèi),無論是速度或是精度,YOLOv7都超過了目前已知的檢測器。最佳模型的平均精度(mAP)達到了驚人的56.8%,這在所有已知的目標(biāo)檢測器中都是最高水平[13-15]。目前,YOLOv7在各行各業(yè)都取得了較好的應(yīng)用[16-18]。

根據(jù)采集到的塑料瓶圖像特點,對 YOLOv7卷積神經(jīng)網(wǎng)絡(luò)進行改進,實現(xiàn)對塑料瓶的檢測和分類,然后將訓(xùn)練好的塑料瓶分類算法部署到工業(yè)計算機上,處理工業(yè)相機拍攝的塑料瓶圖像,實現(xiàn)對塑料瓶的檢測和分類。 YOLOv7網(wǎng)絡(luò)模型的結(jié)構(gòu)主要由 Backbone、Head 兩個部分組成,如圖3所示。其核心思想是將輸入圖像劃分為若干個網(wǎng)格,每個網(wǎng)格負(fù)責(zé)預(yù)測目標(biāo)框的回歸坐標(biāo)及置信度,過濾置信度較低的目標(biāo)框并對保留的目標(biāo)進行非極大值預(yù)測處理,最終得到預(yù)測結(jié)果[19]。

圖3 YOLOv7 網(wǎng)絡(luò)模型結(jié)構(gòu)

2.1 Backbone網(wǎng)絡(luò)

YOLOv7的主干組件負(fù)責(zé)進行特征提取,由三個關(guān)鍵模塊組成:CBS(Conv - Bn - SiLU)[20]、ELAN(Extended Latent Attention Network)[21]和MP(Max-Pooling)[22]。CBS模塊包括一系列層,如卷積(Conv)層、批處理歸一化(BN)層和Sigmoid線性單元(SiLU)層;它采用了不同卷積核大小和步長的策略,使其能夠在多個尺度上捕獲特征信息,對于從輸入數(shù)據(jù)中提取關(guān)鍵特征至關(guān)重要。ELAN模塊則是一種高效的網(wǎng)絡(luò)結(jié)構(gòu),用于管理網(wǎng)絡(luò)中各種梯度路徑的長度。這有助于鼓勵網(wǎng)絡(luò)學(xué)習(xí)更多多樣和判別性的特征,從而提高模型的魯棒性。ELAN模塊增強了模型從輸入數(shù)據(jù)中提取有意義表示的能力。MP模塊由兩個分支組成,用于執(zhí)行下采樣操作。它通過最大池化來減少特征圖的空間維度,有效地捕捉不同尺度的基本信息。YOLOv7的主干組件中的CBS、ELAN和MP模塊協(xié)同工作,從輸入數(shù)據(jù)中提取相關(guān)特征,從而實現(xiàn)高效準(zhǔn)確的目標(biāo)檢測。

2.2 Head網(wǎng)絡(luò)

頭部組件負(fù)責(zé)對提取的特征進行進一步處理并執(zhí)行目標(biāo)檢測任務(wù)。它由多個關(guān)鍵模塊組成,包括空間金字塔池(SPPCSPC)[23]、特征金字塔網(wǎng)絡(luò)(FPN)[24]、路徑聚合網(wǎng)絡(luò)(PANet)[25]和檢測頭。SPPCSPC模塊通過最大池化操作獲得不同感受,以適應(yīng)不同圖像分辨率。FPN和PANet模塊增強了網(wǎng)絡(luò)對不同特征層的融合能力。此外,頭部還引入了RepVGG模塊進行訓(xùn)練,以實現(xiàn)對圖像的識別和分類。YOLOv7配備了三個檢測頭,用于檢測不同尺寸的目標(biāo)。

3 數(shù)據(jù)收集與算法訓(xùn)練

3.1 塑料瓶分類標(biāo)準(zhǔn)說明

本文針對廢棄塑料瓶在脫標(biāo)過程中可能脫不干凈的情況,將廢棄塑料瓶根據(jù)顏色分成了4類,收集共4種類別的塑料瓶,分別為透明無色PET、透明綠色PET、透明藍(lán)色PET、不透明乳白色PET。各類塑料瓶圖像具體如圖4所示。

圖4 種塑料瓶類別

3.2 圖像數(shù)據(jù)收集與標(biāo)注

檢測廢棄塑料瓶的網(wǎng)絡(luò)模型使用自制數(shù)據(jù)集進行訓(xùn)練,通過收集市面上不同類別的塑料瓶進行數(shù)據(jù)集的制作。由于收集塑料瓶的數(shù)量有限,而訓(xùn)練數(shù)據(jù)集樣本的數(shù)量和多樣性決定檢測算法模型的訓(xùn)練效果和泛化能力。我們的數(shù)據(jù)集包含1 000張圖像。我們選擇2 000張圖片作為訓(xùn)練集,500張圖片作為每種塑料瓶的測試集。然后我們給不同的塑料瓶貼上標(biāo)簽。標(biāo)簽編號0～3分別代表透明無色PET、透明綠色PET、透明藍(lán)色PET和不透明乳白色PET。因此,為了避免模型出現(xiàn)過擬合的情況,采用數(shù)據(jù)增強方法,包括旋轉(zhuǎn)、翻轉(zhuǎn)、高斯模糊,擴充數(shù)據(jù)集,使得數(shù)據(jù)集圖片數(shù)量達到10 000張。使得訓(xùn)練后的檢測網(wǎng)絡(luò)模型能夠滿足對不同位置、角度和亮度下的塑料瓶的檢測要求,具有較好的識別效果,保證模型的魯棒性。

在訓(xùn)練基于 YOLOv7網(wǎng)絡(luò)缺陷塑料瓶檢測算法前需要對數(shù)據(jù)集進行標(biāo)注。選擇使用 LableImg數(shù)據(jù)標(biāo)注軟件標(biāo)注廢棄塑料瓶的位置及其顏色種類。

3.3 基于 YOLOv7 網(wǎng)絡(luò)廢棄塑料瓶分類算法訓(xùn)練

基于YOLOv7網(wǎng)絡(luò)廢棄塑料瓶分類算法在試驗室服務(wù)器上進行訓(xùn)練,訓(xùn)練平臺配有 Intel i7-8700 3.20 GHz的CPU、Nvidia RTX 2080Ti的GPU以及16 G的顯存。

對塑料瓶數(shù)據(jù)進行訓(xùn)練時,模型在大約80次迭代后趨于穩(wěn)定。為了應(yīng)對過擬合問題,我們將總迭代次數(shù)設(shè)置為100。學(xué)習(xí)率在深度學(xué)習(xí)中是一個關(guān)鍵的超參數(shù),它控制著模型參數(shù)在梯度下降優(yōu)化中的更新速度。如果學(xué)習(xí)率過大,可能導(dǎo)致模型無法收斂,訓(xùn)練誤差波動較大。因此,我們將初始學(xué)習(xí)率設(shè)定為0.01,學(xué)習(xí)率衰減頻率為0.1,最終學(xué)習(xí)率為0.001。在YOLOv7中,批大小對模型的訓(xùn)練效果和速度有顯著影響。批大小表示每輪梯度下降中同時處理的樣本數(shù)量,影響著模型參數(shù)更新的多個方面,如方向、幅度和速度。較大的批大小可以提高訓(xùn)練速度,但可能導(dǎo)致過擬合和無法收斂等問題。因此,我們將批大小設(shè)置為16。

采用召回率、準(zhǔn)確率和平均精度(mAP)作為廢棄塑料瓶分類算法的主要評價標(biāo)準(zhǔn)。召回率是指樣本中的正確類別被預(yù)測正確的概率,其公式如下,

(1)

式中,R為召回率,TP為模型預(yù)測的正類個數(shù)作為正例,FN為模型預(yù)測的正類個數(shù)作為負(fù)例,即模型誤分類的樣本數(shù)。

精準(zhǔn)度[26]值的公式如下,

(2)

其中P為精度值,FP為模型預(yù)測的負(fù)樣本的正樣本數(shù)。

mAP@0.5用于檢測網(wǎng)絡(luò)算法的性能。它適用于單標(biāo)簽和多標(biāo)簽圖像的分類和計算。mAP@0.5[27]的公式如下,

(3)

式中,k為測試集中的樣本數(shù),P(i)為i個樣本被識別時的精度大小,ΔR(i)為被檢測樣本從i到i+1變化時召回率的變化,N為多類檢測任務(wù)中的類別數(shù)。

4 結(jié)果分析

圖5、圖6和圖7顯示了訓(xùn)練和測試數(shù)據(jù)集在100個輪次中的召回率、精度值和mAP。結(jié)果表明,經(jīng)過78個epoch后,YOLOv7的精度超過90%。在第87個epoch結(jié)束時,在測試數(shù)據(jù)集上達到了最高的mAP@0.5為95.7%。部分識別結(jié)果如圖8所示。

圖5 召回率曲線

圖6 精度值曲線

圖7 mAP曲線

圖8 識別結(jié)果圖

5 結(jié)論

本文提出了一種基于YOLOv7的廢棄塑料瓶分類的智能分選系統(tǒng),通過 YOLOv7 網(wǎng)絡(luò)模型完成對廢棄塑料瓶的檢測識別,與PLC進行通訊,結(jié)合噴閥實現(xiàn)對廢棄塑料瓶的分揀。經(jīng)過測試,廢棄塑料瓶召回率達到 95% 以上。檢測精度高、實時性好、工作速度快,具有高度自動化和智能化水平,有效解決了人工分選存在的效率低、成本高、錯誤率高等問題,可以滿足回收工業(yè)中的需求,具有一定的應(yīng)用和推廣價值。