陳從平徐道猛李 游鄧 揚何枝蔚張 屹戴國洪

(1.三峽大學(xué) 機械與動力學(xué)院,湖北 宜昌443002；2.常州大學(xué) 機械工程學(xué)院,江蘇 常州213164)

目前,我國電子產(chǎn)品年報廢達5億臺/540萬t,并正以33%的速率增長,造成環(huán)境污染和極大資源浪費,迫切需要開發(fā)高效的處置利用技術(shù)與方法,以實現(xiàn)對線路板金屬材料進行回收利用[1].線路板上的主要金屬如銅等主要富集在引腳密集的接口上(如PCI等)；稀貴金屬如金、銀等主要富集在CPU、IC 芯片、晶振及主要總線型接口上.如果對上述含銅及稀貴金屬富集的高值電子器件單獨拆解,后集中提純處理,相比于對整塊線路板及其上所有電子器件同時處理而言,將會顯著提高處置效益,同時也會減少后續(xù)提純過程中化學(xué)試劑的用量而減少環(huán)境污染[2-4].然而,由于廢線路板種類繁多,不同廢線路板上所含高值電子器件數(shù)量、大小、形狀、相對位置等都各異,若采用人工識別并進行拆解,會嚴(yán)重降低效率并增加成本,亟待開發(fā)自動化的識別方法.

現(xiàn)有對線路板上電子器件自動識別的方法均采用人工定義特征并結(jié)合機器視覺進行識別.其中影響識別準(zhǔn)確性最為關(guān)鍵的人工定義特征主要分為兩大類,一是輪廓特征,二是顏色特征.例如柯一劍提出的采用機器視覺算法識別電子器件[5],即使是在較簡單的背景下對4類元器件的識別準(zhǔn)確率也只有81.3%,當(dāng)改變檢測背景和元器件顏色或形狀時,準(zhǔn)確率基本降為零,可見機器視覺算法的環(huán)境適應(yīng)性和可移植性極差.然而,同類高值器件在同一塊線路板或不同類型線路板上的形狀、大小、顏色都存在差異,且易受其他非高值元器件形狀、顏色、印刷電路輪廓、線路板底色等背景的干擾,故上述方法雖然對單一類型電子器件或固定類型線路板上多類電子器件識別有較好效果,但不適于生產(chǎn)線上多類型板卡、多類型電子器件的通用性識別,方法的可移植性和魯棒性差.

本文提出了一種基于深度學(xué)習(xí)的廢線路板高值電子器件自動識別方法,搭建YOLOv3網(wǎng)絡(luò)模型并對模型進行了改進,后通過網(wǎng)絡(luò)訓(xùn)練獲得多類高值電子器件特征模型對目標(biāo)器件進行識別.與現(xiàn)有的基于深度學(xué)習(xí)識別方法相比,經(jīng)本文改進后的方法不僅能實現(xiàn)多類高值電子器件的高精度識別,還具有很強的可移植性,可為廢線路板高值電子器件智能拆解提供關(guān)鍵技術(shù)支撐.

1 電子器件的識別方法

目前較為典型的深度學(xué)習(xí)網(wǎng)絡(luò)模型主要有SINet、SSD-Resnet、SSD[6]、Fast-RCNN、Faster RCNN[7]、R-FCN、YOLOv3[8]等,其中YOLOv3網(wǎng)絡(luò)模型相比于其他幾種網(wǎng)絡(luò)模型在檢測精度高的同時實時性也非常好,且其網(wǎng)絡(luò)內(nèi)部采用了金字塔網(wǎng)絡(luò)結(jié)構(gòu)和多尺度檢測思想,針對不同的問題優(yōu)化空間大.因此本文以YOLOv3模型為基礎(chǔ)并對其優(yōu)化作為高值電子器件自動識別的網(wǎng)絡(luò)訓(xùn)練模型.

1.1 YOLOv3算法原理

YOLOv3由Joseph Redmon在2018年提出,它是在Deaknet和YOLO[9]的基礎(chǔ)上發(fā)展而來的,主要采用了Darknet的殘差結(jié)構(gòu)來構(gòu)建網(wǎng)絡(luò)深度和運用不同的降采樣倍數(shù)來提取不同尺寸特征圖,從而實現(xiàn)多尺度預(yù)測[10-11].其中殘差網(wǎng)絡(luò)結(jié)構(gòu)除了用于構(gòu)建網(wǎng)絡(luò)深度以外,在訓(xùn)練過程中還有利于信息的流動,使網(wǎng)絡(luò)訓(xùn)練起來比較容易.殘差結(jié)構(gòu)通常為每個殘差塊按一定的順序堆疊,各卷積層之間有直接連接,也有跳躍性連接,通過這樣的連接方式實現(xiàn)不同殘差塊、不同卷積層之間的信息傳遞與共享.若以xi和xi+1來表示第i個殘差塊的輸入與輸出向量,Fi(xi)表示轉(zhuǎn)換函數(shù),有:

對于多尺度目標(biāo)檢測,YOLOv3使用了類似FPN 網(wǎng)絡(luò)金字塔的結(jié)構(gòu),將原圖像按照特征圖尺度大小將其劃分為K×K個等大的單元格,每個單元格再借助3個先驗框(anchors box)來預(yù)測3個邊界框,而神經(jīng)網(wǎng)絡(luò)則為每個邊界框預(yù)測坐標(biāo)(x0,y0)、目標(biāo)寬w1和高h14個值.若設(shè)目標(biāo)中心相對圖像左上角偏移量為(Δx,Δy),先驗框高寬分別為w0,h0,則邊界框修正后為:

由于不同尺度特征圖的感受視野不一樣大[8],因此適合檢測不同尺寸的高值電子器件目標(biāo).

1.2數(shù)據(jù)集制作、網(wǎng)絡(luò)搭建優(yōu)化及訓(xùn)練

1.2.1 數(shù)據(jù)集的制作

總共采集了1000張含各類高值電子器件的廢線路板圖像,并按9∶1分配為訓(xùn)練集樣本和驗證集樣本.這些圖像來自多種電子電器設(shè)備如洗衣機、電視機、空調(diào)、電腦等的廢線路板,并按VOC2012數(shù)據(jù)集的格式將其統(tǒng)一縮放成一個規(guī)格,即將圖片高和寬其中一個值固定為500 pixel,另一個值在450～500 pixel范圍內(nèi),然后對數(shù)據(jù)集的圖像進行標(biāo)注,為了減小標(biāo)注工作量,對小于25×25 pixel的電子器件未做標(biāo)注也不列入回收范圍.采集的部分樣本如圖2所示,圖中主要對6個類別的目標(biāo)進行了標(biāo)注,分別是CPU,IC芯片,晶振(X),插槽(PCI、DDIM),鋰電池(CR).

1.2.2 網(wǎng)絡(luò)搭建與優(yōu)化

以YOLOv3網(wǎng)絡(luò)模型為基礎(chǔ),將原來的網(wǎng)絡(luò)主體Darknet-53調(diào)整為Deaknet-62,并增加一個檢測尺度,構(gòu)建新的網(wǎng)絡(luò)模型YOLOv3-Darknet62.從模型的結(jié)構(gòu)上看整個網(wǎng)絡(luò)沒有像Faster RCNN 等網(wǎng)絡(luò)那樣含池化層和全連接層,而是在前向傳播過程中,通過改變卷積核的步長來變換張量尺寸[8].所搭建的網(wǎng)絡(luò)模型深度為130 層(BN、leak_Re LU、add、con、zero Padding共178層未計算在內(nèi)),其中0～87 層為Deaknet-62部分,含有61 個卷積層,并引入Resnet特征金字塔網(wǎng)絡(luò)和運用殘差結(jié)構(gòu)的跳躍式連接來增加網(wǎng)絡(luò)深度；88～130 層為YOLO網(wǎng)絡(luò)的特征交互層,分為4個尺度,每個尺度內(nèi),通過卷積核的方式實現(xiàn)特征圖局部特征交互,根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)化處理以及維度聚類、細粒度特征操作,直接預(yù)測出目標(biāo)的中心坐標(biāo)；通過懲罰機制來提高模型的泛化能力,更好地匹配定位目標(biāo),在此基礎(chǔ)上添加多標(biāo)簽、多分類的邏輯回歸層,對每個類別做二分類,從而可實現(xiàn)分類識別.

由于各類高值電子器件尺寸差異較大,例如通常IC芯片與PCI插槽的長度尺寸差別可達到數(shù)倍.為提高YOLOv3網(wǎng)絡(luò)模型對不同尺寸的高值器件檢出能力,本文對傳統(tǒng)YOLOv3 網(wǎng)絡(luò)模型進行改進,在YOLOv3網(wǎng)絡(luò)模型后增加一個卷積塊(res4)與原網(wǎng)絡(luò)組成4尺度檢測模型,并將圖像輸入尺寸調(diào)整為512×512,構(gòu)成64×64,32×32,16×16,8×8共4個尺度的特征金字塔,即將網(wǎng)絡(luò)模型的最小提取特征層尺寸降為8×8,最大提取特征層尺寸提升到64×64,使得在檢測較大尺寸的插槽和較小的IC芯片時均有較高的檢出能力.并對形成的特征金字塔仍執(zhí)行2倍以上采樣操作,與前面的深度殘差網(wǎng)絡(luò)拼接形成深度為130層的高值電子器件識別網(wǎng)絡(luò)模型.圖3為所搭建網(wǎng)絡(luò)模型的結(jié)構(gòu)簡圖,其中的6 個卷積塊共含有54個卷積層和27個殘差層.圖中Yi(i=1,2,3,4)表示不同的輸出尺度,DBL 是YOLOv3 的基本組件,代表conv+BN+Leaky_ReLU；Res-n 為YOLOv3的大組件,n代表數(shù)字,有res1,res2,…,res8 等,表示該res-block里含有多少個res-unit；con為張量拼接,即將darknet中間層和后面某一層的上采樣進行拼接,用來擴充張量的維度(本文類別為6類輸出張量維度為33),add表示殘差層的相加.

其中特征金字塔與殘差網(wǎng)絡(luò)的拼接方式為:經(jīng)上采樣的第98層與第74層殘差層拼接,經(jīng)上采樣的第110層與第61層殘差層拼接,經(jīng)上采樣的第122層與第36層殘差層拼接,并且所有卷積層使用1×1或3×3的卷積核進行卷積,細節(jié)如圖4所示.

進一步,通過數(shù)據(jù)集運行了10次K-means聚類運算程序,對每次生成的12個achours結(jié)合本文檢測目標(biāo)的尺寸和高寬比進行分析比較,最終選擇20×172,22×19,26×40,35×27,38×331,47×53,72×86,90×42,129×118,209×203,233×20,365×39作為先驗框.

1.2.3 網(wǎng)絡(luò)的訓(xùn)練

模型訓(xùn)練時,采用Adam作為優(yōu)化器,使用隨機梯度下降進行優(yōu)化,初始學(xué)習(xí)率設(shè)為lr=0.001,衰減因子dec=0.1,每訓(xùn)練10個批次衰減一次.同時還采用對數(shù)據(jù)集圖像隨機裁剪、水平翻轉(zhuǎn)、旋轉(zhuǎn)角度、調(diào)整色調(diào)、曝光度和飽和度來生成更多的訓(xùn)練數(shù)據(jù),以提高模型的檢測能力和泛化能力,其中表1為數(shù)據(jù)增強策略對檢測產(chǎn)生的不同效果.

表1數(shù)據(jù)增強策略產(chǎn)生的不同效果

在網(wǎng)絡(luò)收斂后,利用已標(biāo)注好的100張驗證集樣本對模型進行驗證,結(jié)果如圖5所示,其中圖5(a)為未經(jīng)改進的YOLOv3 原模型在驗證集上的驗證結(jié)果,在圖5(a)的第2張圖中出現(xiàn)了PCI插槽被重檢及晶振X 被漏檢的現(xiàn)象；圖5(b)為經(jīng)本文改進后的模型在驗證集上的驗證結(jié)果,從中可以看出對于CPU 的檢測精度從87%上升到了92%；對其他高值電子器件的平均檢測精度提升了約2.5%,同時PCI插槽的重檢和晶振的漏檢問題也被解決.故優(yōu)化后的YOLOv3-Darknet62模型不僅解決了重檢漏檢問題,在檢測精度上也有所提高.

2 實驗與分析

2.1 實驗條件與訓(xùn)練結(jié)果

實驗軟硬件配置見表2.

表2軟硬件配置

圖6 為本文制作的數(shù)據(jù)集在YOLOv3-Darknet62網(wǎng)絡(luò)模型訓(xùn)練過程中的損失值收斂曲線,橫坐標(biāo)表示迭代次數(shù),最大迭代為55 000次.當(dāng)網(wǎng)絡(luò)迭代超過3萬次時,各參數(shù)變化基本穩(wěn)定,最后損失值趨近于0,網(wǎng)絡(luò)訓(xùn)練結(jié)果較理想.

2.2 網(wǎng)絡(luò)模型性能評估與分析

依據(jù)VOC2007的評價標(biāo)準(zhǔn)通過繪制P-R曲線(如圖7所示),其中P代表Precision(準(zhǔn)確率),R代表Recall(召回率),并比較曲線下方與坐標(biāo)軸所圍成的面積(AUC)和比較檢測精度m AP 來對網(wǎng)絡(luò)模型性能進行評估.其中AUC和m AP的值越大,則表示模型的性能越好.下面給出了P-R曲線的繪制方法和m AP的計算方法.

圖7(a)展示了在部分KITTI數(shù)據(jù)集(小目標(biāo)數(shù)較少)上5種不同深度學(xué)習(xí)網(wǎng)絡(luò)(Faster-R-CNN、YOLOv2、SSD-512、YOLOv3、YOLOv3-Darknet62)的P-R曲線.其中縱坐標(biāo)為6種目標(biāo)類別(pedestrian,car,van,truck,tram,cyclist)的平均值,橫坐標(biāo)為平均召回率.圖7(b)為在本文制作的數(shù)據(jù)集(含有大量小目標(biāo))上5種不同方法6個類別的P-R曲線,從圖7可看出兩種不同數(shù)據(jù)集對YOLOv3類網(wǎng)絡(luò)模型性能的相對影響不大,而對其他3種網(wǎng)絡(luò)模型性能的相對影響卻很大.同時YOLOv3-Darknet62 在兩種數(shù)據(jù)集上繪制出的P-R曲線與坐標(biāo)軸所圍成的面積(AUC)都最大,分別為0.843和0.791,由此可知YOLOv3-Darknet62的性能最優(yōu).

用Tp代表真例,Fp代表假例,FN為假負例,AP代表每個類別的平均精度,為召回率滿足時的精度最大值,R代表獲得精度最大值時的召回率,N代表類別數(shù),則有:

表3為5種不同網(wǎng)絡(luò)模型在本文測試集上的識別結(jié)果.通過比較AP 和m AP 兩個評估指標(biāo)可以發(fā)現(xiàn),在對含有大量小目標(biāo)的高值電子器件進行識別時,采用殘差網(wǎng)絡(luò)結(jié)構(gòu)和4尺度預(yù)測算法的YOLOv3-Darknet62網(wǎng)絡(luò)模型在對高值電子器件識別上其檢測精度m AP 值最高且達到了79.23%,比

SSD、YOLOv2高出8.1%以上,同時可發(fā)現(xiàn)檢測尺寸偏小的目標(biāo)(如晶振X)時所得到的AP(每個類別對應(yīng)的列)雖然偏低,但是YOLOv3-Darknet62模型的AP值仍然高于其他類型網(wǎng)絡(luò)的識別結(jié)果.

表3不同網(wǎng)絡(luò)模型在本文測試集上的識別結(jié)果

3 結(jié)論

本文提出了一種面向廢線路板智能拆解的高值電子器件識別方法,通過調(diào)整YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)和增加檢測尺度提升了原YOLOv3網(wǎng)絡(luò)模型的目標(biāo)檢測識別性能.實驗表明經(jīng)改進后,本文所提供的方法對廢線路板高值電子器件識別精度顯著提高,且能對多類高值電子器件同時識別.