韓鈺,鄭金亮,王磊,蔡培君,王晨旸,王紫玉

(安徽大學(xué) 江淮學(xué)院,安徽 合肥,230031)

太陽(yáng)能電池片的表面質(zhì)量直接影響光能的吸收效率[1],在太陽(yáng)能電池片的生產(chǎn)過(guò)程中,由于機(jī)械或人為因素等會(huì)對(duì)電池片表面造成各種缺陷,這些缺陷會(huì)對(duì)電池片轉(zhuǎn)換效率和壽命產(chǎn)生較大影響,因此,檢測(cè)電池片表面缺陷是非常必要的。

目前,對(duì)電池片表面檢測(cè)的方法主要分為人工檢測(cè)方法、機(jī)器視覺(jué)檢測(cè)方法[2]和深度學(xué)習(xí)檢測(cè)方法[3]。常見(jiàn)的有高光譜成像技術(shù)[4]、發(fā)光成像對(duì)比方法[5]、聲波法[6]、均值漂移法[7]、多特征區(qū)域融合法[8]、頻域法[9]和深度學(xué)習(xí)法[10]等。采用平均法[7]進(jìn)行檢測(cè)是一種簡(jiǎn)單且容易實(shí)現(xiàn)的方法,但如果檢測(cè)目標(biāo)較少,它的檢測(cè)效率將較低。而頻域法擅長(zhǎng)對(duì)分布比較散亂的缺陷進(jìn)行檢測(cè),但其對(duì)刮傷不能進(jìn)行有效識(shí)別[11]。近年來(lái),目標(biāo)檢測(cè)算法YOLOv3[12]已應(yīng)用于多種目標(biāo)檢測(cè)場(chǎng)景[13-14],但是對(duì)于高清圖像中微小目標(biāo)的檢測(cè),依然存在檢測(cè)精度不高的問(wèn)題。由于在深度學(xué)習(xí)檢測(cè)方法中,對(duì)圖像邊緣的檢測(cè)十分重要,Sobel算子作為邊緣檢測(cè)中的重要算子之一,可以?xún)?yōu)化圖像邊緣檢測(cè)效果并提升處理圖像的效率[15-16]。李雪梅等[17]將加權(quán)核范數(shù)最小化圖像去噪算法與索貝爾(Sobel)邊緣檢測(cè)算法相結(jié)合,大大提高了Sobel算子檢測(cè)的準(zhǔn)確度,使得在高噪聲水平下能夠獲得清晰連續(xù)的邊緣信息。本文在前人的研究基礎(chǔ)上,提出通過(guò)添加Sobel算子改進(jìn)PPYOLO模型來(lái)進(jìn)一步提升電池片表面微小缺陷檢測(cè)效率[18]。

1 數(shù)據(jù)預(yù)處理

1.1 數(shù)據(jù)集介紹

本實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)集來(lái)源于安徽慧視金瞳科技有限公司提供的二維高清太陽(yáng)能電池片圖像。訓(xùn)練集一共有300張圖片,每張圖片的分辨率為5 800×3 504,由6(行)×24(列)個(gè)電池片組合而成,圖片中可能會(huì)存在一種或多種缺陷。缺陷包括5種:電池片破碎、電池片有明顯亮斑、電池片有形狀規(guī)則黑邊或灰邊、電池片有劃痕以及電池片不上電呈現(xiàn)黑色。將訓(xùn)練集中這5種缺陷進(jìn)行標(biāo)記,以便進(jìn)行模型的訓(xùn)練,對(duì)應(yīng)的數(shù)字為0～4,見(jiàn)表1。

表1 電池片缺陷分類(lèi)

訓(xùn)練集中缺陷的標(biāo)注由5個(gè)數(shù)組成,分別為缺陷對(duì)應(yīng)的數(shù)字,矩形框左上角點(diǎn)橫、縱坐標(biāo),右下角點(diǎn)橫、縱坐標(biāo),標(biāo)注結(jié)果保存在對(duì)應(yīng)的訓(xùn)練集CSV文件中。

1.2 數(shù)據(jù)增強(qiáng)

訓(xùn)練集中的缺陷圖片只有300張,樣本量少,同時(shí)數(shù)據(jù)集圖片尺寸過(guò)大并且缺陷分布稀疏(一張圖片上可能只有一兩個(gè)缺陷),其中,有的缺陷尺寸極小,最小只有8×12像素,使得該缺陷在圖片中的面積占比也極小,增加了檢測(cè)難度。因此,如果只用這300張圖片進(jìn)行訓(xùn)練,可能出現(xiàn)大部分缺陷無(wú)法被檢測(cè)出來(lái)。為使訓(xùn)練數(shù)據(jù)更加豐富,提高模型訓(xùn)練效果和精度,實(shí)驗(yàn)時(shí)采用了如下幾種增強(qiáng)方案。

1)混合[19](MixUp)和隨機(jī)切片等。在訓(xùn)練時(shí)對(duì)每輪epoch選擇出來(lái)的數(shù)據(jù)進(jìn)行隨機(jī)旋轉(zhuǎn)、鏡像和亮度調(diào)節(jié)等處理,再將擴(kuò)增后的數(shù)據(jù)送入模型進(jìn)行訓(xùn)練,這樣,操作模型在訓(xùn)練過(guò)程中可實(shí)時(shí)對(duì)數(shù)據(jù)進(jìn)行擴(kuò)增。

2)粘貼增強(qiáng)。將數(shù)據(jù)的缺陷裁剪下來(lái),隨機(jī)等概率地選取缺陷圖片粘貼到無(wú)缺陷的圖片上去,提高圖片中缺陷數(shù)量和面積占比,這樣模型在訓(xùn)練時(shí)相比于之前的稀疏缺陷將更快速且更容易學(xué)到缺陷特征。通過(guò)該方法將數(shù)據(jù)集擴(kuò)充到800張圖片。如圖1所示,相比于圖1(a)稀疏的缺陷分布,圖1(b)具有更多缺陷特征。

圖1 粘貼增強(qiáng)方案Fig.1 Paste the enhancement scheme

3)尺寸增強(qiáng)(resize)。由于目前常用顯存設(shè)備(GPU)的顯存資源無(wú)法對(duì)高清圖片進(jìn)行計(jì)算處理,因此,不得不降低圖片尺寸以滿(mǎn)足訓(xùn)練的基本要求。但是如果降低圖片尺寸,缺陷也會(huì)隨之變小,導(dǎo)致小缺陷難以被檢測(cè)出來(lái),出現(xiàn)缺陷漏檢,模型檢測(cè)效果會(huì)降低。例如,將圖片resize到(960,960)(像素寬,像素高),部分缺陷會(huì)縮小到(2,3)左右的像素點(diǎn)大小,使檢測(cè)模型幾乎失效。因此,本次實(shí)驗(yàn)在特定的顯存設(shè)備下(Tesla T4,16G)將圖片resize到合適的大小(2 880,1 280)或(3 200,3 200),以適配不同的算法模型。

1.3 數(shù)據(jù)集制作

電池片數(shù)據(jù)集制作是最基礎(chǔ)的步驟,同時(shí)也是實(shí)驗(yàn)前最重要的步驟。由于本實(shí)驗(yàn)所用的模型無(wú)法識(shí)別訓(xùn)練集標(biāo)注的CSV文件,需要將該文件轉(zhuǎn)換為適配模型的COCO格式數(shù)據(jù)[20]。讀取CSV文件,對(duì)每張訓(xùn)練集圖片對(duì)應(yīng)的標(biāo)注框數(shù)據(jù)(標(biāo)注框面積、左上點(diǎn)的橫和縱坐標(biāo)、寬和高、對(duì)應(yīng)的缺陷類(lèi)型等)進(jìn)行簡(jiǎn)單地計(jì)算,生成標(biāo)準(zhǔn)的COCO格式數(shù)據(jù)集。劃分?jǐn)?shù)據(jù)集結(jié)果見(jiàn)表2。

表2 數(shù)據(jù)集數(shù)量分布

2 模型結(jié)構(gòu)

2.1 PPYOLO網(wǎng)絡(luò)結(jié)構(gòu)

PPYOLO[18]采用YOLOv3[12]的架構(gòu)骨干網(wǎng)絡(luò)(backbone)+瓶頸(neck)+檢測(cè)頭(head)框架。backbone部分使用殘差網(wǎng)絡(luò),neck用特征金字塔網(wǎng)絡(luò),head部分是YOLOHead。PPYOLO backbone使用ResNet(殘差網(wǎng)絡(luò))。殘差網(wǎng)絡(luò)通過(guò)殘差層的連接將網(wǎng)絡(luò)層數(shù)變深,使得網(wǎng)絡(luò)提取特征能力變得更強(qiáng)。neck部分采用了圖像金字塔網(wǎng)絡(luò)(feature pyramid network,FPN),將局部與整體信息進(jìn)行結(jié)合。由于存在不同層級(jí)提取特征圖尺寸不同的情況,例如,高語(yǔ)義內(nèi)容的特征圖(深層網(wǎng)絡(luò)提取的特征圖)尺寸小,含小目標(biāo)的信息少,而低語(yǔ)義內(nèi)容的特征圖(淺層網(wǎng)絡(luò)提取的特征圖)尺寸大,含大目標(biāo)的信息小,FPN可以將高層信息提取傳遞給低層,同時(shí),低層信息也可以傳遞進(jìn)高層,將信息進(jìn)一步融合,彌補(bǔ)了大物體的細(xì)節(jié),也補(bǔ)充了小物體的周邊環(huán)境,從而進(jìn)一步提高精度。

PPYOLO使用了DropBlock、IoU[21]aware等策略。dropout會(huì)使一部分神經(jīng)元失活,從而減少網(wǎng)絡(luò)對(duì)某些特征的依賴(lài),在線(xiàn)性變換中對(duì)一些特征具有較好的抑制效果,防止過(guò)擬合,因此,被廣泛地用在全連接層,但是在卷積層,通常不太有效。卷積在局部之間具有較強(qiáng)的相關(guān)性,僅僅使用dropout,只是丟棄了不連續(xù)的點(diǎn),而卷積依然可以得到大部分信息。因此,針對(duì)卷積神經(jīng)網(wǎng)絡(luò)就需要整體丟棄dropout結(jié)構(gòu)形式,也就是把大部分連續(xù)的點(diǎn)一整塊進(jìn)行丟棄,這樣可以讓逼迫網(wǎng)絡(luò)觀察該物體其他的細(xì)節(jié)特征進(jìn)行推導(dǎo),防止過(guò)擬合,使網(wǎng)絡(luò)具有更好的泛化能力。

2.2 Sobel算子

Sobel算子常用在邊緣檢測(cè)上[15-16],它使用了高斯濾波器平滑噪聲,再通過(guò)水平垂直方向的兩個(gè)算子計(jì)算圖像亮度函數(shù)的像素梯度值[22]。算法原理如下:

(1)

式中:G(x,y)為二維高斯分布;σ為高斯濾波器參數(shù)標(biāo)準(zhǔn)差,影響去噪質(zhì)量。

原始圖像f(x,y)與高斯濾波器卷積得到圖像I(x,y)。

I(x,y)=G(x,y)×f(x,y)

(2)

Sobel算子的3×3卷積模板如式(3)所示。

(3)

將gx和gy與I(x,y)進(jìn)行計(jì)算,也就是對(duì)圖像I(x,y)分別在x和y方向求導(dǎo),得到Gx和Gy。最后,計(jì)算圖像每一點(diǎn)的近似梯度,得到G。

(4)

G矩陣對(duì)應(yīng)原圖像每個(gè)像素點(diǎn)的近似梯度值,如果某點(diǎn)值越高,說(shuō)明該點(diǎn)為邊緣點(diǎn)的概率就越高。當(dāng)設(shè)置合適的閾值后,如果該點(diǎn)值大于閾值則認(rèn)為是邊緣點(diǎn),反之則不是。在電池片圖片上進(jìn)行Sobel算子計(jì)算,結(jié)果見(jiàn)圖2。

圖2 Sobel算子處理后缺陷細(xì)節(jié)Fig.2 Defect details after Sobel operator processing

圖2(a)為正常圖片,圖2(c)為缺陷圖片,圖2(b)、圖2(d)分別為圖2(a)、圖2(c)進(jìn)行Sobel算子處理后得到的計(jì)算結(jié)果圖片展示,圖2(e)、圖2(f)為圖2(d)的放大部分。觀察Sobel算子處理圖像前后,前者缺陷雖然比較明顯,但是正常部分特征干擾較大,黑白相交。后者正常部分整體脈絡(luò)明朗,規(guī)律明顯,較容易識(shí)別。圖2(e)和圖2(f)能更加容易地顯示缺陷邊緣特征,缺陷部分與正常部分有較大的特征沖突,這種沖突對(duì)網(wǎng)絡(luò)學(xué)習(xí)具有一定的幫助。

2.3 改進(jìn)方法

在圖像缺陷檢測(cè)領(lǐng)域,早期一般通過(guò)傳統(tǒng)的圖像處理技術(shù),如先通過(guò)二值化方法分割圖片,再對(duì)分割后的圖片進(jìn)行劃分,從而找到缺陷所在的地方。該類(lèi)傳統(tǒng)圖像處理方法利用了人的常識(shí)及推理能力。而神經(jīng)網(wǎng)絡(luò)算法并不具備這種能力,只能通過(guò)數(shù)據(jù)學(xué)習(xí)到一些相關(guān)的特征,使用網(wǎng)絡(luò)參數(shù)保存并記住特征。當(dāng)樣本量多時(shí),可能會(huì)具備上述的推理能力(實(shí)際是因?yàn)槟Ｐ陀涀×颂卣?,但樣本量較少時(shí),神經(jīng)網(wǎng)絡(luò)模型則難以學(xué)到一些關(guān)鍵特征,并且容易產(chǎn)生過(guò)擬合。

基于上述兩種算法結(jié)構(gòu),本文提出將Sobel算子與PPYOLO算法相結(jié)合的方法,先使用Sobel算子對(duì)圖片進(jìn)行處理,再將經(jīng)過(guò)Sobel算子處理后的圖片和原始圖片拼接到一起,輸入到網(wǎng)絡(luò)模型中,提高了對(duì)電池片缺陷檢測(cè)的準(zhǔn)確性。整合后網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖3。

圖3 Sobel+PPYOLO結(jié)構(gòu)圖Fig.3 Sobel+PPYOLO structure diagram

模型選用Resnet50作為backbone、neck部分使用金字塔自注意力網(wǎng)絡(luò)(pyramid attention network,PAN),在backbone部分,輸入的圖片數(shù)據(jù)先經(jīng)過(guò)Sobel算子處理后,再與自己拼接(concat)得到新的輸入數(shù)據(jù),經(jīng)過(guò)ConvBN(卷積和批量標(biāo)準(zhǔn)化層)和最大池化層,進(jìn)入4個(gè)stage模塊,這4個(gè)主要由殘差卷積組成。從第二個(gè)Stage層開(kāi)始將特征提取的結(jié)果輸出到neck部分。Neck部分借用跨階段局部網(wǎng)絡(luò)[22](cross stage partial network,CSPnet)的思想,先分為conv_left和conv_right兩塊,將通道縮小,conv_left再通過(guò)conv_module后與conv_right進(jìn)行concat,再經(jīng)過(guò)conv3輸出。這種處理方式相比于FPN直接使用conv_module進(jìn)行處理,在檢測(cè)實(shí)驗(yàn)中精度略有提升并且計(jì)算量少了很多。conv3的輸出既通過(guò)Head部分進(jìn)行結(jié)果輸出又與前一個(gè)stage的輸出進(jìn)行concat后繼續(xù)輸入PAN的前一個(gè)部分,重復(fù)進(jìn)行,最后得到多個(gè)不同尺度輸出的結(jié)果。

3 模型訓(xùn)練

3.1 訓(xùn)練平臺(tái)

本實(shí)驗(yàn)的訓(xùn)練平臺(tái)采用的CPU為Intel(R)Core(TM)i7—11700@2.5 GHz、內(nèi)存64 GB、GPU為T(mén)esla T4(16 GB)。實(shí)驗(yàn)操作系統(tǒng)為Ubuntu 18.04.6 LTS,環(huán)境為Python 3.6;GPU加速包為CUDA 10.1 API和cudnn 7.1。網(wǎng)絡(luò)模型訓(xùn)練框架采用paddle 2.2.2。

3.2 參數(shù)設(shè)置

初始化電池片數(shù)據(jù)集中的類(lèi)別、類(lèi)別名稱(chēng)和訓(xùn)練路徑等相關(guān)參數(shù)。部分網(wǎng)絡(luò)訓(xùn)練參數(shù)見(jiàn)表3。

表3 網(wǎng)絡(luò)訓(xùn)練參數(shù)

4 結(jié)果分析

4.1 評(píng)估指標(biāo)

本實(shí)驗(yàn)訓(xùn)練模型對(duì)高清電池片圖片中微小缺陷區(qū)域進(jìn)行檢測(cè),模型性能采用精度均值(average precision,AP)、平均精度均值(mean average precision,mAP)及檢測(cè)速度(FPS)來(lái)進(jìn)行評(píng)估,FPS即每秒內(nèi)可以處理的圖片數(shù)量或者處理一張圖片所需時(shí)間,AP由電池片數(shù)據(jù)集上預(yù)測(cè)結(jié)果的精確率P和召回率R決定,如式(5)所示:

(5)

(6)

P(r)=maxr′:r′≥rP(r′)

(7)

(8)

(9)

式中:P為預(yù)測(cè)結(jié)果中正確的比例;R為正類(lèi)樣本被正確預(yù)測(cè)的比例;TP為被正確劃分的正類(lèi)樣本的數(shù)量;FP為被正確劃分的負(fù)類(lèi)樣本的數(shù)量;FN為沒(méi)有檢測(cè)到的正類(lèi)樣本的數(shù)量;C為總類(lèi)別數(shù)量;APi為第i類(lèi)的AP值;P(r)為某一召回率時(shí)精確率的大小。

計(jì)算AP,首先需要繪制準(zhǔn)確率-召回率(P-R)曲線(xiàn),對(duì)P-R曲線(xiàn)按照式(7)進(jìn)行平滑處理后再按照式(8)計(jì)算即可。按照上述方法計(jì)算其他所有類(lèi)的AP,最后取平均值即視為mAP,如式(9)所示。在圖像分類(lèi)任務(wù)中,mAP就是類(lèi)識(shí)別準(zhǔn)確率,由于回歸框預(yù)測(cè)難以被衡量是否識(shí)別準(zhǔn)確,其準(zhǔn)確率的劃分一般由預(yù)測(cè)框與真實(shí)框進(jìn)行IoU(交并比)計(jì)算來(lái)決定,當(dāng)大于閾值時(shí),則識(shí)別準(zhǔn)確,反之不準(zhǔn)確。為了能更好體現(xiàn)模型對(duì)微小缺陷的檢測(cè)能力,還使用小(small)、中(medium)、大(large)3種尺寸的mAP值進(jìn)行評(píng)價(jià),見(jiàn)表4。

表4 評(píng)價(jià)方式

4.2 對(duì)比驗(yàn)證

為驗(yàn)證網(wǎng)絡(luò)模型的性能,本文首先使用PPYOLO[18]算法、Faster-RCNN[23]和YOLOv3[12]算法,分別在電池片缺陷圖片數(shù)據(jù)集上進(jìn)行訓(xùn)練,并將訓(xùn)練結(jié)果進(jìn)行多項(xiàng)性能指標(biāo)對(duì)比,對(duì)比結(jié)果見(jiàn)表5。

表5 實(shí)驗(yàn)結(jié)果

由表5可知,Faster-RCNN為兩階段檢測(cè)算法,模型參數(shù)量大,可輸入圖片的尺寸較小(1 600×1 333),可提取圖片信息不足導(dǎo)致mAP小于PPYOLO算法(Resnet 50);在輸入尺寸相同情況下(2 880×1 280),PPYOLO算法(Resnet 50)比YOLOv3算法在small、median、large上AP值均有所提升,同時(shí),前者的mAP值也高于后者,在小尺寸的缺陷檢測(cè)上,提高了0.13,在中等尺寸上提高了0.4左右;PPYOLO(Resnet 18)主要體現(xiàn)在檢測(cè)速度上大幅提升,相比于PPYOLO算法(Resnet 50),其FPS提高了近170%,但mAP約為PPYOLO算法(Resnet 50)的45%,并且在微小缺陷上檢測(cè)效果最差,僅為0.1%,這一點(diǎn)也說(shuō)明,檢測(cè)效果與模型及輸入圖片大小都密切相關(guān),圖片尺寸越大其包含的信息越多,模型能接收的信息就越多,但相應(yīng)也需要適合的模型大小進(jìn)行檢測(cè),否則效果就不理想。

通過(guò)表5各項(xiàng)評(píng)估指標(biāo)的對(duì)比可知,PPYOLO算法與YOLOV3及Faster-RCNN相比,總體性能更好。故選擇PPYOLO算法(Resnet 50)作為后續(xù)對(duì)比實(shí)驗(yàn)的基礎(chǔ)算法。

為驗(yàn)證PPYOLO+Sobel算子組合模型的有效性,在少量高清電池片缺陷數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集情況下,將該方法與原PPYOLO算法進(jìn)行對(duì)比,見(jiàn)表6。

表6 算法結(jié)果對(duì)比表

由表6可知,將PPYOLO算法與Sobel算子相結(jié)合的方法,在最終檢測(cè)效果上有進(jìn)一步的提升,mAP提升了1.4%,而FPS值差異較小,即對(duì)推理速度影響不大。說(shuō)明在少樣本的情況,使用Sobel算子與深度學(xué)習(xí)方法(PPYOLO)相結(jié)合,對(duì)模型檢測(cè)精度有一定的提升作用。分析以上兩種算法的損失函數(shù),見(jiàn)圖4。采用PPYOLO+Sobel算子方法改進(jìn)模型后,在模型訓(xùn)練迭代過(guò)程中,得到的loss比原PPYOLO算法更低,收斂速度更快。

圖4 增加Sobel算子與原算法的損失值對(duì)比實(shí)驗(yàn)Fig.4 Comparison experiment of loss value between adding Sobel operator and original algorithm

4.3 檢測(cè)結(jié)果可視化

PPYOLO+Sobel算子相結(jié)合的模型對(duì)電池片檢測(cè)的整體效果圖,見(jiàn)圖5。

圖5 PPYOLO檢測(cè)結(jié)果圖Fig.5 PPYOLO detection results

由于圖片過(guò)大,不便觀測(cè),將檢測(cè)圖的缺陷部分放大,見(jiàn)圖6。通過(guò)框住的缺陷位置和置信度,可以看出,PPYOLO+Sobel相結(jié)合的模型對(duì)于5種不同的缺陷具有良好的檢測(cè)效果。

圖6 檢測(cè)放大圖Fig.6 Enlarged view of detection

5 結(jié)論

神經(jīng)網(wǎng)絡(luò)感知機(jī)模型只能從大量數(shù)據(jù)中學(xué)到缺陷信息特征,而無(wú)法像人類(lèi)一樣在少量樣本上進(jìn)行思考并總結(jié)出一部分特征。為了滿(mǎn)足實(shí)際場(chǎng)景需求,本文基于PPYOLO模型作出了一些改進(jìn),為此,將人腦判別缺陷時(shí)所用的一種信息特征(邊緣信息特征)輸入到PPYOLO神經(jīng)網(wǎng)絡(luò)算法中,能使得網(wǎng)絡(luò)直接獲得邊緣信息,即將Sobel算子與PPYOLO算法相結(jié)合,使其能根據(jù)邊緣信息更好的定位識(shí)別缺陷。在高清電池片數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,添加Sobel算子后的改進(jìn)PPYOLO模型檢測(cè)效率有所提升,mAP提升1.4%,并且mAP相比于其他不同輸入尺寸和模型大小的算法,提升效果超過(guò)20%。在此基礎(chǔ)上,后續(xù)工作將繼續(xù)探索Sobel或其他算子與模型組合,持續(xù)優(yōu)化算法,提高目標(biāo)檢測(cè)效果。