基于改進(jìn)輕量型YOLOv5的太陽能電池板缺陷檢測*

2023-11-28 06:14:00李婷,孫淵

組合機(jī)床與自動化加工技術(shù) 2023年11期

李婷,孫淵

(上海電機(jī)學(xué)院機(jī)械學(xué)院,上海 201306)

0 引言

根據(jù)國家“雙碳”政策的要求,新能源與信息技術(shù)聯(lián)系緊密,太陽能因安全可靠等優(yōu)點,已成為備受矚目的新能源[1]。太陽能電池板是將太陽能轉(zhuǎn)換為電能的重要工具,但在組裝和使用過程中會因某些原因形成黑斑、斷柵等缺陷,這些缺陷不僅影響電池發(fā)電效率,還嚴(yán)重威脅人們的生命財產(chǎn)安全[2]。因此,對太陽能電池板缺陷進(jìn)行檢測具有非常重要意義。

目前國內(nèi)外對太陽能電池板缺陷檢測有許多方法,人工檢測法[3]雖然可以檢測出太陽能電池板的缺陷,但是效率低,錯檢率高,不能滿足高效率生產(chǎn)需求;LI等[4]利用空氣耦合超聲波對太陽能電池裂紋檢測,但是檢測速度有待提高;王宇等[5]運用傳統(tǒng)機(jī)器視覺方法只能針對太陽能電池板某些缺陷檢測;伏安測算法、鎖相熱圖法、光致發(fā)光法和電致發(fā)光法等檢測方法雖然可以檢測出缺陷,但是檢測范圍、檢測精度和檢測速度需要進(jìn)一步提升。

隨著深度學(xué)習(xí)和圖像處理方法的發(fā)展,其因非接觸,高檢測精度和速度的特點被廣泛應(yīng)用在各種工業(yè)場景中[6]。ZHANG等[7]通過優(yōu)化Faster R-CNN深度學(xué)習(xí)模型,實現(xiàn)了太陽能電池板的多種尺度缺陷檢測,但是檢測速度比較慢;唐政等[8]優(yōu)化YOLOv4的主干網(wǎng)絡(luò)并改進(jìn)NMS處理,提高檢測精確度和速度,但是只能檢測裂紋、斷柵兩類缺陷類型;太陽能電池板缺陷的種類與尺寸多樣,尤其微小尺寸缺陷檢測是整個檢測過程的難點;王淑青等[9]設(shè)計一種動態(tài)反饋多尺度訓(xùn)練的數(shù)據(jù)增強(qiáng)方法,提高了小缺陷的特征訓(xùn)練精度,但是模型部署不夠輕量化;張鵬飛等[10]設(shè)計了一種輕量化YOLO深度學(xué)習(xí)算法高精度地檢測出太陽能電池多種類型缺陷但檢測速度還可以提升。

針對上述方法對太陽能電池板多尺度多種類型缺陷,尤其小尺寸缺陷檢測精度低的問題,同時為了實現(xiàn)工業(yè)實時檢測,本文提出了一種改進(jìn)輕量型YOLOv5的太陽能電池板缺陷檢測方法,該方法通過改進(jìn)的MobileOne Block模塊和引入融合SimAM注意力機(jī)制的ASFF自適應(yīng)特征融合模塊獲得輕量的缺陷檢測模型,在減少特征信息丟失同時提高模型檢測速度,SepViT Block加強(qiáng)了網(wǎng)絡(luò)模型局部與全局特征信息的連接,并根據(jù)太陽能電池板缺陷特點增加P2特征層,在低參數(shù)量的同時增強(qiáng)網(wǎng)絡(luò)對小目標(biāo)的檢測能力,滿足準(zhǔn)確識別各類尺度缺陷目標(biāo)的需求。改進(jìn)后的模型滿足工業(yè)高檢測精度及高實時性的要求。

1 YOLOv5目標(biāo)檢測算法

YOLOv5經(jīng)過多次迭代升級成為在工業(yè)界應(yīng)用最廣泛的SOTA算法。如圖1所示,YOLOv5的主干特征提取網(wǎng)絡(luò)Backbone由多個標(biāo)準(zhǔn)卷積,含有Bottleneck的C3模塊和空間金字塔池化層SPPF組成,主干網(wǎng)絡(luò)的淺層部分提取輸入圖像特征,再通過SPPF網(wǎng)絡(luò)對提取特征快速地進(jìn)行融合。Neck層中的C3_1模塊不包含殘差結(jié)構(gòu),而是采用路徑聚合網(wǎng)絡(luò)PANet以上下采樣結(jié)合的方式進(jìn)行特征融合,最后將提取的特征輸入到Head層實現(xiàn)對小中大尺寸目標(biāo)的預(yù)測。

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)圖

2 YOLOv5目標(biāo)檢測算法改進(jìn)

為完成本研究中對太陽能電池板缺陷的輕量化實時檢測,針對本數(shù)據(jù)集小尺寸目標(biāo)檢測精度差的問題,本文針對太陽能電池板缺陷特點,基于YOLOv5算法進(jìn)行了改進(jìn)。改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,具體改進(jìn)部分如下:①將改進(jìn)后的MobileOne Block模塊替代網(wǎng)絡(luò)模型的部分卷積層,輕量化地提高網(wǎng)絡(luò)特征提取能力;同時將主干特征提取網(wǎng)絡(luò)的最后一層替換為SepViT Block模塊,注重提取圖像全局特征信息。②在Neck層增加P2層的融合與檢測,提升小目標(biāo)的檢測精度。③融合SimAM注意力機(jī)制的輕量化ASFF自適應(yīng)特征模塊,通過學(xué)習(xí)權(quán)重參數(shù)的方式,特征能更好地融合,更容易提取難檢測的小目標(biāo)的特征信息。

圖2 改進(jìn)輕量型YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)圖

2.1 MobileOne輕量化主干特征提取網(wǎng)絡(luò)

MobileOne Block[11]與RepVGG網(wǎng)絡(luò)[12]結(jié)構(gòu)相似,都是利用結(jié)構(gòu)重參數(shù)化解耦訓(xùn)練階段和推理階段,RepVGG網(wǎng)絡(luò)訓(xùn)練階段結(jié)構(gòu)類似ResNet網(wǎng)絡(luò),如圖3a所示,采用3×3卷積主干結(jié)構(gòu)、1×1卷積殘差結(jié)構(gòu)和Identity殘差結(jié)構(gòu)組成多分支網(wǎng)絡(luò)結(jié)構(gòu)。如圖3b所示,其推理階段由訓(xùn)練階段重參數(shù)化形成,首先將所有卷積層和BN層進(jìn)行融合;其次將融合后卷積核大小不同的卷積層都轉(zhuǎn)換到單個3×3卷積上,最后通過將所有權(quán)重W和偏置B疊加融合所有分支中3×3卷積,得到一個完全等效的Conv3*3網(wǎng)絡(luò)層。推理階段舍去了殘差結(jié)構(gòu),節(jié)省了操作內(nèi)存,同時操作過程可以對Conv3*3做特定加速,極大的提高了推理速度和計算效率。

(a) RepVGG網(wǎng)絡(luò)訓(xùn)練結(jié)構(gòu)圖 (b) RepVGG網(wǎng)絡(luò)推理結(jié)構(gòu)圖 (c) MobileOne網(wǎng)絡(luò)訓(xùn)練結(jié)構(gòu)圖 (d) MobileOne網(wǎng)絡(luò)推理結(jié)構(gòu)圖

同時本文將MobileOne Block的激活函數(shù)替換為SiLU,可以有更好的正則化效果,防止過度擬合。所以為了提高太陽能電池板缺陷檢測模型精度和速度,本文將改進(jìn)后的MobileOne Block模塊替換主干網(wǎng)絡(luò)的部分卷積層,在減少特征信息丟失同時提高模型檢測速度。

2.2 主干網(wǎng)絡(luò)深層引入SepViT

深度可分離自注意力模塊(separable vision transformer,SepViT)[14]借鑒深度可分離卷積結(jié)構(gòu)并模仿其思想在保持精度的同時平衡計算成本。本文所要檢測的太陽能電池板缺陷存在于含有柵線的正常板上,檢測時可能會出現(xiàn)混淆。因此,模型不僅需要關(guān)注目標(biāo)的局部細(xì)節(jié)特征,還需要捕捉圖像的全局特征。使用CNN網(wǎng)絡(luò)可以從目標(biāo)中提取局部特征,而使用Vision Transformer可以實現(xiàn)全局特征的學(xué)習(xí)。因此,本文利用兩個模塊整合在一起,將主干特征提取網(wǎng)絡(luò)的最后一層替換為SepViT Block模塊,增強(qiáng)了模型的特征提取能力,優(yōu)化了網(wǎng)絡(luò)局部和全局信息的關(guān)系。

在SepViT Block中,通過深度自注意(DWA)和點自注意(PWA)減少計算量,并分別由它們實現(xiàn)局部和全局的信息交互。首先對輸入特征劃分好的窗口視為特征圖的一個輸入通道,每個窗口包含不同的信息,然后對每個window token 和ipixel token進(jìn)行深度自注意操作,融合每個通道的空間信息,如式(1)所示:

DWA(f)=Attention(f·WQ,f·WK,f·WV)

(1)

式中:f為特征圖劃分的token,由window token和ipixel token組成;WQ、WK和WV代表在一個自注意模塊的3個線性層的查詢,鍵和值的計算權(quán)重。

將深度自注意操作的輸出利用點自注意建立跨窗口信息的連接,并通過歸一化層(layer normalization,LN)和Gelu激活函數(shù)生成注意特征圖,每個窗口之間的注意計算使得全局信息交換。如式(2)所示:

PWA(f,wt)=Attention(Gwlu(LN(wt))·WQ,
Gelu(LN(wt))·WK,f)

(2)

式中:wt表示窗口標(biāo)記。那么SepViT Block可以表示:

(3)

圖4 SepViT Block結(jié)構(gòu)圖

2.3 融合SimAM注意力機(jī)制的輕量化ASFF自適應(yīng)特征模塊

圖5 ASFF結(jié)構(gòu)設(shè)計圖

(4)

(5)

所以在多尺度特征融合部分引入ASFF模塊不僅可以提取不同尺度缺陷目標(biāo)特征信息,還可以輕量化網(wǎng)絡(luò)模型,但是輕量化設(shè)計在一定程度上對檢測精度有不良影響,所以可以在Neck部分的C3_1模塊后引入無參數(shù)的SimAM注意機(jī)制。注意力模塊可以根據(jù)圖像特征,使得模型更關(guān)注有用信息,減少對其他不重要信息的關(guān)注。SimAM注意機(jī)制[16]不同于SE模塊和CBAM模塊只能通過空間或通道維度細(xì)化特征,其注意力權(quán)重可以隨空間和通道靈活變化,并且在不向原始網(wǎng)絡(luò)添加參數(shù)的情況下,通過能量函數(shù)推斷出該層特征圖的三維注意權(quán)重。三維注意力權(quán)重如圖6所示。

圖6 SimAM注意力權(quán)重圖

SimAM注意機(jī)制具有高靈活性、高模塊化、輕量化等優(yōu)點,滿足了模型改進(jìn)的要求。同時本文數(shù)據(jù)集太陽能電池板圖片因為柵線可能會被誤檢為裂紋;黑斑等小尺寸缺陷難以檢測等問題也會降低整體檢測精度,所以在模型中引入融合SimAM注意力機(jī)制的ASFF自適應(yīng)特征融合模塊,輕量化地強(qiáng)化模型特征表達(dá)能力,提升模型對太陽能電池板缺陷檢測速度和檢測精度。

2.4 新增檢測層

太陽能電池板缺陷數(shù)據(jù)集中缺陷的尺度跨度大,尤其是難以檢測的小目標(biāo)數(shù)量比例大,而原YOLOv5網(wǎng)絡(luò)中只有3個檢測層P3、P4、P5層分別通過8倍、16倍、32倍采樣,也就是說輸入圖片尺寸為640×640時,P3、P4、P5分別對應(yīng)生成80×80、40×40、20×20的特征圖,實現(xiàn)小、中、大目標(biāo)的檢測。然而“黑斑”等的極小像素的小目標(biāo)缺陷在原80×80尺寸檢測層無法被精準(zhǔn)檢測出來,所以增加64倍下采樣檢測層,輸出特征圖尺寸為160×160。最后160×160特征圖檢測“黑斑”中極小缺陷目標(biāo),其特征需要底層特征中的細(xì)粒度辨別,保留了80×80和40×40兩個特征層檢測黑斑、裂紋與斷柵等中尺寸缺陷,20×20特征層檢測缺片和裂片這類大尺寸缺陷。新增檢測層滿足準(zhǔn)確識別各類尺度缺陷目標(biāo)的需求,同時輸出層每層先驗框由原來的3個增加至4個,提高了網(wǎng)絡(luò)的檢測性能,減少了漏檢、誤檢的情況。

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)

實驗數(shù)據(jù)來源于使用工業(yè)相機(jī)拍攝某公司生產(chǎn)使用的太陽能電池板,共拍攝裂片(LP)、斷柵(DS)、黑斑(HB)、裂紋(LW)和缺片(QP)5種缺陷的485張照片,經(jīng)過圖像反轉(zhuǎn)平移和亮度調(diào)節(jié)等方式擴(kuò)增數(shù)據(jù)集至2697張圖片,圖7分別為5類缺陷與正常電池板圖片,輸入圖片大小統(tǒng)一為640×640,將數(shù)據(jù)集按7:2:1劃分為訓(xùn)練集、驗證集和測試集。

(a) 斷柵DS (b) 黑斑HB (c) 裂片LP

(d) 裂紋LW (e) 缺片QP(f) 正常

3.2 實驗配置與評價指標(biāo)

本文采用Windows10操作系統(tǒng),GPU為NVIDIA Quadro RTX 4000,深度學(xué)習(xí)配置為CUDA10.2,Python3.8.0和PyTorch1.8.0,初始學(xué)習(xí)率設(shè)置為0.01,并使用SGD優(yōu)化器進(jìn)行訓(xùn)練,Batch size設(shè)置為16,訓(xùn)練次數(shù)Epoch設(shè)置為100。

本文以mAP@0.5%、參數(shù)量和檢測速度FPS 作為網(wǎng)絡(luò)性能評價指標(biāo),其中mAP@0.5%表示IoU閾值為0.5時的平均檢測精度,參數(shù)量衡量模型對內(nèi)存資源的消耗量,FPS是指網(wǎng)絡(luò)模型1 s可以處理的圖片數(shù)量,用于衡量模型檢測速度。

3.3 消融實驗

表1設(shè)計消融實驗驗證改進(jìn)網(wǎng)絡(luò)算法的優(yōu)勢,序號1表示原YOLOv5模型,序號2實驗表示增加P2檢測層,序號3實驗表示在2的基礎(chǔ)上將主干網(wǎng)絡(luò)的部分卷積塊替換為改進(jìn)后的MobileOne Block模塊,序號4實驗表示在3的基礎(chǔ)上在骨干網(wǎng)絡(luò)最后一層增加SepViT模塊,序號5實驗表示在4的基礎(chǔ)上引入ASFF特征融合網(wǎng)絡(luò)模型,序號6實驗表示在5的基礎(chǔ)上在head檢測層之前引入無參數(shù)的SimAM注意力模塊,生成最后的改進(jìn)算法模型。表2為消融實驗結(jié)果。

表1 消融實驗設(shè)計

表2 消融實驗結(jié)果

實驗2相較于實驗1(原YOLOv5模型)雖然檢測速度FPS下降了9 F/S,但是平均檢測精度有了很大的提升,提高了2%,由圖8所示,模型增加P2檢測層之后,5種缺陷的檢測精度都提升,尤其是黑斑還有部分裂紋這類小尺寸缺陷精度提高了近4%,說明了新增檢測層對模型改進(jìn)的有效性;實驗3相比實驗2參數(shù)量減少了71.3%,檢測速度FPS提升了17 F/S,同時檢測精度也提升了0.6%,說明 MobileOne Block模塊引入網(wǎng)絡(luò)模型對檢測精確度影響較小,但可以輕量化改進(jìn)模型,明顯提升整體檢測速度,挽救了實驗2中因增加檢測層對模型參數(shù)量和檢測速度的影響;實驗4比實驗3的模型權(quán)重只增加了0.1 MB,FPS也只下降了2 F/S,但是平均檢測精度提升了1%,說明SepViT模塊可以對網(wǎng)絡(luò)全局信息提取;實驗5相比于實驗4,模型權(quán)重略有增加,檢測精度mAP和檢測速度FPS大幅度改善,同時缺片和黑斑尺寸相差大的缺陷檢測精度均有2%～3%的提升,說明特征融合網(wǎng)絡(luò)ASFF 輕量化明顯提升檢測效果;實驗6是在實驗5的基礎(chǔ)上引入SimAM注意力模塊,模型權(quán)重沒有變化,檢測速度FPS由原來的112 F/S降至103 F/S,但是檢測精度由95%提升至96.2%,證明了SimAM注意力模塊對網(wǎng)絡(luò)模型有一定的提升效果。通過上述實驗過程與分析證明本文提出的改進(jìn)網(wǎng)絡(luò)模型對太陽能電池板缺陷檢測的有效性。

圖8 消融實驗各缺陷檢測精度圖

3.4 主流算法性能對比實驗

為了驗證本文中改進(jìn)網(wǎng)絡(luò)算法的性能,將本文算法與目前主流目標(biāo)檢測算法Faster R-CNN、YOLOv5、YOLOX和最新的YOLOv7-tiny[17]在相同條件下進(jìn)行對比實驗,表3是各性能對比結(jié)果。

表3 主流算法對比實驗

相較于兩階段目標(biāo)檢測算法Faster R-CNN、本文改進(jìn)算法在模型權(quán)重、檢測精度與檢測速度等方面有很明顯的優(yōu)勢;相比原始算法YOLOv5,本文算法檢測速度有小范圍浮動,但是檢測精度提高了6.7%;YOLOvX實現(xiàn)了91.4%的檢測精度,相比YOLOv5算法提升了1.8%,而權(quán)重參數(shù)增加了超過一倍,檢測速度也下降了20 F/S,不符合實時檢測要求;雖然本文改進(jìn)YOLOv5算法在檢測速度上不如YOLOv7-tiny,但在其他參數(shù)上性能卻遠(yuǎn)遠(yuǎn)高于它,檢測精度達(dá)到了96.2%,比最新的YOLOv7-tiny提高了5.3%,檢測速度達(dá)到103 F/S,缺陷效果如圖9所示。