何國(guó)忠，梁 宇

基于卷積神經(jīng)網(wǎng)絡(luò)的PCB缺陷檢測(cè)

何國(guó)忠，梁 宇

(云南大學(xué)軟件學(xué)院，云南 昆明 650504)

印刷電路板(PCB)在生產(chǎn)制造中由于生產(chǎn)工序等問題易導(dǎo)致電路板存在瑕疵缺陷，為提高對(duì)電路板缺陷的檢測(cè)效率，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的電路板缺陷檢測(cè)網(wǎng)絡(luò)。該檢測(cè)網(wǎng)絡(luò)基于YOLO v4網(wǎng)絡(luò)進(jìn)行優(yōu)化改造，針對(duì)于PCB制作精密、復(fù)雜，各類缺陷不易檢測(cè)的難點(diǎn)，在優(yōu)化后的網(wǎng)絡(luò)中加入了基于細(xì)粒度空間域的長(zhǎng)距離全局注意力機(jī)制，同時(shí)在SPP模塊的基礎(chǔ)上進(jìn)行特征圖重組作為各YOLO檢測(cè)頭的輸入。通過使用長(zhǎng)距離注意力機(jī)制通道將淺層網(wǎng)絡(luò)提取到的特征傳遞到深層網(wǎng)絡(luò)中，并采用特征圖重組的方式提升特征信息豐富度，從而提高對(duì)于PCB缺陷檢測(cè)的精度。經(jīng)實(shí)驗(yàn)分析，與各類經(jīng)典CNN相比，在PCB缺陷檢測(cè)任務(wù)中，該算法有較大優(yōu)勢(shì)，整體缺陷的平均檢測(cè)精度均值(mAP)達(dá)到91.40%，適用于實(shí)際生產(chǎn)、檢測(cè)環(huán)節(jié)。

印刷電路板；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；缺陷檢測(cè)；注意力機(jī)制

在工業(yè)制造4.0的背景下，工業(yè)水平快速進(jìn)步、生產(chǎn)力飛速提升，這一切均離不開智能工業(yè)生產(chǎn)設(shè)備，而工業(yè)化生產(chǎn)設(shè)備的核心組件則是每一塊制作精密的印刷電路板(printed circuit board，PCB)。目前PCB具有高密度、多層化的特點(diǎn)，即小體積、多功能，對(duì)其制造工藝有了更嚴(yán)格要求。但目前，PCB的制造工藝還不能很好地滿足集成電路的發(fā)展水平，在生產(chǎn)中易出現(xiàn)各種產(chǎn)品缺陷，若缺陷品流入市場(chǎng)，在日后的使用當(dāng)中則會(huì)導(dǎo)致設(shè)備故障和損壞。因此對(duì)于PCB的缺陷檢測(cè)是其生產(chǎn)制造環(huán)節(jié)中的重要一環(huán)。

目前，對(duì)于PCB缺陷檢測(cè)方法大體上可以分為3類：一是早期的人工檢測(cè)，該方法的檢測(cè)精度及效率極大地依賴于檢測(cè)人員的工作經(jīng)驗(yàn)，同時(shí)檢測(cè)精度也隨工作時(shí)間的持續(xù)而降低，其不穩(wěn)定性較高；二是目前使用較廣的基于電氣特性的缺陷檢測(cè)，該方法具有精度高、檢測(cè)快的特點(diǎn)，如文獻(xiàn)[1]提出的一種內(nèi)置的電氣測(cè)試電路，用于檢測(cè)PCB的焊盤和IC之間的互連處的開路缺陷，采用電氣測(cè)試時(shí)需要對(duì)PCB進(jìn)行通電等接觸性操作，但存在二次損壞的可能；三是新興的基于計(jì)算機(jī)視覺的檢測(cè)方案，如文獻(xiàn)[2]采用TDD-Net卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)對(duì)PCB的缺陷進(jìn)行檢測(cè)，采用圖像識(shí)別檢測(cè)無(wú)需與PBC直接接觸避免了二次損壞的可能，同時(shí)隨著計(jì)算機(jī)硬件的發(fā)展對(duì)于圖像的檢測(cè)效率也有了大幅提升，同時(shí)，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法與傳統(tǒng)檢測(cè)算法在檢測(cè)精度和速度均有了大幅提升，越來(lái)越多的識(shí)別檢測(cè)場(chǎng)景采用該方案進(jìn)行落地轉(zhuǎn)化。

CNN能夠?qū)斎霐?shù)據(jù)進(jìn)行自動(dòng)學(xué)習(xí)并獲取檢測(cè)目標(biāo)的特征信息，無(wú)需人工設(shè)計(jì)特征器對(duì)目標(biāo)進(jìn)行特征提取與檢測(cè)，使得CNN在檢測(cè)性能方面擁有更強(qiáng)的魯棒性。因此，本文采用CNN作為PCB缺陷特征的提取器，搭配檢測(cè)頭進(jìn)行缺陷檢測(cè)。本文選用了常見的8類PCB缺陷，分別為missing hole，mouse bite，open circuit，short，spurious copper，spur，pad damage和scratch。PCB缺陷的檢測(cè)難點(diǎn)為缺陷區(qū)域面積小，且與周圍正常區(qū)域相似不易區(qū)分。在CNN進(jìn)行特征提取時(shí)，輸入的圖片由于下采樣層逐漸縮小了圖片的面積，致各類缺陷目標(biāo)再次縮小，特征不易被提取到。針對(duì)這些難點(diǎn)，本文設(shè)計(jì)了細(xì)粒度的空間域全局注意力機(jī)制，對(duì)淺層網(wǎng)絡(luò)特征信息進(jìn)行細(xì)粒度去冗余處理后再進(jìn)行復(fù)用；同時(shí)增加了網(wǎng)絡(luò)中空間金字塔池化(spatial pyramid pooling，SPP)模塊的數(shù)量，并對(duì)其輸出進(jìn)行融合，以豐富特征圖中的特征信息，有效地解決了PCB缺陷目標(biāo)小、特征信息少的問題。

1 相關(guān)研究

1.1 目標(biāo)檢測(cè)算法

計(jì)算機(jī)視覺的目標(biāo)檢測(cè)技術(shù)，根據(jù)時(shí)間線可以分為2大類：①以HOG[3-5]，DPM[6-7]算法為代表的傳統(tǒng)目標(biāo)檢測(cè)算法，其實(shí)現(xiàn)原理是通過人為設(shè)計(jì)目標(biāo)的特征檢測(cè)器，因人工設(shè)計(jì)其局限性較大，僅能在簡(jiǎn)單的場(chǎng)景下對(duì)目標(biāo)進(jìn)行識(shí)別；②基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)檢測(cè)方法，能夠自動(dòng)提取目標(biāo)特征，在擬合性、魯棒性等方面均優(yōu)于傳統(tǒng)目標(biāo)檢測(cè)方法，被廣泛應(yīng)用于圖像檢測(cè)領(lǐng)域[8-10]。CNN檢測(cè)方法，根據(jù)應(yīng)用需求的不同也延伸出了2種方法：①以獲取高精度為需求的雙階段檢測(cè)網(wǎng)絡(luò)，其檢測(cè)流程分為2個(gè)階段，第一個(gè)階段，先從輸入的圖片中提取出候選區(qū)域即可能存在有目標(biāo)的區(qū)域，第二個(gè)階段則根據(jù)目標(biāo)的特征信息對(duì)候選區(qū)域進(jìn)行預(yù)測(cè)[11]；②以檢測(cè)速度為首要考慮因素的方法，為單階段檢測(cè)網(wǎng)絡(luò)，不同于雙階段檢測(cè)網(wǎng)絡(luò)，其無(wú)需候選區(qū)域，可采用線性回歸的計(jì)算方式直接對(duì)目標(biāo)的類別及位置進(jìn)行預(yù)測(cè)。根據(jù)生產(chǎn)車間流水化作業(yè)，流程快速、準(zhǔn)確的特性，本文選用YOLO v4單階段檢測(cè)網(wǎng)絡(luò)，在保證檢測(cè)速度的同時(shí)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，以提升檢測(cè)精度[12]。

1.2 YOLO網(wǎng)絡(luò)

YOLO網(wǎng)絡(luò)在結(jié)構(gòu)上分為負(fù)責(zé)目標(biāo)特征提取工作的主干網(wǎng)絡(luò)及負(fù)責(zé)目標(biāo)類別、位置預(yù)測(cè)的檢測(cè)網(wǎng)絡(luò)2部分。在YOLO v4網(wǎng)絡(luò)中，主干網(wǎng)絡(luò)采用的是CSPDarkNet結(jié)構(gòu)，為典型的殘差網(wǎng)絡(luò)，通過殘差恒等映射的方式避免了梯度消失問題，使得網(wǎng)絡(luò)的層數(shù)更深，可獲取更多的特征信息，且豐富的特征信息為檢測(cè)網(wǎng)絡(luò)的預(yù)測(cè)精度提供了保障。在YOLO檢測(cè)網(wǎng)絡(luò)中對(duì)于目標(biāo)的預(yù)測(cè)流程為：

(1) 輸入到檢測(cè)器的特征圖被劃分為若干個(gè)網(wǎng)格區(qū)域，并將檢測(cè)任務(wù)由全圖細(xì)分到每個(gè)網(wǎng)格區(qū)域，當(dāng)檢測(cè)目標(biāo)的中心點(diǎn)位于某個(gè)網(wǎng)格時(shí)，則由該網(wǎng)格負(fù)責(zé)對(duì)目標(biāo)的位置及類別信息進(jìn)行預(yù)估。

(3) 在完成所有anchors預(yù)測(cè)框的得分后，再由非極大值抑制(non-maximum suppression，NMS)算法對(duì)同一目標(biāo)的多個(gè)預(yù)測(cè)框或得分值較低的預(yù)測(cè)框進(jìn)行去冗余處理，得出最終的預(yù)測(cè)結(jié)果并輸出。

2 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

PCB缺陷檢測(cè)難點(diǎn)在于缺陷區(qū)域的面積過小，缺陷特征在圖片不放大的情況下不明顯，即不易被檢測(cè)器所提取，存在較為嚴(yán)重的漏檢情況，不能滿足生產(chǎn)檢驗(yàn)環(huán)節(jié)的實(shí)用要求。為解決目標(biāo)小、特征少的問題，本文基于YOLO v4網(wǎng)絡(luò)提出了2個(gè)改進(jìn)方案，以提升主干網(wǎng)絡(luò)對(duì)于小目標(biāo)的特征獲取能力。

2.1 細(xì)粒度空間域全局注意力模塊

對(duì)于深度卷積神經(jīng)網(wǎng)絡(luò)而言，整體結(jié)構(gòu)呈倒金字塔形，特征圖的大小同整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)同時(shí)進(jìn)行縮放，即網(wǎng)絡(luò)越深，特征圖越小。對(duì)于圖中的小目標(biāo)，其特征信息因池化下采樣操作被區(qū)域周圍的特征信息同化而消失。為解決該問題，本文設(shè)計(jì)了細(xì)粒度空間域的全局注意力模塊，該模塊的作用有2個(gè)，一是通過全局的連接通道將主干網(wǎng)絡(luò)的首尾相連，使得淺層網(wǎng)絡(luò)的特征能夠復(fù)用于深層網(wǎng)絡(luò)之中。該設(shè)計(jì)以CNN結(jié)構(gòu)的功能劃分，對(duì)于淺層網(wǎng)絡(luò)部分，由于輸入的圖片經(jīng)過的卷積計(jì)算較少，其特征值主要反映了目標(biāo)的形態(tài)特征；而在深層部分，由于經(jīng)過充分的卷積計(jì)算，特征值主要反映了目標(biāo)的類別特征即語(yǔ)義特征。而通過全局域的連接通道將淺層的形態(tài)特征補(bǔ)充到深層網(wǎng)絡(luò)進(jìn)行語(yǔ)義特征的提取，避免了小目標(biāo)特征丟失的問題。二是在于細(xì)粒度的空間域注意力機(jī)制，其目的在于淺層的特征圖同時(shí)包含前景和背景的形態(tài)特征。對(duì)于小目標(biāo)而言，特征圖中前景信息更加稀少，因此采用基于空間域的注意力機(jī)制對(duì)存在有目標(biāo)的空間域信息進(jìn)行加權(quán)，且通過對(duì)特征圖的通道分組加權(quán)實(shí)現(xiàn)細(xì)粒度注意力功能，所提取的加權(quán)區(qū)域更有針對(duì)性。圖1為本文所設(shè)計(jì)的模塊結(jié)構(gòu)，模塊由2部分組成：①對(duì)特征圖的細(xì)粒度及空間加權(quán)進(jìn)行處理，首先將特征圖依據(jù)通道數(shù)量等分為組新的特征圖，每組特征圖的通道數(shù)為原來(lái)的1/。然后，對(duì)每張新的特征圖均執(zhí)行以下操作，即新生成的特征圖由卷積核個(gè)數(shù)為1的1×1卷積層進(jìn)行特征圖壓縮，并由Sigmoid激活函數(shù)對(duì)特征圖進(jìn)行賦值加權(quán)，之后將所有的特征圖進(jìn)行add相加操作，再由1×1卷積層對(duì)特征信息進(jìn)行整合，至此獲得完整的空間權(quán)值信息；②特征融合，將得到的空間權(quán)值特征圖與需要傳遞的特征圖進(jìn)行相乘賦值，完成后的特征圖經(jīng)由1×1卷積層與ReLU激活函數(shù)傳遞到網(wǎng)絡(luò)的深層。該模塊在網(wǎng)絡(luò)深層補(bǔ)充了小目標(biāo)的形態(tài)特征信息，使其能夠被網(wǎng)絡(luò)捕獲繼而轉(zhuǎn)換為語(yǔ)義特征信息，以解決小目標(biāo)在深層網(wǎng)絡(luò)中語(yǔ)義特征丟失的問題。

圖1 細(xì)粒度空間域全局注意力模塊

2.2 基于SPP模塊的輸出通道混合

在CSPDarkNet網(wǎng)絡(luò)的末端含有一個(gè)SPP模塊，該模塊通過采用不同大小的池化層分別獲取全局與局部的特征，之后進(jìn)行融合操作以獲取綜合特征信息。但整個(gè)網(wǎng)絡(luò)僅包含有一個(gè)SPP模塊，對(duì)于其他尺度的YOLO檢測(cè)頭而言無(wú)法直接利用該融合后的特征[13-16]。本文以網(wǎng)絡(luò)的默認(rèn)輸入608×608為例，在CSPDarkNet網(wǎng)絡(luò)中的38×38和76×76CSPRes模塊后各增加了一個(gè)SPP模塊，即每個(gè)尺度的檢測(cè)層均配備專屬的SPP模塊來(lái)獲取主干網(wǎng)絡(luò)所提取的特征。但在網(wǎng)絡(luò)結(jié)構(gòu)分布上，3個(gè)SPP模塊同樣具有不同深度層次的分布，本文對(duì)其輸出進(jìn)行通道混合，并輸入到對(duì)應(yīng)的檢測(cè)模塊中，整體實(shí)現(xiàn)結(jié)構(gòu)如圖2所示。其中彩色部分為通道混組模塊，即每個(gè)尺度的SPP模塊輸出后會(huì)將綜合信息通過上采樣或下采樣的方式傳遞到另外2個(gè)SPP模塊中。融合采用上采樣與下采樣的方式，將3個(gè)SPP模塊輸出的特征圖大小進(jìn)行適配，并在add層將不同輸出且大小一致的特征圖進(jìn)行融合。SPP模塊在輸出通道混組后，等效于每個(gè)SPP模塊的輸出具有了大、中、小3個(gè)尺度的綜合信息，相較于之前的特征信息更加豐富。最后，每個(gè)尺度的SPP輸出后經(jīng)一個(gè)卷積組加工并直接輸入到檢測(cè)器中，如圖2中的“Process”模塊所示，該模塊由一個(gè)1×1和一個(gè)3×3卷積層進(jìn)行特征提取后，由Leaky ReLU激活函數(shù)進(jìn)行激活，最終輸入到檢測(cè)器中。相較于優(yōu)化前SPP模塊的輸出特征需要通過多個(gè)卷積組加工及上、下采樣操作才可輸入到不同尺度的檢測(cè)器，本文所設(shè)計(jì)的混組方案在計(jì)算及特征應(yīng)用效率上有明顯提高。

圖2 基于SPP模塊的通道混合結(jié)構(gòu)

3 實(shí)驗(yàn)與分析

3.1 超參數(shù)設(shè)置及評(píng)估指標(biāo)

PCB缺陷檢測(cè)目標(biāo)的大小具有極端性，為了最終的預(yù)測(cè)結(jié)果能夠更精準(zhǔn)地框選出缺陷區(qū)域，本文在模型訓(xùn)練前對(duì)anchors組的尺寸進(jìn)行了重新計(jì)算。采用K-means++算法對(duì)數(shù)據(jù)集中所有的Ground Truth尺寸進(jìn)行聚類分析，默認(rèn)圖片的輸入尺寸為608×608，每個(gè)YOLO檢測(cè)器配置3個(gè)anchors，聚類后得到9組尺寸：

19×19 YOLO-Head：(18,33)，(18,19)，(24,24)

38×38 YOLO-Head：(24,48)，(30,29)，(32,17)

76×76 YOLO-Head：(39,39)，(47,23)，(69,76)

本文為評(píng)估模型的檢測(cè)性能引入了以下評(píng)估指標(biāo)

3.2 實(shí)驗(yàn)結(jié)果分析

本文采用的數(shù)據(jù)集在文獻(xiàn)[2]的開源數(shù)據(jù)集上進(jìn)行了數(shù)據(jù)樣本與類型的擴(kuò)充，數(shù)據(jù)由原來(lái)的10 668張擴(kuò)充至11 668張，類別在原有基礎(chǔ)上增加pad damage和scratch 2類，以使缺陷檢測(cè)范圍更廣，模型通用性更強(qiáng)。

首先本文針對(duì)第2節(jié)所述的優(yōu)化方案進(jìn)行消融實(shí)驗(yàn)并分別分析細(xì)粒度空間域全局注意力模塊與SPP模塊的通道混合架構(gòu)對(duì)網(wǎng)絡(luò)的提升。從宏觀數(shù)據(jù)指標(biāo)上進(jìn)行評(píng)價(jià)。測(cè)試結(jié)果見表1。

表1中，細(xì)粒度空間域全局注意力模塊與SPP模塊的通道混合架構(gòu)均能夠提升YOLO v4網(wǎng)絡(luò)對(duì)于PCB板的缺陷檢測(cè)能力。對(duì)于細(xì)粒度空間域全局注意力模塊而言，其通過加強(qiáng)淺層特征信息的利用，提升了檢測(cè)器對(duì)于檢測(cè)目標(biāo)的感知能力，測(cè)試結(jié)果中對(duì)于召回率指標(biāo)有明顯提升；其次優(yōu)化后的SPP模塊通道連接方案，強(qiáng)化了特征豐富度，檢測(cè)器對(duì)于目標(biāo)所屬類別的判定可以依據(jù)更豐富的特征信息進(jìn)行，使得類別屬性檢測(cè)精度有所提升。綜上，通過消融實(shí)驗(yàn)證明本文方案對(duì)于YOLO網(wǎng)絡(luò)在PCB缺陷檢測(cè)任務(wù)中的檢測(cè)性能有所提升。

表1 消融實(shí)驗(yàn)對(duì)比結(jié)果

另外在實(shí)驗(yàn)環(huán)節(jié)中增加Faster RCNN，SSD及YOLO v4網(wǎng)絡(luò)同優(yōu)化后的YOLO New進(jìn)行訓(xùn)練及測(cè)試。對(duì)于不同模型每個(gè)類別的Recall，Precision，F(xiàn)1score及AP的4個(gè)指標(biāo)測(cè)試結(jié)果分別見表2～5。

表2 Recall測(cè)試對(duì)比結(jié)果(%)

表3 Precision測(cè)試對(duì)比結(jié)果(%)

表4 F1-score測(cè)試對(duì)比結(jié)果

表5 各類目標(biāo)AP值及mAP測(cè)試對(duì)比結(jié)果(%)

表2中，F(xiàn)aster RCNN網(wǎng)絡(luò)的雙階段網(wǎng)絡(luò)結(jié)構(gòu)采用候選框機(jī)制遍歷特征圖，可較全地檢測(cè)到圖中的目標(biāo)，而對(duì)于單階段目標(biāo)SSD和YOLO v4查全能力則較弱，且召回率差距過大，是因SSD所采用的主干網(wǎng)絡(luò)為VGG，其在卷積層數(shù)上僅有YOLO v4的十分之一，說(shuō)明了網(wǎng)絡(luò)層數(shù)越多對(duì)于特征的提取效果越好?；赮OLO v4優(yōu)化后的YOLO New采用全局注意力機(jī)制加強(qiáng)了對(duì)于淺層形態(tài)特征的利用，使得在網(wǎng)絡(luò)深層處還能保存小目標(biāo)的特征信息，查全率與Faster RCNN相近，“scratch”較優(yōu)化前提升了25%。

表3中，F(xiàn)aster RCNN網(wǎng)絡(luò)雖然具有優(yōu)秀的查全能力，但在PCB中有與無(wú)缺陷區(qū)域只存在微小的差別，使得滑動(dòng)遍歷得到的候選框中同時(shí)包含有與無(wú)缺陷區(qū)域，致使對(duì)分類器的分類精度有較大的影響。而單階段的網(wǎng)絡(luò)則不具有背景區(qū)域的影響因素，整體分類精確率要高于Faster RCNN網(wǎng)絡(luò)。而YOLO New各類目標(biāo)的精確率均高于YOLO v4，說(shuō)明新增SPP通道組合模塊對(duì)于特征信息豐富度的補(bǔ)充在一定程度上提升了檢測(cè)器對(duì)于目標(biāo)的分類能力。

表4和表5中的F1-Score及mAP指標(biāo)均反映了YOLO New在PCB缺陷檢測(cè)任務(wù)中出色的性能，對(duì)于絕大部分類型的缺陷，其檢測(cè)精度可達(dá)95%以上，保證了實(shí)際應(yīng)用的可靠性。

圖3直觀反映了各模型在實(shí)際檢測(cè)中的檢測(cè)水平。Faster RCNN網(wǎng)絡(luò)雖能檢測(cè)出所有缺陷目標(biāo)，但候選區(qū)機(jī)制使得同一目標(biāo)存在多個(gè)預(yù)測(cè)框；對(duì)于SSD特征提取本文采用的是VGG，因網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單無(wú)法從PCB中提取出有效的目標(biāo)特征，致使檢測(cè)器無(wú)法檢測(cè)出缺陷區(qū)域；從圖中可以看出YOLO v4存在漏檢的情況，而YOLO New則能夠?qū)⑺腥毕菽繕?biāo)檢測(cè)出來(lái)，且不存在與Faster RCNN相似的多檢情況，實(shí)際使用效果更佳。

(a)(b)(c)(d)(e)

4 結(jié)束語(yǔ)

本文針對(duì)于PCB制造過程中產(chǎn)生的缺陷提出了一種基于CNN的檢測(cè)模型。其解決了檢測(cè)目標(biāo)小、特征信息少、不易檢測(cè)的問題。網(wǎng)絡(luò)結(jié)構(gòu)基于CSPDarkNet網(wǎng)絡(luò)進(jìn)行優(yōu)化，在整體網(wǎng)絡(luò)中加入了細(xì)粒度空間域的全局注意力機(jī)制，將淺層的特征加權(quán)后傳遞到深層網(wǎng)絡(luò)之中，并對(duì)其語(yǔ)義特征進(jìn)行補(bǔ)充。另外，增加了網(wǎng)絡(luò)中SPP模塊的數(shù)量，每個(gè)檢測(cè)維度對(duì)應(yīng)的CSPRes模塊均配備了SPP模塊，并對(duì)每個(gè)SPP模塊的輸出進(jìn)行了融合操作，豐富特征的綜合度。經(jīng)實(shí)驗(yàn)測(cè)試，本文設(shè)計(jì)的優(yōu)化方案使得YOLO v4網(wǎng)絡(luò)相較于優(yōu)化前精度提升了6.88%，對(duì)于檢測(cè)能力的魯棒性有了較大提高，為之后的進(jìn)一步研究奠定了扎實(shí)基礎(chǔ)。

[1] WIDIANTO W, YOTSUYANAGI H, ONO A, et al. A built-in electrical test circuit for interconnect tests in assembled PCBs[C]//2012 2nd IEEE CPMT Symposium Japan. New York: IEEE Press, 2012: 1-4.

[2] DING R W, DAI L H, LI G P, et al. TDD-net: a tiny defect detection network for printed circuit boards[J]. CAAI Transactions on Intelligence Technology, 2019, 4(2): 110-116.

[3] LEI Z. Histogram of oriented gradient detector with color-invariant gradients in Gaussian color space[J]. Optical Engineering, 2010, 49(10): 10970: 1-109701: 8.

[4] SUN L, LIU G Z, LIU Y Q. Multiple pedestrians tracking algorithm by incorporating histogram of oriented gradient detections[J]. IET Image Processing, 2013, 7(7): 653-659.

[5] MANIKONDA S K G, GAONKAR D N. Islanding detection method based on image classification technique using histogram of oriented gradient features[J]. IET Generation, Transmission & Distribution, 2020, 14(14): 2790-2799.

[6] ALYAMMAHI S, BHASKAR H, RUTA D, et al. People detection and articulated pose estimation framework for crowded scenes[J]. Knowledge-Based Systems, 2017, 131: 83-104.

[7] XU J L, RAMOS S, VáZQUEZ D, et al. Hierarchical adaptive structural SVM for domain adaptation[J]. International Journal of Computer Vision, 2016, 119(2): 159-178.

[8] SENGUPTA S, BASAK S, SAIKIA P, et al. A review of deep learning with special emphasis on architectures, applications and recent trends[J]. Knowledge-Based Systems, 2020, 194: 105596.

[9] POUYANFAR S, SADIQ S, YAN Y L, et al. A survey on deep learning[J]. ACM Computing Surveys, 2019, 51(5): 1-36.

[10] GARCIA-GARCIA A, ORTS-ESCOLANO S, OPREA S, et al. A survey on deep learning techniques for image and video semantic segmentation[J]. Applied Soft Computing, 2018, 70: 41-65.

[11] WANG X L, SHRIVASTAVA A, GUPTA A. A-fast-RCNN: hard positive generation via adversary for object detection[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 3039-3048.

[12] REDMON J, FARHADI A. YOLOv3: an incremental improvement[EB/OL]. [2021-04-22]. https://arxiv.org/abs/ 1804.02767.

[13] ZENG D, LIU H, ZHAO F, et al. Proposal pyramid networks for fast face detection[J]. Information Sciences, 2019, 495: 136-149.

[14] 易超人, 鄧燕妮. 多通道卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別方法[J]. 河南科技大學(xué)學(xué)報(bào): 自然科學(xué)版, 2017, 38(3): 41-44, 5-6.

YI C R, DENG Y N. Image recognition method of multi-channel convolutional neural network[J]. Journal of Henan University of Science and Technology: Natural Science, 2017, 38(3): 41-44, 5-6 (in Chinese).

[15] FENG S L, ZHAO H M, SHI F, et al. CPFNet: context pyramid fusion network for medical image segmentation[J]. IEEE Transactions on Medical Imaging, 2020, 39(10): 3008-3018.

[16] GAN C Q, WANG L, ZHANG Z F, et al. Sparse attention based separable dilated convolutional neural network for targeted sentiment analysis[J]. Knowledge-Based Systems, 2020, 188: 104827.

PCB defect detection based on convolutional neural network

HE Guo-zhong, LIANG Yu

(School of Software, Yunnan University, Kunming Yunnan 650504, China)

In the production of printed circuit boards (PCB), the production process and other problems incur flaws and defects on the circuit board. In order to enhance the detection efficiency of circuit board defects, a circuit board defect detection network based on convolutional neural network (CNN) was proposed. The whole detection network was optimized and reconstructed based on the YOLO v4 network. Aiming at the difficulty of precise and complex PCB production and difficult detection of various defects, a long-distance global attention mechanism based on fine-grained spatial domain was added to the optimized network. At the same time, on the basis of the spatial pyramid pooling (SPP) module, the feature map was reorganized as the input ofeach YOLO detection head. The long-distance attention mechanism channel was adopted to transfer the features extracted from the shallow network to the deep network, and the feature map reorganization method was utilized to boost the richness of feature information, thereby improving the accuracy of PCB defect detection. After experimental analysis, compared with various classic convolutional neural networks, the proposed algorithm is greatly superior in PCB board defect detection tasks. The mean average precision (mAP) of the overall defects reaches 91.40%, which is suitable for actual production and testing links.

printed circuit board; deep learning; convolutional neural network; defect detection; attention mechanism

10 May，2021；

TP 391

10.11996/JG.j.2095-302X.2022010021

A

2095-302X(2022)01-0021-07

2021-05-10；

2021-06-23

23 June，2021

何國(guó)忠(1995–)，男，碩士研究生。主要研究方向?yàn)閳D形圖像處理、計(jì)算機(jī)視覺等。E-mail：heguozhong@mail.ynu.edu.cn

HE Guo-zhong (1995–), master student. His main research interests cover graphic image processing, computer vision, etc. E-mail：heguozhong@mail.ynu.edu.cn

梁 宇(1964–)，男，教授，碩士。主要研究方向?yàn)閿?shù)字圖像處理與模式識(shí)別。E-mail：yuliang@ynu.edu.cn

LIANG Yu (1964–), professor, master. His main research interests cover digital image processing and pattern recognition. E-mail：yuliang@ynu.edu.cn