廖鑫婷 ， 李泉洲 ， 邱權(quán) ， 徐海 ， 劉振國(guó)

（1.工業(yè)和信息化部電子第五研究所， 廣東 廣州 511370；2.工業(yè)裝備質(zhì)量大數(shù)據(jù)工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室， 廣東 廣州 511370）

0 引言

隨著當(dāng)前人工智能、 云計(jì)算、 5G 網(wǎng)絡(luò)和大數(shù)據(jù)等技術(shù)的快速發(fā)展， 印制電路板（PCB） 作為現(xiàn)代電子信息產(chǎn)品的核心組成部件， 其功能要求不斷地提升[1]。 PCB 的生產(chǎn)過(guò)程有覆銅、 蝕刻和鉆孔等各種復(fù)雜工藝， 使得其生產(chǎn)質(zhì)量的保障具有一定的難度。 缺陷檢測(cè)是PCB 生產(chǎn)制造中一項(xiàng)不可或缺的質(zhì)量控制技術(shù)。 現(xiàn)今PCB 缺陷檢測(cè)方法主要有人工目視檢測(cè)和基于傳統(tǒng)機(jī)器視覺(jué)的自動(dòng)光學(xué)檢測(cè)[2]。 面對(duì)繁重的檢測(cè)任務(wù)和復(fù)雜的檢測(cè)環(huán)境，傳統(tǒng)的人工目視檢測(cè)具有重復(fù)性差、 主觀影響大、勞動(dòng)強(qiáng)度大、 一致性差、 耗時(shí)長(zhǎng)、 效率低和成本高等缺點(diǎn)。 傳統(tǒng)機(jī)器視覺(jué)技術(shù)的自動(dòng)光學(xué)檢測(cè)方法，則局限于人工設(shè)計(jì)特征和復(fù)雜圖像處理方法， 增加模型通用化應(yīng)用難度， 影響其在PCB 生產(chǎn)環(huán)境下的檢測(cè)效率[3]。

目前主流的基于機(jī)器視覺(jué)的PCB 缺陷檢測(cè)方法， 根據(jù)是否使用PCB 模板圖像可以分為參考法和非參考法兩類。 參考法借助圖像處理算法， 將PCB 模板圖像與PCB 待測(cè)圖像進(jìn)行像素級(jí)別比較。趙翔宇等[4]針對(duì)極性錯(cuò)誤與元器件丟失等缺陷，提出一種基于數(shù)學(xué)形態(tài)學(xué)與種子填充相結(jié)合的分層提取匹配算法。 該方法首先利用種子填充算法分層提取各類元器件， 然后對(duì)其分別進(jìn)行基于單鏈表的模板分類匹配。 朱寒等[5]將缺陷檢測(cè)分為兩個(gè)環(huán)節(jié)， 首先， 基于多方向Sobel 算子的改進(jìn)模板匹配環(huán)節(jié)， 匹配PCB 模板圖像與PCB 待測(cè)圖像； 其次， 利用基于圖像差分法的多級(jí)二值化檢測(cè)法來(lái)實(shí)現(xiàn)PCB 漏件缺陷檢測(cè)。 李文靜等[6]結(jié)合圖像預(yù)處理、 圖像分割技術(shù)及模式識(shí)別方法檢測(cè)漏焊和短路缺陷。 該方法對(duì)模板分割圖像和待測(cè)分割圖像進(jìn)行連同區(qū)域提取， 然后根據(jù)預(yù)設(shè)閾值和連同區(qū)域面積判斷是否存在缺陷。 然而， 參考法嚴(yán)重地依賴于PCB 模板圖像， 存在對(duì)準(zhǔn)困難、 存儲(chǔ)量需求大等問(wèn)題， 并且在實(shí)際復(fù)雜的工業(yè)環(huán)境下難以獲取與PCB 模板圖像角度和距離一致的圖片。

非參考法無(wú)需借助PCB 模板圖像， 利用傳統(tǒng)機(jī)器學(xué)習(xí)加圖像處理技術(shù)的方式， 檢測(cè)PCB 是否存在缺陷。 李云峰等[7]首先利用濾波去噪和圖像分割操作獲得PCB 敷銅層區(qū)域， 然后設(shè)計(jì)了鄰域梯度方向信息熵作為特征描述子， 并結(jié)合邊緣像素在局部區(qū)域的分布特性， 進(jìn)行缺陷特征提取和特征向量構(gòu)造， 最后利用支持向量機(jī)（SVM） 實(shí)現(xiàn)缺陷識(shí)別和定位。 Yuk 等[8]先利用SURF 特征提取算法進(jìn)行特征提取與特征描述， 再結(jié)合加權(quán)核估計(jì)技術(shù)和隨機(jī)森林算法進(jìn)行缺陷檢測(cè)。 陳壽宏等[9]利用PCB 焊點(diǎn)的形狀和紋理特征參數(shù)及方向梯度直方圖（HOG） 作為特征， 提出一種基于多特征的SVM 多分類缺陷檢測(cè)方法， 先對(duì)提取到的形狀和紋理特征利用SVM 中最優(yōu)核函數(shù)進(jìn)行焊點(diǎn)初步缺陷檢測(cè)， 對(duì)于誤檢的焊點(diǎn)再使用基于HOG 特征的SVM 多分類算法對(duì)其進(jìn)行二次檢測(cè)分類， 得到最終分類準(zhǔn)確率。 在真實(shí)復(fù)雜的缺陷檢測(cè)工業(yè)環(huán)境中， 該方法存在缺陷特征提取困難、 檢測(cè)算法復(fù)雜和耗時(shí)長(zhǎng)等問(wèn)題。 難以進(jìn)一步地取得較好的檢測(cè)效率。

近年來(lái)， 隨著工業(yè)數(shù)據(jù)量的快速增長(zhǎng)和計(jì)算機(jī)運(yùn)算性能的不斷提升， 深度學(xué)習(xí)以其強(qiáng)大的表征能力和復(fù)雜關(guān)聯(lián)關(guān)系的學(xué)習(xí)能力在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了卓越的成績(jī)[10]。 為了進(jìn)一步地提升PCB 表面缺陷的檢測(cè)效果， 本文對(duì)基于深度學(xué)習(xí)的PCB 缺陷檢測(cè)技術(shù)進(jìn)行了研究， 為PCB 制造過(guò)程的相關(guān)檢測(cè)技術(shù)提供了重要參考。

1 基于深度學(xué)習(xí)的缺陷檢測(cè)模型

近幾年， 深度學(xué)習(xí)技術(shù)因其自動(dòng)提取特征和高效自動(dòng)學(xué)習(xí)的能力， 攻克了因傳統(tǒng)方法有限的原始數(shù)據(jù)處理能力而導(dǎo)致的難點(diǎn)。 本文采用YOLOv3 深度學(xué)習(xí)模型作為PCB 缺陷檢測(cè)模型。 YOLOv3 將缺陷檢測(cè)任務(wù)定義為回歸問(wèn)題， 省去目標(biāo)候選框提取操作， 直接利用卷積神經(jīng)網(wǎng)絡(luò)在輸入圖像上進(jìn)行特征提取， 獲得缺陷的位置和類別， 完成端到端的缺陷檢測(cè)任務(wù)。

YOLOv3 基于YOLOv2， 提出了新的主干特征提取網(wǎng)絡(luò)Darknet-53， 在保持速度優(yōu)勢(shì)的情況下進(jìn)一步地提高了檢測(cè)精度， 具體如圖1 所示。 圖1 中Conv_BN_L 代表包含卷積Conv、 批量歸一化BN和激活函數(shù)Leaky ReLU 的常規(guī)卷積網(wǎng)絡(luò)操作，Residual Block 代表殘差模塊， Concat 為通道維度的特征合并[11]。 Darknet-53 主干特征提取網(wǎng)絡(luò)大量地使用ResNet 中的殘差模塊Residual Block， 并省去YOLOv2 中的池化操作， 直接用卷積層中的步長(zhǎng)來(lái)實(shí)現(xiàn)降采樣。 對(duì)于預(yù)測(cè)網(wǎng)絡(luò)部分， YOLOv3 引入了多尺度預(yù)測(cè)的概念， 使其更好地融合了上下文特征信息， 其中預(yù)測(cè)層數(shù)量增加為3 層， 分別地對(duì)應(yīng)13×13、 26×26、 52×52 這3 個(gè)不同尺度的特征圖； 并沿用YOLOv2 中的錨框機(jī)制， 利用K-means聚類出錨框的尺寸， 不同的是錨框個(gè)數(shù)由5 個(gè)增加到9 個(gè)， 按照其尺寸大小分到3 個(gè)預(yù)測(cè)層級(jí)。 由于Darknet-53 網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)和多尺度預(yù)測(cè)思想的引入等優(yōu)化措施， YOLOv3 檢測(cè)性能表現(xiàn)較YOLOv2有顯著的提升。

圖1 YOLOv3 網(wǎng)絡(luò)框架圖

2 實(shí)驗(yàn)基礎(chǔ)條件

2.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

在實(shí)驗(yàn)環(huán)境的選擇上， 本文實(shí)驗(yàn)采用了Ubuntu20.04-64 位操作系統(tǒng)， 型號(hào)為Intel Xeon Gold 6242R 的CPU 處理器， 型號(hào)為GeForce RTX 3090 的GPU， Python 開發(fā)語(yǔ)言， PyCharm 編譯軟件， PyTorch 深度學(xué)習(xí)框架為 CUDA11.2 +cuDNN8.0.4 的并行計(jì)算架構(gòu)。

為了更好地初始化網(wǎng)絡(luò)權(quán)重， 減少訓(xùn)練時(shí)間，以及避免過(guò)擬合或欠擬合現(xiàn)象， 我們采用遷移學(xué)習(xí)加微調(diào)訓(xùn)練方法。 基于遷移學(xué)習(xí)原理， 采用基于VOC 數(shù)據(jù)集的模型作為預(yù)訓(xùn)練模型。 在網(wǎng)絡(luò)訓(xùn)練過(guò)程中， 網(wǎng)絡(luò)輸入大小設(shè)為608×608， 優(yōu)化損失函數(shù)采用Adam 優(yōu)化器， 總訓(xùn)練批次量為100， 每批次大小為8， 初始學(xué)習(xí)率為0.000 1。

2.2 PCB 缺陷數(shù)據(jù)集

本文實(shí)驗(yàn)采用由北京大學(xué)智能機(jī)器人開發(fā)實(shí)驗(yàn)室提供的PCB 缺陷數(shù)據(jù)集[12]。 該數(shù)據(jù)集通過(guò)工業(yè)攝像機(jī)拍攝不同PCB 裸板的圖像后， 均衡不同缺陷種類的數(shù)量再進(jìn)行修圖， 最后得到每張圖像含若干個(gè)同類缺陷的缺陷圖像數(shù)據(jù)集， 主要包含斷路、短路、 缺孔、 鼠咬、 毛刺和殘銅6 類常見的PCB表面缺陷。 數(shù)據(jù)集包含共693 張PCB 缺陷圖像，其平均像素為2 777×2 138。 由于原始數(shù)據(jù)集樣本量較少， 采用裁剪和旋轉(zhuǎn)的數(shù)據(jù)擴(kuò)充方法對(duì)其進(jìn)行擴(kuò)充， 并使其統(tǒng)一為608×608 的大小， 在豐富數(shù)據(jù)集的同時(shí)一定程度地抑制過(guò)擬合。 最終得到包含34 378 張圖像的PCB 表面缺陷數(shù)據(jù)集， 其中每張圖片包含若干個(gè)同類表面缺陷。 隨后將其按9∶1的比例均勻地劃分為包含30 940 張圖像的訓(xùn)練集和包含3 438 張圖像的測(cè)試集， 數(shù)據(jù)集細(xì)節(jié)如圖2和表1 所示。

圖2 PCB 缺陷種類

表1 PCB 缺陷數(shù)據(jù)集信息

2.3 模型性能評(píng)價(jià)指標(biāo)

目前模型常用的性能評(píng)價(jià)指標(biāo)主要有精確率（P： Precision）、 召回率（R： Recall）、 F1 得分、某一類別的平均準(zhǔn)確率（AP： Average Precision）、多類別的平均準(zhǔn)確率 （mAP： mean Average Precison） 和衡量檢測(cè)速度的每秒傳輸幀數(shù)（FPS：Frames Per Second）， 具體的計(jì)算公式如下：

式（1） - （4） 中： TP——正樣本被正確識(shí)別為正確樣本的個(gè)數(shù)；

FP——負(fù)樣本被錯(cuò)誤識(shí)別為正樣本的個(gè)數(shù)；

FN——正樣本被錯(cuò)誤識(shí)別為負(fù)樣本的個(gè)數(shù)；

C——缺陷類別的個(gè)數(shù)。

3 實(shí)驗(yàn)結(jié)果分析

文中通過(guò)對(duì)比Faster RCNN、 SSD、 YOLOv3和YOLOv4 4 個(gè)主流的檢測(cè)模型， 驗(yàn)證深度學(xué)習(xí)在PCB 缺陷檢測(cè)的適用性， 優(yōu)選更加符合檢測(cè)的模型。 實(shí)驗(yàn)結(jié)果如表2 所示， 從表2 中可以看出，YOLOv3 取得了最好的檢測(cè)精度， 其mAP 達(dá)到98.99%， 分別比Faster RCNN、 SSD 和YOLOv4 高39.51%、 0.75%和0.08%。 在檢測(cè)速度方面，YOLOv3 同樣具有最快的檢測(cè)速度， 其FPS 為71.28， 分別比Faster RCNN、 SSD 和YOLOv4 高23.72、 5.20 和28.29。 實(shí)驗(yàn)對(duì)比結(jié)果顯示， 針對(duì)PCB 缺陷數(shù)據(jù)集， “一步走” 檢測(cè)模型在檢測(cè)精度和檢測(cè)速度上均比“兩步走” 檢測(cè)模型表現(xiàn)更好。 雖然“一步走” 檢測(cè)模型的檢測(cè)精度差異略小， 但YOLOv3 取得更快的檢測(cè)速度。 同時(shí)， 由實(shí)驗(yàn)結(jié)果（圖3） 可知， 針對(duì)PCB 缺陷種類多、 缺陷微小、 位置隨機(jī)、 尺寸不一和數(shù)量任意等特征，YOLOv3 檢測(cè)模型可精確地分類與定位， 并均可獲得較高的置信度。 這表明了YOLOv3 均衡精度與速度， 更加符合實(shí)際的PCB 實(shí)時(shí)在線缺陷檢測(cè)需求。

表2 不同檢測(cè)模型的性能表現(xiàn)

圖3 YOLOv3 的部分檢測(cè)結(jié)果圖

4 結(jié)束語(yǔ)

文中針對(duì)目前PCB 缺陷檢測(cè)算法存在嚴(yán)重依賴標(biāo)準(zhǔn)模板、 人工提取特征和成本高等局限性， 提出了基于深度學(xué)習(xí)的PCB 缺陷檢測(cè)方法。 該方法首先對(duì)現(xiàn)存的PCB 缺陷數(shù)據(jù)集進(jìn)行圖像擴(kuò)充， 再利用不同的主流檢測(cè)模型進(jìn)行檢測(cè)性能的實(shí)驗(yàn)對(duì)比。 由實(shí)驗(yàn)結(jié)果可知， YOLOv3 檢測(cè)模型的mAP 高達(dá)98.99%， FPS 為71.28， 滿足PCB 實(shí)時(shí)在線的檢測(cè)需求。 此外， 本研究中的數(shù)據(jù)集僅囊括6 種常見的PCB 缺陷， 后期需要不斷地更新缺陷種類數(shù)量，充分地發(fā)揮深度學(xué)習(xí)的自主學(xué)習(xí)和自動(dòng)提取特征的能力。