林璐穎，吳慧君，楊文元

(1.漳州職業(yè)技術(shù)學(xué)院,福建 漳州 363000； 2.閩南師范大學(xué) 福建省粒計(jì)算及其應(yīng)用重點(diǎn)實(shí)驗(yàn)室，福建 漳州 363000)

缺陷檢測(cè)在印刷電路板(Printed Circuit Boards，PCB)生產(chǎn)成本中占據(jù)很大比例，是保證PCB產(chǎn)品質(zhì)量的重要手段[1].近年來(lái)，基于圖像處理技術(shù)的各種自動(dòng)光學(xué)檢測(cè)方法廣泛應(yīng)用于PCB檢測(cè)[2]，這些方法多數(shù)基于參考比較法[3]，在缺陷檢查中，將被檢查的PCB圖像與標(biāo)準(zhǔn)樣品圖像通過(guò)各種邏輯算法進(jìn)行比較，最后將被檢查圖像的缺陷信息輸出給用戶[4].

自2014年以來(lái)，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法研究在圖像分析領(lǐng)域，取得令人矚目的成果[5].目前主流的算法可以分為兩類:一類是基于Region Proposal的R-CNN系列算法R-CNN，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN[6]等，這類算法分為two-stage[7]，生成目標(biāo)候選框之后再對(duì)其做分類與回歸[8-9]，識(shí)別候選區(qū)中的對(duì)象;另一類one-stage算法通過(guò)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)的類別和位置.Liu等人[10]提出了單次多盒檢測(cè)器(Single Shot MultiBoxDetector,SSD)，采用單一深度神經(jīng)網(wǎng)絡(luò)檢測(cè)目標(biāo).Joseph等人提出了YOLO系列方法，直接在同一個(gè)無(wú)分支卷積網(wǎng)絡(luò)中進(jìn)行特征提取、邊界框回歸和分類[13].使得網(wǎng)絡(luò)結(jié)構(gòu)更加簡(jiǎn)單，大大提高了檢測(cè)速度.

然而，PCB布線密集復(fù)雜，缺陷非常小，人工目測(cè)難以完成高精度的缺陷檢測(cè)任務(wù).基于圖像識(shí)別技術(shù)的相關(guān)檢測(cè)系統(tǒng)，在實(shí)際檢測(cè)中對(duì)定位要求較高，PCB生產(chǎn)環(huán)境復(fù)雜，被檢測(cè)圖像對(duì)比度低、亮度不均勻、形狀不規(guī)則[14]等問(wèn)題導(dǎo)致誤檢率和漏檢率過(guò)高[15]，難以實(shí)現(xiàn)精準(zhǔn)的識(shí)別效果.

本文提出雙神經(jīng)缺陷檢測(cè)網(wǎng)絡(luò)(Dual Nerve Defect Detection Network,DNDD)，融合YOLOv3和VGG19兩個(gè)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)PCB缺陷小目標(biāo)的精確檢測(cè).利用DNDD算法首先對(duì)PCB缺陷數(shù)據(jù)集DE進(jìn)行預(yù)處理，根據(jù)標(biāo)注文件將缺陷目標(biāo)裁剪出來(lái)形成數(shù)據(jù)集DE1.將DE和DE1分別輸入YOLOv3和VGG19網(wǎng)絡(luò)進(jìn)行訓(xùn)練，生成缺陷檢測(cè)模型M1和M2.其次，使用YOLOv3檢測(cè)模型M1對(duì)PCB圖像進(jìn)行檢測(cè)，目標(biāo)置信度50%以上為缺陷確認(rèn)目標(biāo)R1，置信度50%以下為缺陷待確認(rèn)目標(biāo)R2.最后，將R2裁剪出來(lái)，使用VGG19缺陷檢測(cè)模型M2對(duì)其進(jìn)行二次檢測(cè)，檢測(cè)結(jié)果中目標(biāo)置信度大于50%的為R3，對(duì)R1和R3進(jìn)行融合，提高了目標(biāo)的置信度.DNDD采用的雙網(wǎng)絡(luò)結(jié)構(gòu)有助于檢測(cè)出置信度較低的目標(biāo)，大大降低了小目標(biāo)的漏檢率.在PCB缺陷檢測(cè)中表現(xiàn)出了優(yōu)秀的性能.

1 相關(guān)工作

本節(jié)主要介紹構(gòu)成DNDD的兩種檢測(cè)相關(guān)技術(shù):YOLOv3被用于目標(biāo)的初始檢測(cè);VGG19對(duì)置信度低的目標(biāo)進(jìn)行重新檢測(cè)，保證檢測(cè)結(jié)果.

1.1 YOLOv3

YOLOv3借鑒ResNet殘差網(wǎng)絡(luò)，設(shè)計(jì)了功能更強(qiáng)大的Darknet-53網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)特征提取[16].與ResNet-101相比，Darknet-53網(wǎng)絡(luò)的速度是ResNet-101的1.5倍.在精確度相同的情況下，Darknet-53比ResNet-152快兩倍[17].YOLOv3采用類似特征金字塔網(wǎng)絡(luò)RPN，對(duì)不同大小的對(duì)象進(jìn)行多尺度預(yù)測(cè).當(dāng)輸入一個(gè)608×608大小的圖像，網(wǎng)絡(luò)會(huì)輸出76×76，38×38，19×19三個(gè)尺度的特征圖.每個(gè)特征圖設(shè)置預(yù)測(cè)3個(gè)先驗(yàn)框，一共預(yù)測(cè)9個(gè)先驗(yàn)框.76×76有較小的感受野，對(duì)應(yīng)較小的先驗(yàn)框，用于檢測(cè)小物體， 19×19小尺度特征圖有較大的感受野， 適合檢測(cè)大物體.最后， 融合三個(gè)特征圖上的目標(biāo)框，篩選出置信度最高的邊界框，輸出目標(biāo)的定位及分類.這些改進(jìn)使得YOLOv3通過(guò)大量數(shù)據(jù)訓(xùn)練出來(lái)的模型具有更強(qiáng)的泛化能力，在小目標(biāo)檢測(cè)的速度和精度上表現(xiàn)出色[18].

1.2 VGG19網(wǎng)絡(luò)

VGG NET在2014由牛津大學(xué)視覺(jué)幾何組和 DeepMind 公司提出后，成為當(dāng)年最流行的卷積神經(jīng)網(wǎng)絡(luò)模型.目前，VGG以簡(jiǎn)潔性、實(shí)用性，以及在圖像分類和目標(biāo)檢測(cè)任務(wù)中的出色表現(xiàn)，廣泛應(yīng)用于圖像特征的提取.其中網(wǎng)絡(luò)層次最深的VGG19網(wǎng)絡(luò)模型在小目標(biāo)的分類和定位任務(wù)上表現(xiàn)尤為突出[8].卷積神經(jīng)網(wǎng)絡(luò)模型具有很強(qiáng)的特征提取能力[19-21]，VGG19整個(gè)網(wǎng)絡(luò)都使用了同樣大小的卷積核尺寸3×3和最大池化尺寸2×2.對(duì)于給定的感受野，采用堆積的小卷積核是優(yōu)于采用大的卷積核，多層非線性層可以增加網(wǎng)絡(luò)深度來(lái)保證學(xué)習(xí)更復(fù)雜的模式，而且代價(jià)比較小.

2 雙網(wǎng)絡(luò)缺陷檢測(cè)

本節(jié)展示DNDD的算法過(guò)程.DNDD使用疊加處理來(lái)優(yōu)化目標(biāo)檢測(cè)，增強(qiáng)了小目標(biāo)特性和系統(tǒng)魯棒性.PCB缺陷數(shù)據(jù)集中的圖像數(shù)量，類別，分辨率和缺陷的比例，對(duì)檢測(cè)的結(jié)果有重要影響.

2.1 小目標(biāo)檢測(cè)

在淺層網(wǎng)絡(luò)中，特征信息較少，但目標(biāo)位置信息準(zhǔn)確；在深度網(wǎng)絡(luò)中，特征信息豐富，但目標(biāo)位置粗糙.DNDD結(jié)合了不同尺度下的預(yù)測(cè)，目標(biāo)識(shí)別準(zhǔn)確率有很大提升，尤其是在小目標(biāo)檢測(cè)方面.如圖1所示，在DNDD檢測(cè)中，對(duì)輸入的PCB圖像調(diào)整大小為608×608像素.采用上采樣和多尺度策略在三種特征圖19×19、38×38和76×76上進(jìn)行預(yù)測(cè)，執(zhí)行5次采樣，每個(gè)采樣步長(zhǎng)為2，網(wǎng)絡(luò)的最大步長(zhǎng)為25.網(wǎng)絡(luò)在特征圖的每個(gè)單元格上預(yù)測(cè)3個(gè)先驗(yàn)框，使用K-means聚類出九種尺寸的先驗(yàn)框，大小為(10×13)，(16×30)，(33×23)，(30×61)，(62×45)，(1 059×119)，(116×90)，(156×198)，(373×326)，目標(biāo)中心點(diǎn)落在哪個(gè)單元格，該單元格與ground truth的IoU最大的先驗(yàn)框負(fù)責(zé)預(yù)測(cè)目標(biāo)，最后，顯示目標(biāo)的定位及其分類.

圖1 DNDD檢測(cè)結(jié)構(gòu)圖

先驗(yàn)框預(yù)測(cè)一個(gè)置信度值和四個(gè)坐標(biāo):kx，ky，kw，kh.置信值由先驗(yàn)框與真實(shí)值的符合度決定.圖2中虛線代表預(yù)測(cè)的先驗(yàn)框，實(shí)線代表ground truth.假設(shè)目標(biāo)中心點(diǎn)所在的單元格距離圖像左上角的邊距為(Px,Py)，該單元格對(duì)應(yīng)的先驗(yàn)框?qū)挾群透叨确謩e為cw，ch.σ(x)為sigmoid函數(shù)，將坐標(biāo)歸一化到0～1之間.每個(gè)單元格有五個(gè)基本參數(shù)，即bx，by，bw，bh，confidence.則預(yù)測(cè)邊界框的真實(shí)值由式(1)～(4)給出：

圖2 先驗(yàn)框機(jī)制

bx=σ(kx)+px,

(1)

by=σ(ky)+py,

(2)

bw=cwekw,

(3)

bh=chekh.

(4)

網(wǎng)絡(luò)完成初步檢測(cè)并輸出結(jié)果R，每個(gè)目標(biāo)獲得七條信息，分別為目標(biāo)所在圖像名稱、類別、置信度、目標(biāo)的寬和高、目標(biāo)中心點(diǎn)坐標(biāo).置信度大于等于50%的目標(biāo)為R1，置信度小于50%的目標(biāo)為R2.將R2裁剪出來(lái)，進(jìn)行二次檢測(cè).

2.2 低置信度目標(biāo)檢測(cè)

如圖1所示，DNDD首先對(duì)PCB增強(qiáng)數(shù)據(jù)集DE進(jìn)行預(yù)處理，根據(jù)標(biāo)注文件將DE中的目標(biāo)裁剪出來(lái)，調(diào)整大小后送入VGG網(wǎng)絡(luò)訓(xùn)練，生成檢測(cè)模型.用模型對(duì)網(wǎng)絡(luò)初步檢測(cè)后的低置信度目標(biāo)R2進(jìn)行二次檢測(cè)，輸出結(jié)果.篩選二次檢測(cè)結(jié)果中置信度大于等于50%的目標(biāo)，重置R中相對(duì)應(yīng)目標(biāo)的置信度.融合兩次檢測(cè)結(jié)果后，再分別計(jì)算六個(gè)分類的平均精確度，得到最終的檢測(cè)結(jié)果.

VGG19在傳統(tǒng)CNN基礎(chǔ)上加深了網(wǎng)絡(luò)深度，采用小尺度卷積濾波器提取圖像邊緣細(xì)節(jié)特征，有利于提高小目標(biāo)識(shí)別準(zhǔn)確度.在檢測(cè)過(guò)程中，由于PCB缺陷目標(biāo)尺寸小且類型多，容易過(guò)擬合.為防止這種情況，DNDD對(duì)VGG19網(wǎng)絡(luò)進(jìn)行了一些改進(jìn).將dropout添加到整個(gè)連接層，在每次訓(xùn)練時(shí)，讓某些特征檢測(cè)器停止工作，部分神經(jīng)元不被激活，防止過(guò)擬合，提高模型泛化能力.另外在網(wǎng)絡(luò)中輸入數(shù)據(jù)的每一層添加batch normalization，能有效提高訓(xùn)練速度和分類精度，有利于數(shù)據(jù)的均勻分布和更好的模型推廣，這些設(shè)計(jì)都促進(jìn)了檢測(cè)準(zhǔn)確率的提升.

2.3 損失函數(shù)

損失函數(shù)用于計(jì)算預(yù)測(cè)的缺陷目標(biāo)與實(shí)際缺陷目標(biāo)之間的數(shù)據(jù)差距，在很大程度上影響模型收斂的效果.DNDD損失包含四部分：中心坐標(biāo)損失Lcentre，邊界框?qū)捀邠p失Lwh，分類損失Lclass和置信度損失Lconf.缺陷目標(biāo)的坐標(biāo)損失通過(guò)計(jì)算Lcentre和Lwh得到，這部分損失會(huì)影響實(shí)驗(yàn)中的交并比.計(jì)算分類損失可以幫助確定預(yù)測(cè)目標(biāo)所屬類別的概率，目標(biāo)類別的錯(cuò)檢會(huì)影響召回率.

(5)

(6)

在計(jì)算分類損失時(shí)，對(duì)每個(gè)缺陷分類標(biāo)簽使用二值交叉熵?fù)p失.ki代表分類概率.分類損失函數(shù)如式(7)所示.

(7)

(8)

算法：雙神經(jīng)缺陷檢測(cè)網(wǎng)絡(luò)(DNDD)

-------------------------------------------

輸入：PCB缺陷數(shù)據(jù)集DE，PCB圖像，表1實(shí)驗(yàn)參數(shù).

輸出：檢測(cè)結(jié)果R，R1，R2，R3，檢測(cè)精度評(píng)價(jià)指標(biāo)AP，mAP.

1)將DE輸入YOLOv3網(wǎng)絡(luò)訓(xùn)練，生成檢測(cè)模型M1.

2)M1對(duì)PCB圖像檢測(cè)并輸出檢測(cè)結(jié)果R，目標(biāo)置信度大于50%為R1，置信度小于50%為R2.

3)將R2裁剪出來(lái)，重新調(diào)整大小，形成PCB缺陷數(shù)據(jù)集Dtn.

4)根據(jù)標(biāo)注文件，將DE上的缺陷目標(biāo)裁剪出來(lái)形成數(shù)據(jù)集DE1，輸入VGG19網(wǎng)絡(luò)訓(xùn)練，得到檢測(cè)模型M2.

5)M2對(duì)Dtn進(jìn)行檢測(cè)并輸出檢測(cè)結(jié)果，目標(biāo)置信度大于50%為R3.

6)將R1和R3進(jìn)行融合，計(jì)算AP，mAP.

返回：檢測(cè)結(jié)果.

3 實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置

本文實(shí)驗(yàn)配置：GPU為NVIDIA GeForce RTX 2080ti，CPU為Intel(R) Xeon(R) W2133，3.6GHz/32G，WIN10系統(tǒng).DNDD系統(tǒng)參數(shù)包括YOLOv3檢測(cè)和VGG19檢測(cè)兩部分，參數(shù)設(shè)置如表1所示.

表1 實(shí)驗(yàn)參數(shù)

3.2 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)基于北京大學(xué)智能機(jī)器人開(kāi)放實(shí)驗(yàn)室提供的693張PCB原始缺陷數(shù)據(jù)集D，包含六種PCB常見(jiàn)缺陷，分別為：開(kāi)路、缺口、短路、毛刺、缺孔和銅渣.圖像平均大小為2 777×2 138像素，每張圖像都有3～5個(gè)缺陷，每個(gè)缺陷提供相應(yīng)的邊界框標(biāo)注數(shù)據(jù).

由于數(shù)據(jù)集較小，Runwei Ding[4]等人采用了添加高斯噪聲，改變對(duì)比度，旋轉(zhuǎn)圖像，翻轉(zhuǎn)，隨機(jī)剪裁和移位等六項(xiàng)數(shù)據(jù)增強(qiáng)技術(shù)，對(duì)數(shù)據(jù)集D進(jìn)行擴(kuò)充，將圖像裁剪成600×600像素的子圖像，得到PCB缺陷增強(qiáng)數(shù)據(jù)集DE.使用數(shù)據(jù)增強(qiáng)技術(shù)可以解決小數(shù)據(jù)集的局限，提高模型的泛化能力，另一方面增加噪聲數(shù)據(jù)，可以增強(qiáng)模型的魯棒性.訓(xùn)練集、驗(yàn)證集和測(cè)試集比例分別為60%，20%，20%.數(shù)據(jù)集D和DE分布如表2所示.

表2 原始缺陷數(shù)據(jù)集D和增強(qiáng)數(shù)據(jù)集DE

PCB缺陷數(shù)據(jù)集包括6類缺陷:開(kāi)路、缺口、短路、毛刺、缺孔和銅渣，圖3中展示了PCB缺陷范例.

圖3 PCB缺陷范例

3.3 評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)采用平均精確度AP、mAP作為PCB缺陷檢測(cè)性能的精度評(píng)價(jià)指標(biāo)，其數(shù)值越高，表示算法的檢測(cè)精度越高.通過(guò)計(jì)算召回率Recall評(píng)估檢測(cè)器對(duì)目標(biāo)的查全率.實(shí)驗(yàn)中， 還利用目標(biāo)的IoU值來(lái)預(yù)測(cè)目標(biāo)的類別.當(dāng)IoU在某個(gè)類別中的值大于等于50%時(shí)，認(rèn)為目標(biāo)屬于該類別.

3.4 DNDD實(shí)驗(yàn)結(jié)果與分析

DNDD每一次迭代隨機(jī)抽取64幅圖像，分32組參與訓(xùn)練，以利于更好地尋找梯度下降的方向，并且提高內(nèi)存利用率.在網(wǎng)絡(luò)中再次通過(guò)調(diào)整圖像飽和度，曝光度和對(duì)比度提高模型的泛化能力.每訓(xùn)練1 000次保存一次模型，以選取最優(yōu)模型.對(duì)比DNDD在不同數(shù)據(jù)集上的表現(xiàn)，DNDD使用原始數(shù)據(jù)集D進(jìn)行訓(xùn)練，Loss曲線在迭代3 600次之后趨于收斂，使用增強(qiáng)數(shù)據(jù)集DE訓(xùn)練，Loss曲線在迭代2 400次左右開(kāi)始收斂，收斂速度比較快且穩(wěn)定，隨著Loss的快速下降，mAP直線上升，穩(wěn)定在99.2%左右.實(shí)驗(yàn)mAP/Loss曲線如圖4所示.通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，使用增強(qiáng)數(shù)據(jù)集訓(xùn)練的DNDD-DE相比于使用原始數(shù)據(jù)集的DNDD-D，在模型的收斂和平均檢測(cè)精度上都有提高，模型泛化能力更好，魯棒性更強(qiáng).

圖4 mAP/Loss曲線圖

使用同一數(shù)據(jù)集DE的條件下，將DNDD和目前主流檢測(cè)算法進(jìn)行對(duì)比.由表3可知，在6個(gè)缺陷類別的檢測(cè)結(jié)果中，五種算法對(duì)缺孔的檢測(cè)平均精確度最高，其中DNDD、YOLOv3和Faster R-CNN都為99%以上，F(xiàn)PN最少，為95.54%.各個(gè)算法對(duì)短路的檢測(cè)平均精確度最低，PCB線路密集，短路缺陷特征不明顯，易與常規(guī)線路混淆，不容易識(shí)別，DNDD對(duì)短路的檢測(cè)AP值最高，也僅為98.27%.FPN在毛刺上的AP值只有87.62%，DNDD表現(xiàn)最好，為99.29%，比FPN提高了11.67%.在IoU為0.5的情況下，DNDD的mAP值最高，為99.22%，YOLOv3次之，mAP值為99.15%，F(xiàn)PN算法檢測(cè)精度最低，mAP為92.08%.

表3 DNDD與主流檢測(cè)算法在PCB數(shù)據(jù)集缺陷上的AP和mAP值對(duì)比

FPN通過(guò)構(gòu)造多層特征金字塔提取不同深度的特征信息，可以達(dá)到較好的檢測(cè)精度，然而多次的降采樣和上采樣操作會(huì)引起深層網(wǎng)絡(luò)的定位誤差，F(xiàn)PN在6個(gè)類別上的AP值相對(duì)較低.Faster R-CNN采用共享卷積層提取特征，RPN網(wǎng)絡(luò)產(chǎn)生候選框，速度和精度都有大幅提高，在PCB缺陷檢測(cè)中表現(xiàn)不錯(cuò)，各個(gè)缺陷類別的AP值都能達(dá)到95%左右.YOLOv3采用darknet網(wǎng)絡(luò)和多尺度預(yù)測(cè)，更有利于小目標(biāo)的檢測(cè).YOLOv3在四種主流算法中表現(xiàn)最好的.

相比其他算法，DNDD有三個(gè)分類的AP值都有大幅度提高，但是缺孔、缺口和開(kāi)路的檢測(cè)平均精確率相比YOLOv3分別降低了0.05%、0.3%和 0.04%.開(kāi)路特征與線路相似，而缺孔和缺口缺陷受對(duì)比度影響較大，個(gè)別形狀缺損比較嚴(yán)重的缺陷容易與PCB底板混淆，在網(wǎng)絡(luò)提取低階特征時(shí)，顏色、邊緣等信息提取難度較大，可能導(dǎo)致缺孔、缺口和開(kāi)路缺陷的漏檢.

圖5為PCB缺陷的識(shí)別效果范例，DNDD的測(cè)試結(jié)果較為理想，優(yōu)于YOLOv3.DNDD雖然會(huì)有框選面積不夠完整的情況，但對(duì)于復(fù)雜背景中的小目標(biāo)的識(shí)別效果更好.檢測(cè)的PCB圖像包含六個(gè)分類的缺陷共5 509個(gè).DNDD檢測(cè)出了5 484個(gè)，漏檢缺陷個(gè)數(shù)25個(gè)，與YOLOv3比，多檢測(cè)出了30個(gè)缺陷，DNDD的召回率為99.55%，比YOLOv3高了0.55%.

圖5 YOLOv3和DNDD檢測(cè)結(jié)果范例

觀察實(shí)驗(yàn)可知，DNDD采用上采樣和多尺度策略，更有助于小目標(biāo)的檢測(cè).為了獲取細(xì)粒度的特征，對(duì)前兩層的特征圖進(jìn)行上采樣，之后將上采樣后的特征圖和之前的特征圖進(jìn)行連接，不是簡(jiǎn)單的拼接多尺度向量，只有當(dāng)PCB缺陷目標(biāo)落入特征圖網(wǎng)格時(shí)，這個(gè)網(wǎng)格才唯一負(fù)責(zé)預(yù)測(cè)這個(gè)缺陷目標(biāo).在對(duì)低置信度目標(biāo)進(jìn)行二次檢測(cè)時(shí)，DNDD使用連續(xù)的幾個(gè)3×3的卷積核，在保證具有相同感知野的條件下，增加了網(wǎng)絡(luò)深度，在一定程度上提高了低置信度目標(biāo)的檢測(cè)結(jié)果.

4 結(jié) 語(yǔ)

本文提出了一種雙網(wǎng)絡(luò)目標(biāo)檢測(cè)系統(tǒng)DNDD.該系統(tǒng)對(duì)低置信度目標(biāo)進(jìn)行二次檢測(cè)，解決了小目標(biāo)漏檢問(wèn)題，提高了檢測(cè)精度.但是，實(shí)驗(yàn)表明，提高檢測(cè)精度的代價(jià)是占用了更多的計(jì)算資源.下一步工作將針對(duì)這一弱點(diǎn)，嘗試對(duì)網(wǎng)絡(luò)進(jìn)行裁剪和輕量化,以期得到一個(gè)更優(yōu)的缺陷檢測(cè)系統(tǒng).