李文靜，張虎山，焦 鍵

(1.重慶水利電力職業(yè)技術學院 智能制造學院， 重慶 402160; 2.重慶建設汽車系統(tǒng)股份有限公司， 重慶 401320)

印刷電路板(PCB)集成了各種電子元器件的信息，其裝配質量直接關系到產(chǎn)品的性能。嚴重的焊接缺陷將引起整個電路損壞而導致控制系統(tǒng)、檢測系統(tǒng)、通信系統(tǒng)等的癱瘓。盡管近年來焊接工藝和質量檢驗水平不斷提高，然而仍然無法完全避免PCB焊接缺陷引發(fā)的故障。尤其對于貼片IC器件，它具有引腳多、間距小等特點，使得IC器件的焊接缺陷檢測難度高于其他的元件。

機器視覺檢測技術是以人工智能、模式識別和圖像處理為基礎，實現(xiàn)對目標對象的測量、判斷和識別[1]。目前，機器視覺在產(chǎn)品各方面缺陷檢測及其他領域均有廣泛應用。相對傳統(tǒng)檢測方法，機器視覺技術在實現(xiàn)企業(yè)自動化管理、安全高效生產(chǎn)方面起到了不可替代的作用，它既可以降低工人的勞動強度又可以提高產(chǎn)品生產(chǎn)的安全性，具有準確、快速、智能化程度高等優(yōu)點[2]。

本文在充分研究國內(nèi)外焊接缺陷檢測以及機器視覺的原理及應用方法的基礎上，提出了一種基于機器視覺的貼片IC焊接缺陷檢測系統(tǒng)，對PCB板在裝配過程中的貼片IC焊接缺陷進行檢測，以提高電路板裝配的效率和準確率。

1 貼片IC焊接檢測系統(tǒng)

1.1 系統(tǒng)結構

該貼片IC焊接缺陷檢測系統(tǒng)結構如圖1所示，整個系統(tǒng)主要包括工業(yè)相機、光源、裝配流水線、機械運動控制、圖像采集模塊、上位機、圖像處理模塊、瑕疵報警等。當系統(tǒng)啟動時，工業(yè)相機對經(jīng)過裝配流水線傳送過來的待檢測電路板進行圖像采集，并通過相機鏡頭經(jīng)光電傳感器及模數(shù)轉換等圖像采集模塊將二進制信號送到上位機中。上位機中的圖像處理模塊利用HALCON中的圖像處理算法對待檢測圖像進行定位、預處理、閾值分割等以提取貼片IC焊點特征信息，然后根據(jù)設定的焊點圖像模式識別算法判斷貼片IC焊點是否存在缺陷。如果檢測到存在缺陷，上位機則發(fā)出指令到運動控制模塊，剔除有焊點缺陷的PCB板。

圖1 檢測系統(tǒng)結構示意圖

1.2 圖像處理軟件

該貼片IC焊接缺陷檢測系統(tǒng)的圖像處理算法基于HALCON軟件設計，HALCON是德國MVtec公司開發(fā)的一套完善標準機器視覺算法包，擁有應用廣泛的機器視覺集成開發(fā)環(huán)境，它由一千多個各自獨立的函數(shù)，以及底層的數(shù)據(jù)管理核心構成，其中包含了各類數(shù)學轉換、濾波、形態(tài)學計算分析、校正、色彩以及幾何、分類辨識等基本計算功能，且與各類工業(yè)相機兼容性較好，能簡單便捷地獲取圖像，已被廣泛應用于工業(yè)生產(chǎn)的各類自動化檢測中[3]。

2 機器視覺檢測系統(tǒng)原理

針對貼片IC焊接缺陷檢測的問題，本文提出了一種基于機器視覺的檢測算法，算法處理流程如圖2所示。首先確定一個標準的模板圖像，利用模板圖像對待檢測圖像進行位置矯正，并確定待檢測ROI區(qū)域。然后對提取的待檢測區(qū)域進行圖像預處理、圖像分割提取焊點信息，包括圖像增強、圖像濾波、閾值分割、形態(tài)學處理等。最后對分割出的焊點圖像進行模式識別以確定焊點是否存在缺陷。

圖2 焊點檢測流程框圖

2.1 圖像定位

由于機械定位原因，PCB板在流水線工作平臺生產(chǎn)過程中可能會出現(xiàn)移位、旋轉等現(xiàn)象，因此，在檢測過程中首先對待檢測圖像進行位置矯正。本文采用剛體仿射變換，剛體變換分為平移和旋轉，從一個點和角度計算一個剛體仿射變換矩陣。在二維空間中，點(x1,y1)經(jīng)過剛體變換至點(x2,y2)的映射關系為

(1)

仿射變換通過增加圖像每一維度上的比例變化和縮放因子來擴展剛體變換的自由度，仿射變換可分解為平移變換和矩陣變換[4]。 在二維空間中，點(x1,y1)經(jīng)過仿射變換至點(x2,y2)的映射關系為

(2)

2.2 ROI區(qū)域提取

在圖像處理領域，有一個非常重要的名詞ROI(region of interest)，對應的中文解釋就是感興趣區(qū)域，即從圖像中圈定一個區(qū)域，將要處理的圖像從整個圖像變?yōu)橐粋€小區(qū)域，這樣就便于進行進一步的處理，可以大大減小處理時間，這個區(qū)域就成為圖像分析所關注的焦點。

對于待檢測PCB板上除了檢測目標焊接引腳，還會有很多其他無需檢測的背景物體，如引腳標識、線路等，檢測環(huán)境較復雜。而對于一個特定的電路板，其芯片引腳位置都是固定的，因此，首先利用HALCON中gen_rectangle算子在標準模板圖像中創(chuàng)建需要檢測的元器件矩形區(qū)域，然后在PCB板檢測過程中，利用read_region算子讀取標準模板創(chuàng)建的矩形區(qū)域，并通過intersection、reduce_domain算子從待檢測圖中分割ROI區(qū)域作為檢測對象[7]。如圖3所示為本實驗提取的待檢測ROI區(qū)域。

圖3 ROI區(qū)域

2.3 圖像預處理

1) 圖像增強。為了提高檢測系統(tǒng)的處理速度，在對待檢測目標圖像處理過程中，需要將檢測系統(tǒng)采集到的彩色圖像轉化成單通道的灰度圖像。圖像的轉換按照以下公式進行：

Y=0.299*R+0.587*G+0.114*B

(3)

其中:Y為彩色圖像轉換成灰度圖像后對應像素點的灰度值；R、G、B分別為紅、綠、藍三色的分量值，對待檢測圖像進行灰度化處理效果如圖4(a)所示。

另外，圖像在采集過程中，會因為PCB板元器件之間的相互遮擋導致引腳焊點區(qū)域曝光不足的情況。檢測過程中就需要對待檢測PCB圖像進行均衡化處理，使得圖像像素值在0～255灰階上的分布更加均衡，從而增大圖像間距及反差，使得引腳焊點細節(jié)更加清晰[8]，處理效果如圖4(b)所示。

2) 圖像濾波。PCB板表面鍍層面的不均勻反射、PCB板上的污物，圖像在生成以及傳輸過程中產(chǎn)生的信道噪聲、電噪聲和其他噪聲都會影響焊點圖像的質量，對后續(xù)特征提取產(chǎn)生不利影響。為了抑制噪聲，改善待測焊點圖像質量，便于后續(xù)更高層次的處理，必須對待檢焊點圖像進行去噪預處理[9]。通常去噪處理的方法有中值濾波、均值濾波、高斯濾波等。實驗發(fā)現(xiàn)，中值濾波算法對于本文的檢測環(huán)境能夠取得較好的濾波效果。中值濾波算法的原理是：首先對窗口M中的各個像素按照灰度值大小進行排隊，然后用中間位置的像素值g(x,y)表示原來f(x,y)的灰度值：

g(x,y)=Med{f(x-k,y-l),(k,l∈M)}

(4)

式(4)中:M表示窗口大??；f(m-k,n-l)用以表示窗口M的像素灰度值大小。

利用HALCON中的median_image算子對圖像進行中值濾波以消除噪聲。其濾波效果如圖4(c)所示，中值濾波有效消除了該IC芯片圖像的噪聲信息，為后續(xù)處理奠定了良好基礎。

圖4 圖像預處理

2.4 圖像分割

1) 閾值分割。圖像分割就是依據(jù)形狀、紋理、灰度和顏色等特征把圖像分成若干個具有獨特性質的特定區(qū)域并提出感興趣目標的過程[10-11]?，F(xiàn)有的圖像分割方法主要可以分為以下幾類：基于區(qū)域的分割方法、基于邊緣的分割方法、基于閾值的分割方法以及基于特定理論的分割方法等。

通常焊點區(qū)域和芯片本身具有明顯的灰度差，因此，本文利用灰度直方圖確定全局閾值進行分割，使用Halcon中的threshold (Median,Region,195,248)算子，其中MinGray=195，MaxGray=248。

2) 形態(tài)學處理。通過閾值分割得到的區(qū)域不僅含有焊點區(qū)域，也包含許多非焊點的雜點和小的突出物，這將影響檢測結果的精確性。為了保證檢測精確度，準確提取焊點區(qū)域，需要對圖像進行形態(tài)學處理，以消除不必要的干擾。形態(tài)學處理的基本運算包括膨脹和腐蝕，對膨脹、腐蝕的基本運算進行組合又可以形成閉運算、開運算等實用的形態(tài)學算法[12]。本實驗采用閉運算對待檢測焊點圖像進行處理，即先膨脹后腐蝕。

膨脹運算如下：

膨脹運算可以用以聯(lián)通較近的多個區(qū)域，填補閾值分割后待檢測目標中的空洞。用公式表示為:

(5)

腐蝕運算如下：

腐蝕運算用以消除目標圖像中的孤立、無用的噪聲點。腐蝕運算如式(6)所示。

AΘB={(x,y)|(B(x,y)?A)}

(6)

其中，A為二值圖像中所有像素值為1的點的集合，B是結構元。腐蝕運算可以使得圖像亮的細節(jié)部分減少，相比原圖像更暗。

閉運算如下：

閉運算就是先膨脹后腐蝕的運算過程，其公式如式(7)所示：

A·B=(A⊕B)ΘB

(7)

閉運算可以去除圖像中的暗細部分，消除細長的鴻溝、小的孔洞、狹窄的間斷，而目標對象總的形狀和位置不變。

本文分別利用了HALCON中的connection,select_region_point,closing_circle以及fill_up 等算子，消除了焊點檢測中小的孔洞，并填補輪廓線中的斷裂，處理效果比較好。如圖5為圖像分割效果圖。

圖5 圖像分割效果圖

2.5 焊點圖像識別

1) 區(qū)域連通。對IC焊點圖像進行分割后，為防止屬于同一焊點的像素被分成不同區(qū)域，以及方便計算焊點面積并進行進一步識別，需要進行區(qū)域連通[13-14]。

假如某點p與其相鄰域中的點q像素值相同，則認為p點和q點是連通的，當某個區(qū)域中的每個像素均與該區(qū)域其他像素連通時，則形成一個連通區(qū)域，常用的有4連通和8連通算子，4連通和8連通分別如圖6(a)、圖6(b)所示。經(jīng)過實驗驗證，8連通算子能更好的根據(jù)周圍像素對焊點缺陷區(qū)域進行檢測，故本文采用8連通區(qū)域。在Halcon中，連通區(qū)域算子為connection。

圖6 連通區(qū)域

2) 面積計算。焊點面積的計算指的就是計算焊點區(qū)域包括的像素點的總數(shù)目，可以使用HALCON中的area_center算子計算各個焊點區(qū)域的中心位置和焊點面積，并對檢測出的焊點各個區(qū)域像素值進行標記，從而通過計算圖像每個標記操作得到圖像總區(qū)域的個數(shù)。

3) 焊點識別流程。工業(yè)生產(chǎn)過程中最嚴重的焊點缺陷主要有短路和漏焊，本文主要針對這兩種缺陷進行識別。短路主要采用連通區(qū)域檢測算法通過識別焊點是否橋接來實現(xiàn)。首先得到同一連通區(qū)域中的所有像素點，并對不同的連通區(qū)域進行標記，然后計算這些連通區(qū)域的面積。如果有相鄰的兩個焊點連接到一起出現(xiàn)橋接，則連通區(qū)域面積將增大，且檢測結果中只會出現(xiàn)一個連通域，那么對于固定芯片，通過和標準圖像所提取的焊點個數(shù)及焊點面積進行比較，即可識別出是否存在短路焊點[15]。而對于漏焊的焊點，其連通域個數(shù)會減少，但各個連通區(qū)域面積不變，從而可以結合此兩個特征來判斷是否漏焊。在圖像預處理、圖像分割的基礎上對待檢測圖像進行識別，算法流程如圖7所示。

圖7 識別算法流程框圖

3 PCB板焊點檢測實驗

利用本文提出的貼片IC焊接缺陷檢測算法對待檢測芯片焊點進行檢測，爆點位置及焊點面積檢測界面如圖8所示。其中，該標準芯片正常焊點面積范圍為[120,160]，焊點區(qū)域個數(shù)為8。本文采集的待檢測芯片焊點面積大小像素值為[135 144 137 128 137 128 146 148]，焊點區(qū)域個數(shù)為8。通過判斷焊點區(qū)域個數(shù)，可見該芯片不存在短路和漏焊缺陷，確定為正常芯片。

圖8 爆點位置及焊點面積檢測界面

為驗證本文提出算法的可行性，對工業(yè)現(xiàn)場采集的260幅樣本圖像進行檢測，其中具有漏焊現(xiàn)象圖像96幅，具有橋接焊點的圖像85幅。利用本文提出的貼片IC檢測算法對其進行缺陷檢測，實驗結果如表1所示。

表1 實驗結果統(tǒng)計表

從表1數(shù)據(jù)可以看出：橋接樣本中98.8%的缺陷焊點可以被識別，漏焊樣本的識別率達100%，正常焊點的檢測正確率為98.7%，平均耗時為150 ms。由于光源等因素的影響，經(jīng)過分割后得到的連通區(qū)域面積減小，導致個別正常焊點、橋接被誤判為漏焊?？傮w看來，本文提出的貼片IC焊接缺陷識別算法取得較好的檢測效率和檢測精度。

4 結論

該貼片IC焊接缺陷檢測系統(tǒng)基于圖像增強、圖像濾波預處理，閾值分割、形態(tài)學處理等圖像分割及焊點缺陷模式識別的算法完成對電路板中貼片IC焊接主要缺陷橋接及漏焊的精確檢測。實驗結果表明，該檢測算法識別正確率達98.7%以上，平均耗時為150 ms，具有一定的理論和實際意義。