李笑容，覃志東，蔡 勇，肖芳雄

（1東華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 201620；2上海岳展精密科技有限公司，上海 201614；3金陵科技學(xué)院 軟件工程學(xué)院，南京 211169）

0 引 言

芯片封裝的外觀缺陷會影響芯片的性能與可靠性。為確保芯片質(zhì)量，科研人員就基于機(jī)器視覺的芯片外觀缺陷在線檢測技術(shù)進(jìn)行了大量的研究。例如，巢源提出了芯片表面缺陷圖像預(yù)處理的缺陷圖像切分矯正算法和缺陷圖像快速插值算法，缺陷圖像的模糊熵多閾值分割算法。陳愷提出了基于明暗場圖像的芯片表面缺陷提取算法。這些表面缺陷檢測技術(shù)采用傳統(tǒng)的二維圖像特征提取與處理方式，方法上限制了圖像信息的豐富度，缺陷特征提取受限，導(dǎo)致缺陷檢測精度不理想。

目前，高端的芯片外觀缺陷檢測設(shè)備仍被科磊等西方公司所壟斷并處于技術(shù)保密中。在國產(chǎn)替代的大背景下，突破芯片的微小外觀缺陷檢測核心算法，對提高國產(chǎn)檢測設(shè)備的檢測精度和檢出率，具有重要的意義。

現(xiàn)有研究表明，借助圖像特征增強(qiáng)有利于發(fā)現(xiàn)更加細(xì)微缺陷的特征。如梁麗秀等人采用圖像增強(qiáng)方法對細(xì)小的植物根系末梢進(jìn)行特征提取。梁淑芬等人利用圖像增強(qiáng)對舌體與下唇細(xì)微的色差進(jìn)行了精確劃分。此外，光度立體技術(shù)具備捕獲豐富、微小的圖像信息的優(yōu)勢；在此基礎(chǔ)上進(jìn)行圖像特征增強(qiáng)，能滿足對芯片微小外觀缺陷的特征提取，可達(dá)到更高的可檢測精度。

鑒于此，本文提出了光度立體技術(shù)結(jié)合Gabor變換的缺陷特征增強(qiáng)方法。本文成果為后期利用三維重建和YOLOv4設(shè)計(jì)出高精度的微小缺陷檢測和定位算法打下了基礎(chǔ)。

1 芯片外觀微小缺陷檢測方案

隨著高端芯片制程技術(shù)的不斷進(jìn)步，對這類芯片的封裝要求也越來越高?；诙S圖像處理技術(shù)的芯片外觀缺陷檢測系統(tǒng)，受限于分辨率和成像條件，已不能滿足高端芯片外觀微小缺陷檢測精度要求。而三維光度立體技術(shù)利用多光源下不同亮度差異的圖像進(jìn)行數(shù)字圖像信息的高維重建，可獲得豐富的圖像特征信息，利于提高缺陷檢測的精度。芯片微小缺陷檢測方案如圖1所示，經(jīng)過理論分析、論證和實(shí)驗(yàn)對照，本文設(shè)計(jì)出了一個(gè)基于光度立體技術(shù)的芯片外觀微小缺陷檢測方案。

圖1 芯片微小缺陷檢測方案圖Fig.1 Chip micro-defect detection scheme diagram

方案中，首先需要進(jìn)行光源選型和布局，搭建出光度立體硬件原型，才能采集到具有不同光度信息的圖片。然后對采集好的圖片進(jìn)行光度立體算子處理，得到反照率圖像。在此基礎(chǔ)上，調(diào)節(jié)好Gabor核函數(shù)參數(shù)，利用Gabor濾波器對反照率圖像實(shí)行進(jìn)一步的處理，生成較優(yōu)的特征增強(qiáng)的圖像信息。最后對反照率圖像進(jìn)行灰度三維重建，利用缺陷樣本圖片對設(shè)計(jì)好的YOLOv4模型進(jìn)行訓(xùn)練，就可以實(shí)現(xiàn)對缺陷的識別與定位。

其中，生成的反照率圖展示了物體表面經(jīng)入射光照射后反射的表面信息特征。圖像表面特征的完整度和局部信息的精確度決定了缺陷檢測的效果。文獻(xiàn)［6］指出Gabor函數(shù)可以同時(shí)處理圖像的時(shí)域和空域信息，而分析圖像的頻率變化對于表面特征研究起著至關(guān)重要的作用。把光度立體技術(shù)與Gabor濾波器相結(jié)合，利用Gabor濾波器處理光度立體技術(shù)生成的反照率圖，進(jìn)行芯片缺陷特征增強(qiáng)是本方案解決微小外觀缺陷檢測難題的關(guān)鍵所在，本文將詳細(xì)闡述。

2 光源布局與硬件原型搭建

2.1 圖像質(zhì)量評價(jià)方法

光度立體處理和Gabor圖像增強(qiáng)都會導(dǎo)致圖像質(zhì)量發(fā)生改變。如何評判圖像處理后質(zhì)量的好壞，下面引入幾個(gè)經(jīng)典圖像質(zhì)量評價(jià)算法。

（1）Brenner梯度函數(shù)。Brenner梯度函數(shù)是最常用的梯度評價(jià)函數(shù)，通過對相鄰2個(gè)像素灰度差的平方做計(jì)算而得，對此給出數(shù)學(xué)定義如下：

其中，（，）表示圖像中像素點(diǎn)（，）的灰度值，（）為圖像清晰度值。

（2）Laplacian梯度函數(shù)。Laplacian梯度函數(shù)采用Laplacian算子計(jì)算每一個(gè)像素點(diǎn)處的卷積結(jié)果并依次將其相加?；贚aplacian梯度函數(shù)的圖像清晰度的定義如下：

其中，，)＞，表示像素點(diǎn)(，)處Laplacian算子的卷積結(jié)果值。

（3）熵函數(shù)?；诮y(tǒng)計(jì)特征的熵函數(shù)是衡量圖像信息豐富程度的一個(gè)重要指標(biāo)。由信息論可知，一幅圖像的信息量是由該圖像的信息熵（）來度量：

其中，p是圖像中灰度值為的像素出現(xiàn)的概率，為灰度級總數(shù)（通常取值256）。根據(jù)Shannon信息論，熵最大時(shí)信息量最多。將此原理應(yīng)用到對焦過程，熵值越大則圖像越清晰。

2.2 光源布局

本文的光源選擇的是LED點(diǎn)光源。光度立體技術(shù)中光源的個(gè)數(shù)與入射角度會影響采集圖像的質(zhì)量。本文通過實(shí)驗(yàn)對比確定了優(yōu)化的入射角和光源數(shù)目，分述如下。

（1）入射角。根據(jù)經(jīng)驗(yàn)，本文分別選取光源與相機(jī)30°、45°、60°進(jìn)行對比。采集的圖片如圖2所示。

圖2 30°、45°、60°對應(yīng)采集圖Fig.2 30°，45°，60°corresponding photographs

由前面圖像質(zhì)量評估函數(shù)可得3種入射角所對應(yīng)的質(zhì)量評估值，參見表1。由表1可知，選用入射角為45°時(shí)Brenner函數(shù)數(shù)值、Laplacian函數(shù)值及熵函數(shù)值較大，即此角度下可以得到質(zhì)量較優(yōu)的圖像。因此光源與相機(jī)夾角選定為45°。

表1 不同入射角對應(yīng)圖質(zhì)量評估值表Tab.1 Corresponding image quality evaluation value table for different incident angles

（2）光源個(gè)數(shù)?？紤]到常用的光源數(shù)在3～6個(gè)之間。本文分別針對3、4、5、6個(gè)光源的方案進(jìn)行圖像采集并經(jīng)光度立體算子生成對應(yīng)的反照率圖，依次如圖3（a）～（d）所示。

圖3 多光源下反照率圖Fig.3 Albedo images under multiple light sources

多光源下反照率圖的質(zhì)量評估結(jié)果見表2。效果較理想的是4光源和5光源方案。綜合考慮系統(tǒng)執(zhí)行的實(shí)時(shí)性要求，決定選擇4光源布局方案。搭建好以用作光度立體圖像獲取的系統(tǒng)硬件原型如圖4所示。

表2 多光源反照率圖質(zhì)量評估值表Tab.2 The quality evaluation value table for multi-light source albedo images

圖4 光度立體硬件系統(tǒng)原型圖Fig.4 The diagram of photometric stereo hardware system prototype

3 基于Gabor變換圖像特征增強(qiáng)

Gabor變換的圖像增強(qiáng)效果取決于函數(shù)參數(shù)的選擇。為最大程度地利于Gabor濾波器展示精確的芯片圖像局部特征信息，需要選取合適的參數(shù)。下面闡述Gabor變換及其參數(shù)設(shè)置。

3.1 Gabor變換

Gabor函數(shù)與人類視覺系統(tǒng)中簡單細(xì)胞的視覺應(yīng)激反應(yīng)有著相似的特征，具有類似仿真的功能。使用Gabor濾波器對圖像的紋理特征及局部信息有著較好的識別效果。

Gabor變換消除了傅里葉變換（Fourier）無法分析圖像局部信號的局限。在傅里葉變換的基礎(chǔ)上引入了時(shí)間局部化的窗函數(shù)，得到了窗口傅里葉變換、即Gabor變換。

設(shè)函數(shù)∈（）為具體的函數(shù)，則Gabor變換定義為：

二維Gabor函數(shù)是一個(gè)用高斯函數(shù)調(diào)制的復(fù)正弦函數(shù)，能夠在給定區(qū)域內(nèi)提取出局部的頻域特征。一個(gè)典型的Gabor函數(shù)有如下形式：

（，）是高斯函數(shù)，通過調(diào)節(jié)函數(shù)旋轉(zhuǎn)角度可得到不同的Gabor核函數(shù)，從而達(dá)到調(diào)節(jié)濾波器的效果。3種角度、5種方向的Gabor濾波器如圖5所示。

圖5 3種角度、5種方向Gabor核函數(shù)示意圖Fig.5 Schematic diagram of Gabor kernel function in 3 angles and 5 directions

3.2 Gabor濾波器參數(shù)設(shè)置

Gabor濾波器組生成的子圖像會產(chǎn)生冗余信息。為減少冗余信息干擾，本文對Gabor濾波器的函數(shù)參數(shù)進(jìn)行比較和選取。圖像的頻域響應(yīng)情況會隨著不同參數(shù)生成的頻域信息而改變。因此濾波器設(shè)計(jì)基本規(guī)則是使Gabor濾波器組在圖像頻域空間的半峰響應(yīng)值相互接觸且不得重疊，相切的半峰幅度響應(yīng)頻譜圖即如圖6所示。

圖6 相切的半峰幅度響應(yīng)頻譜圖Fig.6 Spectrogram of tangent half-peak amplitude response

由式（5）可知，確定一組Gabor濾波器組需要確定方向比（）、函數(shù)旋轉(zhuǎn)角度（）、帶寬（），波長（），5組參數(shù)即可。通常一般取1，這樣濾波器的直流分量很小。

參數(shù)選取見表3。根據(jù)選取參數(shù)調(diào)節(jié)Gabor濾波器，圖7（a）為濾波器調(diào)節(jié)圖，包含各個(gè)參數(shù)調(diào)節(jié)棒及實(shí)時(shí)對應(yīng)Gabor濾波效果圖；圖7（b）為得到的對應(yīng)核函數(shù)圖。

表3 Gabor函數(shù)參數(shù)表Tab.3 Gabor function parameter table

圖7 Gabor濾波器調(diào)節(jié)及核函數(shù)圖Fig.7 Diagram of Gabor filter adjustment and kernel function

本文選取的函數(shù)參數(shù)最終達(dá)到了使Gabor濾波器得到精確的圖像局部特征信息，增強(qiáng)圖像的目的。

4 實(shí)驗(yàn)與結(jié)果分析

首先，本文以圖4所示的優(yōu)化方案搭建的硬件原型系統(tǒng)進(jìn)行拍照，得到4光源下的不同光度照片，如圖8所示。由圖8可以看出，圖8中顯示的多條劃痕清晰度是不同的。

圖8 4光源光度立體圖Fig.8 Four-light source photometric three-dimensional diagram

然后，對圖8中的圖片進(jìn)行光度立體技術(shù)處理，得到如9（a）所示的反照率圖。該圖展示了經(jīng)光源反射后的芯片表面信息特征。

最后，以表3參數(shù)為Gabor函數(shù)輸入值，進(jìn)行Gabor變換。對芯片微小缺陷特征進(jìn)行增強(qiáng)，得到缺陷的精確局部信息，效果如圖9（b）所示。為進(jìn)一步說明缺陷特征增強(qiáng)的效果，還在圖9（b）基礎(chǔ)上進(jìn)行了灰度三維重建，效果如圖9（c）所示。

對比圖9（d）的芯片光度原圖之一，圖9（a）的反照率圖由于結(jié)合了4張?jiān)瓐D的信息，所展示的經(jīng)光源反射后的表面特征信息較原圖9（d）更豐富；經(jīng)Gabor變換后的圖9（b）將圖9（a）進(jìn)行了增強(qiáng)，圖像對比度明顯提升，細(xì)小劃痕更加突出；灰度三維重建圖9（c）按照灰度特性將圖像特征重建，很好地展示了微小缺陷的灰度特征的立體效果。通過與原圖9（d）的對比，可驗(yàn)證本文所設(shè)計(jì)的圖像增強(qiáng)方案大大提升了微小缺陷的顯現(xiàn)效果。

圖9 微小缺陷特征增強(qiáng)效果對比圖Fig.9 The comparison diagram for small defect feature enhancement

另外，本文進(jìn)一步選取了文獻(xiàn)［7］中典型的二維圖像采集與處理技術(shù)做了對比實(shí)驗(yàn)。該二維圖像缺陷檢測方案可以歸納為：單光源下采集圖像，以改進(jìn)的缺陷邊緣掃描法為核心，采用Sobel梯度銳化和拉普拉斯銳化的圖像增強(qiáng)方法對表面鍍銅的PCB裸板進(jìn)行劃痕缺陷檢測。二維圖像檢測方案的圖像處理實(shí)驗(yàn)結(jié)果如圖10所示。圖10（a）為單光源下采集的原二維圖片；圖10（b）為中值濾波預(yù)處理圖。顯然，二維圖像方法與圖9（b）相比并未將微小缺陷特征凸顯出來。

圖10 二維方案實(shí)驗(yàn)圖Fig.10 Two-dimensional scheme experiment diagram

實(shí)驗(yàn)結(jié)果表明，對于細(xì)微的劃痕缺陷，在光度立體技術(shù)生成的反照率圖上進(jìn)行Gabor變換增強(qiáng)的方法比二維圖像處理技術(shù)有著更優(yōu)的顯現(xiàn)效果。為了更加精確地得出本文方法的效果，研究中進(jìn)行了精度的計(jì)算。使用精度測量軟件得到該芯片外觀圖片的每個(gè)像素實(shí)際長度為0.04 mm，對微小劃痕測量得到寬度像素值為1，則實(shí)際精度為0.04 mm。而文獻(xiàn)［7］中方法的可檢測精度為0.1 mm。由此可知，本文方法比典型的二維圖像處理方法精度近似提高了一個(gè)數(shù)量級。

本文對各方法的圖像質(zhì)量進(jìn)行評估，結(jié)果見表4。由于質(zhì)量評估值越大，圖像質(zhì)量越高，圖像質(zhì)量評估值：Gabor濾波圖＞反照率圖＞二維方法圖，更進(jìn)一步證明本文方法對圖像特征增強(qiáng)的效果。

表4 圖像質(zhì)量評估表Tab.4 Image quality evaluation table

5 結(jié)束語

考慮到Gabor函數(shù)可以同時(shí)處理圖像的時(shí)域和空域信息，本文提出了一種芯片外觀缺陷特征增強(qiáng)的方法。即在光度立體技術(shù)獲得的反照圖的基礎(chǔ)上，進(jìn)行Gabor變換。實(shí)驗(yàn)表明，本方法能有效提升芯片外觀局部微小缺陷特征清晰度。通過本方法對芯片外觀缺陷的預(yù)處理，結(jié)合三維重建以及深度學(xué)習(xí)技術(shù)，預(yù)期能設(shè)計(jì)出一種比現(xiàn)有基于二維圖像處理技術(shù)檢測精度更高的芯片外觀缺陷檢測方案。