何 成，馬思遠(yuǎn)，周武杰

(1.浙江科技學(xué)院信息與電子工程學(xué)院，浙江 杭州 310023；2.浙江大學(xué)控制科學(xué)與工程學(xué)院，浙江 杭州 310027)

強(qiáng)反射金屬零件[1]的反光性較強(qiáng)，在其焊接或制造過(guò)程中受到不同方面因素的影響，導(dǎo)致其存在質(zhì)量不穩(wěn)定以及生產(chǎn)成本較高等問(wèn)題。 為了有效解決上述問(wèn)題，國(guó)內(nèi)相關(guān)專家針對(duì)強(qiáng)反射金屬表面缺陷檢測(cè)方面的內(nèi)容展開(kāi)了大量研究。 例如Fang等[2]對(duì)二維和三維鋼、鋁、銅板和帶材等典型金屬表面缺陷檢測(cè)技術(shù)進(jìn)行了分析。 根據(jù)算法特性以及圖像特征，將現(xiàn)有的二維方法分為統(tǒng)計(jì)方法、光譜方法、模型方法和基于機(jī)器學(xué)習(xí)的方法四類。 在三維數(shù)據(jù)采集的基礎(chǔ)上，三維技術(shù)分為立體視覺(jué)、光度立體、激光掃描儀和結(jié)構(gòu)光測(cè)量方法。 但是該方法僅停留在研究綜述和理論分析上，其為本文金屬表面缺陷檢測(cè)技術(shù)的選取提供了參考。 袁野等[3]主要通過(guò)K均值聚類算法獲取符合數(shù)據(jù)特點(diǎn)的先驗(yàn)框值，同時(shí)引入卷積神經(jīng)網(wǎng)絡(luò)完成金屬表面缺陷檢測(cè)。但是，該方法存在數(shù)據(jù)冗余的問(wèn)題，在一定程度上會(huì)增加檢測(cè)耗時(shí)。 方鈞婷等[4]通過(guò)注意力級(jí)聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)金屬表面缺陷檢測(cè)，構(gòu)建輕量級(jí)網(wǎng)絡(luò)模塊對(duì)金屬表面缺陷進(jìn)行分類和定位，提高了檢測(cè)精度和魯棒性。 但是，該方法存在缺陷識(shí)別耗時(shí)較長(zhǎng)的問(wèn)題。Lin 等[5]通過(guò)直方圖的統(tǒng)計(jì)信息對(duì)紋理方向預(yù)處理，通過(guò)機(jī)器視覺(jué)方法對(duì)金屬表面的主要紋理簇和異常紋理簇展開(kāi)搜索，最終實(shí)現(xiàn)金屬表面缺陷檢測(cè)。但是，該方法的魯棒性較差。 Bhandari 等[6]介紹了一種優(yōu)化亮度保持直方圖均衡化方法。 使用布谷鳥搜索算法來(lái)保持低對(duì)比度圖像的平均亮度并提高對(duì)比度。 該方法將直方圖劃分為兩個(gè)子直方圖，在兩個(gè)子直方圖上利用直方圖統(tǒng)計(jì)來(lái)獲得平臺(tái)極限。 基于通過(guò)布谷鳥搜索優(yōu)化技術(shù)獲得的計(jì)算平臺(tái)極限，實(shí)現(xiàn)子直方圖均衡和修改。 該方法提高了圖像均衡化處理的質(zhì)量，對(duì)本文圖像預(yù)處理具有較好的借鑒意義。

在充分研究以上幾種方法的基礎(chǔ)上，提出一種基于紅外光電傳感器的強(qiáng)反射金屬表面缺陷檢測(cè)方法。 經(jīng)實(shí)驗(yàn)測(cè)試結(jié)果表明，所提方法可以有效提高金屬表明缺陷檢測(cè)準(zhǔn)確性，降低檢測(cè)耗時(shí)，獲取強(qiáng)反射下的高精度金屬表面缺陷檢測(cè)結(jié)果，具備了應(yīng)用性。

1 強(qiáng)反射下的金屬表面缺陷檢測(cè)方法

考慮到金屬具有一定的反射性，導(dǎo)致其表面缺陷檢測(cè)過(guò)程中出現(xiàn)錯(cuò)檢以及誤檢的情況，為此將紅外光電傳感器作為強(qiáng)反射金屬缺陷檢測(cè)工具，以提升強(qiáng)反射金屬表面缺陷檢測(cè)效率。 具體步驟為:

Step 1:利用紅外光電傳感器采集強(qiáng)反射金屬缺陷紅外成像信息；

Step 2:通過(guò)紅外圖像直方圖轉(zhuǎn)換和均衡化處理，消除強(qiáng)反射帶來(lái)的光學(xué)干擾；

Step 3:最后利用灰度共生矩陣和卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)金屬表面特征缺陷檢測(cè)及分類。

1.1 紅外光電傳感器采集紅外成像信息

紅外光電傳感器分為發(fā)送器、接收器和檢測(cè)電路。 發(fā)送器對(duì)準(zhǔn)金屬表明發(fā)射光束，獲取紅外成像信息，有效提高光反射抗干擾性能。 在接收器轉(zhuǎn)換成像信息，輸出紅外成像。 利用檢測(cè)電路過(guò)濾有效信號(hào)，提高紅外成像效率。 紅外光電傳感器的工作流程如圖1 所示。

圖1 紅外光電傳感器的工作流程圖

通過(guò)紅外光光電傳感器采集強(qiáng)反射金屬表面紅外圖像，增強(qiáng)金屬表面圖像處理效果。

1.2 紅外圖像直方圖轉(zhuǎn)換

對(duì)采集到的紅外成像展開(kāi)直方圖處理[7]，獲取紅外圖像灰度級(jí)分布，增強(qiáng)圖像處理能力。

由于大部分紅外圖像為8 bit 位，所以將灰度值設(shè)定在固定區(qū)域間，則紅外圖像對(duì)應(yīng)灰度級(jí)x出現(xiàn)次數(shù)可以表示為式(1)的形式:

式中:Hr(x)代表灰度級(jí)x出現(xiàn)的總次數(shù)；mx代表灰度級(jí)為x的像素?cái)?shù)量；強(qiáng)反射金屬表面紅外圖像灰度處理的數(shù)學(xué)公式bx為:

式中:m代表強(qiáng)反射金屬表面圖像的像素總數(shù)。

在原始直方圖中，假設(shè)部分灰度級(jí)對(duì)應(yīng)的值高于設(shè)定的閾值Y，對(duì)應(yīng)的約束條件如式(3)所示:

式中:PY(x)代表金屬表面加權(quán)直方圖；PB(x)代表原始直方圖。 為了提高紅外圖像像素識(shí)別效果，需要對(duì)金屬表面加權(quán)直方圖進(jìn)行累加計(jì)算，進(jìn)而獲取對(duì)應(yīng)的累積函數(shù)，如式(4)所示:

式中:GY(x)代表累積函數(shù)。 通過(guò)均衡化處理將原始圖像灰度值轉(zhuǎn)換為金屬表面加權(quán)直方圖的灰度值，具體的計(jì)算式為:

灰度變換的主要目的就是將強(qiáng)反射金屬表面圖像中的灰度值利用一種變換函數(shù)將全部像素灰度值轉(zhuǎn)換到另外一個(gè)灰度值，主要包含圖像的反轉(zhuǎn)以及對(duì)數(shù)轉(zhuǎn)換等相關(guān)操作。 對(duì)灰度級(jí)為l的金屬表面加權(quán)直方圖展開(kāi)反轉(zhuǎn)操作，進(jìn)而獲取以下形式的表達(dá)式:

式中:c代表圖像的反轉(zhuǎn)操作結(jié)果；t代表采樣周期。根據(jù)式(1)得到的灰度值設(shè)定的閾值，將金屬表面加權(quán)直方圖劃分為目標(biāo)區(qū)域、背景區(qū)域以及過(guò)渡區(qū)域三個(gè)不同的部分。

其中，目標(biāo)區(qū)域的灰度變換主要通過(guò)灰度拉伸的方法實(shí)現(xiàn)，背景區(qū)域使用灰度壓縮，而過(guò)渡區(qū)域則使用灰度級(jí)位置。 其中，分段變換計(jì)算公式為:

式中:F(x，y)代表分段變換結(jié)果；a'、b'和c'分別代表取值不同的閾值；B(x，y)代表像素灰度壓縮結(jié)果；x'代表變換后的灰度級(jí)；y'代表像素灰度。 通過(guò)灰度級(jí)信息完成紅外圖像直方圖轉(zhuǎn)換。 轉(zhuǎn)換前后的紅外圖像直方圖如圖2 所示。

圖2 轉(zhuǎn)換前后的紅外圖像直方圖

通過(guò)分析轉(zhuǎn)換前的紅外圖像的直方圖可知，主要具有以下幾方面的特點(diǎn):

①?gòu)?qiáng)反射金屬表面紅外圖像的像素分布十分密集，大部分區(qū)域的灰度級(jí)分布均為零且圖像反差比較低。

②采集圖像的動(dòng)態(tài)范圍十分窄，大部分集中在比較灰暗的區(qū)域內(nèi)且圖像亮度偏低。

③在直方圖內(nèi)存在比較明顯的尖峰，集中區(qū)域十分小且圖像背景過(guò)大。

通過(guò)分析轉(zhuǎn)換后的紅外圖像的直方圖可知，將紅外成像頻率因子引入原有直方圖中，通過(guò)累積函數(shù)轉(zhuǎn)換為金屬表面加權(quán)直方圖，同時(shí)對(duì)集中分布的灰度級(jí)展開(kāi)數(shù)值設(shè)定操作，提升了紅外圖像的對(duì)比度。

1.3 均衡化處理紅外圖像

通過(guò)上述分析，需要對(duì)金屬表面紅外圖像進(jìn)行均衡化處理，增強(qiáng)金屬表面缺陷識(shí)別能力。 引入紅外圖像像素信息，利用計(jì)算灰度值的方法改進(jìn)平臺(tái)直方圖的圖像均衡處理效果。 通過(guò)調(diào)整紅外圖像像素，實(shí)現(xiàn)強(qiáng)反射金屬表面紅外圖像均衡化處理，詳細(xì)的操作步驟如下所示:①輸入強(qiáng)反射金屬表面紅外圖像；②判斷圖像的大小是否為m×n，假設(shè)是，則直接轉(zhuǎn)換為規(guī)格為m×n；反之，則跳轉(zhuǎn)至步驟④；③計(jì)算圖像中不同像素點(diǎn)的頻率信息；④通過(guò)分析計(jì)算，獲取不同缺陷類型的頻率因子；⑤將頻率因子和對(duì)應(yīng)的紅外圖像像素點(diǎn)進(jìn)行加權(quán)處理，形成不同等級(jí)的灰度級(jí)[8-9]；⑥獲取金屬表面紅外圖像灰度級(jí)閾值以及改進(jìn)后的平臺(tái)加權(quán)直方圖；⑦對(duì)金屬表面紅外圖像進(jìn)行均衡化處理，將經(jīng)過(guò)處理的像素灰度值和頻率因子依次實(shí)行衰減操作，最終完成紅外圖像均衡化處理，實(shí)現(xiàn)紅外圖像增強(qiáng)。 為后續(xù)金屬表面缺陷檢測(cè)和分類提供支持。

1.4 金屬表面特征缺陷檢測(cè)及分類

在強(qiáng)反射金屬表面缺陷檢測(cè)過(guò)程中，缺陷特征提取是十分重要的步驟[10-11]。 當(dāng)通過(guò)紅外圖像的邊緣特征展開(kāi)分析處理時(shí)，圖像中光照不均勻?qū)Ψ治鼋Y(jié)果產(chǎn)生的影響是比較小的。 針對(duì)金屬目標(biāo)物體而言，提取邊緣特征可以快速完成分析識(shí)別操作。

想要獲取比較滿意的邊緣定位，優(yōu)先需要標(biāo)識(shí)出目標(biāo)的邊緣輪廓，即對(duì)強(qiáng)反射金屬表面缺陷定位處理。 定位處理的主要目的是準(zhǔn)確提取強(qiáng)反射金屬表面缺陷特征，同時(shí)設(shè)定各階導(dǎo)數(shù)的取值。在紅外圖像處理過(guò)程中，引入卷積神經(jīng)網(wǎng)絡(luò)識(shí)別缺陷特征，構(gòu)建LeNet-5 網(wǎng)絡(luò)結(jié)構(gòu)。 通過(guò)卷積層、連接層和池化層重復(fù)卷積和采樣操作[12]，完成缺陷特征分類識(shí)別，并在輸出層輸出結(jié)果。 具體結(jié)構(gòu)如圖3 所示。

圖3 卷積神經(jīng)網(wǎng)絡(luò)模型

根據(jù)圖3 的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)可知，強(qiáng)反射金屬表面缺陷識(shí)別主要包括卷基層特征描述、池化層圖像特征提取兩部分:

①卷積層特征描述

根據(jù)紅外圖像均衡化特征信息，采用包含尺度因子的點(diǎn)擴(kuò)散函數(shù)形式[13]，對(duì)紅外圖像進(jìn)行描述，描述公式為:

式中:δ代表目標(biāo)圖像紋理的均勻程度；ui代表卷積層的第i個(gè)卷積核的權(quán)值；pm代表卷積層的第m個(gè)輸入塊；ei代表池化層第i個(gè)卷積核的偏置；γ代表池化區(qū)域?qū)挾取?/p>

②池化層圖像特征提取

通過(guò)紅外圖像特征值描述，獲取紅外像素的分布空間及特征量，完成圖像邊緣輪廓處理，以此降低目標(biāo)圖像的特征維度，提升檢測(cè)效率。 選擇一部分具有代表性的特征量展開(kāi)分析，進(jìn)而獲取紅外圖像中局部區(qū)域的灰度強(qiáng)度分布情況，如式(9)所示:

式中:Tp代表灰度強(qiáng)度的分布情況，φ代表紅外圖像像素值，以此完成缺陷檢測(cè)識(shí)別。

為了促使目標(biāo)識(shí)別和定位結(jié)果準(zhǔn)確性得到有效提升，需要對(duì)經(jīng)過(guò)連接層處理后的池化層中紅外圖像紋理信息進(jìn)行加工處理，優(yōu)化魯棒性。 通過(guò)其取值大小可以準(zhǔn)確反映不同目標(biāo)紅外圖像紋理的均勻程度，以此完成缺陷分類。 目標(biāo)圖像紋理的均勻程度計(jì)算式為:

式中:mt代表卷積層時(shí)間復(fù)雜度；μi代表池化層第i個(gè)卷積核的鄰域像素；n代表背景自適應(yīng)標(biāo)準(zhǔn)差。根據(jù)目標(biāo)圖像紋理均勻程度結(jié)果獲取紅外圖像特征信息，以此完成金屬表面特征缺陷檢測(cè)及分類。

2 實(shí)驗(yàn)結(jié)果與分析

上述過(guò)程完成了基于紅外光電傳感器的強(qiáng)反射金屬表面缺陷檢測(cè)方法的理論研究，下述將設(shè)計(jì)實(shí)驗(yàn)對(duì)其進(jìn)行驗(yàn)證。

2.1 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)采用的服務(wù)器為Intel Xeon(R)CPU E5-2650 v4＠2.20 GHz X4S/12 GB 的GeForce GTX1080Ti GPU，運(yùn)行內(nèi)存為64 GB，操作系統(tǒng)為Ubuntu Linux，深度學(xué)習(xí)框架為TensorFlow。

以KolektorSDD 數(shù)據(jù)庫(kù)(https:/ /www.vicos.si/Downloads/KolektorSDD)為實(shí)驗(yàn)對(duì)象，從中選取200 px×200 px 的金屬零件表面缺陷紅外圖像500 張，其中包含夾雜、劃痕、裂縫、斑塊、凸起、孔洞、次品、折彎痕、摩擦痕、燒傷痕、電鍍花斑、水印、霧狀、腐蝕和修補(bǔ)15 種缺陷類型。 從500 張紅外圖像中選取70%的樣本作為訓(xùn)練集，剩余30%的樣本作為測(cè)試集，訓(xùn)練集與測(cè)試集均為獨(dú)立。

考慮到紅外傳感器一般情況下輸出的原始信號(hào)可達(dá)到14 位(或16 位)數(shù)據(jù)范圍，然而在一張圖像中人類肉眼只能大約分辨出128 個(gè)灰度級(jí)，因此將閾值設(shè)定為128。 設(shè)置學(xué)習(xí)率為0.005，權(quán)值的衰減系數(shù)為0.000 1，迭代次數(shù)為1 000 次，每迭代一次保存一次訓(xùn)練結(jié)果。 選擇隨機(jī)梯度下降法對(duì)以端對(duì)端的聯(lián)合方式進(jìn)行訓(xùn)練，通過(guò)softmax loss 損失函數(shù)輸出訓(xùn)練精度損失結(jié)果，如圖4 所示。

圖4 訓(xùn)練損失結(jié)果

由圖4 可知，隨著迭代次數(shù)不斷增加，訓(xùn)練集產(chǎn)生的精度損失逐漸降低，說(shuō)明卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練效果良好。 訓(xùn)練損失基本收斂到穩(wěn)定值，表明達(dá)到預(yù)期訓(xùn)練效果。

2.2 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)過(guò)程為，Step1:人為加入強(qiáng)光干擾，使金屬零件表面具有一定的反光性。 Step 2:利用紅外光電傳感器采集成像數(shù)據(jù)，生成強(qiáng)反射金屬表面紅外圖像。 Step 3:對(duì)其進(jìn)行加權(quán)直方圖均衡化處理后，通過(guò)調(diào)整紅外圖像像素實(shí)現(xiàn)圖像增強(qiáng)處理。 Step 4:利用卷積神經(jīng)網(wǎng)絡(luò)模型提取強(qiáng)反射金屬表面的缺陷特征，實(shí)現(xiàn)強(qiáng)反射金屬表面缺陷檢測(cè)。 具體操作過(guò)程如圖5 所示。

圖5 強(qiáng)反射金屬表面缺陷檢過(guò)程

分析圖5 可知，所提方法可以準(zhǔn)確識(shí)別強(qiáng)反射條件下的金屬表面缺陷，定位效果佳。

2.3 實(shí)驗(yàn)結(jié)果分析

將金屬表面缺陷檢測(cè)準(zhǔn)確率和耗時(shí)作為指標(biāo)，采用所提方法、與文獻(xiàn)[3]方法和文獻(xiàn)[5]方法進(jìn)行對(duì)比測(cè)試。 三種方法分別對(duì)同一強(qiáng)反射500 幅金屬零件表面缺陷紅外圖像展開(kāi)缺陷檢測(cè)，選取準(zhǔn)確率作為測(cè)試指標(biāo)，表1 為實(shí)驗(yàn)測(cè)試結(jié)果。

表1 不同方法的準(zhǔn)確率測(cè)試結(jié)果對(duì)比分析

分析表1 中的實(shí)驗(yàn)數(shù)據(jù)可知，在不同的金屬表面缺陷類型下，采用所提方法發(fā)生準(zhǔn)確率較高，在腐蝕缺陷檢測(cè)時(shí)的準(zhǔn)確率最高，為98.5%，其主要原因是金屬零件腐蝕缺陷紅外成像效果最為明顯，因此檢測(cè)準(zhǔn)確率較高。 兩種對(duì)比方法的準(zhǔn)確率整體相對(duì)降低，對(duì)于腐蝕缺陷檢測(cè)準(zhǔn)確率同樣較高，準(zhǔn)確率分別為96.5%和96.3%。 綜上可知，所提方法將紅外成像頻率因子引入原有直方圖中，均衡化處理紅外圖像像素，增強(qiáng)了紅外圖像效果，促使不同缺陷的準(zhǔn)確率得到了明顯改進(jìn)，進(jìn)一步驗(yàn)證了所提方法的優(yōu)越性。

為了驗(yàn)證所提方法的強(qiáng)反射金屬表面缺陷檢測(cè)效率，實(shí)驗(yàn)選取三種方法分別針對(duì)不同類型的缺陷展開(kāi)檢測(cè)，具體的實(shí)驗(yàn)測(cè)試結(jié)果如表2 所示。

表2 不同方法的檢測(cè)耗時(shí)測(cè)試結(jié)果對(duì)比分析

通過(guò)對(duì)表2 中實(shí)驗(yàn)數(shù)據(jù)的分析可知，由于金屬表面缺陷類型不同，進(jìn)而導(dǎo)致各個(gè)方法的檢測(cè)耗時(shí)也發(fā)生了比較明顯的變化。 在三種檢測(cè)方法中，所提方法的檢測(cè)耗時(shí)低于9.6 s，對(duì)比方法的檢測(cè)耗時(shí)分別低于10.2 s 和9.9 s。 對(duì)于同種類型缺陷的檢測(cè)耗時(shí)，所提方法的耗時(shí)更低。 主要是因?yàn)樗岱椒ǜ倪M(jìn)了平臺(tái)直方圖的圖像處理效果，將紅外圖像像素點(diǎn)進(jìn)行加權(quán)處理，提升了圖像均衡處理效果，同時(shí)利用灰度共生矩陣和卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)金屬表面特征進(jìn)行識(shí)別和分類，有效簡(jiǎn)化了操作流程，進(jìn)而降低檢測(cè)耗時(shí)。

3 結(jié)束語(yǔ)

強(qiáng)反射金屬在生產(chǎn)過(guò)程中經(jīng)常會(huì)出現(xiàn)凸起以及劃痕等缺陷，造成工程應(yīng)用中金屬零件的使用壽命下降，同時(shí)存在安全隱患。 為了有效解決上述問(wèn)題，提出基于紅外光電傳感器的強(qiáng)反射金屬表面缺陷檢測(cè)方法。 利用紅外光電傳感器獲取強(qiáng)反射金屬表面紅外圖像，并將紅外成像頻率因子引入原有直方圖中，對(duì)新的加權(quán)直方圖進(jìn)行均衡化處理。 結(jié)合灰度共生矩陣和卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)缺陷特征分類檢測(cè)。經(jīng)實(shí)驗(yàn)測(cè)試結(jié)果表明，所提方法可以有效提升強(qiáng)反射金屬表面缺陷檢測(cè)結(jié)果的準(zhǔn)確性，同時(shí)還能夠減少檢測(cè)耗時(shí)。