張 濤,劉玉婷,楊亞寧,王 鑫,金映谷

(1.大連民族大學機電工程學院,大連 116600；2.大連民族大學信息與通信工程學院,大連 116600)

隨著中國制造業(yè)的快速發(fā)展,工業(yè)產(chǎn)品的數(shù)量和種類與日俱增,消費者和生產(chǎn)企業(yè)對產(chǎn)品的質(zhì)量提出了更高的要求,除了需要滿足正常的使用性能外,還要有良好的表面質(zhì)量。產(chǎn)品的表面質(zhì)量已成為市場的重要競爭指標之一,對產(chǎn)品表面的質(zhì)量控制在工業(yè)生產(chǎn)中的作用日趨顯著[1]。但在實際的生產(chǎn)過程中,由于工藝流程、生產(chǎn)設備和現(xiàn)場環(huán)境等因素的影響,造成產(chǎn)品表面出現(xiàn)各種缺陷,如磁瓦表面的氣孔、斷裂、磨損等缺陷,印刷品表面的斑點、劃傷、漏印等缺陷[2]。表面缺陷不僅直接影響產(chǎn)品本身的外觀質(zhì)量,更影響產(chǎn)品的使用性能和商業(yè)價值。因此,在產(chǎn)品生產(chǎn)加工時必須對其表面進行質(zhì)量檢測,以便及時發(fā)現(xiàn)缺陷并加以控制,從而減少缺陷產(chǎn)品的產(chǎn)生,提高企業(yè)的經(jīng)濟效益。

表面缺陷檢測已成為工業(yè)生產(chǎn)過程中不可或缺的組成部分。目前,工業(yè)生產(chǎn)中對產(chǎn)品表面的缺陷檢測一般采用傳統(tǒng)人工視覺檢測的方法[3],該方法不僅檢測效率低、誤檢率及漏檢率高、勞動強度大,而且人工檢測成本高,易受工人經(jīng)驗和主觀因素的影響。同時,在缺陷尺寸小于0.5 mm且無較大光學形變時,人眼檢測不到缺陷信息,不適用于大規(guī)模工業(yè)生產(chǎn)的要求[4]。

隨著圖像處理技術(shù)的發(fā)展,機器視覺的缺陷檢測方法已經(jīng)逐漸取代了人工檢測方法,在工業(yè)生產(chǎn)檢測環(huán)節(jié)得到了實踐[5]。機器視覺檢測技術(shù)是一種非接觸式的自動檢測技術(shù),具有安全可靠、檢測精度高、可在復雜的生產(chǎn)環(huán)境中長時間運行等優(yōu)點,是實現(xiàn)工廠生產(chǎn)自動化和智能化的一種有效方法,有著廣泛的應用,涉及磁瓦、鋼軌、紡織品、紙張、帶鋼、手機屏幕等眾多行業(yè)。

現(xiàn)以機器視覺表面缺陷檢測為論述中心,首先對機器視覺缺陷檢測技術(shù)的中外研究現(xiàn)狀進行分析；然后將檢測技術(shù)分為基于機器視覺的缺陷檢測和基于深度學習的兩類,對幾種典型的缺陷檢測技術(shù)進行了闡述和比較；最后對基于機器視覺的缺陷檢測技術(shù)進行了展望和總結(jié)。

1 中外研究現(xiàn)狀

1.1 國外研究現(xiàn)狀

國外在物體表面缺陷檢測上的研究相較中國起步早,加上國外對缺陷檢測技術(shù)投資大,研發(fā)力度高,設備檢測精確,早在20世紀70年代,表面缺陷檢測技術(shù)已經(jīng)應用于工業(yè)生產(chǎn)過程中。例如,德國百事泰公司針對冷軋帶鋼表面的缺陷檢測,研發(fā)了一種基于人工神經(jīng)網(wǎng)絡的缺陷檢測系統(tǒng),該系統(tǒng)可以在線檢測待測物體的表面缺陷,并可實時對物體缺陷數(shù)量以及缺陷類型進行統(tǒng)計和保存,同時,該系統(tǒng)可自動判定被測物體的質(zhì)量等級,對被檢測物體進行等級分類[6]。美國Cognex公司提出了一種應用于金屬表面缺陷檢測的Smart View系統(tǒng),該系統(tǒng)采用了先進的照明系統(tǒng)保證在進行圖像采集時成像的質(zhì)量,并使用了較為優(yōu)異的圖像處理算法對所得圖像進行缺陷檢測,取得了較高的識別率[7]；Westinghous公司利用不同照明光路與電荷耦合元件(charge coupled device,CCD)線陣相機相結(jié)合,為鋼板表面的缺陷檢測提供了一種新的檢測方案[8]。20世紀90年代早期,荷蘭Philips公司利用圖像處理技術(shù)結(jié)合不同的濾波算法以及濾波模板,研發(fā)出一套自動射線檢測裝置,該裝置可通過無缺陷的X射線模板圖像自動對待測物體進行缺陷檢測[9]。Kaftandjian等[10]研究設計了不同形態(tài)學的Top-Hat算子,該算子通過對不同類型的缺陷區(qū)域進行提取,求得缺陷特征參數(shù)建立缺陷模板,并對不同的缺陷進行分類。Baygin等[11]針對印刷電路板孔洞缺失問題,提出了一種基于機器視覺的檢測方法,該方法首先從系統(tǒng)中獲得參考圖像,然后使用Otsu閾值化和Hough變換方法對參考圖像進行特征提取,最后將需要檢測的圖像輸入到匹配模型中與參考圖像進行匹配,檢測電路板上的缺失孔。?elik等[12]開發(fā)了一套基于機器視覺的織物缺陷自動檢測和分類系統(tǒng),對織物常見的5種缺陷類型進行了檢測分類,該系統(tǒng)的缺陷檢測算法運用小波變換,雙閾值二值化和形態(tài)學運算等圖像處理方法對織物圖像進行檢測,缺陷分類算法主要基于灰度共生矩陣和卷積神經(jīng)網(wǎng)絡對缺陷圖像進行特征提取和訓練分類。Lien等[13]將卷積神經(jīng)網(wǎng)絡與支持向量機相結(jié)合,提出了一種表面缺陷檢測方法,該方法使用Alexnet卷積神經(jīng)網(wǎng)絡模型對圖像數(shù)據(jù)集進行訓練,提取圖像中的缺陷信息,并使用支持向量機對缺陷做出最終判定。

1.2 中國研究現(xiàn)狀

隨著中國經(jīng)濟和科技的飛速發(fā)展,中國在表面缺陷檢測技術(shù)方面也取得了一定的成就。例如,大恒圖像研發(fā)出一種應用于金屬表面缺陷檢測及尺寸測量系統(tǒng),該系統(tǒng)安裝在金屬產(chǎn)品生產(chǎn)線上,并對生產(chǎn)線上的每個表面缺陷及外形進行實時在線檢測,該系統(tǒng)使用了獨特的照明光源,并采用了智能化的算法設計及分析算法,可以對劃傷,結(jié)石等表面缺陷進行檢測和分類[14]。劉澤等[15]針對鋼軌表面的缺陷檢測研究設計了一種動態(tài)的閾值分割算法和缺陷區(qū)域提取算法,該算法可對鋼軌表面掉塊、表面裂痕兩類典型缺陷圖像進行處理,可以準確提取缺陷位置區(qū)域,標定缺陷所在位置,并統(tǒng)計缺陷的特征。胡秀珍等[16]提出基于機器視覺的鐵芯表面缺陷檢測方法,實現(xiàn)了對工業(yè)生產(chǎn)線上的鐵芯實現(xiàn)了實時在線智能檢測,該方法首先采用高斯濾波對圖像進行預處理,然后利用Sobel算子對圖像進行分割,最后結(jié)合形態(tài)學和區(qū)域填充技術(shù)填充感興趣區(qū)域,初步定為缺陷區(qū)域,利用連通區(qū)域面積分析法去除偽缺陷。周奇[17]設計了一套太陽能電池缺陷判別算法,該算法利用形態(tài)學凸性分析,輪廓分析以及模板匹配等技術(shù),實現(xiàn)了對太陽能電池邊緣類缺陷的檢測。李自明[18]為了解決涂布生產(chǎn)的缺陷問題,將卷積神經(jīng)網(wǎng)絡引入到涂布的缺陷檢測系統(tǒng)中,利用caffe框架構(gòu)建了深度學習模型,并采用逐一分析法確定訓練網(wǎng)絡參數(shù),將涂布樣本輸入到模型中進行訓練,自動完成缺陷的特征提取。顧寄男等[19]針對網(wǎng)片缺陷設計了一種缺陷實時檢測系統(tǒng),可有效實現(xiàn)對網(wǎng)片缺陷的檢測及分類。該系統(tǒng)首先利用CCD工業(yè)相機對網(wǎng)片圖像進行采集,并對圖像進行去噪處理,然后通過提取缺陷的特征點對網(wǎng)片各缺陷類型進行預測,最后根據(jù)缺陷區(qū)域的灰度共生矩陣獲得缺陷特征參數(shù),并利用BP神經(jīng)網(wǎng)絡進行分類。劉英等[20]提出了一種基于卷積神經(jīng)網(wǎng)絡的木材缺陷檢測系統(tǒng),該系統(tǒng)首先對采集到的木材圖像利用飛下采樣剪切波變換進行預處理,然后,使用卷積神經(jīng)網(wǎng)絡對圖像實現(xiàn)深層的算法設計,提取木材的缺陷輪廓,最后通過優(yōu)化卷積神經(jīng)網(wǎng)絡的收斂速度,完善對木材缺陷的提取,該方法具有較高的精度和良好的魯棒性。呂明珠[21]針對印刷品表面漏印、劃痕、斑點等缺陷問題,設計了一套基于機器視覺的缺陷檢測系統(tǒng),利用圖像處理理論和算法,開展了基于形狀的缺陷檢測研究,使用尺度不變特征變換(scale-invariant feature transform,SIFT)角點匹配和CART(classification and regression tree)決策樹相結(jié)合的方法,對印刷品表面的缺陷進行分類。左宗祥等[22]針對剎車片的缺陷檢測,提出了一種基于機器視覺的缺陷檢測系統(tǒng),該系統(tǒng)利用剎車片的灰度值和形態(tài)學特征,運用邊緣提取和局部閾值分割算法,從而定位出被測剎車片的外邊緣,并標記出缺陷位置。Yang等[23]為了實現(xiàn)瓶口缺陷的檢測,提出了一種基于機器視覺的缺陷檢測方案,利用濾波技術(shù)對圖像中的噪聲進行處理,并采用閾值分割法對檢測目標區(qū)域和背景區(qū)域分離,最后通過邊緣檢測提取瓶口的邊緣特征,進行缺陷識別。

2 機器視覺缺陷檢測

2.1 典型機器視覺缺陷檢測系統(tǒng)的組成

機器視覺缺陷檢測系統(tǒng)通常由硬件系統(tǒng)和軟件系統(tǒng)兩個部分組成[24],硬件系統(tǒng)主要通過圖像采集裝置完成圖像的采集,軟件系統(tǒng)主要完成對圖像的處理和分析,提取圖像的特征信息,并根據(jù)特征信息對產(chǎn)品表面進行缺陷識別、分類。典型機器視覺檢測系統(tǒng)的組成如圖1所示。

圖1 典型機器視覺檢測系統(tǒng)的組成Fig.1 Composition of typical machine vision detection system

圖像采集裝置一般包括計算機、工業(yè)相機、工業(yè)鏡頭和光源。工業(yè)相機是缺陷檢測系統(tǒng)中不可或缺的一部分,其功能是通過成像傳感器將透鏡產(chǎn)生的光學圖像轉(zhuǎn)換成相應的模擬或數(shù)字信號,并通過工業(yè)相機與計算機的接口將信息傳送到上位機進行處理,工業(yè)相機的成像質(zhì)量決定著后續(xù)圖像處理的難易程度及處理結(jié)果的準確性,因此工業(yè)相機的選擇對缺陷檢測系統(tǒng)至關(guān)重要[25]。工業(yè)鏡頭的選型是整個缺陷檢測系統(tǒng)中非常關(guān)鍵的環(huán)節(jié),其選型的優(yōu)劣決定圖像質(zhì)量,甚至可能影響缺陷檢測系統(tǒng)的最終結(jié)果,工業(yè)鏡頭選型時應考慮工作距離、景深、焦距等問題[26]。光源作為缺陷檢測系統(tǒng)的首要輔助裝置,用來獲得對比度較高的圖像,一個合適的光源對系統(tǒng)的檢測至關(guān)重要,直接影響到圖像輸入的質(zhì)量,選擇光源時應充分考慮光源的均勻性、光譜特性、對比度、照射角度及照明方式等因素[27]。

圖像處理和分析主要包括圖像去噪、閾值分割、形態(tài)學處理等。在圖像的采集、傳輸或處理過程中,受檢測對象表面的清潔度、工業(yè)鏡頭的清潔度、敏感元件內(nèi)部噪聲以及照明變化等因素的影響會使圖像質(zhì)量下降并產(chǎn)生各種噪聲。圖像噪聲對后續(xù)的圖像處理影響很大,它影響圖像處理的各個環(huán)節(jié)以及輸出結(jié)果,因此,在對圖像處理前,需要對待檢測圖像進行去噪處理。圖像閾值分割可以壓縮數(shù)據(jù)量,簡化圖像分析和處理步驟,是進行圖像分析、特征提取與模式識別之前的必不可少的圖像預處理過程。圖像形態(tài)學處理可以分析圖像的結(jié)構(gòu)和形狀特性,以便于后續(xù)缺陷檢測過程的處理。

2.2 基于機器視覺的缺陷檢測方法

目前,基于機器視覺的表面缺陷方法主要分為基于圖像處理的缺陷檢測方法和基于機器學習的缺陷檢測方法。兩種方法具體介紹如下。

2.2.1 基于圖像處理的缺陷檢測

基于圖像處理的缺陷檢測主要分為圖像預處理和缺陷檢測兩個部分,圖像預處理包括圖像去噪和圖像分割等算法,是缺陷檢測的前期工作,缺陷檢測部分主要利用圖像特征提取或模板匹配算法完成對缺陷的檢測。

圖像特征提取的目的是研究在圖像的眾多特征中提取有用特征,其基本思想是使特征目標在圖像的子空間中在同一類內(nèi)具有較小的類內(nèi)聚散度,在不同類內(nèi)具有較大的類間聚散度,它可以理解為圖像從高維空間信息到低維特征空間的映射。特征提取是表面缺陷檢測的關(guān)鍵環(huán)節(jié),特征提取的精度對后續(xù)特征點匹配精度、模板匹配精度、計算的復雜度等方面均有影響。目前常用特征提取的方法主要有基于紋理的特征提取、基于顏色的特征和基于形狀的特征提取等。

模板匹配(template matching)的任務就是研究某一特定對象物體的圖案或輪廓位于圖像的什么地方,進而識別對象物體,匹配的精度是決定缺陷檢測精度的重要因素之一?；谠氐钠ヅ浞椒?、基于灰度信息的匹配方法和基于形狀的匹配方法是圖像模板匹配中常用的3種方法,一般在表面缺陷檢測中常用基于形狀的匹配方法對表面缺陷進行檢測,具體過程為:首先確定所檢測的目標區(qū)域,將目標區(qū)域與背景區(qū)域分離,然后定義目標區(qū)域一個標準圖像,創(chuàng)建參考模板,最后將需要測試的圖像放入模型與標準模板進行匹配,通過參考模板與測試模板的匹配結(jié)果對缺陷進行識別分類。

基于圖像處理缺陷檢測的方法已經(jīng)在工業(yè)檢測環(huán)節(jié)得到了應用實踐,例如,文獻[28]中利用多模板匹配的方法對印刷品表面檢測,檢測精度可達0.1 mm,檢測速度小于1 s；文獻[29]使用形狀模板匹配對沖壓件進行檢測,單張圖像的匹配時間為 36.57 ms,單個工件的平均缺陷檢測時間為 165.26 ms,具有較好的魯棒性；文獻[30]對圖像處理算法進行了改進,有效解決了帶鋼表面的缺陷檢測問題。

2.2.2 基于機器學習的缺陷檢測

在基于機器學習的缺陷檢測中通常使用支持向量機(support vector machine,SVM)或決策樹(decision tree)對樣本缺陷進行分類,SVM是1995年Vapnik[31]根據(jù)統(tǒng)計學習理論提出的一種二分類模型,其模型定義為在特征空間上間隔最大的線性分類器,基本思想是在正確劃分訓練數(shù)據(jù)集的同時分離出間隔最大的超平面。SVM采用的是結(jié)構(gòu)風險最小化原理,通過將數(shù)據(jù)樣本上特征點所在的低維輸入空間映射到高維的特征空間,達到線性或線性近似分類的目的。SVM是機器學習中廣泛應用的一種算法,在解決小樣本、模式識別等問題中表現(xiàn)出獨特的優(yōu)勢,具有良好的有效性和魯棒性,目前已在表面缺陷檢測上有成功的應用。朱勇建等[32]利用SVM對太陽能網(wǎng)版缺陷進行檢測分類,經(jīng)實驗驗證,該方法缺陷檢測的準確率可達95%,單幅圖像的檢測時間為4.14 s；劉磊等[33]針對太陽能電池片常見的幾種缺陷,設計了SVM分類器對缺陷進行檢測,缺陷識別率達90%以上。

決策樹是機器學習中一種常用的分類算法,它可以從有特征和標簽的數(shù)據(jù)中總結(jié)出決策規(guī)則,并以樹形結(jié)構(gòu)的形式來呈現(xiàn)這些規(guī)則。一棵決策樹由分支節(jié)點和葉節(jié)點兩部分組成,分支節(jié)點為樹的結(jié)構(gòu),葉節(jié)點為樹的輸出,在訓練時,決策樹會根據(jù)某個指標將訓練集分割成若干個子集,并在不斷產(chǎn)生的子集中進行遞歸分割,當訓練子集里所有指標相同時遞歸結(jié)束。目前,決策樹由于其速度優(yōu)勢,已經(jīng)成為工業(yè)領(lǐng)域解決實際問題的重要工具之一。郭朝偉等[34]利用決策樹分類器對柱狀二極管表面缺陷進行檢測,取得了較好的缺陷識別和分類效果；徐鳳云[35]使用決策樹算法對鋼材表面常見缺陷進行了檢測,缺陷平均檢測率可達96.6%。

2.3 基于深度學習分類的缺陷檢測方法

近年來,深度學習在機器視覺主流領(lǐng)域迅速發(fā)展,已在目標檢測、無人駕駛等方面取得了較大的進展。深度學習的概念來源于人工神經(jīng)網(wǎng)絡,是一種深度神經(jīng)網(wǎng)絡結(jié)構(gòu),它可以對輸入的數(shù)據(jù)特征進行自動學習和提取,解決了傳統(tǒng)機器視覺中手動特征提取的復雜性與不確定性問題?；谏疃葘W習強大的自動學習能力,許多科研工作者將深度學習應用于產(chǎn)品的表面缺陷檢測中,以提高缺陷檢測的效率與精度。目前常用深度學習的缺陷檢測方法如下。

2.3.1 基于卷積神經(jīng)網(wǎng)絡的缺陷檢測

卷積神經(jīng)網(wǎng)絡(convolutional neural networks,CNN)是近年發(fā)展起來的一種高效識別方法,它是由動物視覺電生理啟發(fā)而提出,模擬了生物大腦皮層的局部敏感特性和方向選擇特性。CNN模型具有多層網(wǎng)絡結(jié)構(gòu),可以將上一層學習得到的特征作為下一層的輸入,自動學習各層的數(shù)據(jù)特征。CNN主要功能是對圖像進行分類,它是圖像分類的“深度學習者”,在用于缺陷檢測時,CNN的主要作用是通過預先定義的缺陷類型將數(shù)據(jù)集樣本輸入到模型中進行訓練并提取缺陷特征,實現(xiàn)缺陷的分類與識別。在缺陷分類的問題上,CNN已經(jīng)得到了成功的應用,文獻[36]研究了基于CNN的鐵路表面缺陷檢測,將軌道圖像放入經(jīng)過微調(diào)的CNN模型中,并提取部分特征對缺陷進行分類和定位。文獻[37]對經(jīng)典的Lenet-5卷積神經(jīng)網(wǎng)絡模型進行了改性,使用AdamOptimizer算法優(yōu)化了網(wǎng)絡模型,有效實現(xiàn)了對工業(yè)生產(chǎn)中點膠的缺陷檢測。

2.3.2 基于深度置信網(wǎng)絡的缺陷檢測

深度置信網(wǎng)絡(deep belief networks,DBN)本質(zhì)上是一種具有生成能力的圖形表示的網(wǎng)絡,它是概率統(tǒng)計學與機器學習和神經(jīng)網(wǎng)絡的融合,由若干層神經(jīng)元組成,這些神經(jīng)元有顯性神經(jīng)元和隱性神經(jīng)元之分,顯性神經(jīng)元用于接受圖像的輸入,隱性神經(jīng)元用于圖像特征的提取。DBN既可以用于非監(jiān)督學習,也可以用于監(jiān)督學習,是一種實用的機器學習算法,它應用范圍廣泛,擴展性強,不僅可以使用DBN用來特征識別、數(shù)據(jù)分類,還可以用于數(shù)據(jù)生成。DBN的組成元件由受限玻爾茲曼機組成,訓練是逐層進行的,在每一層中用上一層的數(shù)據(jù)向量來推斷隱層,再把該隱層作為下一層的數(shù)據(jù)向量輸入,在訓練過程中,需要充分訓練上一層的受限玻爾茲曼機(restricted Boltzmann machine,RBM)后才能訓練當前層的RBM,直至訓練到最后一層。目前,中外許多學者將DBN應用于產(chǎn)品表面的缺陷檢測中,例如,楊亞茹[38]針對錨桿缺陷檢測的問題,將差分(DS)算法引入到DBN網(wǎng)絡中,建立了DS-DBN-SVM的缺陷檢測模型,利用DS-DBN模型進行數(shù)據(jù)特征提取用于檢測錨桿的缺陷類型。王憲保等[39]利用DBN對太陽能電池片表面進行缺陷檢測,可準確、快速地檢測出電池片的表面缺陷。

2.3.3 基于全卷積網(wǎng)絡的缺陷檢測

全卷積網(wǎng)絡(fully convolutional networks,FCN)是CNN的發(fā)展和延伸,通過將CNN中的全連接層轉(zhuǎn)化為卷積層來解決CNN中只能對缺陷分類的問題。FCN是一種端到端連接方式的網(wǎng)絡,它可以接收任意像素大小的圖像,直接將原始圖像作為整個模型的輸入,不需要將輸入轉(zhuǎn)換特征進行訓練,簡化了像素級別分類的運算量,同時保留了原始圖像的信息。FCN的主要功能是將像素按照輸入圖像中表達含義的不同進行分組或者分割,直接進行像素級別端到端的訓練。在基于FCN的缺陷檢測中,應提前對數(shù)據(jù)集中的缺陷樣本進行標注,FCN的任務是將標注好的數(shù)據(jù)集輸入到模型中訓練,通過對缺陷特征的學習對缺陷進行識別并定位出圖像樣本缺陷位置。于志洋[40]利用FCN在開源數(shù)據(jù)集上進行了驗證,該方法可精確地實現(xiàn)對缺陷區(qū)域的分割,分割像素精度達到99%；陳晴[41]提出了一種基于FCN的工件表面缺陷檢測方法,可有效實現(xiàn)對工件各類缺陷的檢測,識別精度可達98%。

2.3.4 基于自編碼器(auto encoders,AE)的缺陷檢測

1986年,Rumelhart[42]首次提出了自編碼器的概念,用于復雜高維數(shù)據(jù)的處理。自編碼網(wǎng)絡屬于無監(jiān)督學習模型,是一種以重構(gòu)輸入信息為目標的神經(jīng)網(wǎng)絡,具有較好的非線性擬合能力,是最有效的深度學習算法之一。自編碼網(wǎng)絡包括編碼過程和解碼過程,在編碼過程中,將樣本數(shù)據(jù)的輸入信號轉(zhuǎn)換成編碼信號,對數(shù)據(jù)樣本中的特征信息自動進行提?。辉诮獯a過程中,將編碼過程所提取到的特征信息轉(zhuǎn)換成重構(gòu)信號,再將其植入網(wǎng)絡權(quán)值,以實現(xiàn)缺陷檢測。隨著中外研究者對自編碼器的研究,衍生出不同的自編碼器類型,例如稀疏自編碼器、去噪自編碼器、降噪自編碼器等,并將其應用于表面缺陷檢測,取得了良好的效果。王宇鑫[43]基于自編碼神經(jīng)網(wǎng)絡對橋梁結(jié)構(gòu)損傷的檢測進行了研究,取得了較好的檢測效果。錢彬等[44]針對路面裂縫提出了基于稀疏自編碼的裂縫檢測方法,該方法能有效檢測出裂縫區(qū)域,并且抗干擾能力更強。

上述基于機器視覺缺陷檢測方法的比較如表1所示,包括各種方法的主流分類(檢測)模型、優(yōu)缺點對比。

表1 基于機器視覺缺陷檢測方法的比較Table 1 Comparison of defect detection methods based on machine vision

2.4 機器視覺缺陷檢測技術(shù)的研究應用

在產(chǎn)品缺陷檢測環(huán)節(jié),通過比較不同的缺陷檢測技術(shù)在不同領(lǐng)域的應用研究情況,分析缺陷檢測算法在產(chǎn)品檢測中的實驗結(jié)果,發(fā)現(xiàn)檢測算法在實驗過程中存在的問題,以提高缺陷檢測技術(shù)在產(chǎn)品生產(chǎn)中檢測和分類的能力?；诖?表2[45-86]從檢測方法、被檢對象和實驗結(jié)果等3方面對近5年來的典型研究應用進行了總結(jié)。通過表2可以看出,中外學者利用機器視覺檢測技術(shù)對印刷品、金屬材料、食品、外包裝、紡織品等制造業(yè)產(chǎn)品進行了缺陷檢測,在上述的檢測方法中,基于圖像處理的缺陷檢測方法因具有使用樣本較少,對某一特定缺陷識別度較高的特點,廣泛應用于印刷電路板、金屬材料等缺陷單一固定的產(chǎn)品檢測中。文獻[45]采用了圖像分割和遺傳算法結(jié)合的方法,對印刷電路板表面缺陷檢測效果較好,文獻[50-52]則采用了模版匹配的方法主要對工業(yè)產(chǎn)品的表面缺陷進行檢測。進一步研究文獻[45-52]實驗結(jié)果可知,基于圖像處理的方法對產(chǎn)品表面平均檢測精度在95%以上,但是,該方法同時具有一定的局限性,只適用于輪廓清晰、缺陷單一的產(chǎn)品,并不適用于背景復雜的產(chǎn)品。基于機器學習的缺陷檢測方法多采用支持向量機和決策樹算法,分類能力較強,在印刷品、食品等缺陷檢測中經(jīng)常應用,文獻[53-54,62]利用支持向量機算法對印刷品表面缺陷進行了檢測,檢測準確率均在95%以上。文獻[57-60,63]則是利用機器學習技術(shù)對金屬材料表面缺陷進行檢測,取得了較高的檢測精度。但該方法只適用于缺陷的二分類,對于多種缺陷并不能發(fā)揮其性能?；谏疃葘W習的檢測方法因具有檢測效率高、學習能力強、自動化程度高等特點,廣泛應用于生產(chǎn)過程中多種產(chǎn)品缺陷檢測。文獻[64-86]給出了多種產(chǎn)品在不同深度學習模型下的檢測結(jié)果,滿足檢測準確率的同時保證了檢測的實時性。目前基于深度學習的缺陷檢測多是采用公開的缺陷數(shù)據(jù)集,在應用于實際產(chǎn)品生產(chǎn)時,缺陷樣本的數(shù)量往往達不到訓練要求,因此,許多學者將遷移學習應用到深度學習的訓練中,進一步提升了檢測系統(tǒng)的性能。上述的研究不僅可以為以后的產(chǎn)品生產(chǎn)中缺陷檢測環(huán)節(jié)提供理論依據(jù),更能為實踐環(huán)節(jié)提供技術(shù)指導。

表2 基于機器視覺表面缺陷檢測的研究應用Table 2 Research and application of surface defect detection based on machine vision

3 存在問題和發(fā)展趨勢

3.1 存在問題

基于機器視覺的表面缺陷檢測技術(shù)在理論研究和工業(yè)實際應用中均取得了滿意的成果,但現(xiàn)階段仍存在以下問題和難點。

(1)在圖像采集階段,受光照條件、現(xiàn)場環(huán)境、拍攝角度和距離等因素的影響,被檢測物體的表觀特征會產(chǎn)生變化,對檢測精度產(chǎn)生一定的影響,同時,噪聲的干擾以及被檢測物體的部分遮擋也會影響到圖像的質(zhì)量,降低系統(tǒng)的檢測性能。如何提高圖像采集的質(zhì)量,最大程度上降低外界因素的干擾是需要解決的問題之一。

(2)傳統(tǒng)機器視覺的缺陷檢測方法依賴于特征模板的選擇及提取,特征提取的好壞對整體檢測系統(tǒng)的檢測精度及性能有著決定性作用,同時傳統(tǒng)機器視覺的檢測方法需要人工提取特征信息,不具有自動提取全部有用特征信息的能力。如何參考模板精度,降低特征提取的復雜性與不確定性仍是值得進一步研究的問題。

(3)雖然機器視覺檢測在工業(yè)生產(chǎn)中已經(jīng)取得了較好的檢測效果,但是在實際圖像采集過程中,真實的缺陷數(shù)據(jù)較少,且表面缺陷種類繁多,形式多樣,缺陷特征的提取效率較低,同時,模型對新產(chǎn)生的缺陷類型不能進行正確識別,不足以利用深度學習的方法進行訓練。如何獲取足夠的缺陷樣本,保證在實際應用中的準確率是未來的研究方向之一。

(4)從缺陷檢測的準確性和實時性方面來看,盡管機器視覺檢測的一系列算法不斷更新,但檢測效率與檢測的準確率與實際生產(chǎn)的需求還具有一定的差距。如何解決特征的精確提取,提高檢測系統(tǒng)的準確性與實時性仍是現(xiàn)階段需要考慮的問題。

3.2 發(fā)展趨勢

目前,機器視覺技術(shù)已經(jīng)在醫(yī)學、交通航海、工業(yè)生產(chǎn)等領(lǐng)域有了突破性進展,基于機器視覺的表面缺陷檢測必將是未來的發(fā)展趨勢,具體表現(xiàn)為以下幾個方面。

(1)目前基于機器視覺的缺陷檢測方法主要是對工業(yè)相機獲取的二位圖像進行檢測,檢測的對象是物體的表面缺陷,而二維圖像的視野信息比較單一,無法進行產(chǎn)品各方位視野信息的表達。如何通過多個工業(yè)相機對被檢測物體進行三維建模,獲得檢測目標的空間信息,提高缺陷檢測系統(tǒng)性能已是未來的一個重要發(fā)展趨勢。

(2)機器視覺缺陷檢測方法目前還處于理論研究階段,在實際應用中仍達不到現(xiàn)代化工業(yè)生產(chǎn)中精準化和智能化的要求,利用機器視覺技術(shù)設計產(chǎn)品的分揀裝置,結(jié)合機械臂對缺陷產(chǎn)品進行分類剔除,建立一套全自動化的生產(chǎn)線,是未來工業(yè)生產(chǎn)的大勢所趨。

(3)深度學習在工業(yè)領(lǐng)域已經(jīng)得到成熟的應用,但還沒有發(fā)揮出深度學習的強大性能,近幾年表面缺陷的相關(guān)研究主要集中在各種借鑒主流神經(jīng)網(wǎng)絡框架,通過一些技術(shù)對框架進行輕量化,然后對缺陷分類或檢測。研究出更精準的學習框架,降低學習模型的復雜性,提高在缺陷檢測系統(tǒng)的實時性,是實現(xiàn)工業(yè)生產(chǎn)在線檢測的趨勢。

4 結(jié)論

機器視覺檢測技術(shù)涉及眾多學科和理論,檢測中的每一個環(huán)節(jié)都直接或間接影響著整個檢測系統(tǒng)的性能。傳統(tǒng)機器視覺的缺陷檢測流程通常包括圖像的采集和預處理、目標區(qū)域分割、缺陷的特征提取和識別分類；深度學習的缺陷檢測流程通常包括圖像的采集、圖像數(shù)據(jù)的擴增、缺陷分類(定位)數(shù)據(jù)集的構(gòu)建、數(shù)據(jù)集的標注和訓練。在上述每個流程中都有不同的處理算法,每一步算法都影響著系統(tǒng)的檢測精度,如何選擇合適的算法,提高檢測系統(tǒng)的可靠性、實時性和檢測效率,使機器視覺檢測技術(shù)進一步向智能化和精準化方向發(fā)展仍是科研工作者的研究關(guān)鍵所在。