吳方貴，劉文文，陶婷婷，曾 昊

(合肥工業(yè)大學(xué) 儀器科學(xué)與光電工程學(xué)院，合肥 230009)

球粉板表面缺陷在線檢測(cè)

吳方貴，劉文文，陶婷婷，曾 昊

(合肥工業(yè)大學(xué) 儀器科學(xué)與光電工程學(xué)院，合肥 230009)

為快速準(zhǔn)確檢測(cè)球粉板表面缺陷，對(duì)球粉板表面光學(xué)特性不一致性和缺陷類型的多樣性等關(guān)鍵問題進(jìn)行了分析，以利于有效地解決關(guān)鍵問題；論文提出采用基于模板圖片創(chuàng)建矯正模板來解決被測(cè)板材表面光學(xué)特性變動(dòng)的均化問題、自適應(yīng)萃取二值化閾值解決二值化閾值整定問題，以提高軟件的執(zhí)行魯棒性；通過自定義算法實(shí)現(xiàn)了細(xì)線型缺陷修補(bǔ)，有效地提高了劃痕類缺陷檢測(cè)的精度和可靠性；提出了篩查模型實(shí)現(xiàn)了符合缺陷檢測(cè)精度要求的噪點(diǎn)篩除；通過大量現(xiàn)場(chǎng)實(shí)驗(yàn)驗(yàn)證了本系統(tǒng)能夠正確高效實(shí)現(xiàn)球粉板表面缺陷檢測(cè)定位標(biāo)識(shí)和面積測(cè)量功能，以及達(dá)到了目標(biāo)檢測(cè)精度；本系統(tǒng)能很好地勝任球粉板在線表面缺陷檢測(cè);實(shí)驗(yàn)證明檢測(cè)系統(tǒng)非常高效精準(zhǔn)，極大地提高了生產(chǎn)線自動(dòng)化能力。

球粉板; 表面缺陷; 在線檢測(cè); 圖像處理

0 引言

球粉板是無油自潤滑材料，是在冷軋鋼板或酸洗鋼板上均勻涂覆銅粉和配方面料，經(jīng)過鋪粉、燒結(jié)、冷卻、軋制、校平、取樣性能檢測(cè)等工藝制成，采用流水線卷料連續(xù)生產(chǎn)方式。由于生產(chǎn)工藝的不完備，包括帶料與設(shè)備導(dǎo)輥打滑刮擦，異物掉入帶面軋制，帶料的抖動(dòng)和基板熱容量不勻等原因，在生產(chǎn)過程中經(jīng)常容易出現(xiàn)各種表面缺陷，諸如：凹坑凸起、麻坑、劃痕和黑印等表面缺陷，見圖1。

圖1 球粉板表面缺陷

球粉板的表面質(zhì)量直接影響無油軸承的質(zhì)量，決定了應(yīng)用裝備的性能、安全和使用壽命。目前，未見面向球粉板表面缺陷的有效檢測(cè)方法，生產(chǎn)企業(yè)以人工目視方式檢測(cè)，其檢測(cè)效率低且難以實(shí)時(shí)監(jiān)測(cè)，工人勞動(dòng)強(qiáng)度大，難以滿足現(xiàn)代化生產(chǎn)要求，企業(yè)生產(chǎn)效益難以提升。

球粉板表面缺陷檢測(cè)的難點(diǎn)在于表面銅粉顆粒材質(zhì)和尺寸的不同引起表面光學(xué)特性隨板材的型號(hào)不同而改變、板材幅度寬帶來的光照不均，以及表面缺陷的多樣性。目前，視覺檢測(cè)技術(shù)在表面缺陷檢測(cè)方面正發(fā)揮著重要的作用。論文面向企業(yè)提出的表面缺陷檢測(cè)要求，諸如在線快速檢測(cè)，定位缺陷，計(jì)算缺陷面積大小，記錄檢測(cè)結(jié)果；基于對(duì)球粉板表面缺陷產(chǎn)生機(jī)理的研究認(rèn)識(shí)，借助于主流開源計(jì)算機(jī)視覺庫(OpenCV)開發(fā)面向球粉板的表面缺陷的在線檢測(cè)系統(tǒng)。通過平滑照明不均實(shí)現(xiàn)二值化閾值的自適應(yīng)整定，以提高表面缺陷辨識(shí)的魯棒性；通過正常噪點(diǎn)篩除前的細(xì)線型缺陷修補(bǔ)有效地提高了劃痕類缺陷檢測(cè)的精度和可靠性。大量實(shí)驗(yàn)驗(yàn)證了系統(tǒng)的信息處理速度滿足生產(chǎn)效率要求，正確實(shí)現(xiàn)了表面缺陷檢測(cè)定位和面積測(cè)量功能。

1 缺陷檢測(cè)系統(tǒng)設(shè)計(jì)

1.1 光學(xué)系統(tǒng)設(shè)計(jì)

光學(xué)系統(tǒng)設(shè)計(jì)關(guān)乎缺陷辨識(shí)的方法和缺陷檢測(cè)的可靠性?？紤]到企業(yè)工人的文化水平不高，要求盡量減少測(cè)量過程中的參數(shù)設(shè)定和調(diào)節(jié)環(huán)節(jié)，缺陷辨識(shí)方法需要具有較好的魯棒性。因此采用板材兩側(cè)用平行光管的側(cè)向照明，見圖2，使凹坑、凸起、麻坑、劃痕等缺陷部分形成明顯陰影，見圖1，利用亮度的變化來辨識(shí)和測(cè)量球粉板表面缺陷。

圖2 光學(xué)系統(tǒng)

1.2 處理流程

二值化處理是常規(guī)的表面缺陷辨識(shí)方法的第一步，不同型號(hào)的板材表面光學(xué)特性有明顯差異、照明板材幅度寬等原因造成板材表面光照不均勻，那么固定的二值化閾值等圖像處理參數(shù)難以適應(yīng)不同區(qū)域的處理，給缺陷辨識(shí)帶來難度。應(yīng)對(duì)的策略是在開始一卷板材生產(chǎn)時(shí)，拾取一幅沒有表面缺陷的板材圖片，稱為模板圖片，模板圖片沒有缺陷，包含照明不均和不同型號(hào)的板材表面光學(xué)特性的信息，據(jù)此創(chuàng)建矯正模板，對(duì)后續(xù)拍攝測(cè)量圖片進(jìn)行矯正，以消除不同材質(zhì)和不同區(qū)域?qū)ν唤M圖像處理參數(shù)的不適應(yīng)性，提高對(duì)缺陷辨識(shí)的可靠性。缺陷檢測(cè)軟件的準(zhǔn)備工作流程如圖3所示，基于模板圖片通過特定算法創(chuàng)建矯正模板并萃取自適應(yīng)二值化閾值。缺陷確認(rèn)閾值告訴軟件多大面積的缺陷可以認(rèn)為是缺陷，該指標(biāo)標(biāo)志著軟件的測(cè)量精度，也是算法收斂的依據(jù)。

圖3 參數(shù)設(shè)置流程圖

采用即拍即測(cè)的工作模式。在由走帶速度和攝像機(jī)縱向視場(chǎng)尺寸決定的時(shí)間內(nèi)，執(zhí)行拍攝、辨識(shí)定位測(cè)量缺陷面積工作，并標(biāo)記保存辨識(shí)結(jié)果。軟件采用定時(shí)器控制，一個(gè)定時(shí)周期內(nèi)的算法工作流程如圖4。軟件提供基于矯正模板和基于即拍圖片的自均化照明處理方法、基于自適應(yīng)二值化閾值和基于經(jīng)驗(yàn)二值化閾值的圖像二值化處理方法供用戶選擇，使得軟件在圖像處理方法上具有更大的靈活性以應(yīng)對(duì)板材表面缺陷形式的多樣性。

圖4 即拍即測(cè)流程

2 關(guān)鍵問題及其解決

光照均勻化處理以減小其對(duì)表面缺陷正確辨識(shí)帶來的困擾；面對(duì)不同型號(hào)板材表面光學(xué)特性的不同，圖像二值化閾值的自適應(yīng)設(shè)置策略；正常噪點(diǎn)篩除和細(xì)線型缺陷修補(bǔ)是面向球粉板表面缺陷檢測(cè)軟件設(shè)計(jì)中的關(guān)鍵問題，這些問題直接影響到缺陷辨識(shí)測(cè)量的可靠性和精度。

2.1 均勻化處理

由于拍攝的圖像明暗不均勻，使同一張圖像不同區(qū)域不能適應(yīng)統(tǒng)一的二值化閾值。見圖5(a)與(b)，將生圖直接進(jìn)行二值化處理后，明亮區(qū)域缺陷被抹除，暗沉區(qū)域缺陷被正常噪點(diǎn)淹沒。見圖5(c)，均化處理后使處理后的圖像變得明暗均勻；見圖5(d)，均化處理后可以使用統(tǒng)一的二值化閾值進(jìn)行二值化處理，顯然處理后噪點(diǎn)分布均勻、劃痕突出。

圖5 均化與二值化處理

可以使用矯正模板對(duì)獲取的圖像進(jìn)行均化處理。矯正模板來自于拾取的模板圖片，創(chuàng)建矯正模板的基本思想是：在模板圖片φ(k,l),k=0,1,…，H，l=0,1,…,W上，共劃分(M*N)個(gè)、尺寸為(w*h)的子區(qū)域，定義模板圖片平均亮度與各個(gè)子區(qū)域平均亮度的比值為模板數(shù)據(jù)，見式(1)，顯然矯正模板η(m,n),m=0,1,…,M,n=0,1,…,N就是一數(shù)據(jù)矩陣。

(1)

創(chuàng)建模板是在參數(shù)設(shè)置過程中完成，見圖3，將即拍圖片相應(yīng)位置的像素值乘以相應(yīng)的矯正模板數(shù)據(jù)即實(shí)現(xiàn)了均化處理。數(shù)學(xué)模型見式(2)。

g(mh+i,nw+j)=η(m,n)f(mh+i,nw+j)

(2)

其中:f(mh+i,nw+j)和g(mh+i,nw+j)分別為即拍圖片數(shù)據(jù)和光照均化后的圖片數(shù)據(jù)。

如果即拍圖片中缺陷尺寸相對(duì)較小，亦可使用自均化處理模式，將即拍圖片當(dāng)作模板圖片，將f(k,l),k=0,1,…,H,l=0,1…，W取代φ(k,l)帶入式(1)創(chuàng)建及時(shí)模板，同樣利用式(2)進(jìn)行光照均化處理。兩種處理方式的不同在于子區(qū)域的劃分，若采用矯正模板進(jìn)行均化處理，應(yīng)適當(dāng)取小的子區(qū)域尺寸，均化效果好；若采用自均化處理，子區(qū)域尺寸應(yīng)大于缺陷尺寸的10倍，原則上推薦使用矯正模板。比較圖6(a)與(b)，通過均勻化處理后的圖像光照均勻，且表面缺陷對(duì)比度未見弱化。

圖6 均化處理

2.2 獲取二值化閾值及處理

由于各條生產(chǎn)線所處光照環(huán)境的不同、球粉板表面光學(xué)特性隨板材的型號(hào)不同而改變等將致使不同型號(hào)板材圖像亮度波動(dòng)大、像素灰度值分布范圍區(qū)間變動(dòng)明顯，因此需要設(shè)置不同的二值化閾值以應(yīng)對(duì)整體亮度的波動(dòng)，使程序不易于操作，為此這里提供兩種二值化處理方法。

自適應(yīng)二值化閾值獲取方法：基于模板圖片，通過遍歷二值化閾值0到255循環(huán)統(tǒng)計(jì)模板圖片二值化后圖上的顆粒噪點(diǎn)占圖總大小的百分比，以占1%左右為標(biāo)準(zhǔn)，獲得此時(shí)的二值化閾值，以此值為同卷板材二值化標(biāo)準(zhǔn)閾值。1%標(biāo)準(zhǔn)是通過大量實(shí)驗(yàn)比較得來，通過二值化標(biāo)準(zhǔn)閾值測(cè)試的圖片顆粒噪點(diǎn)會(huì)呈現(xiàn)均衡分布，通過判斷統(tǒng)計(jì)噪點(diǎn)分布方差是否滿足均勻分布的要求最終確定二值化閾值，獲取自適應(yīng)二值化閾值流程見圖7，這一過程是在參數(shù)設(shè)置中完成，再基于圖4進(jìn)行常規(guī)二值化處理。

圖7 自適應(yīng)二值化閾值獲取

基于直方圖均衡化的二值化處理方法是對(duì)均化處理后的圖像進(jìn)行直方圖均衡化，統(tǒng)一像素分布區(qū)間在[0,255]，不僅可以拉伸像素強(qiáng)度分布范圍增強(qiáng)了圖像對(duì)比度，而且使不同缺陷像素分布于[0,b1],[0,b2],…,[0,bn]，其有著公共區(qū)間[0,min(b1,b2,…,bn)]。通過對(duì)大量不同型號(hào)、不同環(huán)境的球粉板圖片的分析，經(jīng)驗(yàn)二值化閾值取min(b1,b2,…,bn)，對(duì)直方圖均衡化處理后的圖像進(jìn)行常規(guī)二值化處理均獲得了好的效果。

2.3 噪點(diǎn)篩除和缺陷修補(bǔ)

由于球粉板表面布滿銅粉顆粒，進(jìn)行二值化處理后，其正常部分出現(xiàn)大量的均勻分布的顆粒噪點(diǎn)，劃痕型缺陷也呈現(xiàn)顆粒特性，見圖5(d)。要提取缺陷部分，首先需要將正常的顆粒噪點(diǎn)篩除。基本思想：正常噪點(diǎn)為均勻分布的小顆粒，缺陷部分顆粒較為集中形成大的團(tuán)塊或排列成細(xì)線形狀，這里將噪點(diǎn)顆粒比作谷粒，缺陷形成的團(tuán)塊比作稻草和樹葉，線型缺陷形成的細(xì)線形狀比作細(xì)棍子或樹枝，通過篩子可以將谷粒與稻草、樹葉、樹枝等分離。因此首先構(gòu)建篩眼矩陣，見式(3):

(3)

其中:篩眼尺寸α為用戶設(shè)置的缺陷確認(rèn)閾值。若二值化后圖像上一點(diǎn)p(i,j)的灰度為min，說明該點(diǎn)不是噪點(diǎn)就是缺陷，此時(shí)用篩眼作評(píng)估計(jì)算:

如果φ(i,j)max，則說明點(diǎn)p(i,j)為噪點(diǎn)，應(yīng)該濾除，點(diǎn)p(i,j)及其周圍的灰度設(shè)置為max；如果φ(i,j)

當(dāng)篩除顆粒噪點(diǎn)后，塊狀缺陷邊緣遭到輕微削弱，但不影響邊緣檢測(cè)。而細(xì)線型劃痕在二值化處理后呈現(xiàn)斷斷續(xù)續(xù)的顆粒線型特征見圖5(d)，若不先行修補(bǔ)，在后續(xù)的噪點(diǎn)篩除處理中極易削弱或丟棄，見圖8(a)?？紤]到細(xì)線型劃痕方向總是平行于走帶方向，修補(bǔ)基本思想是在篩除噪點(diǎn)之前，在二值化圖像中任意取hs×ws窗口數(shù)據(jù)，設(shè)min=1,max=0，將此窗口中的數(shù)據(jù)以與走帶方向垂直方向進(jìn)行“或”運(yùn)算；在走帶方向上進(jìn)行“加”運(yùn)算；計(jì)算線狀排列統(tǒng)計(jì)量與hs的比值，判斷其是否基本滿足線狀排列條件，若滿足則將窗口數(shù)據(jù)全部賦值min，將其進(jìn)行修補(bǔ)加強(qiáng)，若不滿足條件則不進(jìn)行處理。

(4)

例如取窗口尺寸為7*3，在二值化圖像中任意取一窗口數(shù)據(jù)，見式(4),按行進(jìn)行“或”運(yùn)算后得到向量T=[1 1 1 1 1 0 1]T，那么，線狀排列統(tǒng)計(jì)量η=6/7=85%，在此設(shè)線狀排列條件為η≥50%，顯然線狀排列條件得以滿足，將該窗口內(nèi)全部數(shù)據(jù)用min賦值。將這一過程遍歷整個(gè)圖像，即實(shí)現(xiàn)了細(xì)線型劃痕的修補(bǔ)，隨后再進(jìn)行噪點(diǎn)篩除，劃痕得到的連接和加強(qiáng)，見8(b)。

圖8 噪點(diǎn)篩除

3 檢測(cè)系統(tǒng)的實(shí)現(xiàn)

本軟件采用VS2010環(huán)境下基于MFC單文檔模板開發(fā)界面，使用OpenCV2.4.9版庫函數(shù)并結(jié)合自行開發(fā)的面向球粉板表面缺陷檢測(cè)圖像處理模塊，實(shí)現(xiàn)了對(duì)表面缺陷的快速有效檢測(cè)，大量的實(shí)際測(cè)試表明軟件簡(jiǎn)潔高效，實(shí)現(xiàn)了根據(jù)設(shè)置缺陷確認(rèn)閾值標(biāo)記缺陷。

3.1 圖像處理過程的實(shí)現(xiàn)及結(jié)果

軟件根據(jù)式(1)定義了方法void CreateTemplet (Mat& src//in, Mat& temp//out, int xblock//in, int yblock//in)、根據(jù)圖7定義方法int GetAdaption Threshold(Mat& src//in)，在參數(shù)設(shè)置階段調(diào)用兩方法實(shí)現(xiàn)基于模板圖片的矯正模板創(chuàng)建和自適應(yīng)二值化閾值萃取。

軟件定義了方法void BalanceLight (Mat& src//in/out, int xblock//in, int yblock//in, bool IsTemplet//in)實(shí)現(xiàn)即拍圖像的均化處理，如果IsTemplet=true，則根據(jù)式(2)執(zhí)行基于矯正模板的均化處理；否則，根據(jù)式(1～2)執(zhí)行基于即拍圖片的自均化處理。軟件定義了方法void BinaryImage (Mat& src//in/out, int section//in, bool IsAdaption//in)執(zhí)行二值化處理，如果IsAdaption=true，使用自適應(yīng)閾值；否則調(diào)用直方圖均衡化函數(shù)equalizeHist()后，再使用經(jīng)驗(yàn)閾值調(diào)用Threshold()函數(shù)進(jìn)行二值化處理。

軟件定義了方法void LinkFlawOfLine(Mat& image//in/out, int ws//in, int hs//in, int mstep//in, double link//in)執(zhí)行缺陷修補(bǔ)；void SieveFunc (Mat& image//in/out, int hole//in)執(zhí)行噪點(diǎn)篩除，在此，link 是線狀排列條件、hole賦值用戶設(shè)置的缺陷確認(rèn)閾值。

以上處理完成后，圖像中只留有缺陷信息，調(diào)用OpenCV中findContours()函數(shù)執(zhí)行邊緣檢測(cè)，通過測(cè)試其返回值中邊緣個(gè)數(shù)計(jì)數(shù)器確定即拍圖片是否有表面缺陷。如果測(cè)試結(jié)果不為“零”，則調(diào)用OpenCV中drawContours()函數(shù)畫出所有缺陷輪廓，如圖9(a)，再使用rectangle()函數(shù)對(duì)缺陷部分進(jìn)行重構(gòu)融合成一個(gè)缺陷，如圖9(b)，再重新利用find Contours()函數(shù)檢測(cè)其邊緣，并計(jì)算其面積大小，后根據(jù)要求將缺陷在原圖進(jìn)行標(biāo)記保存。

圖9 邊緣檢測(cè)與融合

3.2 實(shí)驗(yàn)結(jié)果與分析

球粉板表面缺陷檢測(cè)系統(tǒng)采用大恒水星系列數(shù)字工業(yè)相機(jī)在線采集板材圖片，其分辨率為500萬。經(jīng)過現(xiàn)場(chǎng)對(duì)不同型號(hào)板材的實(shí)際測(cè)試，證明本系統(tǒng)能夠快速檢測(cè)定位標(biāo)記表面缺陷，誤判率滿足項(xiàng)目要求，圖像處理時(shí)間約0.6～0.9秒。相對(duì)于球粉板生產(chǎn)過程中的走帶速度(1米/分)，運(yùn)行效率在滿足檢測(cè)效率要求的同時(shí)還有較長時(shí)間富余，因此還可通過在一個(gè)視場(chǎng)內(nèi)多次采集處理來增加檢測(cè)的可靠性，進(jìn)一步減小誤判率。

4 結(jié)論

基于對(duì)球粉板表面缺陷產(chǎn)生機(jī)理的研究和對(duì)球粉板表面缺陷檢測(cè)中的關(guān)鍵問題分析，論文提出采用基于模板圖片創(chuàng)建矯正模板并萃取自適應(yīng)二值化閾值的方法來解決表面光學(xué)特性變動(dòng)的均化問題、實(shí)現(xiàn)二值化閾值的自適應(yīng)整定問題，以提高軟件的執(zhí)行魯棒性；通過自定義算法實(shí)現(xiàn)了劃痕型缺陷修補(bǔ)，有效地提高了劃痕類缺陷檢測(cè)的精度和可靠性；提出了篩查模型實(shí)現(xiàn)了符合缺陷檢測(cè)精度要求的正常噪點(diǎn)篩除。通過大量現(xiàn)場(chǎng)實(shí)驗(yàn)驗(yàn)證了本缺陷檢測(cè)系統(tǒng)的信息處理速度和誤判率完全滿足生產(chǎn)要求，正確實(shí)現(xiàn)了缺陷定位標(biāo)識(shí)和面積測(cè)量功能。

[1] Wang P, Zhang X W, Mu Y, et al. The copper surface defects inspection system based on computer vision[A].Fourth International Conference on Natural Computation[C]. Jinan, 2008: 535-539.

[2] Tang B, Kong J Y, Wang X D, et al. Surface inspection system of steel strip based on machine vision[A].First International Workshop on Database Technology and Applications[C]. Hubei, 2009:359-362.

[3] Park C, Bae H, Yun J, et al. The automated surface inspection system for hot slab[A].13th International Conference on Control, Automation and Systems (ICCAS)[C]. Gwangju, 2013:1733-1735.

[4] Sekhar P. Duct fan based wall climbing robot for concrete surface crack inspection[A]. Annual IEEE India Conference (INDICON)[C]. Pune, 2014:1-6.

[5] Martínez S S, Vázquez C O, García J G, et al. Image fusion for surface finishing inspection[A]. IEEE International Conference on Imaging Systems and Techniques (IST)[C]. Macau, 2015: 1-6.

[6] 甘勝豐. 帶鋼表面缺陷圖像檢測(cè)與分類方法研究[D]. 武漢:中國地質(zhì)大學(xué),2013.

[7] 韓芳芳. 表面缺陷視覺在線檢測(cè)關(guān)鍵技術(shù)研究[D]. 天津:天津大學(xué),2012.

Online Detection of Surface Flaws on Spherical Powder Plate

Wu Fanggui, Liu Wenwen, Tao Tingting, Zeng Hao

(Hefei University of Technology, Hefei 230009, China)

In order to detect the surface flaws of the spherical powder plate quickly and accurately, the paper analyzes the key problems, such as the diversity of flaws and the optical inconsistency for different types, and the corresponding solutions are proposed. A correction template is created based on a template image which is collected from the flawless surface to realize the optical homogenization of the detected surface. The binary threshold is extracted automatically according to the template image of different type plate to improve the robustness of the software execution. A custom algorithm, which can effectively improve the precision and reliability of detecting the scratch type flaw, is used to compensate the loss of the fine line flaws in screening the flaws. In addition, screening model is established to remove the noise coming from the spherical powder according to the accuracy requirements. A lots of experiments show that the system can accurately and efficiently detect flaws on the spherical powder plate surface and achieve the identification, the location and the area measurement of the surface flaws in the production line, and meet the target accuracy. The system can be well qualified for online detection the flaws in surface of the spherical powder plate. Experimental results show that the detection system is very efficient and accurate, which greatly improves the automation of production line.

spherical powder plate; surface flaw; online detection; image processing

2016-09-18；

2016-11-03。

吳方貴(1989-)，男，安徽池州人，碩士研究生，主要從事圖像處理方向的研究。

1671-4598(2017)03-0029-04DOI：10.16526/j.cnki.11-4762/tp

TP

A