李 巖，鄭 鵬，徐穎杰，曹滿義，劉棟梁，程亞紅

(鄭州大學(xué)機(jī)械與動(dòng)力工程學(xué)院，鄭州 450001)

0 引言

煙支的卷制環(huán)節(jié)是煙支生產(chǎn)中至關(guān)重要的一環(huán)，而影響卷制質(zhì)量的一個(gè)重要指標(biāo)就是卷制用紙(以下簡(jiǎn)稱卷紙)上線膠的分布情況。在實(shí)際生產(chǎn)中，常常由于涂膠器堵塞，膠水結(jié)團(tuán)等原因，造成斷膠，少膠等質(zhì)量問題。為了解決此問題，通常會(huì)采用人工定時(shí)檢測(cè)，但由于卷制環(huán)節(jié)速度快，卷紙與線膠顏色相近，不易判斷線膠涂抹情況，容易造成誤檢漏檢等情況。而線膠斷流一旦發(fā)生而沒有及時(shí)處理的話，會(huì)影響后續(xù)的煙支制造環(huán)節(jié)并造成經(jīng)濟(jì)損失。

機(jī)器視覺是一門同時(shí)涉及到計(jì)算機(jī)科學(xué)，圖像采集和圖像分析技術(shù)等方面的新興學(xué)科，常被用來進(jìn)行尺寸測(cè)量，目標(biāo)定位，質(zhì)量控制等方面。高文彬等[1]使用機(jī)器視覺技術(shù)對(duì)深海水密圓形連接器的殼體進(jìn)行缺陷檢測(cè)，實(shí)現(xiàn)了殼體表面缺陷識(shí)別與分類。曹慶才等[2]提出了一種基于機(jī)器視覺的風(fēng)機(jī)葉片缺陷檢測(cè)方法，解決了風(fēng)機(jī)葉片檢測(cè)困難問題，其檢測(cè)結(jié)果具有一定的準(zhǔn)確性與魯棒性。韓偉中[3]搭建ZL26纖維濾棒成型機(jī)組中線膠檢測(cè)系統(tǒng)，通過使用機(jī)器視覺的手段對(duì)采集到的線膠圖像進(jìn)行分析判斷，輸出檢測(cè)結(jié)果，其檢測(cè)高效便捷，但其檢測(cè)結(jié)果受光照影響較大，在復(fù)雜光照條件下檢測(cè)結(jié)果不準(zhǔn)確，魯棒性不強(qiáng)。

針對(duì)復(fù)雜光照條件下線膠質(zhì)量檢測(cè)準(zhǔn)確度不高，魯棒性低的問題，提出了一種基于最小二乘擬合的線膠質(zhì)量檢測(cè)法。首先通過圖像降噪，確定ROI區(qū)域等手段減少無關(guān)區(qū)域干擾。隨后使用基于形態(tài)學(xué)的laplacian of gaussian算法在復(fù)雜光照條件下對(duì)線膠輪廓進(jìn)行識(shí)別提取。最后對(duì)線膠輪廓邊緣使用最小二乘擬合，擬合出實(shí)際線膠寬度，進(jìn)而判斷出線膠質(zhì)量是否符合規(guī)范。

1 線膠檢測(cè)處理算法

1.1 檢測(cè)處理流程

在圖像處理過程中，首先會(huì)對(duì)采集到的圖像進(jìn)行降噪，銳化，圖像增強(qiáng)等預(yù)處理。隨后使用區(qū)域劃分，閾值分割等手段指定感興趣區(qū)域(ROI)。接下來在感興趣區(qū)域內(nèi)進(jìn)行形態(tài)學(xué)變換與特征匹配，確定目標(biāo)區(qū)域。最后再使用圖像分析與數(shù)據(jù)擬合，輸出相應(yīng)的結(jié)果。

在本文的線膠檢測(cè)處理過程中，首先對(duì)采集到的圖像進(jìn)行降噪預(yù)處理，減少噪聲的同時(shí)，降低后續(xù)處理難度。隨后在整張圖片中，找出白色卷紙區(qū)域，將白色卷紙區(qū)域設(shè)定為ROI區(qū)域。在ROI區(qū)域內(nèi)使用邊緣提取，確定線膠輪廓信息。最后通過邊緣擬合確定線膠寬度。當(dāng)檢測(cè)到連續(xù)10張圖片寬度不達(dá)標(biāo)時(shí)，就停止采集并報(bào)警，通知管理人員，其檢測(cè)流程如圖1所示。

圖1 檢測(cè)流程圖

1.2 非局部均值濾波降噪算法

在圖像采集過程中受到卷紙上微小凸起或者落在鏡頭上的灰塵等因素干擾。采集到的圖像往往會(huì)產(chǎn)生一些周期性或非周期性的斑點(diǎn)噪聲[4]，噪聲的存在會(huì)影響圖像的質(zhì)量，干擾檢測(cè)結(jié)果的準(zhǔn)確性。所以需要對(duì)圖像進(jìn)行降噪處理，方便后續(xù)圖像處理。

傳統(tǒng)的局部濾波降噪算法，在降噪的同時(shí)，會(huì)造成圖像細(xì)節(jié)丟失。針對(duì)這個(gè)問題，ANTONI等[5]提出了非局部均值(nonlocal means，NLM)算法，該算法核心思想是使用高斯加權(quán)歐氏距離衡量目標(biāo)窗口與搜索窗口之間像素塊的相似程度，根據(jù)關(guān)聯(lián)程度的不同，改變不同像素塊之間的權(quán)值，然后使用指數(shù)型加權(quán)核函數(shù)將搜索窗口內(nèi)的所有像素點(diǎn)的權(quán)值算出，最后通過歸一化處理像素塊的值。假設(shè)尺寸為N的待去噪圖像為u=(i,j)u={u(i,j)|(i,j)∈N}，經(jīng)非局部均值降噪之后的圖像為v={v(i,j)|(i,j)∈N}，u與v之間的關(guān)系可表示為：

(1)

式中，w(i,j,k,l)為目標(biāo)窗口內(nèi)與搜索窗口內(nèi)的相似程度權(quán)值，該權(quán)值可用高斯加權(quán)氏距離進(jìn)行衡量如式(2)所示。

(2)

(3)

在光照不均勻的含噪圖像中，經(jīng)非局部均值降噪算法處理后，其噪聲水平顯著下降，圖像細(xì)節(jié)更加完整細(xì)膩。

1.3 基于動(dòng)態(tài)閾值分割法的ROI區(qū)域提取算法

在本文中，白色膠紙上的線膠信息為目標(biāo)信息，其余淺黑色背景為背景信息，為了避免背景無用信息干擾后續(xù)圖像處理結(jié)果。需要將關(guān)鍵信息與背景信息進(jìn)行分離提取，即ROI(感興趣)區(qū)域提取，針對(duì)圖像亮度分布不均的問題，采用動(dòng)態(tài)閾值分割法進(jìn)行ROI區(qū)域提取[6]。

動(dòng)態(tài)閾值分割法通過在局部范圍內(nèi)，指定目標(biāo)區(qū)域比背景區(qū)域灰度亮多少或灰度區(qū)域小多少來提取該區(qū)域。背景區(qū)域灰度值一般通過中值濾波等方式來得到，在一個(gè)5×5局部區(qū)域內(nèi)，背景區(qū)域灰度值可表述為：

(4)

式中，u(j,k)為濾波前坐標(biāo)為(j,k)的像素點(diǎn)的灰度值；v(j,k)為濾波后坐標(biāo)為(j,k)的像素點(diǎn)的灰度值，也可表示該點(diǎn)的背景區(qū)域灰度值。

隨后，利用該區(qū)域的背景灰度信息值設(shè)定閾值，將原始圖像灰度值信息與背景灰度信息做對(duì)比，從而判斷出該區(qū)域是亮還是暗，該過程可表示為：

(5)

式中，f(i,j)為原圖像；v(i,j)為經(jīng)均值濾波之后的圖像；K為設(shè)定的閾值；B(i,j)為亮暗的判定的結(jié)果。當(dāng)該區(qū)域灰度值大于背景信息后，該區(qū)域即判定為亮區(qū)域，反之則為暗區(qū)域。通過動(dòng)態(tài)閾值分割法即可提取出所需的相對(duì)亮區(qū)域。

1.4 基于形態(tài)學(xué)的Laplacian of Gaussian邊緣提取算法

圖像邊緣區(qū)域是圖像屬性突變的區(qū)域，而這些屬性發(fā)生突變的區(qū)域內(nèi)包含著關(guān)鍵信息，因此對(duì)圖像邊緣檢測(cè)是眾多圖像領(lǐng)域研究的基礎(chǔ)。Laplacian算法是常用的邊緣提取算法之一，Laplacian算法[7]是一種二階微分算子，根據(jù)二階導(dǎo)數(shù)在圖像邊緣出現(xiàn)零交叉點(diǎn)的原理，通過對(duì)圖像中每個(gè)像素點(diǎn)計(jì)算關(guān)于x軸y軸的二階偏導(dǎo)數(shù)之和來提取邊緣，如式(1)所示。近似的離散表達(dá)式如式(6)和式(7)所示。

(6)

(7)

由于Laplacian算法易受噪聲的干擾，故通常在使用Laplacian算法前，會(huì)對(duì)圖像進(jìn)行Gaussian濾波降噪，形成了Laplacian of Gaussian算法[8]。

圖像的形態(tài)學(xué)包含膨脹，腐蝕，開運(yùn)算，閉運(yùn)算等方法[9]。膨脹是把結(jié)構(gòu)內(nèi)核滑過圖像，取最大值來代替錨點(diǎn)的值，用來填補(bǔ)物體中小的空洞和狹窄的縫隙，使物體尺寸增大。其表達(dá)式為：

C=A⊕B

(8)

式中，A為一個(gè)區(qū)域；B為另一個(gè)區(qū)域；A⊕B為以A為內(nèi)核膨脹；C為膨脹之后的區(qū)域。

腐蝕是把結(jié)構(gòu)內(nèi)核滑過圖像，取最小值來替代錨點(diǎn)的值，用來使圖像平滑，消除突出,使物體表面尺寸減小，其表示為：

C=A⊙B

(9)

式中，A為一個(gè)區(qū)域；B為另一個(gè)區(qū)域；A⊙B為以A為內(nèi)核腐蝕；C為腐蝕之后的區(qū)域。

先膨脹再腐蝕，就構(gòu)成了形態(tài)學(xué)的閉運(yùn)算，通過閉運(yùn)算即可得到線膠的完整尺寸。

1.5 基于最小二乘法的輪廓尺寸擬合

為了得到線膠的具體寬度，采用最小二乘法對(duì)邊緣輪廓進(jìn)行邊界擬合[10]，然后進(jìn)行幾何參數(shù)的測(cè)量。假設(shè)經(jīng)邊緣提取后得到的A邊點(diǎn)集合為{(x1,y1),(x2,y2),(x3,y3),…,(xn,yn)}，其中(xi,yi)為圖像中第i個(gè)像素點(diǎn)的坐標(biāo)。設(shè)擬合的邊緣直線方程為：

f=kx+b

(10)

式中，k為直線斜率；b為截距；f為擬合的直線。設(shè)參與擬合的像素點(diǎn)數(shù)量為n，第i個(gè)像素點(diǎn)的坐標(biāo)為(xi,yi)，根據(jù)最小二乘目標(biāo)函數(shù)表達(dá)式：

(11)

由極值條件可得：

(12)

(13)

由此可得出k與b的解為：

(14)

(15)

通過最小二乘法可得到二個(gè)邊緣的函數(shù)表達(dá)式，再通過計(jì)算兩個(gè)邊緣線段之間的平均距離，即可得到線膠寬度。最小二乘法進(jìn)行邊緣輪廓擬合示意圖如圖2所示。

圖2 邊緣輪廓擬合示意圖

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)平臺(tái)介紹

為證明上述算法的可行性，搭建實(shí)驗(yàn)平臺(tái)如圖3所示。CCD相機(jī)使用大恒圖像公司型號(hào)為MER-301-125U3M的300萬像素黑白工業(yè)相機(jī)，該相機(jī)采用1/1.8"的IMX252圖像傳感器，分辨率為2048×1536，幀率為125 fps。為配合相機(jī)的使用，鏡頭選擇大恒圖像公司型號(hào)為MP2系列的M0814-MP2鏡頭，其傳感器尺寸為8.8 mm×6.6 mm，焦距為8 mm，鏡頭距離檢測(cè)臺(tái)高度為200 mm。光源采用奧普特公司的OPT-RI5000白色LED環(huán)形光源在距離檢測(cè)臺(tái)190 mm距離處垂直打光。使用基于.NET Framework3.5框架開發(fā)的Csharp軟件對(duì)圖像進(jìn)行處理。該軟件運(yùn)行在CPU為i9 10900X，GPU為3090 24顯存，運(yùn)行內(nèi)存128 G的電腦主機(jī)上。經(jīng)該實(shí)驗(yàn)平臺(tái)采集到的圖片如圖4所示。

圖3 實(shí)驗(yàn)平臺(tái) 圖4 采集得到的圖片

2.2 圖像降噪

使用非局部均值濾波降噪算法對(duì)采集到的含噪圖像進(jìn)行處理后的圖像及邊緣地帶灰度值如圖5所示。同時(shí)，采用均值降噪算法[11]作為對(duì)比，使用均值濾波降噪算法圖像邊緣地區(qū)灰度值變化如圖6所示。由圖可看出相較于全局均值降噪算法，本文使用的非局部均值降噪算法在去除圖像噪聲的同時(shí)，圖像亮暗對(duì)比更加明顯，邊緣更為銳利，更好的保存了圖像的細(xì)節(jié)信息。

圖5 非局部均值濾波降噪 圖6 均值濾波降噪

2.3 ROI區(qū)域提取

為了證明本文所使用動(dòng)態(tài)閾值分割算法提取ROI區(qū)域的準(zhǔn)確性，分別使用自動(dòng)閾值分割算法與人工經(jīng)驗(yàn)設(shè)定閾值法作為對(duì)比算法，對(duì)比結(jié)果如圖7所示。

(a) 使用動(dòng)態(tài)閾值分割法 (b) 自動(dòng)閾值分割法 (c) 人工經(jīng)驗(yàn)設(shè)定閾值法圖7 ROI提取算法對(duì)比

圖中灰色部分即為提取到的ROI區(qū)域，圖7a為使用動(dòng)態(tài)閾值分割法，圖7b為自動(dòng)閾值分割法， 圖7c為人工經(jīng)驗(yàn)設(shè)定閾值法提取出的ROI區(qū)域。

由于動(dòng)態(tài)閾值分割法對(duì)每一幀圖像灰度信息進(jìn)行均值運(yùn)算，根據(jù)運(yùn)算結(jié)果設(shè)定分割閾值，當(dāng)照明條件發(fā)生變化或者照明不均時(shí)，相對(duì)比人工經(jīng)驗(yàn)選擇法與直方圖自動(dòng)閾值分割法，其提取到的ROI區(qū)域更完整，目標(biāo)信息更準(zhǔn)確，受到影響更小。

經(jīng)過閾值分割法提取ROI區(qū)域后，區(qū)域內(nèi)還會(huì)含有一些微小的背景信息區(qū)域，采用內(nèi)接最大矩形法來剔除這些微小區(qū)域，最后提取出的ROI區(qū)域如圖8所示。

圖8 ROI區(qū)域

2.4 邊緣提取與輪廓尺寸擬合

在ROI區(qū)域提取完成之后，對(duì)圖像進(jìn)行邊緣提取，再進(jìn)行形態(tài)學(xué)的閉運(yùn)算，封閉微小空洞。使用基于形態(tài)學(xué)的Laplacian of Gaussian算法、Roberts算法[12]、Canny算法[13]3種算法分別進(jìn)行邊緣提取操作，其對(duì)比結(jié)果如圖9所示。

(a) Laplacian of Gaussian算法提取出的線膠區(qū)域 (b) Canny算法提取出的線膠區(qū)域 (c) Roberts算法提取出的線膠區(qū)域圖9 3種邊緣提取算法對(duì)比

圖9a為使用基于形態(tài)學(xué)的Laplacian of Gaussian算法提取出的線膠區(qū)域，該線膠區(qū)域提取較為完整準(zhǔn)確。圖9b為使用Canny算法提取出的線膠區(qū)域，該線膠區(qū)域提取不完整，受光線變化影響較大。圖9c為使用Roberts算法提取出的線膠區(qū)域，該算法將部分無關(guān)區(qū)域識(shí)別為線膠區(qū)域，造成線膠寬度識(shí)別不準(zhǔn)。由對(duì)比結(jié)果可知，本文使用的基于形態(tài)學(xué)的Laplacian of Gaussian邊緣提取算法，其提取出的邊緣特征更完整，更符合實(shí)際邊緣輪廓形狀。

隨后提取出線膠輪廓邊界區(qū)域點(diǎn)的集合，獲得相應(yīng)點(diǎn)集的二維坐標(biāo)。隨后對(duì)這些離散的點(diǎn)，進(jìn)行最小二乘擬合，擬合出兩條不相交的直線，通過計(jì)算出兩條直線之間的平均距離，即可獲得線膠寬度。若線膠寬度小于標(biāo)準(zhǔn)范圍，則判定為斷膠照片。如線膠寬度在標(biāo)準(zhǔn)范圍內(nèi)，則為正常照片。若線膠寬度大于標(biāo)準(zhǔn)范圍，則為寬度超標(biāo)圖片。通過線膠寬度的變化，即可實(shí)時(shí)檢測(cè)線膠質(zhì)量。

2.5 結(jié)果分析

分別在光線較強(qiáng)，光線適中，光線較暗的情況下，采集斷膠照片，正常照片，寬度超標(biāo)照片各1000張進(jìn)行實(shí)驗(yàn)。其中采集到的部分照片如圖10所示。隨后對(duì)采集到的圖片，通過本文所介紹的方法，進(jìn)行線膠寬度檢測(cè)，檢測(cè)結(jié)果匯總可由表1所示。

圖10 采集得到的部分照片

表1 檢測(cè)結(jié)果

由實(shí)驗(yàn)結(jié)果可知，在復(fù)雜光照條件下本文所使用的線膠檢測(cè)方法綜合正檢率可達(dá)到98.08%，誤檢率為1.92%，檢測(cè)結(jié)果準(zhǔn)確高效，滿足工業(yè)化檢測(cè)要求。

3 結(jié)束語

根據(jù)實(shí)際生產(chǎn)中急需解決的線膠質(zhì)量檢測(cè)問題，研究了基于機(jī)器視覺的線膠檢測(cè)方法，設(shè)計(jì)了線膠在線檢測(cè)的工作流程并對(duì)圖像的處理步驟與具體算法進(jìn)行了說明，研究對(duì)比了不同算法對(duì)檢測(cè)結(jié)果的影響。經(jīng)過實(shí)驗(yàn)表明，本文中所設(shè)計(jì)的線膠質(zhì)量在線檢測(cè)方法能夠在復(fù)雜環(huán)境下準(zhǔn)確，快速地實(shí)現(xiàn)線膠質(zhì)量的自動(dòng)化檢測(cè)，有效的解決了傳統(tǒng)人工檢測(cè)效率慢，檢測(cè)精度低等問題。