文章編號(hào):1005-5630(2024)05-0024-07 DOI:10.3969/j.issn.1005-5630.202305100093
摘要:光學(xué)元件表面缺陷會(huì)嚴(yán)重影響到光學(xué)系統(tǒng)的性能指標(biāo)。現(xiàn)有的光學(xué)元件表面缺陷檢測(cè)技術(shù)存在檢測(cè)速度慢,精度低等問題。基于光學(xué)元件微缺陷偏振檢測(cè)技術(shù),研究了缺陷偏振成像的數(shù)字圖像處理方法。首先利用光的偏振特性采集到缺陷對(duì)比度高的圖像,然后通過濾波去噪、閾值分割、形態(tài)學(xué)處理的方法對(duì)圖像進(jìn)行預(yù)處理,再根據(jù)不同的缺陷類型選取不同的特征參數(shù)從而實(shí)現(xiàn)缺陷檢測(cè)及分類,此外還精確測(cè)量了缺陷的尺寸。結(jié)果表明,此方法的缺陷總檢出率為95.90%,單張圖像檢測(cè)時(shí)間少于50 ms。
關(guān)鍵詞:缺陷檢測(cè);數(shù)字圖像;光學(xué)元件;偏振特性
中圖分類號(hào):TN 29文獻(xiàn)標(biāo)志碼:A
Image processing method for polarization detection of microdefects in optical components
CHEN Xiaohui1,WANG Xinsen1,DUAN Yafan1,2,3
(1.Research Center for Photonics Technology,Quanzhou Normal University,Quanzhou 362000,China;2.Fujian Key Laboratory of Advanced Micro-nano Photonics Technology and Devices,Quanzhou,362000,China;3.Fujian Collaborative Innovation Center for Ultra-precision Optical Engineering andApplication,Quanzhou 362000,China)
Abstract:Surface defects of optical components seriously affect the performance of optical systems.The existing surface defects detection technology of optical components has problems such as slow detection speed and low accuracy.This paper studies the digital image processing method of polarization imaging of defects based on the polarization detection technology of micro-defects of optical components.Firstly,we used the polarization property of light to capture the image with high contrast of defects,and then pre-processed the image by filtering and denoising,threshold segmentation,morphological processing.Next,different feature parameters are selected according to different types of defects so as to achieve defect detection and classification,meanwhile accurately measuring the size of defects.The results showed that the total defect detection rate of this method was 95.90%,and the detection time of a single image was less than 50 ms.
Keywords:defect detection;digital image;optical component;polarization characteristic
引言
光學(xué)元件表面缺陷通常包括表面疵病和表面臟污[1]。表面疵病是指光學(xué)元件表面在拋光加工的過程中由于操作不當(dāng)使其仍然存在麻點(diǎn)、劃痕、破邊等缺陷[2-3]。人們對(duì)光學(xué)元件的質(zhì)量要求越來越高,而在實(shí)際生產(chǎn)中又經(jīng)常存在不可避免的缺陷,因此,高效地實(shí)現(xiàn)光學(xué)元件表面缺陷檢測(cè)成為當(dāng)下光學(xué)元件制造企業(yè)的迫切需求。實(shí)現(xiàn)對(duì)光學(xué)元件表面缺陷的識(shí)別分類可以幫助企業(yè)針對(duì)不同類型的缺陷及時(shí)改進(jìn)相應(yīng)的生產(chǎn)工藝,提高光學(xué)元件的質(zhì)量;精確測(cè)量缺陷的尺寸可以作為判斷產(chǎn)品優(yōu)劣和劃分質(zhì)量等級(jí)的依據(jù),防止不合格品流入市場(chǎng)。
目前光學(xué)元件表面缺陷檢測(cè)主要采用機(jī)器視覺的方法,用攝像頭等圖像采集裝置采集作業(yè)環(huán)境的圖像信息,再用圖像處理技術(shù)提取有效信息,代替人眼做出各種檢測(cè)和判斷,從而大大提高檢測(cè)的效率和自動(dòng)化水平。其中,亓寧寧等[4]研究了一種基于機(jī)器視覺的玻璃缺陷檢測(cè)系統(tǒng),用BP神經(jīng)網(wǎng)絡(luò)對(duì)玻璃表面的3種缺陷進(jìn)行分類,但該方法識(shí)別的平均誤差率較高(9.84%)。朱宇棟等[5]提出一種基于計(jì)算機(jī)視覺檢測(cè)光學(xué)鏡片外觀瑕疵的方法,使用黑體作為暗背景,提高了瑕疵的對(duì)比度,但所述方法檢測(cè)速度較慢,單個(gè)元件檢測(cè)速度需耗時(shí)5 s。杜培玉等[6]針對(duì)雙凸透鏡缺陷檢測(cè)搭建了基于成像缺陷檢測(cè)方法的圖像采集系統(tǒng),但采集得到的圖像存在著大量的隨機(jī)噪聲和圖像整體灰度不均勻等問題,使得后續(xù)的圖像處理變得困難。胡澤波等[7]為了解決光學(xué)元件缺陷檢測(cè)時(shí)被測(cè)面無法成像在一個(gè)像平面上的問題,提出了一種機(jī)器視覺與三維重構(gòu)相結(jié)合的檢測(cè)方法,但該方法計(jì)算量大,還會(huì)引入成像點(diǎn)與圖像上測(cè)量點(diǎn)的誤差。
針對(duì)目前光學(xué)元件表面缺陷檢測(cè)中存在的難題,本文提出了一種基于光學(xué)元件微缺陷偏振檢測(cè)技術(shù)的數(shù)字圖像處理方法。結(jié)果表明,該方法的檢測(cè)準(zhǔn)確率高,檢測(cè)速度快,能實(shí)現(xiàn)曲面光學(xué)元件表面各方位缺陷的一次成像和缺陷尺寸的精確測(cè)量。
1圖像采集
1.1圖像采集裝置介紹
本文使用的圖像采集裝置如圖1所示。該裝置采用線偏振共焦照明方式,配合遠(yuǎn)心鏡頭實(shí)現(xiàn)了曲面光學(xué)元件表面各方位缺陷的一次成像。在圖1中,以裝置底座平面相鄰兩邊所在直線為x軸、y軸,垂直于底座平面的方向?yàn)閦軸。沿著z軸從下往上依次為變焦照明光源、線偏振片2、載物臺(tái)、線偏振片1、遠(yuǎn)心鏡頭和相機(jī)。其中相機(jī)和載物臺(tái)可在x,y,z的3個(gè)軸方向(上下前后左右)單獨(dú)調(diào)節(jié)。x軸的調(diào)節(jié)范圍為?10 mm≤x≤10 mm,y軸的調(diào)節(jié)范圍為0≤y≤10 mm,z軸的調(diào)節(jié)范圍為?20 mm≤z≤20 mm。
變焦光源發(fā)出的光線的Stokes矢量表示為
Sin=[Sin0 Sin1 Sin2 Sin3]T(1)
線偏振片2(+45°起偏器)的Mueller矩陣表達(dá)式為
照射到光學(xué)元件表面時(shí),光線會(huì)發(fā)生折射。光的折射過程對(duì)應(yīng)的Mueller矩陣的表達(dá)式[8]為
式中,令a=cos2θ?+1,b=cos2θ??1,c=2cosθ?,θ±=θi±θr,θi為入射角,θr為折射角。
線偏振片1(?45°檢偏器)的Mueller矩陣表達(dá)式為
則最后的出射光線的Stokes矢量表示為
當(dāng)光學(xué)元件表面無缺陷時(shí),有U′=U+θi?θr(U′為像方孔徑角,U為物方孔徑角)。變焦光源出射光為平行光,U′=0,則有θ?=θi?θr=?U。假設(shè)光學(xué)元件的直徑為d,焦距為f,其入射光線的物方孔徑角最大為U=arctan(d/2f),此值通常不超過15°,此時(shí)cos2θ??1≈0,所以有b=0,a=2。因此,當(dāng)光學(xué)元件無缺陷時(shí)對(duì)應(yīng)的Mueller矩陣的表達(dá)式為
則最后的出射光線的Stokes矢量表示為
Sout=P1MP2Sin=[0 0 0 0]T(7)
因此,光學(xué)元件表面無缺陷的部位在圖像中呈現(xiàn)出暗背景。
當(dāng)光學(xué)元件表面存在缺陷,入射光線照射缺陷部分時(shí),入射角θi改變,折射角θr隨之改變,θ?與光學(xué)元件的物方孔徑角無關(guān)系,此時(shí)cos2θ??1,即b,不能近似為0。對(duì)應(yīng)的Mueller矩陣的表達(dá)式為
則最后的出射光線的Stokes矢量表示為
Sout=P1MP2Sin=(a?c)(Sin0+Sin2)[1 0?1 0]T
因此,光學(xué)元件表面有缺陷的部位在圖像中呈現(xiàn)出亮狀態(tài)。
1.2圖像采集效果
由上述裝置采集到的圖像如圖2所示。其中2(a)為裝置采集到的一幅平凸透鏡原始圖像;2(b)~(e)分別為麻點(diǎn)缺陷、劃痕缺陷、臟污缺陷、破邊缺陷的局部放大圖像。由圖2可以看到本文方法采集到的圖像噪聲少,光照均勻,缺陷區(qū)域與背景部分對(duì)比度高,有利于后續(xù)的圖像處理過程。
為了驗(yàn)證該裝置的檢測(cè)精度,采用分辨率測(cè)試卡對(duì)該裝置進(jìn)行系統(tǒng)分辨率測(cè)試,結(jié)果如圖3所示。使用1倍鏡頭,測(cè)試結(jié)果為128 lp/mm,可以分辨大小為3.9μm以上的缺陷。
2圖像預(yù)處理及缺陷分類識(shí)別
2.1濾波去噪
在圖像采集的過程中,噪聲無法避免,但有引入的強(qiáng)弱之別[9]。噪聲表現(xiàn)在使圖像模糊或產(chǎn)生隨機(jī)分布的白色像素噪點(diǎn)或塊,這會(huì)對(duì)目標(biāo)區(qū)域特征提取形成干擾,影響其精度[10-12]。為改善圖像質(zhì)量,使圖像中缺陷與背景區(qū)域有更高的辨識(shí)度從而精確提取缺陷特征,需要采用濾波對(duì)上述圖像噪聲進(jìn)行濾除[13]。常見的濾波算法有均值濾波、中值濾波、高斯濾波[14]。
3種濾波方式的效果如圖4所示,通過對(duì)比,發(fā)現(xiàn)中值濾波可以更好地消除圖像噪聲。因此本系統(tǒng)采用中值濾波作為圖像的濾波去噪方式。
2.2閾值分割
圖像的閾值分割是根據(jù)圖像的灰度值將圖像中的目標(biāo)區(qū)域與背景區(qū)域進(jìn)行分離,使得分割后的目標(biāo)區(qū)域與背景區(qū)域互不相交,分割后對(duì)應(yīng)區(qū)域內(nèi)的像素點(diǎn)都具有相同的一致性[15]。常見的閾值分割方法有固定閾值分割、自動(dòng)閾值分割、動(dòng)態(tài)閾值分割。
對(duì)于圖5(a)中的劃痕,3種閾值分割的效果如圖5所示。從圖5(b)可看出,即使閾值區(qū)間設(shè)置很小,固定閾值分割仍然達(dá)不到精確分割,會(huì)有一些無關(guān)像素點(diǎn)被分割進(jìn)來,而且其局限性很大,故舍棄此方法。由圖5(c)可知,自動(dòng)閾值分割雖然也可以分割出來劃痕,但其像素點(diǎn)數(shù)量較少,并沒有分割出完整的劃痕,并且所分割出的像素點(diǎn)之間的間隙較大,不利于后續(xù)特征提取時(shí)識(shí)別出整條劃痕。而圖5(d)所示的動(dòng)態(tài)閾值分割基本達(dá)到了要求,比另外兩種分割方法好,因此本系統(tǒng)采用動(dòng)態(tài)閾值分割方法。
2.3形態(tài)學(xué)處理
形態(tài)學(xué)在數(shù)字圖像處理中是用來分析數(shù)學(xué)形態(tài)學(xué)的相關(guān)理論,以表示圖像中目標(biāo)區(qū)域的特征信息。其原理是利用預(yù)先設(shè)計(jì)好的結(jié)構(gòu)元素對(duì)圖像目標(biāo)區(qū)域進(jìn)行特征改進(jìn),基本運(yùn)算有膨脹、腐蝕、開運(yùn)算、閉運(yùn)算等[13]。形態(tài)學(xué)的處理可使圖像的質(zhì)量得到提升,目標(biāo)區(qū)域的特征表現(xiàn)更明確,有利于后續(xù)分析[16]。
結(jié)果如圖6所示,采用閉運(yùn)算可對(duì)二值化圖像起到連接作用。在劃痕檢測(cè)中,當(dāng)劃痕由于亮暗不均勻?qū)е麻撝捣指詈蟪霈F(xiàn)斷點(diǎn),難以提取完整的劃痕時(shí),通過閉運(yùn)算可以明顯改善劃痕缺陷的特征,起到斷點(diǎn)連接,幫助完整地檢測(cè)出劃痕的效果。
2.4連通區(qū)域標(biāo)記
連通區(qū)域是指在數(shù)字圖像矩陣中,像素灰度值相同且位置緊鄰的前景像素點(diǎn)共同組成的區(qū)域[13]。它可以將二值化圖像的前景區(qū)域進(jìn)一步劃分為一個(gè)個(gè)獨(dú)立的子區(qū)域,并進(jìn)行編號(hào)。每個(gè)子區(qū)域都有各自的圖像特征。
連通區(qū)域標(biāo)記效果如圖7所示。二值化圖像經(jīng)過連通區(qū)域標(biāo)記后,以不同的編號(hào)劃分了不同的子區(qū)域。實(shí)際的處理效果如圖7(c)和(d)所示。圖7(c)中以紅色顯示出了二值化圖像的前景目標(biāo),在圖7(d)中以不同的顏色表示前景區(qū)域被劃分的各個(gè)子區(qū)域。
2.5各類型缺陷的特征參數(shù)選取
通過連通區(qū)域標(biāo)記后,二值化圖像形成了一個(gè)個(gè)獨(dú)立的子區(qū)域。接下來就需要根據(jù)缺陷的類型選取相應(yīng)的特征參數(shù),將想要的子區(qū)域提取出來。常用圖像的特征參數(shù)有統(tǒng)計(jì)特征、幅度特征、變換系數(shù)特征、幾何特征等。本文研究的是光學(xué)表面缺陷的檢測(cè),不同類型的缺陷最明顯的區(qū)別在于其幾何特征,因此選取幾何特征參數(shù)來對(duì)缺陷類型進(jìn)行劃分。
幾何特征包括:周長L、面積A、圓形度c、長寬比q、等效圓直徑d等。周長L即封閉區(qū)域邊界的長度;面積A即封閉區(qū)域的大小;圓形度c表示區(qū)域與圓形的相似程度,可由區(qū)域的周長L和面積A來計(jì)算得出[17],其計(jì)算式為
長寬比q為區(qū)域的最小外接矩形(MER)的長LMER與寬WMER的比值,其計(jì)算公式為
等效圓直徑d為與區(qū)域面積相等的圓形區(qū)域(等效圓)的直徑,其計(jì)算公式為
本文對(duì)于不同類型的缺陷選取的具體幾何特征如下:
(1)麻點(diǎn)。麻點(diǎn)的形狀通常比較接近圓形,其圓形度c通常在0.6到1之間;而其長寬比q則接近于1,通常在0.6到1.4之間;面積A通常大于100,小于5 000。
(2)劃痕。劃痕通常呈細(xì)長條狀,其圓形度c通常在0到0.3之間;長寬比q則較大,通常在2以上;周長L通常大于300。
(3)破邊。不同的破邊缺陷形狀差異較大,只根據(jù)幾何特征來篩選破邊缺陷很難達(dá)到理想的效果,但破邊往往發(fā)生在光學(xué)元件表面邊緣的位置。因此本文采取的解決方案為,先將邊緣區(qū)域(區(qū)域邊界向里延伸300像素距離的環(huán)狀區(qū)域)分割出來,再針對(duì)邊緣區(qū)域進(jìn)行缺陷檢測(cè)。通過大量的實(shí)驗(yàn)發(fā)現(xiàn),選取面積A在300到3 000,等效圓直徑d在200到2 500之間。
(4)臟污。臟污在圖像中通常表現(xiàn)出比背景灰度還低的暗色,因此可以通過閾值分割將其單獨(dú)分割出來,并且其面積A通常較小,圓形度c較大。本文選取面積A在30到500的范圍,圓形度c在0.7到1之間。
各類型缺陷的檢測(cè)效果如圖8所示。其中,麻點(diǎn)、劃痕、破邊、臟污分別使用不同顏色的方框標(biāo)記其位置。
3實(shí)驗(yàn)結(jié)果分析
為驗(yàn)證本文方法對(duì)各類型缺陷檢測(cè)的準(zhǔn)確率,選取50個(gè)平凸柱面光學(xué)元件和50個(gè)平凸球面光學(xué)元件作為缺陷樣本。檢測(cè)后得到的各類型缺陷檢測(cè)準(zhǔn)確率如表1所示。由表1可知,除破邊缺陷檢測(cè)準(zhǔn)確率較低以外,其他類型的缺陷檢測(cè)準(zhǔn)確率均高于95%,缺陷的總檢出率為95.90%。分析認(rèn)為造成破邊缺陷檢測(cè)率較低的主要原因有:破邊缺陷經(jīng)正交檢偏后采集到的圖像對(duì)比度沒有其他缺陷高;不同破邊缺陷形狀差異大,其幾何特征參數(shù)選取的難度更大,有個(gè)別特殊形狀的破邊缺陷會(huì)被漏檢。
為了驗(yàn)證本文方法的缺陷尺寸測(cè)量精度,分別選取5個(gè)各類型的缺陷樣本進(jìn)行測(cè)量(劃痕、破邊測(cè)量寬度,麻點(diǎn)、臟污測(cè)量直徑)。測(cè)量結(jié)果及耗時(shí)情況見表2。由表2可知,本文方法測(cè)量精度可達(dá)到微米量級(jí),檢測(cè)耗時(shí)均低于50 ms。
4結(jié)論
基于光的偏振特性,搭建了曲面光學(xué)元件微缺陷的偏振檢測(cè)裝置。通過線偏振片對(duì)光學(xué)元件的透射光進(jìn)行偏振態(tài)檢測(cè),使得光學(xué)元件缺陷呈亮成像,無缺陷部位呈暗背景。采集到缺陷對(duì)比度高的圖像后,采用中值濾波和動(dòng)態(tài)閾值分割,再結(jié)合閉運(yùn)算來進(jìn)行圖像預(yù)處理,而后根據(jù)缺陷的類型和特征設(shè)置不同的幾何特征參數(shù),以達(dá)到缺陷檢測(cè)分類的效果。最后選取了100個(gè)樣本進(jìn)行檢測(cè),得出各類型缺陷的檢測(cè)準(zhǔn)確率和缺陷總檢出率。再分別選取4種類型的缺陷樣本各5個(gè),精確測(cè)量了其尺寸并記錄耗時(shí),結(jié)果顯示檢測(cè)時(shí)間均低于50 ms?;诠馄竦墓鈱W(xué)元件缺陷檢測(cè)及其圖像處理技術(shù)與傳統(tǒng)算法相比具有檢測(cè)準(zhǔn)確率高,檢測(cè)速度快等優(yōu)點(diǎn),有望大幅提高光學(xué)元件的檢測(cè)效率。
參考文獻(xiàn):
[1]楚紅雨.基于機(jī)器視覺的高功率激光裝置光學(xué)鏡片表面缺陷檢測(cè)技術(shù)研究[D].重慶:重慶大學(xué),2011.
[2]中華人民共和國國家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局,中國國家標(biāo)準(zhǔn)化管理委員會(huì).GB/T 1185—2006光學(xué)零件表面疵病[S].北京:中國標(biāo)準(zhǔn)出版社,2007.
[3]向戈川,林有希,任志英.光學(xué)元件表面缺陷檢測(cè)方法研究現(xiàn)狀[J].光學(xué)儀器,2018,40(1):78–87.
[4]亓寧寧,常敏,劉雨翰.基于機(jī)器視覺的玻璃缺陷檢測(cè)[J].光學(xué)儀器,2020,42(1):25–31.
[5]朱宇棟,陳於學(xué).光學(xué)鏡片外觀瑕疵視覺檢測(cè)方法[J].應(yīng)用光學(xué),2020,41(3):553–558.
[6]杜培玉,金永.基于機(jī)器視覺的雙凸透鏡缺陷檢測(cè)研究[J].國外電子測(cè)量技術(shù),2022,41(8):91–96.
[7]胡澤波,郭忠達(dá),李宏,等.球面光學(xué)元件表面疵病視覺檢測(cè)方法研究[J].光學(xué)與光電技術(shù),2023,21(1):21–27.
[8]GOLDSTEIN D H.Polarized light[M].3rd ed.Boca Raton:CRC Press,2011:808.
[9]劉鵬.光學(xué)元件表面微缺陷可視化檢測(cè)技術(shù)研究[D].西安:西安工業(yè)大學(xué),2012.
[10]張娜娜,張媛媛,丁維奇.經(jīng)典圖像去噪方法研究綜述[J].化工自動(dòng)化及儀表,2021,48(5):409–412,423.
[11]JULIET RANI V,THANAMMAL K K.STFTSM:noise reduction using soft threshold-based fuzzy trimmed switch median filter[J].Soft Computing,2022,26(3):947–960.
[12]劉宇涵,閆河,陳早早,等.強(qiáng)噪聲下自適應(yīng)Canny算子邊緣檢測(cè)[J].光學(xué)精密工程,2022,30(3):350–362.
[13]王碩.基于圖像處理的PC構(gòu)件表觀缺陷檢測(cè)研究[D].聊城:聊城大學(xué),2022.
[14]孔樹蔭.基于機(jī)器視覺的PCBA缺陷檢測(cè)系統(tǒng)研究與設(shè)計(jì)[D].廣州:廣東工業(yè)大學(xué),2022.
[15]劉鵬.基于圖像處理的混凝土預(yù)制構(gòu)件裂縫檢測(cè)系統(tǒng)研究[D].西安:西安建筑科技大學(xué),2017.
[16]王睿,漆泰岳,雷波,等.隧道襯砌裂縫特征提取方法研究[J].巖石力學(xué)與工程學(xué)報(bào),2015,34(6):1211–1217.
[17]向弋川.基于機(jī)器視覺的光學(xué)鏡片表面缺陷檢測(cè)系統(tǒng)研究[D].福州:福州大學(xué),2018.
(編輯:李曉莉)