鄭代福,周田,曾志平,黃衍堂,許燦華
(福州大學(xué)物理與信息工程學(xué)院,福州 350116)
光學(xué)元件是激光加工、光學(xué)測(cè)量、光學(xué)傳感、光學(xué)通信等光學(xué)應(yīng)用領(lǐng)域的基礎(chǔ)。隨著現(xiàn)代科技產(chǎn)品對(duì)光學(xué)元件的需求增加,光學(xué)元件表面缺陷的檢測(cè)識(shí)別逐漸成了現(xiàn)代化企業(yè)重點(diǎn)關(guān)注的問(wèn)題。對(duì)于非光學(xué)工業(yè)產(chǎn)品的檢測(cè),近年傳統(tǒng)的人工檢測(cè)方法已經(jīng)逐步被采用光學(xué)成像并進(jìn)行圖像識(shí)別的機(jī)械視覺(jué)檢測(cè)所替代[1]。但對(duì)光學(xué)元件直接成像時(shí),由于高光現(xiàn)象(特指光學(xué)元件的高透過(guò)率、高反射率和定向反射等現(xiàn)象)的存在,成像過(guò)程容易出現(xiàn)局部的過(guò)度曝光或曝光不足的問(wèn)題,元件目標(biāo)缺陷細(xì)節(jié)大幅降低甚至消失,從而導(dǎo)致圖像識(shí)別算法無(wú)法對(duì)元件缺陷進(jìn)行準(zhǔn)確識(shí)別[2]。此外,光學(xué)元件缺陷有麻點(diǎn)、劃痕、氣泡、崩邊等類(lèi)型,缺陷類(lèi)型較多,圖像分析和缺陷識(shí)別的難度較大[3]。因此,降低高光現(xiàn)象對(duì)成像質(zhì)量的影響,研究高準(zhǔn)確率的缺陷識(shí)別算法是在光學(xué)元件高速工業(yè)生產(chǎn)中實(shí)現(xiàn)快速、準(zhǔn)確檢測(cè)需要解決的兩個(gè)關(guān)鍵問(wèn)題。
光學(xué)元件檢測(cè)方法包含目視法、濾波成像法、掠射法、散射能量分析法、頻譜分析法等[3],其中基于偏振的濾波成像法可以攔截特定方向的偏振光,降低成像場(chǎng)景中高光和背景雜散光的影響。在對(duì)光學(xué)元件的缺陷進(jìn)行偏振成像時(shí),照射在目標(biāo)缺陷的光被反射或散射會(huì)改變其偏振狀態(tài),與高光和背景雜散光的偏振態(tài)有所區(qū)別,再利用偏振相機(jī)采集各個(gè)不同偏振方向的圖像,計(jì)算出缺陷圖像的偏振度,可以有效降低高光和雜散光的影響,提高缺陷成像信噪比[4-6]。在缺陷檢測(cè)算法方面,基于人工智能、模式識(shí)別、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等高級(jí)智能化的缺陷提取算法是近年的研究熱點(diǎn)[7-8]。其中基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法(CNN)可以直接將原始圖像作為輸入,通過(guò)有監(jiān)督或無(wú)監(jiān)督學(xué)習(xí)自動(dòng)提取圖像特征,網(wǎng)絡(luò)搭建和運(yùn)行過(guò)程中不需要進(jìn)行復(fù)雜的圖像預(yù)處理和人工圖像特征選取,減少了人工參與量,并且網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、適應(yīng)性強(qiáng)、效率高[9]。國(guó)內(nèi)外已有研究中采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)硅片、油漆、石材、木材以及紡織物等非光學(xué)表面進(jìn)行檢測(cè),其準(zhǔn)確率可達(dá)到98%[10]。
本文針對(duì)目前光學(xué)元件自動(dòng)檢測(cè)技術(shù)中存在的困難,采用偏振相機(jī)與暗場(chǎng)成像相結(jié)合的方法消除高光現(xiàn)象對(duì)光學(xué)元件成像質(zhì)量的影響,提高成像對(duì)比度。并在采集大量光學(xué)元件表面缺陷圖像后,引入卷積神經(jīng)網(wǎng)絡(luò)研究光學(xué)元件表面缺陷的識(shí)別算法,比較不同網(wǎng)絡(luò)的性能和識(shí)別準(zhǔn)確率,為實(shí)現(xiàn)高速、準(zhǔn)確的光學(xué)元件自動(dòng)檢測(cè)技術(shù)提供參考。
元件成像使用的偏振相機(jī)是由FLIR 公司生產(chǎn)的分焦平面(DoFP)線偏振相機(jī)。該相機(jī)在獲取2 440×2 048 像素DoLP 偏振度圖片時(shí)相機(jī)幀頻率可達(dá)到75 幀/s,相機(jī)結(jié)構(gòu)緊湊,尺寸為29 mm ×29 mm ×30 mm。DoFP原理如圖1(a)所示,相機(jī)焦平面上相鄰的4 個(gè)探測(cè)器(像素點(diǎn))前分別覆蓋0°、90°、45°和135°的偏振片(納米金屬光柵),并將此周期單元拓展到探測(cè)器的全部焦平面,從而實(shí)現(xiàn)相機(jī)在單次曝光中采集4 張不同偏振方向的圖片。這4 幅圖可被轉(zhuǎn)換為線性Stokes參量進(jìn)行實(shí)時(shí)的偏振度成像。Stokes 偏振度成像需要的S0、S1和S2分量的求解公式如下:
圖1 DoLP線偏振成像原理(a)分焦平面偏振技術(shù)示意圖,(b)分焦平面偏振相機(jī),(c)基于分焦平面偏振相機(jī)的暗場(chǎng)成像光路
式中:S0表示光強(qiáng);S1表示豎直與水平偏振方向的光強(qiáng)差;S2表示45°偏振方向與135°偏振方向的光強(qiáng)差。
在偏振成像的基礎(chǔ)上,結(jié)合暗場(chǎng)成像方法搭建了如圖1(c)所示的成像光路。由于環(huán)形LED 光源被載物臺(tái)阻擋,照明光無(wú)法直接到達(dá)相機(jī)接收面,屬于暗場(chǎng)成像。照明光源屬于自然偏振,所以背景雜散光也是自然偏振的,其Stokes矢量只存在S0分量。而光學(xué)元件的邊緣和缺陷將破壞照明光的偏振狀態(tài),其散射光中存在S1和S2分量。各個(gè)Stokes分量可以通過(guò)偏振相機(jī)進(jìn)行記錄,消除高光與雜散光的問(wèn)題便轉(zhuǎn)化為消除S0的影響,分離出包含S1和S2分量的缺陷圖像,常用的方法是計(jì)算圖像的線偏振度(DoLP):
采用該方法可以有效剔除偏振態(tài)為自然偏振的高光和背景雜散光的影響,只保留偏振度發(fā)生改變的光學(xué)元件邊緣和缺陷的圖樣。因此,該方式可以降低照明光對(duì)成像質(zhì)量的影響,獲得高信噪比的缺陷圖像。
卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法是一種使用卷積計(jì)算的多層神經(jīng)網(wǎng)絡(luò)算法,是深度神經(jīng)網(wǎng)絡(luò)的代表算法之一。與一般的圖像識(shí)別算法相比,卷積神經(jīng)網(wǎng)絡(luò)不需要進(jìn)行圖像預(yù)處理,網(wǎng)絡(luò)表征能力強(qiáng),對(duì)平移、翻轉(zhuǎn)、縮放等變形的識(shí)別具有高度不變性,并且卷積權(quán)值共享的特點(diǎn)有效地降低了算法的復(fù)雜程度和網(wǎng)絡(luò)參數(shù),使得卷積神經(jīng)網(wǎng)絡(luò)算法與其他算法相比具備了圖片預(yù)處理工作少、結(jié)構(gòu)簡(jiǎn)單、參數(shù)少等特點(diǎn)。隨著卷積神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)技術(shù)的發(fā)展,大量?jī)?yōu)秀的卷積神經(jīng)網(wǎng)絡(luò)模型被提出[11-12]。網(wǎng)絡(luò)的識(shí)別能力越來(lái)越強(qiáng),但大多數(shù)網(wǎng)絡(luò)模型都朝著增加網(wǎng)絡(luò)參數(shù)的方向發(fā)展。巨大的網(wǎng)絡(luò)參數(shù)占用了計(jì)算機(jī)內(nèi)存和運(yùn)行時(shí)間,使得其難以應(yīng)用高速工業(yè)生產(chǎn)。雖然輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型研究正在進(jìn)行[13-14],但目前輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于手機(jī)移動(dòng)終端,在工業(yè)生產(chǎn)中應(yīng)用范圍小且沒(méi)有針對(duì)性。所以本文以LeNet-5 網(wǎng)絡(luò)模型為基礎(chǔ),引入線性修正單元(ReLU)、多尺度卷積(Multi-scale)和卷積通道拓展等優(yōu)化方法,搭建了一種適用于光學(xué)元件缺陷檢測(cè)的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)算法。
本文采用的CNN 缺陷識(shí)別算法基礎(chǔ)框架如圖2(a)所示。LeNet-5 卷積神經(jīng)網(wǎng)絡(luò)模型[9]是最早被提出的卷積神經(jīng)網(wǎng)絡(luò)之一,最初被用于手寫(xiě)數(shù)字的識(shí)別(包含0~9 共10 個(gè)字符)。其網(wǎng)絡(luò)框架只有5層,包含了如今卷積神經(jīng)網(wǎng)絡(luò)的全部基本結(jié)構(gòu),即用于特征提取的卷積層,縮小特征尺寸的池化層,進(jìn)行特征分類(lèi)的全連接層和引入網(wǎng)絡(luò)非線性的激活函數(shù)。幾乎所有現(xiàn)存的卷積神經(jīng)網(wǎng)絡(luò)都是由其改進(jìn)而來(lái)。
圖2 (a)LeNet-5卷積伸進(jìn)網(wǎng)絡(luò)模型框架,(b)SqueezeNet卷積神經(jīng)網(wǎng)絡(luò)模型框架,(c)SqueezeNet基礎(chǔ)模塊
如圖2(b)所示的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型SqueezeNet[13]是目前最廣泛用于特征分類(lèi)的網(wǎng)絡(luò)模型之一。該網(wǎng)絡(luò)通過(guò)使用圖2(c)所示的Fire 模塊,可以在幾乎不降低AlexNet 網(wǎng)絡(luò)模型識(shí)別能力的情況下將AlexNet 的網(wǎng)絡(luò)參數(shù)降低至原參數(shù)量的20%[13]。相比LeNet-5 網(wǎng)絡(luò),SqueezeNet 網(wǎng)絡(luò)框架有如下特點(diǎn):①網(wǎng)絡(luò)模型的18 個(gè)卷積層中擁有包括不同卷積核在內(nèi)的近3 000 個(gè)卷積通道,可以提取到更多的圖像特征;②比全連接層的網(wǎng)絡(luò)參數(shù)和網(wǎng)絡(luò)計(jì)算量更低的特征分類(lèi)方法global avg pooling;③可以有效解決梯度下降的ReLU 激活函數(shù);④能有效降低網(wǎng)絡(luò)參數(shù)的Fire方法。實(shí)驗(yàn)證明,以上4 點(diǎn)特征使得SqueezeNet網(wǎng)絡(luò)模型的識(shí)別能力遠(yuǎn)超于LeNet-5 網(wǎng)絡(luò)模型,與AlexNet網(wǎng)絡(luò)模型接近。但是LeNet-5 網(wǎng)絡(luò)模型的識(shí)別能力是不可忽視的,并且LeNet-5 網(wǎng)絡(luò)模型結(jié)構(gòu)簡(jiǎn)單、計(jì)算量小、設(shè)備性能需求低,更適合在應(yīng)用范圍廣、需求量大的工業(yè)生產(chǎn)中使用。
本文根據(jù)SqueezeNet網(wǎng)絡(luò)結(jié)構(gòu)和現(xiàn)有的網(wǎng)絡(luò)改進(jìn)方法,確定了LeNet-5 網(wǎng)絡(luò)模型的改進(jìn)策略:①使用尺寸為3 ×3 的卷積核進(jìn)行卷積計(jì)算以降低網(wǎng)絡(luò)參數(shù);②第2 卷積層一半卷積通道的卷積核改為5 ×5 以增加提取特征的豐富程度,并將兩卷積層的卷積通道分別增加到30 層和100 層;③網(wǎng)絡(luò)中間層使用ReLU激活函數(shù),輸出層使用softmax激活函數(shù)。改進(jìn)后的LeNet-5 網(wǎng)絡(luò)的詳細(xì)框架如圖3 所示。
圖3 LeNet-5改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)示意圖
改進(jìn)后的LeNet-5 網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜,網(wǎng)絡(luò)參數(shù)和網(wǎng)絡(luò)計(jì)算量都有所增加,但該網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)和網(wǎng)絡(luò)計(jì)算量都遠(yuǎn)低于SqueezeNet網(wǎng)絡(luò)。當(dāng)輸入圖片尺寸是79 ×79 ×1 像素,網(wǎng)絡(luò)輸出通道為5時(shí),改進(jìn)后的LeNet-5 網(wǎng)絡(luò)參數(shù)只有SqueezeNet 網(wǎng)絡(luò)的8.7%(63K/726K),網(wǎng)絡(luò)計(jì)算量為其30%(21M/70M)。
為了驗(yàn)證如圖1(c)所示的成像裝置的成像效果,在不同光照強(qiáng)度下獲取了光學(xué)元件樣本的缺陷圖(直徑4 mm,厚度1 mm)。成像圖像顯示于圖4中,照明光強(qiáng)從左到右逐級(jí)減半。圖中可以看到兩個(gè)明顯的現(xiàn)象:①隨著照明光強(qiáng)的降低,樣本缺陷在DoLP圖像中保留完整,在原始光強(qiáng)圖中嚴(yán)重缺失甚至消失;②原始光強(qiáng)圖(b1~b3)的元件邊緣是明顯的亮環(huán),而DoLP線偏振度圖(a1~a3)的元件邊緣是兩條窄邊包圍的同心暗環(huán)。這是因?yàn)楣鈱W(xué)元件具有一定厚度,上下圓面邊緣到達(dá)相機(jī)角度不同而分別形成了兩個(gè)圓環(huán),并且元件側(cè)邊為非光滑表面,散射光的主要成分是自然偏振光,該光線在DoLP 成像中被抑制,所以呈現(xiàn)為同心暗環(huán)。該特性在對(duì)元件邊緣區(qū)域的缺陷進(jìn)行識(shí)別時(shí)存在優(yōu)勢(shì),原始光強(qiáng)圖中,照明光通過(guò)樣本側(cè)邊散射形成的亮環(huán)的強(qiáng)度很高,會(huì)掩蓋部分靠近樣本邊緣的缺陷,然而通過(guò)DoLP 線偏振度成像方法即可很好的解決這一問(wèn)題,這一現(xiàn)象表明偏振成像對(duì)于正確記錄光學(xué)元件表面缺陷細(xì)節(jié),獲得高信噪比圖像有更大的優(yōu)勢(shì)。
圖4 (a1~a3)不同光照下DoLP 線偏振度成像,(b1~b3)相應(yīng)照明下原始光強(qiáng)成像;照明光強(qiáng)從左到右逐級(jí)減半
為了更客觀地評(píng)價(jià)兩種成像方式的成像質(zhì)量,計(jì)算了圖4 中6 幅圖的平均梯度[15]。結(jié)果顯示DoLP圖像的平均梯度是原始光強(qiáng)圖的2~3倍,說(shuō)明采用偏振成像方法采集的樣本圖像的缺陷更清晰,邊緣更銳利。
通過(guò)該實(shí)驗(yàn)可知,如圖1(c)所示的暗場(chǎng)偏振成像光路可以對(duì)光學(xué)元件進(jìn)行高質(zhì)量成像,但想要使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行缺陷識(shí)別,還需要進(jìn)行缺陷圖集的制作。
在缺陷識(shí)別中,缺陷類(lèi)型的識(shí)別是工業(yè)生產(chǎn)中最常見(jiàn)也是需求最多的一種識(shí)別方式。缺陷圖集的缺陷可分為5類(lèi),分別為邊緣崩壞、邊緣無(wú)缺、表面劃痕、表面麻點(diǎn)和表面無(wú)缺。本文構(gòu)建的光學(xué)元件缺陷圖集的部分缺陷圖片展示在圖5 中。圖中每1 張缺陷圖片都由直徑15 mm、厚1 mm 的光學(xué)元件偏振度像圖裁剪而來(lái)。光學(xué)元件的每一張偏振度像圖都被裁剪為36張,每小張圖片由340 ×340 個(gè)像素點(diǎn)組成。在訓(xùn)練過(guò)程中,以上每種缺陷類(lèi)型都有3 000 張圖片(訓(xùn)練圖片:2 500,測(cè)試圖片:500),圖片輸入網(wǎng)絡(luò)前,使用最大池化將圖片大小統(tǒng)一為79 ×79 像素。
圖5 光學(xué)元件缺陷圖集
實(shí)驗(yàn)采用圖5 所示的缺陷圖集進(jìn)行訓(xùn)練。數(shù)據(jù)批量尺寸為100,學(xué)習(xí)率0.01(SqueezeNet網(wǎng)絡(luò)在4 次迭代后學(xué)習(xí)率下調(diào)至0.001),迭代800 次。網(wǎng)絡(luò)運(yùn)行環(huán)境為Pytorch,計(jì)算機(jī)硬件信息分別是:CPU:Intel(R)Core(TM)i5-9500 FCPU @ 3.00 GHz,顯卡:Radeon 250 集成顯卡,核心頻率905 MHz。網(wǎng)絡(luò)性能通過(guò)測(cè)試圖集準(zhǔn)確率,訓(xùn)練時(shí)間和測(cè)試時(shí)間體現(xiàn)。為了體現(xiàn)網(wǎng)絡(luò)性能,使用LeNet-5 +Relu +softmax、LeNet-5 +多尺度卷積、LeNet-5 +卷積通道拓展以及如圖2 所示的SqueezeNet網(wǎng)絡(luò)模型進(jìn)行性能對(duì)比。實(shí)驗(yàn)結(jié)果展示在表1 和圖6中,表2 中的混淆矩陣是如圖3 所示的改進(jìn)后的LeNet-5 網(wǎng)絡(luò)識(shí)別準(zhǔn)確率達(dá)到最大時(shí)對(duì)各缺陷的識(shí)別情況。
圖6 不同網(wǎng)絡(luò)結(jié)構(gòu)識(shí)別準(zhǔn)確率變化曲線
從表1 可以看出,原始LeNet-5 網(wǎng)絡(luò)模型對(duì)光學(xué)元件缺陷圖集的識(shí)別率只有87.88%。分別使用ReLU+softmax、多尺度卷積和卷積通道拓展對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化,網(wǎng)絡(luò)的缺陷識(shí)別率可以增加到88.60%、93.16%和95.20%。結(jié)合3 種改進(jìn)方法的改進(jìn)型LeNet-5 網(wǎng)絡(luò)(其結(jié)構(gòu)如圖3 所示),可以使網(wǎng)絡(luò)識(shí)別率達(dá)到96.72%,相比原始LeNet-5 網(wǎng)絡(luò)提高了8.84%,網(wǎng)絡(luò)訓(xùn)練和測(cè)試時(shí)間分別增加93.31%(16.18 s)和38.36%(2.20 s)。表2 中的混淆矩陣表明,改進(jìn)型LeNet-5 網(wǎng)絡(luò)對(duì)表面劃痕、麻點(diǎn)和表面無(wú)缺3 種缺陷特征分類(lèi)的準(zhǔn)確率很高,其平均錯(cuò)誤率小于2%。分類(lèi)結(jié)果的錯(cuò)誤主要表現(xiàn)為邊緣崩壞與邊緣完整兩種特征的混淆,平均錯(cuò)誤率為5.5%。從圖5 的缺陷圖集中也可以看出,邊緣崩壞與邊緣完整的缺陷特征比較相似,當(dāng)邊緣崩壞面積較小時(shí),容易發(fā)生錯(cuò)誤判斷。
表1 不同優(yōu)化方式的網(wǎng)絡(luò)性能對(duì)比
表2 改進(jìn)LeNet-5 缺陷識(shí)別率為96.72%時(shí)的網(wǎng)絡(luò)識(shí)別混淆矩陣
從圖6 可以看出,SqueezeNet 網(wǎng)絡(luò)可以快速收斂,在200 次迭代后,模型對(duì)光學(xué)元件缺陷圖集的識(shí)別率可以達(dá)到97.6%。而改進(jìn)后的LeNet-5 網(wǎng)絡(luò)收斂速度較慢,在500 次迭代后,獲得識(shí)別準(zhǔn)確率為96.72%,比SqueezeNet略低。但由于SqueezeNet的結(jié)構(gòu)遠(yuǎn)比改進(jìn)型LeNet-5 網(wǎng)絡(luò)復(fù)雜,其訓(xùn)練時(shí)間和測(cè)試時(shí)間分別后者的6.5(105.31 s)和3.7(7.44 s)倍。可見(jiàn),與SqueezeNet網(wǎng)絡(luò)相比,我們采用改進(jìn)型LeNet-5 網(wǎng)絡(luò)進(jìn)行光學(xué)元件的缺陷識(shí)別,可以在保障相當(dāng)準(zhǔn)確率的前提下,大幅減少訓(xùn)練和識(shí)別的時(shí)間,并且只占用少量的內(nèi)存空間,更加適用于高速、實(shí)時(shí)檢測(cè)的工業(yè)生產(chǎn)檢測(cè)領(lǐng)域。
本文通過(guò)搭建基于偏振成像和CNN 算法的檢測(cè)系統(tǒng)進(jìn)行平面光學(xué)元件的缺陷檢測(cè)。其中,基于DoFP偏振相機(jī)的暗場(chǎng)成像方式有效削弱光學(xué)元件的鏡面高光和表面雜散光,實(shí)現(xiàn)了光學(xué)元件的高信噪比缺陷成像。而改進(jìn)后的LeNet-5 卷積神經(jīng)網(wǎng)絡(luò)缺陷識(shí)別算法不需要進(jìn)行缺陷圖像預(yù)處理,網(wǎng)絡(luò)模型的訓(xùn)練不用人工進(jìn)行圖像特征選取。網(wǎng)絡(luò)訓(xùn)練后可以對(duì)包含邊緣崩壞、邊緣完整、表面劃痕、表面麻點(diǎn)和表面無(wú)缺的光學(xué)元件進(jìn)行缺陷識(shí)別,識(shí)別率達(dá)到了96.72%。在網(wǎng)絡(luò)內(nèi)存占用、網(wǎng)絡(luò)運(yùn)行時(shí)間和網(wǎng)絡(luò)識(shí)別率上與現(xiàn)流行的輕量級(jí)卷積神經(jīng)分類(lèi)網(wǎng)絡(luò)SqueezeNet 相比,改進(jìn)型LeNet-5 網(wǎng)絡(luò)具有更少的網(wǎng)絡(luò)參數(shù)(8.7%),更少的網(wǎng)絡(luò)計(jì)算量(30.0%)、更快的訓(xùn)練(15.4%)和測(cè)試速度(29.6%),而其識(shí)別準(zhǔn)確率與SqueezeNet 相當(dāng)(99.1%)。可見(jiàn)改進(jìn)后的LeNet-5 網(wǎng)絡(luò)算法相比輕量級(jí)網(wǎng)絡(luò)算法SqueezeNet 更適合在應(yīng)用在范圍廣、速度快、計(jì)算量小的高速工業(yè)生產(chǎn)中,該算法有望為光學(xué)元件的工業(yè)生產(chǎn)提供有力支持。