洪 琛，朱堅(jiān)民，黃之文

（上海理工大學(xué) 機(jī)械工程學(xué)院，上海 200093）

引 言

目前，隨著深度學(xué)習(xí)技術(shù)[1-2]的發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)[3-5]在圖像識(shí)別及圖像分類上優(yōu)勢(shì)明顯，在基于深度學(xué)習(xí)的非接觸式表面粗糙度測(cè)量[6-8]圖像分類上得到了廣泛的應(yīng)用。然而在工業(yè)生產(chǎn)中，由于受到照明設(shè)備和周圍環(huán)境的影響，被拍對(duì)象往往會(huì)出現(xiàn)光照不足的情況，導(dǎo)致采集的圖像照度低、細(xì)節(jié)紋理不清晰，從而使得識(shí)別效果差。所以對(duì)低照度圖像進(jìn)行粗糙度等級(jí)識(shí)別之前的預(yù)處理變得十分重要。

低照度圖像增強(qiáng)的目的是為了使圖像整體亮度提升，細(xì)節(jié)紋理更清晰。目前常用的方法主要有基于直方圖[9]的增強(qiáng)方法、基于小波變換[10]的增強(qiáng)、直方圖和小波變換相結(jié)合的增強(qiáng)、基于Retinex理論[11-12]的增強(qiáng)、基于同態(tài)濾波[13-16]的增強(qiáng)及其他方法。焦竹青等[17]在頻域內(nèi)采用同態(tài)濾波對(duì)圖像進(jìn)行處理，利用壓縮亮度范圍來消除圖像光照帶來的影響，使圖像的人眼視覺效果更好。徐黎明等[18]通過同態(tài)濾波方法對(duì)自然環(huán)境下光照不均的楊梅果實(shí)進(jìn)行亮度增強(qiáng)預(yù)處理，然后通過K均值聚類算法有效地分割出楊梅果實(shí)。

針對(duì)現(xiàn)有低照度圖像存在圖像亮度對(duì)比度低、細(xì)節(jié)紋理不清晰，從而造成工件表面粗糙度等級(jí)識(shí)別精度低的問題，本文提出一種基于同態(tài)濾波和深度卷積模型的低照度工件表面粗糙度等級(jí)識(shí)別的新方法。首先將彩色圖像從RGB空間轉(zhuǎn)到HSV空間，保持色調(diào)H和飽和度S不變，在頻域內(nèi)對(duì)V亮度分量進(jìn)行同態(tài)濾波處理，以增強(qiáng)圖像整體亮度和對(duì)比度，減少光照不足引起的圖像紋理細(xì)節(jié)不清晰，最后通過深度卷積模型進(jìn)行識(shí)別。

1 基本原理

本文提出的基于同態(tài)濾波和深度卷積模型的低照度工件表面粗糙度等級(jí)識(shí)別原理如圖1所示。通過調(diào)節(jié)LED光源并利用顯微鏡CCD，分別從不同加工方式的粗糙度等級(jí)樣塊上采集低照度圖像。根據(jù)圖像的亮度信息對(duì)圖像進(jìn)行預(yù)處理：當(dāng)圖像平均亮度值大于70時(shí)視為正常圖像，不進(jìn)行預(yù)處理；當(dāng)圖像平均亮度值低于20時(shí)判定為錯(cuò)誤圖像，不進(jìn)行識(shí)別；當(dāng)圖像平均亮度值為20～70時(shí)視為低照度圖像，要進(jìn)行圖像預(yù)處理。利用正常光照?qǐng)D像進(jìn)行尺度變換、數(shù)據(jù)標(biāo)注，離線訓(xùn)練粗糙度等級(jí)識(shí)別模型，在線識(shí)別工件表面粗糙度等級(jí)。通過判斷圖像平均亮度值，對(duì)低照度圖像進(jìn)行預(yù)處理。首先將圖像從RGB空間轉(zhuǎn)換到HSV空間，把V分量單獨(dú)分離出來；然后通過優(yōu)化得到的同態(tài)濾波器對(duì)V分量進(jìn)行同態(tài)濾波處理，使圖像亮度增強(qiáng)，細(xì)節(jié)紋理更清晰；最后用設(shè)計(jì)好的用于粗糙度等級(jí)識(shí)別的深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）對(duì)增強(qiáng)過的圖像進(jìn)行粗糙度等級(jí)識(shí)別，檢驗(yàn)識(shí)別的準(zhǔn)確性。

圖1 低照度工件表面粗糙度等級(jí)識(shí)別原理圖Fig.1 Schematic diagram of low illumination workpiece surface roughness level identification

2 HSV 空間變換的同態(tài)濾波算法

2.1 HSV 空間變換

對(duì)低照度圖像進(jìn)行增強(qiáng)是圖像處理中用來消除光照影響的必不可少的環(huán)節(jié)。HSV顏色空間是根據(jù)顏色的直觀特性創(chuàng)建的一種顏色空間，與人的心理感知更接近，它主要包括H（色調(diào)hue）、S（飽和度 saturation）和 V（亮度 value）三要素。

人們通常觀察到圖像的顏色信息主要表現(xiàn)在色調(diào)和飽和度上，這種顏色空間的優(yōu)點(diǎn)就是三要素互不干擾。亮度分量是一個(gè)與色調(diào)和飽和度無關(guān)的分量，因此亮度分量的改變對(duì)圖像顏色信息的影響甚微，將該分量從顏色信息中分離出來進(jìn)行矯正，不僅可以大幅度調(diào)整彩色圖像亮度，而且能夠較好地保留圖像的彩色信息。

對(duì)低照度圖像進(jìn)行RGB空間與HSV空間轉(zhuǎn)換，具體算法可參考文獻(xiàn)[14]。

2.2 同態(tài)濾波算法

根據(jù)圖像的形成原理和光照的特性，一幅圖像f(x,y)可以用光源的照度分量i(x,y) 和目標(biāo)物的反射分量r(x,y) 的乘積來表示，即

在這種基于光照-反射的模型中，光照條件主要體現(xiàn)在照度分量i(x,y) 上，其頻譜主要在低頻區(qū)域且變換緩慢，而r(x,y) 是反映圖像的細(xì)節(jié)等特征，其頻譜主要在高頻區(qū)域。對(duì)光照不足的彩色圖像，處理時(shí)需要盡量縮減圖像的低頻分量和放大圖像的高頻分量。

同態(tài)濾波算法原理是，通過濾波函數(shù)控制圖像的照射分量和反射分量，對(duì)圖像進(jìn)行壓縮低頻分量、提升高頻分量，從而減少光照不足帶來的影響，在提升圖像亮度和對(duì)比度的同時(shí)，又增強(qiáng)了圖像的細(xì)節(jié)紋理。同態(tài)濾波算法的具體流程如圖2所示。

圖2 同態(tài)濾波算法流程圖Fig.2 Flow chart of homomorphic filtering algorithm

同態(tài)濾波的具體步驟如下：

1）首先對(duì)式（1）兩邊同時(shí)取對(duì)數(shù)，將入射分量和反射分量分開，即

2）然后對(duì)上式兩邊取傅里葉變換，可得

3）再利用濾波函數(shù)H(u,v) 對(duì)F(u,v) 進(jìn)行濾波處理

4）濾波后，對(duì)式（4）進(jìn)行傅里葉逆變換回到空間域，即

5）對(duì)式（5）兩邊取指數(shù)，可得

在同態(tài)濾波處理中，合適的濾波函數(shù)以及函數(shù)參數(shù)值的選擇都至關(guān)重要。同態(tài)濾波函數(shù)需要選擇能減少低頻分量和增加高頻分量的濾波器，本文采用的是高斯型同態(tài)濾波器，其傳遞函數(shù)為

式中：RH、RL分別是高頻增益和低頻增益；表示點(diǎn) (u,v) 到濾波中心 (u0,v0) 的距離；D0是 (u,v)=(0,0) 時(shí)D(u,v)的值，表示截止頻率；c是常數(shù)用來控制濾波器函數(shù)斜面的銳化，它在RH和RL之間過渡。當(dāng)RH＞1， 0 ＜RL＜1 時(shí)，可以達(dá)到減小低頻和增強(qiáng)高頻的作用，使得圖像的亮度和對(duì)比度增強(qiáng)，動(dòng)態(tài)范圍壓縮，而RH和RL具體選擇對(duì)圖像的改善效果不一樣，通常需要通過反復(fù)實(shí)驗(yàn)才能得到比較合適的值。

3 深度卷積模型設(shè)計(jì)

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一種，它與生物神經(jīng)網(wǎng)絡(luò)很相似，與其他神經(jīng)網(wǎng)絡(luò)相比，可以實(shí)現(xiàn)不同神經(jīng)元之間的權(quán)值共享，降低網(wǎng)絡(luò)模型的復(fù)雜度及減少權(quán)值的數(shù)量。在訓(xùn)練過程中只需要將圖像作為卷積神經(jīng)網(wǎng)絡(luò)輸入，就能避免傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程，卷積神經(jīng)網(wǎng)絡(luò)自身可以自動(dòng)地選擇利于分類的特征，使得表征特征的能力更為客觀全面。本文以CaffeNet模型為基礎(chǔ)進(jìn)行網(wǎng)絡(luò)和參數(shù)的調(diào)整，建立了一種工件表面粗糙度等級(jí)識(shí)別模型。模型主要包括5層卷積層（C1、C2、C3、C4、C5）、3層池化層（P1、P2、P5）和3層全連接層（F6、F7、F8）。卷積神經(jīng)網(wǎng)絡(luò)具體結(jié)構(gòu)如圖3所示。

3.2 卷積層

二維圖像可以用一個(gè)矩陣表示，即將輸入當(dāng)成是一定區(qū)域大小的數(shù)據(jù)，通過和濾波器filter(帶著一組固定權(quán)值的神經(jīng)元)做內(nèi)積后得到新的二維數(shù)據(jù)。通過不同的濾波器來提取圖像的特定信息，如顏色深淺或紋理細(xì)節(jié)特征。在粗糙度等級(jí)識(shí)別模型中，上一層的特征圖和一個(gè)可學(xué)習(xí)的卷積核進(jìn)行卷積，然后通過一個(gè)激活函數(shù)得到下一個(gè)輸出特征圖。所有的輸出特征圖可以組合卷積多個(gè)特征圖的值，即

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Convolution neural network structure diagram

3.3 池化層

池化層是特征映射層，在卷積計(jì)算完成后選擇池化區(qū)域，然后取用特征圖的最大值、最小值或者平均值作為池化區(qū)域的特征，這樣可以極大地降低特征向量的維度，減少計(jì)算量，防止過擬合。

最大池化能顯著增強(qiáng)局部特征，對(duì)于細(xì)節(jié)紋理特征的學(xué)習(xí)有很大的作用，適用于粗糙度等級(jí)識(shí)別。所以本文采用最大池化規(guī)則對(duì)卷積層特征圖進(jìn)行采樣，如圖4所示，對(duì)圖像進(jìn)行降維的同時(shí)，在一定程度上保證了特征的尺度不變。設(shè)Pi為池化層(假定卷積神經(jīng)網(wǎng)絡(luò)有L層，i=1, 2, ···,L-1)，池化的過程為

圖4 最大池化Fig.4 Maximum pooling

3.4 全連接層

在全連接層中，將所有二維圖像的特征信息降為一維信息。模型的最后一層為邏輯回歸層(softmax)，卷積神經(jīng)網(wǎng)絡(luò)輸入的每個(gè)節(jié)點(diǎn)表示輸入圖片屬于某一類別i的概率，即

式中：Y是一個(gè)圖像類別的預(yù)測(cè)量；w是最后一層的權(quán)參數(shù)；b是對(duì)應(yīng)偏置參數(shù)。

輸出層的個(gè)數(shù)與目標(biāo)分類的個(gè)數(shù)相一致，每個(gè)輸出值表示識(shí)別樣本屬于對(duì)應(yīng)標(biāo)簽的概率大小。

4 實(shí)驗(yàn)研究

4.1 實(shí)驗(yàn)平臺(tái)

為了驗(yàn)證轉(zhuǎn)換空間后的同態(tài)濾波算法對(duì)低照度下工件表面粗糙度等級(jí)識(shí)別的有效性和準(zhǔn)確性，首先進(jìn)行低照度粗糙度等級(jí)圖像的采集，粗糙度識(shí)別模型的訓(xùn)練和測(cè)試，以及分析低照度下同態(tài)濾波參數(shù)對(duì)于識(shí)別準(zhǔn)確率的影響。本文的實(shí)驗(yàn)裝置如圖5所示，主要由計(jì)算機(jī)、CCD相機(jī)、顯微鏡、可調(diào)節(jié)亮度的LED照明燈和粗糙度標(biāo)準(zhǔn)樣塊等組成。

為了研究不同亮度下同態(tài)濾波參數(shù)對(duì)其識(shí)別準(zhǔn)確率的影響，通過調(diào)節(jié)LED光源的亮度拍攝不同光照條件下工件表面粗糙度圖像，根據(jù)圖像整個(gè)平均亮度值將圖像亮度從20到70劃分為5種情況，對(duì)亮度低于20和高于70不做處理的原因是，實(shí)際工況下圖像亮度值低于20以下基本不會(huì)出現(xiàn)，亮度高于70已經(jīng)比較接近正常光照。

為了研究轉(zhuǎn)換空間后同態(tài)濾波算法對(duì)工件表面粗糙度等級(jí)識(shí)別準(zhǔn)確率的影響，將同種光照條件下的圖像先從RGB空間轉(zhuǎn)到HSV空間，對(duì)V分量單獨(dú)進(jìn)行同態(tài)濾波處理，然后通過事先訓(xùn)練好的深度卷積模型進(jìn)行工件表面粗糙度等級(jí)識(shí)別。

4.2 實(shí)驗(yàn)結(jié)果及分析

為了研究本文提出的同態(tài)濾波算法對(duì)低照度工件表面粗糙度等級(jí)識(shí)別的有效性，通過調(diào)節(jié)LED光源亮度和采用顯微鏡CCD拍攝得到工件樣塊表面圖像，將得到的圖像按亮度值大小分成5組，如圖6所示。

工件的加工方式為平銑，粗糙度等級(jí)為5個(gè)等級(jí)，分別為Ra0.4、Ra0.8、Ra1.6、Ra3.2和Ra6.3，每個(gè)等級(jí)采集5組，每組拍攝30張圖像，共計(jì)150張不同亮度值的低照度圖像。

圖5 實(shí)驗(yàn)裝置圖Fig.5 Experimental installation diagram

圖6 不同亮度值的工件表面粗糙度圖像Fig.6 Surface roughness image of workpiece with different brightness values

針對(duì)同態(tài)濾波器的參數(shù)調(diào)試，對(duì)低照度圖像采用控制變量的方法研究每個(gè)參數(shù)對(duì)圖像的改善效果，從而找到最優(yōu)參數(shù)。首先針對(duì)同態(tài)濾波的參數(shù)RL 進(jìn)行研究，其中RH=2 、c=1.5 、D0=10均保持不變，結(jié)果如圖7所示。

同理保持其他參數(shù)不變，分別對(duì)RH和D0的取值進(jìn)行實(shí)驗(yàn)研究，結(jié)果如圖8所示。

從圖7和圖8可以看出，同態(tài)濾波參數(shù)里只有RL這個(gè)參數(shù)對(duì)圖像有所改善，其他參數(shù)對(duì)圖像基本沒有改變，下面分別對(duì)5組亮度值的圖像進(jìn)行RL參數(shù)的研究，確定最優(yōu)值。實(shí)驗(yàn)結(jié)果如圖9所示。

從圖9可以看出，經(jīng)過同態(tài)濾波處理后的圖像識(shí)別正確率都有很大提高，當(dāng)參數(shù)RL為0.4時(shí)，識(shí)別正確率最高，達(dá)到了90%左右。

圖7 參數(shù)值 RL 對(duì)其影響Fig.7 Influence of parameter values RL

圖8 參數(shù)值 R H 和 D0 對(duì)其影響Fig.8 Influence of parameter values R H and D0

圖9 R L 參數(shù)對(duì)不同亮度值下粗糙度等級(jí)識(shí)別的影響結(jié)果圖Fig.9 Result of the influence of R L parameter on roughness level recognition under different luminance values

同態(tài)濾波器的各個(gè)參數(shù)確定好后，將采集好的圖像從RGB空間轉(zhuǎn)換到HSV空間中，然后單獨(dú)對(duì)V亮度分量進(jìn)行同態(tài)濾波處理。對(duì)同種加工方式、不同粗糙度的樣塊采集亮度值20～70的圖像各150張，并對(duì)其進(jìn)行圖像處理和測(cè)試。識(shí)別結(jié)果如圖10所示。

為了進(jìn)一步驗(yàn)證本文方法的有效性，又采集了立銑加工的低照度圖像，測(cè)試了使用同態(tài)濾波處理后圖像的識(shí)別正確率，實(shí)驗(yàn)結(jié)果如圖11所示。

從圖10和圖11可看出：基于同態(tài)濾波和轉(zhuǎn)換空間后的同態(tài)濾波算法對(duì)圖像識(shí)別的正確率都有很大的提高，對(duì)平銑圖像粗糙度除了Ra3.2識(shí)別的正確率在93%之外，其余正確率都達(dá)到100%，對(duì)立銑圖像粗糙度識(shí)別的正確率均在96%以上。

圖10 平銑圖像實(shí)驗(yàn)結(jié)果Fig.10 Experimental results of flat milling image

圖11 立銑圖像實(shí)驗(yàn)結(jié)果Fig.11 Image experimental results of vertical milling

大量的低照度圖像識(shí)別實(shí)驗(yàn)結(jié)果表明，本文方法的識(shí)別正確率達(dá)到95%以上。

5 結(jié) 論

本文針對(duì)低照度下工件表面粗糙度等級(jí)識(shí)別正確率低的問題，提出了一種基于空間轉(zhuǎn)換的同態(tài)濾波算法。利用HSV空間亮度分量的不相關(guān)性再用同態(tài)濾波算法處理，很好地保留了圖像的原有的特征信息，提高了工件表面粗糙度等級(jí)的正確識(shí)別率。