余永華,張佳明,胡 磊
(武漢理工大學 船海與能源動力工程學院,湖北 武漢 430063)
船舶機艙油水等液體的泄漏監(jiān)測,是輪機人員日常巡檢工作的內(nèi)容之一,隨著智能化和無人化發(fā)展,需要對艙室環(huán)境進行自動監(jiān)測。近年來,機器視覺技術不斷成熟,已廣泛應用于各類智能巡檢機器人,但尚未應用于船舶機艙。相對于人工巡檢,機器視覺技術具有非接觸性無損檢測、快速實時、在線監(jiān)測等優(yōu)點。
船舶艙室照度低,獲得的圖像往往存在對比度低、細節(jié)模糊、清晰度不夠等特點,使得對油水泄漏的檢測難度大大提升。所以對低照度情況下的艙室液體泄漏圖像進行增強顯得十分重要,是艙室液體泄漏監(jiān)測的關鍵。
近些年來,國內(nèi)外許多學者對低照度下的圖像增強方法進行大量的研究和改進。其中,Jobson D J[1]等人提出了多尺度Retinex(MSR)算法,突出了光線弱區(qū)域的細節(jié)問題,但在動態(tài)壓縮方面還存在明顯不足。Parthasarathy S[2]等人又提出了帶色彩恢復的多尺度Retinex(MSRCR)算法,可以很好地對圖像的顏色進行修復,但在較亮的區(qū)域處理效果欠佳,在過渡區(qū)容易出現(xiàn)光暈現(xiàn)象。雖然這些方法在處理低光照強度下的圖像時取得了一定的效果,但是都有一定的局限性。
隨著機器視覺技術的快速發(fā)展,其在油液檢測中也有著大量的應用。如劉暢[3]等人開發(fā)了一套基于機器視覺的液壓閥泄漏量的自動檢測系統(tǒng),實現(xiàn)了泄漏量的測量,達到了較高精度的檢測;武建華[4]等人提出了一種基于機器視覺的漏油檢測方法在變電站中的應用,實現(xiàn)了油液滲漏的識別定位,提升了計算效率。機器視覺在檢測油液泄漏中有一定的優(yōu)勢,但弱光條件和不同光照可能會降低識別率。
針對以上問題,本文提出一種基于機器視覺的船舶艙室液體泄漏監(jiān)測的方法。首先,將采用改進的多尺度Retinex算法對低照度下船舶艙室液體泄漏的圖像進行增強,處理后的圖像特征明顯,邊緣信息保留完整;然后對增強后的液體泄漏圖像進行灰度、紋理和形狀等特征的提取,通過機器學習[5]對液體泄漏進行識別,解決了低照度下艙室液體泄漏識別精度低的難題。
圖像增強方法流程如圖1所示。其步驟如下:①將圖像的RGB空間轉(zhuǎn)換為HSV色彩空間;②采用改進的雙邊濾波函數(shù)代替多尺度Retinex算法中的高斯濾波函數(shù)作為中心環(huán)繞函數(shù),對HSV空間中的亮度分量V進行增強,并對反射分量進行非線性函數(shù)校正;③根據(jù)增強后的亮度分量V對飽和度分量S進行校正;④使用色彩恢復函數(shù)恢復圖像色彩;⑤最后將HSV圖像轉(zhuǎn)換至RGB圖像,得到增強后的船舶艙室圖像。
圖1 圖像增強方法流程
1 )多尺度Retinex理論。根據(jù)多尺度Retinex理論,圖像I(x,y)由2部分組成,一部分為光照分量L(x,y),而另一部分為物體的反射分量R(x,y)。其數(shù)學表達式為:
I(x,y)=L(x,y)R(x,y) ,
(1)
兩邊取對數(shù)得:
lnI(x,y)=InL(x,y)+lnR(x,y)。
(2)
在傳統(tǒng)的多尺度Retinex算法中,一般采用高斯低通濾波器作為中心環(huán)繞函數(shù)來估計光照入射分量,則入射分量L(x,y)可以表示為高斯低通濾波器F(x,y)與輸入圖像I(x,y)的卷積:
L(x,y)=F(x,y)*I(x,y) ,
(3)
(4)
式中,λ為歸一化因子;e為自然常數(shù);δ為F(x,y)的尺度因子;(x,y)為當前像素點坐標。
單尺度Retinex雖然能夠?qū)D像的增強起到一定的作用,但是它具有局限性。因為尺度因子的不確定性,處理后的圖像邊緣模糊,而且圖像顏色存在失真,所以發(fā)展了多尺度Retinex算法,其主要是對多尺度因子進行加權平均后線性疊加:
(5)
式中,i為第i個中心環(huán)繞函數(shù);n為中心環(huán)繞函數(shù)的數(shù)量,一般為高中低3個尺度;Wi為與之相對應的權重系數(shù),權重系數(shù)之和為1。
2)改進多尺度Retinex理論。首先,對入射分量進行估計。針對多尺度Retinex算法在圖像增強時出現(xiàn)的上述局限性,很多學者對中心環(huán)繞函數(shù)進行了改進[5-6],用雙邊濾波代替了原來的高斯濾波,其表達式如下:
(6)
式中,IV(x,y,m,n)為雙邊濾波函數(shù);(m,n)為圖像中心坐標;I(m,n)為圖像中心點的灰度值;δd為空域上的標準差;δr為值域上的標準差。
然而,雙邊濾波對像素差值很小的平坦區(qū)產(chǎn)生的平滑效果較差,并且在像素相近的地方,對光的入射分量的計算也會產(chǎn)生一定的偏差。因此,對雙邊濾波的中心環(huán)繞函數(shù)進行改進,引入修正函數(shù)來判斷像素點與中心點灰度值的差值,不僅可以對像素和圖像中心點灰度差值很小的地方進行平滑處理,并且保留了雙邊濾波原有的特性,即:
IV′(x,y,m,n)=
(7)
(8)
式中,θ為修正函數(shù);r為濾波半徑;IV′(x,y,m,n)為改進的雙邊濾波函數(shù)。
為了驗證改進雙邊濾波的優(yōu)越性,對比了高斯濾波器、傳統(tǒng)雙邊濾波器和改進雙邊濾波器的圖像增強效果,得到V的入射分量對比圖如圖2所示(高斯濾波器中δ=50;傳統(tǒng)雙邊濾波器的濾波半徑r=10,δd=50,δr=0.1;改進雙邊濾波器的濾波半徑r=10,δd=50,δr=0.1)。從圖2可以看出,改進雙邊濾波器對圖像的邊緣增強效果更明顯,很好地保留了圖像的邊緣特性和細節(jié),可以對入射分量進行更準確的估計。
圖2 V的入射分量對比圖
反射分量包含很多的圖像細節(jié),入射分量增強后,也需要對反射分量校正,否則輸出的圖像會整體偏暗、對比度偏低,校正公式如下:
(9)
(10)
式中,R′(x,y)為改進校正后的反射分量;RN(x,y)為歸一化后的反射分量;Rmax(x,y)和Rmin(x,y)分別為未校正反射分量的最大值和最小值;v為校正常數(shù)。
V與S存在比例關系,V的增強會使S發(fā)生變化,因此需要對S分量進行校正。校正方法為:
IV(x,y)]μ(x,y),
(11)
μ(x,y)=
(12)
通過改進的雙邊濾波函數(shù)對V分量增強和對S分量校正后,引入改進的顏色恢復函數(shù)C(x,y),達到原圖像增強效果。其計算表達式為:
IC(x,y)=C(x,y)I(x,y),
(13)
(14)
式中,IC(x,y)為增強后圖像函數(shù);a是增益常數(shù);b是受控制的非線性強度;K為單顏色通道;IK(x,y)為單顏色通道圖像;IH(x,y)為H分量未增強時的色調(diào)值。
對泄漏液體圖像進行預處理是圖像處理的重要環(huán)節(jié),其主要目的是方便形狀和紋理特征參數(shù)的提取,經(jīng)過預處理后會提高圖像質(zhì)量,特征更明顯。
首先對圖像進行差分處理,把當前采集圖像與無泄漏的圖像作差,得到油水的疑似泄漏區(qū)域。其數(shù)學表達式為:
D(x,y)=|A(x,y)-f(x,y)|,
(15)
式中,A(x,y)為當前采集圖像;f(x,y)為無泄漏圖像。
然后采用自適應閾值分割法進行二值化:
(16)
式中,D(x,y)表示輸出圖像的第x行、第y列的像素;B(x,y)表示輸入圖像的第x行、第y列的像素;Tthresh表示設定的閾值。
差分處理后,再通過2次的膨脹、腐蝕的圖像形態(tài)學處理,進一步降低了圖像內(nèi)部的噪聲,使泄漏區(qū)輪廓封閉,達到了增強提取特征參數(shù)的效果。若當前圖像為漏油圖,最終得到圖像泄漏識別預處理效果圖如圖3所示。
圖3 圖像泄漏識別預處理效果圖
從圖3可知,經(jīng)過圖像預處理后,泄漏區(qū)域既去除了背景,又保留了泄漏的特征,特征參數(shù)提取時去除了其他干擾因素,大大提高識別準確率。
目前,圖像的特征參數(shù)主要有形狀特征、紋理特征、灰度特征等,每個特征中又包含很多對應的參數(shù)。根據(jù)液體泄漏識別的特征要求,選取了13個特征參數(shù),如表1所示。
表1 特征參數(shù)
為了驗證低照度艙室液體泄漏圖像增強的有效性,在船舶機艙實驗室模擬了低照度環(huán)境下艙室液體泄漏至滑鐵板的情況。通過機器視覺系統(tǒng)采集了不同光照條件下的船舶機艙液體泄漏的圖像。
為了可以直接反映圖像增強后的效果,選取船舶艙室低照度下的漏油漏水圖像,然后把改進Retinex圖像增強方法與MSR和MSRCR算法進行對比。不同方法下的圖像增強比較如圖4所示。
圖4 不同方法下的圖像增強比較
從處理結(jié)果來看,MSR細節(jié)部分保存較好,但圖像顏色失真較為嚴重,亮度和對比度有所下降,視覺效果較差;MSRCR算法結(jié)果有了一定的提升,但與原始圖像的顏色存在較大的差異;而改進Retinex的圖像增強方法能夠使圖像保留著一定的對比度,而且對于細節(jié)的處理有著明顯的效果,圖像顏色的失真相比于其他幾種算法更為保真,接近原生顏色,邊緣效果得到明顯提升,人眼的視覺效果更好。
為了更好地驗證改進Retinex的圖像增強方法的優(yōu)越性,也需要進一步驗證,信息熵IE表示圖像的信息,信息熵越大則表示圖像包含物體的信息和內(nèi)容越多,采用信息熵指標對增強的圖像進行評價。信息熵的計算公式為:
(17)
式中,P(ci)為第i個像素點的概率。
不同算法應用于低照度船舶機艙液體泄漏圖像增強效果客觀評價如表2所示。
表2 不同算法應用于低照度船舶機艙液體泄漏圖像增強效果客觀評價
由表2可知,在船舶艙室不同低照度和不同泄漏環(huán)境等情況下,本文提出的改進Retinex的圖像增強方法,處理后的圖像相比于其它算法,其信息熵最高,對比度較高,而且圖像細節(jié)保持完整,有助于對泄漏液體參數(shù)提取,保證了識別精度。
以有無液體泄漏來作為故障的判斷依據(jù),選取在低照度環(huán)境下5種類型來作為數(shù)據(jù)集,分別為無泄漏、異物抹布、異物扳手、漏油和漏油漏水且有扳手。把無泄漏、異物抹布、異物扳手定義為標簽0,表示無泄漏;漏油和漏油漏水且有扳手定義為標簽1,表示發(fā)生了泄漏。利用機器視覺系統(tǒng)采集到的樣本數(shù)量為200張,通過特征參數(shù)提取后,隨機選取全部樣本的80%為訓練集,其余20%為測試集。分別采用支持向量機SVM、KNN、隨機森林、決策樹進行訓練狀態(tài)評估,將圖像增強前、后的訓練結(jié)果進行對比,得到不同算法檢測結(jié)果對比如表3所示。由表3可知,增強前的最高識別精度為91%,而增強后的識別精度更好,最高達到了95%,在低照度下的液體泄漏檢測中有著足夠的優(yōu)勢。
表3 不同算法檢測結(jié)果對比 %
1)采用改進Retinex的圖像增強方法,使邊緣模糊和細節(jié)忽略等問題得到了很好的改善,保持了圖像的顏色和對比度,避免了圖像失真。
2)將增強后的泄漏液體的圖像進行特征參數(shù)提取,通過機器學習對其故障進行檢測,增強后的圖像識別泄漏的精度得到了明顯提升,在使用KNN 檢測時可達到95%。
3)本文提出的方法,可用于低照度下的船舶艙室液體泄漏檢測,為船舶無人巡檢機器人的液體泄漏監(jiān)測和安全運行奠定了良好的基礎。