羅曉清, 袁襯襯, 柴鵬飛, 李 凱
(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122)
關(guān)鍵字:品質(zhì)檢測;圖像融合;四元數(shù)小波
中國作為水果產(chǎn)業(yè)大國,水果產(chǎn)業(yè)一直占據(jù)著重要的經(jīng)濟地位,從1993年開始,無論在種植面積還是總產(chǎn)量,中國的水果產(chǎn)業(yè)一直保持在世界第一的水平。但遺憾的是,中國的水果產(chǎn)業(yè)與其他國家相比,存在諸多問題,主要有果品質(zhì)量差、整體價格較低、出口量小以及附加值低等。究其原因,主要是因為水果產(chǎn)后處理技術(shù)薄弱,大部分的產(chǎn)品沒有進行品質(zhì)檢測和分級,在采摘后直接進入市場,導(dǎo)致水果中質(zhì)量不一,沒有市場競爭力。另一方面,在水果的采摘、運輸、存儲過程中都容易造成水果損傷,而早期的輕微損傷很難直接檢測出來,這些未被檢測出損傷的水果會逐漸演變成深程度的病變,被病菌侵入,造成組織腐敗,甚至?xí)l(fā)生交叉感染,感染未損傷的水果,給果農(nóng)或者水果廠商帶來巨大的損失。無論是對水果進行分級還是防止在水果后期運輸保存中出現(xiàn)損傷,都必須采取高效的措施來對水果品質(zhì)進行檢測。
傳統(tǒng)的水果品質(zhì)檢測通常是用肉眼直接進行觀察,該方法存在有很多缺點,比如辨別率低,速度慢,不能夠識別水果內(nèi)部損傷等問題。可見光圖像檢測系統(tǒng)被廣泛用于農(nóng)產(chǎn)品品質(zhì)檢測,主要是通過對農(nóng)產(chǎn)品的亮度,顏色等信息來檢測產(chǎn)品品質(zhì)。相比與用肉眼人工檢測,可見光圖像檢測系統(tǒng)具有速度快,精度高,可以自動化等優(yōu)點。但是,可見光圖像檢測系統(tǒng)只能夠檢測到水果外部損傷,對于表皮輕微的碰蹭損傷以及內(nèi)部損傷無法檢測出來。紅外成像系統(tǒng)具備檢測水果次表面或內(nèi)部缺陷的能力,但是紅外圖像的分辨率比較低,并且檢測不出來蘋果表皮損傷。通過圖像融合技術(shù)將可見光圖像與紅外圖像綜合,得到的融合圖像即包含了紅外圖像中水果次表面損傷信息,又包含可見光圖像中豐富的水果表皮信息,包含的信息更豐富,進行的蘋果品質(zhì)檢測結(jié)果更加準確。
當(dāng)前,已有部分學(xué)者開展了將圖像融合技術(shù)用于農(nóng)產(chǎn)品品質(zhì)檢測的研究。主要成果有:1993年,Celinski等研究了多傳感器檢測水果和蔬菜的品質(zhì)[1];Wen在1998年將蘋果作為研究對象,使用可見光與紅外相機同時采集蘋果的圖像用于檢測水果缺陷[2],并在2000年設(shè)計了一種近紅外與中紅外的圖像融合系統(tǒng)用于水果表面缺陷檢測[3];Cheng等人也在2003年設(shè)計出新的基于波長為700~1 000 nm的近紅外和波長為 3.5~5 μm 或 8~12 μm 的中紅外水果缺陷檢測系統(tǒng)[4];2005年,黃星奕等以桃子的品質(zhì)檢測為示例,研究了傳感器融合技術(shù)在水果品質(zhì)檢測的可行性[5];2009年,王克俊等使用圖像融合技術(shù)研究了檢測蘋果缺陷的問題[6];郭志明將近紅外光譜與高光譜圖像進行融合用于蘋果品質(zhì)的快速無損檢測[7]。2016年,關(guān)濟雨將近紅外和高光譜散射圖像進行融合用于水果損傷評估[8]。
近年來,基于多尺度變換的圖像融合方法越來越流行,這主要是因為基于多尺度變換的圖像融合方法將原始圖像分為低頻信息和高頻信息,更好的表現(xiàn)了圖像的本質(zhì)信息,從而有利于圖像融合中對待融合圖像進行信息提取。常用的多尺度變換有離散小波變換,平穩(wěn)小波變換,雙數(shù)復(fù)小波變換,曲波變換,輪廓波變換,非下采樣輪廓波變換等。人們基于上述多尺度分解工具提出了許多基于多尺度變換的圖像融合方法。例如:J.Lewis等使用雙數(shù)復(fù)小波作為多尺度變換工具,使用基于區(qū)域的規(guī)則進行融合[9],F(xiàn).Nencini等根據(jù)圖像的曲波變換系數(shù)對遙感圖像進行融合[10],Q.Zhang等則是研究了如何將非下采樣輪廓波變換用于圖像融合[11]。當(dāng)前,四元數(shù)小波變換是一種新穎的有效的多尺度變換工具,由于其可以提供豐富的尺度信息以及幅值相位信息,已經(jīng)成為非常流行的多尺度變換工具,被廣泛應(yīng)用于圖像去噪[12],圖像分類[13],圖像紋理檢索[14]等??紤]到四元數(shù)小波變換的優(yōu)點,作者使用四元數(shù)小波變換作為多尺度變換工具。同時,由于導(dǎo)向濾波[15]可以根據(jù)指導(dǎo)圖去除決策圖中的噪聲干擾,因此在高頻融合時,將高頻系數(shù)作為導(dǎo)向濾波的輸入,待融合圖像作為導(dǎo)向濾波的指導(dǎo)圖,得到的濾波后的高頻系數(shù)更好的反映了圖像中的特征,使得融合結(jié)果更加精細。因此,作者提出了一種基于四元數(shù)小波變換與導(dǎo)向濾波的水果圖像融合方法。該方法首先將待融合圖像使用四元數(shù)小波變換得到低頻子帶與高頻子帶;低頻子帶使用加權(quán)平均的規(guī)則進行融合,權(quán)值是根據(jù)低頻系數(shù)的局部平均梯度獲得;高頻子帶采用基于選取的規(guī)則進行融合,有別于傳統(tǒng)的直接高頻絕對值取大的方法,作者將高頻絕對值作為導(dǎo)向濾波的輸入,原始圖像作為導(dǎo)向濾波的指導(dǎo)進行濾波,將濾波后的高頻系數(shù)作為高頻融合時的選取準則;最后,將融合后的低頻系數(shù)與高頻系數(shù)使用逆四元數(shù)小波變換得到融合后圖像。
四元數(shù)小波變換是復(fù)小波變換的一個擴展,可以提供更加豐富的尺度信息來描述二維信號中的幾何結(jié)構(gòu),相比于離散小波變換和雙數(shù)復(fù)小波變換等,四元數(shù)小波變換在分解圖像時提供了更多的系數(shù)。四元數(shù)小波變換滿足近似的平移不變性,這樣使得在融合圖像時,如果紅外圖像與可見光圖像沒有精確配準,四元數(shù)小波變換可以克服這種問題。與傳統(tǒng)的多尺度變換相比,四元數(shù)小波變換還可以提供圖像的局部幅值-相位分析[16-17]。因此,使用四元數(shù)小波變換作為多尺度分解工具,可以更加準確的提取到原始待融合圖像中的特征。
以蘋果圖像為例可說明圖像的四元數(shù)變換結(jié)果。將圖1使用四元數(shù)小波變換作3層分解,圖2展示了變換后的低頻子帶。其中,圖2(a)到圖2(d)是四元數(shù)小波變換的4個低頻子帶,圖2(e)到圖2(h)是將上述低頻子帶用幅值相位的形式來表示。圖2(e)為幅值圖,提供了原始圖像的概貌信息。圖2(f)到圖 2(h)是低頻部分的 3 個相位圖,包含了圖像中的邊緣和角的信息。圖3展示了四元數(shù)小波變換后的部分高頻子帶。由于高頻子帶共有3層,而每層又包含水平、垂直、對角3個方向,受篇幅所限,這里只展示第一層垂直方向的高頻子帶系數(shù)。圖3(a)到圖3(d)是第一層垂直方向的4個高頻子帶。 圖 3(e)到 3(h)是將圖 3(a)到圖 3(d)的高頻子帶系數(shù)使用幅值相位形式表示的結(jié)果,其中圖3(e)是幅值圖,圖 3(f)到圖 3(h)是 3 個相位圖,分別反映了原始圖像中細節(jié)信息的豐富度和紋理信息的豐富度。
圖1 蘋果圖像Fig.1 Apple image
圖2 使用3層四元數(shù)小波變換后得到的低頻子帶Fig.2 QWT low frequency part at the 3th level
圖3 使用3層四元數(shù)小波變換得到的第一層垂直方向的高頻子帶系數(shù)Fig.3 QWT high frequency part at the first level in the vertical direction
在融合過程中,尤其是在高頻部分融合時,直接基于高頻系數(shù)計算得到的決策圖會因為噪聲的影響出現(xiàn)一些空洞和噪點。傳統(tǒng)的解決辦法是使用形態(tài)學(xué)運算來消除這部分干擾,而形態(tài)學(xué)方法分辨不出決策圖中出現(xiàn)的空洞是否是由噪聲干擾引起的還是原始圖像中的空洞。因此,在本文中引入導(dǎo)向濾波[15]來代替形態(tài)學(xué)運算。導(dǎo)向濾波是一種邊緣抑制平滑濾波器,能夠有效的保留原始圖像的邊緣信息,相比較于傳統(tǒng)的雙邊濾波器和加權(quán)最小二乘濾波器,不僅運算速度快,還可以有效抑制圖像邊緣的振鈴現(xiàn)象。根據(jù)輸入圖像的不同,導(dǎo)向濾波既可以作為一種邊緣抑制平滑濾波器,另一方面也可以根據(jù)指導(dǎo)圖來對輸入圖像進行精細修改,如移除輸入圖像中的噪聲點,填補輸入圖像中的空洞等。
圖4以蘋果圖像為例展示了導(dǎo)向濾波的兩個作用。第一種是將原始蘋果圖像(圖4(a))同時作為導(dǎo)向濾波的輸入和指導(dǎo)圖,得到濾波后的圖像(圖4(b))。從這個實驗結(jié)果中可以看出導(dǎo)向濾波可以平滑非邊緣區(qū)域,保留邊緣特性。接著,將圖4(a)作為指導(dǎo)圖,包含噪聲的蘋果目標圖4(c)作為輸入,濾波后的結(jié)果為圖4(d)。不難看出在這種方式下,導(dǎo)向濾波能夠有效的去除圖4(c)中的空洞以及噪聲。
圖4 導(dǎo)向濾波的兩個實例,(a)和(c)是導(dǎo)向濾波的兩個輸入Fig.4 Two examples of guided filtering
融合方法的算法框架如圖5所示。融合過程主要分為3個部分,第一部分是對待融合圖像使用四元數(shù)小波變換,得到低頻系數(shù)與高頻系數(shù),第二部分是分別對低頻系數(shù)與高頻系數(shù)使用對應(yīng)的融合規(guī)則進行融合,第三部分是將融合后的低頻系數(shù)與高頻系數(shù)使用逆四元數(shù)小波變換得到融合后的圖像。具體融合過程為:
1)首先假定待融合蘋果圖像IA,IB已經(jīng)配準;
2)對待融合圖像使用四元數(shù)小波變換得到低頻子帶和高頻子帶、其中,表示第n個低頻子帶,表示第L層d方向的第n個高頻子帶;
3)低頻子帶采用加權(quán)平均規(guī)則得到融合后的低頻部分。權(quán)值是根據(jù)低頻系數(shù)的局部平均梯度得到,具體的計算過程在文章的3.2節(jié)介紹;
4.高頻子帶采用選擇規(guī)則得到融合后的高頻部分,選擇規(guī)則是根據(jù)導(dǎo)向濾波后的高頻系數(shù)設(shè)計得到,具體過程在文章的3.3節(jié)介紹;
5.將融合后的低頻系數(shù)與高頻系數(shù)使用逆四元數(shù)小波變換得到融合后的圖像IF。
蘋果圖像經(jīng)過四元數(shù)變換后得到的低頻子帶反映了圖像的概貌信息,低頻子帶融合的質(zhì)量直接關(guān)系到最終融合圖像的主觀效果??紤]到局部平均梯度可以反映蘋果圖像中表皮紋理信息,因此采用基于加權(quán)的融合規(guī)則來融合低頻部分。計算過程為:首先,計算低頻系數(shù)的局部平均梯度LMGn*,計算公式為:
其中,和分別為低頻系數(shù)在x和y方向上的梯度,上式計算以(x,y)為中心,大小為(2×I+1)×(2×J+1)區(qū)域梯度的均值,在本文中I與J都為2。根據(jù)公式(1),分別計算出待融合圖像低頻系數(shù)的局部平均梯度LM和LM。因此,低頻融合中的權(quán)重定義為:
最后,根據(jù)權(quán)值計算低頻融合系數(shù):
高頻子帶反映了圖像中對應(yīng)位置的信息豐富程度,通常,在蘋果圖像中,高頻系數(shù)的絕對值越大,表示包含的紋理信息越鮮明,特別是在表皮條紋邊緣部分,高頻系數(shù)的絕對值會特別大,而但在條紋內(nèi)部,高頻系數(shù)會偏小一些,直接使用高頻系數(shù)絕對值作為融合時的判斷指標時,提取的主要是蘋果表皮條紋的邊緣信息而不是完整的條紋信息。為了解決這個問題,使用待融合圖像作為導(dǎo)向圖,將高頻系數(shù)作為輸入進行濾波,使用濾波后的高頻系數(shù)代替原始的高頻系數(shù)來判斷高頻系數(shù)的顯著性。這一濾波過程表示為:
其中,GF()表示導(dǎo)向濾波,* 代表 A 或者 B,|·|表示絕對值操作。
根據(jù)導(dǎo)向濾波后的高頻系數(shù),采用選取規(guī)則進行融合,最終融合后的高頻系數(shù)
圖5 基于四元數(shù)小波變換和導(dǎo)向濾波的蘋果可見光與紅外圖像融合框架Fig.5 Framework of QWT and guided filtering based apple visible and infrared image fusion method
為了驗證本文所提圖像融合方法在蘋果缺陷檢測上的有效性,進行兩組實驗。同時,選取了5種經(jīng)典圖像融合方法作為對比實驗。它們分別是:基于拉普拉斯金字塔的圖像融合(LP)[18],基于雙數(shù)復(fù)小波分解的圖像融合(DTCWT)[18],非下采樣輪廓波變換的圖像融合(NSCT)[18],基于對比度的圖像融合(DC)[19],基于脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合(PCNN)[20]。所有的對比實驗中,多尺度分解的層數(shù)都為3,其余融合中用到的參數(shù)都采用作者文獻中所提供的最佳參數(shù)值。所有的實驗都是在Pentium 3.5 GHz CPU、8 GB RAM的PC機上測試運行。
第一組實驗結(jié)果如圖6所示,圖6(a)為待融合的可見光蘋果圖像,圖6(b)為待融合的紅外蘋果圖像。這組實驗主要是將紅外蘋果圖像中的4個缺陷點融入到可見光蘋果圖像中,保持可見光圖像中蘋果的細節(jié)紋理信息。圖6(c)和6(d)是分別用LP方法和DTCWT方法得到的融合圖像。這兩幅圖像都保留了紅外圖像中的4個缺陷點,但缺少可見光圖像中的紋理信息。NSCT方法和DC方法得到的融合圖像(圖 6(e)和 6(f))效果更差,不僅丟失紅外圖像中的缺陷點信息,可見光圖像中的紋理信息也沒有很好的保留,甚至出現(xiàn)一些原始圖像中沒有的黑色區(qū)域。PCNN方法得到的結(jié)果(圖6(g))很好的保留了可見光圖像中的信息,但是丟失了紅外圖像中的一個缺陷點。圖6(h)是融合方法得到的實驗結(jié)果,很明顯紅外圖像中的4個缺陷點都被呈現(xiàn)于融合圖像中,同時可見光圖像中的紋理信息也得到了保留。因此,相比于其他融合方法,本文設(shè)計的融合方法具有有效性,可用于蘋果品質(zhì)檢測。
圖7是第二組蘋果圖像融合結(jié)果。圖7(a)與7(b)分別是待融合的可見光圖像和紅外圖像,圖7(c)至7(h)是使用不同融合方法得到的融合圖像。這組中,各個融合方法得到的融合圖像中出現(xiàn)的問題與第一組實驗結(jié)果類似。LP方法得到的融合圖像丟失了可見光圖像中的紋理細節(jié)信息?;贜SCT方法和DC方法的融合圖像不僅丟失了可見光圖像中的信息,而且還出現(xiàn)了大量的塊狀干擾,使得融合圖像的主觀效果更差。基于PCNN方法的融合結(jié)果以紅外圖像信息為主,缺少了大量可見光圖像中蘋果表皮紋理。
圖6 第一組蘋果圖像的融合結(jié)果Fig.6 First group of apple images fusion results
圖7 第二組蘋果圖像的融合結(jié)果Fig.7 Second group of apple images fusion results
為了更客觀的檢驗作者所提融合方法的有效性,分析比較了融合圖像的5種客觀指標。這5種指標分別是:邊緣信息(G)[21],相位一致信息(P)[22],Piella 度量(S)[23],結(jié)構(gòu)相似度量(Y)[24]和 Chen-Blum度量(CB)[25]。其中,邊緣信息表示融合圖像中包含的邊緣信息含量;相位一致信息表示圖像的特征豐富度;Piella度量表示在不引入失真的前提下有多少信息從待融合圖像中轉(zhuǎn)移到融合圖像中;結(jié)構(gòu)相似度量反映了融合圖像與待融合圖像結(jié)構(gòu)信息的相似性;Chen-Blum度量重點考慮了待融合圖像與融合圖像的局部特征的相似性。所有的這5個指標都是值越大表示融合效果越好。
表1和表2分別是第一組實驗和第二組實驗的客觀評價結(jié)果,加粗表示該指標效果最好。由表1和表2可以看出,作者提出的融合方法的客觀指標都好于其他融合方法,主要是因為,本文提出的融合方法采用四元數(shù)小波變換作為多尺度變換工具,得到了待融合圖像中豐富的尺度信息和相位信息,使得提取待融合圖像中的信息更加豐富準確。低頻部分根據(jù)以系數(shù)的局部平均梯度來計算融合權(quán)重,該權(quán)重較好的度量了待融合低頻系數(shù)的重要程度。同時在高頻融合部分引入導(dǎo)向濾波,使得融合過程中提取信息更加精細準確,并減弱了噪聲的干擾。
表1 第一組實驗的客觀評價指標Table 1 Objective evaluation index of the first group of experiments
表2 第二組實驗的客觀評價指標Table 2 Objective evaluation index of the second group of experiments
通過圖像融合技術(shù)結(jié)合使得融合后的水果圖像既包含可見光圖像中水果表皮的紋理信息,也包含紅外圖像中探測到的水果內(nèi)部損傷信息。作者以蘋果為例,研究了基于四元數(shù)小波變換與導(dǎo)向濾波的融合技術(shù)對改善水果品質(zhì)檢測的作用。融合過程中,使用四元數(shù)小波變換作為多尺度變換工具,得到的子帶系數(shù)中包含的信息更豐富,有利于提取待融合圖像中的信息,引入導(dǎo)向濾波,很好的消除了高頻融合部分中出現(xiàn)的孤立點,融合結(jié)果更加平滑,細膩。實驗表明,該方法能夠有效的從蘋果的可見光圖像和紅外圖像中提取信息,與其他經(jīng)典的圖像融合方法相比,本文提出的基于可見光和紅外圖像的融合方法得到的融合后的水果圖像質(zhì)量最佳,更有利于水果品質(zhì)檢測。