羅曉清，王鵬飛

（江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，無錫 214122）

基于全子帶棧式稀疏自編碼的水果圖像融合

羅曉清，王鵬飛

（江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，無錫 214122）

為提升我國水果質(zhì)量檢測(cè)水平，提出一種基于全子帶棧式稀疏自編碼的水果圖像融合方法。首先利用滑動(dòng)窗口技術(shù)將紅外與可見光水果圖像分塊。接著，利用圖像小塊訓(xùn)練棧式稀疏自編碼網(wǎng)絡(luò)。然后，利用平移不變剪切波將待融合圖像分解為低頻子帶和高頻子帶。低頻子帶與高頻子帶先利用滑動(dòng)窗口技術(shù)提取子帶分塊，接著對(duì)每一對(duì)子帶分塊利用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行編碼，并提出基于稀疏自編碼的融合規(guī)則來實(shí)現(xiàn)子帶分塊的融合。最后，利用滑動(dòng)窗口逆變換生成融合后水果圖像。實(shí)驗(yàn)證明該方法在輔助水果質(zhì)量檢測(cè)的應(yīng)用中是可行的、有效的。

棧式稀疏自編碼；圖像融合；水果質(zhì)量檢測(cè)

0 引言

水果是我國的第三大種植產(chǎn)品，近年來我國的水果產(chǎn)量居世界首位。然而我國雖是水果生產(chǎn)大國卻不是強(qiáng)國，每年都有大量的國外水果進(jìn)入國內(nèi)市場(chǎng)，而本土水果出口量占總產(chǎn)量不到10%，這主要是因?yàn)槲覈钠焚|(zhì)監(jiān)控體系不成熟[1]。為了提升我國水果產(chǎn)品在國際市場(chǎng)中的競(jìng)爭(zhēng)力，急需改善水果生產(chǎn)和銷售中的質(zhì)量檢測(cè)技術(shù)。紅外光譜檢測(cè)技術(shù)是水果質(zhì)量檢測(cè)中常用的方法，它利用水果對(duì)近紅外光的吸收、散射、反射和投射等來確定水果成分的一種方法，紅外光譜檢測(cè)法具有測(cè)量速度快、成本低、不破壞樣本的優(yōu)點(diǎn)，但由于紅外光譜易受到環(huán)境溫度等外部環(huán)境的影響而產(chǎn)生光譜假相，導(dǎo)致水果檢測(cè)中產(chǎn)生的誤差較大[2]?？梢姽鈭D像可以記錄水果表皮中的紋理和細(xì)節(jié)信息。將水果的紅外圖像和可見光圖像中各自表達(dá)的信息結(jié)合，就能顯著提升水果質(zhì)量檢測(cè)的效率和準(zhǔn)確性?；谏鲜龇治?，本文提出了一種基于棧式稀疏自編碼的紅外圖像和可見光圖像的水果圖像融合方法，用于提升水果質(zhì)量檢測(cè)水平。

圖像融合是圖像處理領(lǐng)域中一個(gè)重要的分支，它利用多個(gè)傳感器采集到關(guān)于同一場(chǎng)景的圖像，生成一幅更適合人類視覺感知或更適合計(jì)算機(jī)處理的融合圖像。融合的圖像可以顯著的改善單一圖像的清晰度和信息包含量。圖像融合的方法一般分為像素級(jí)圖像融合、特征級(jí)圖像融合和決策級(jí)圖像融合[3]。像素級(jí)圖像融合是當(dāng)前研究和應(yīng)用最為廣泛的方法。像素級(jí)圖像融合又可以分為簡(jiǎn)單的圖像融合方法、基于塔型變換的圖像融合方法和基于多尺度變換的圖像融合方法，其中基于多尺度變換的圖像融合方法為目前研究的熱點(diǎn)。多尺度變換是基于對(duì)人眼視覺系統(tǒng)對(duì)高維信號(hào)表示方法的研究而提出來的，多尺度變換具有更強(qiáng)的方向選擇能力，可以較好的表達(dá)出圖像中具有方向性的特征。多尺度分解工具包括了小波變換（DWT）[4]、平穩(wěn)小波變換（SWT）[5]、輪廓波變換（CT）[6]、非下采樣輪廓波變換（NSCT）[7]、剪切波變換（ST）和平移不變剪切波變換（SIST）[8]。其中SIST作為其中最新且最優(yōu)的技術(shù)，具備平移不變、高頻子帶方向多和計(jì)算速度快等優(yōu)點(diǎn)。相比其他幾種多尺度分解的方法，更適合運(yùn)用于圖像融合的應(yīng)用中。

近年來，深度學(xué)習(xí)在計(jì)算機(jī)科學(xué)與技術(shù)相關(guān)領(lǐng)域成了一個(gè)研究熱潮，深度神經(jīng)網(wǎng)絡(luò)模擬人類大腦的結(jié)構(gòu)，對(duì)數(shù)據(jù)提取分級(jí)特征，在模式識(shí)別和圖像處理領(lǐng)域取得了巨大的成功。特征提取的方法在圖像融合中有著重要的研究意義，合適的特征提取方法對(duì)融合結(jié)果有著巨大的影響。由于圖像數(shù)據(jù)的復(fù)雜性，相比于傳統(tǒng)的特征提取方法，深度學(xué)習(xí)的方法更加適合圖像中的特征提取。棧式稀疏自編碼（SSAE）作為一種非監(jiān)督的深度學(xué)習(xí)工具，不僅擁有深度學(xué)習(xí)方法提取分層特征的能力，同時(shí)還無需帶標(biāo)簽的訓(xùn)練數(shù)據(jù)[9]，這兩個(gè)特性決定了SSAE在圖像融合領(lǐng)域有著廣闊的應(yīng)用前景。

基于上述分析，本文提出了一種基于SSAE的水果圖像融合方法?？紤]到子帶系數(shù)和原圖內(nèi)容的相關(guān)性，本算法利用原圖像訓(xùn)練SSAE，采用訓(xùn)練好的SSAE對(duì)子帶系數(shù)編碼的策略。該策略相比于直接利用子帶系數(shù)訓(xùn)練SSAE減少了計(jì)算量，從而提升了算法的時(shí)效性。所提算法首先利用滑動(dòng)窗口技術(shù)將原圖像分塊，利用圖像小塊訓(xùn)練SSAE；利用SIST將待融合的兩幅圖像分解為低頻子帶和高頻子帶；對(duì)低頻子帶系數(shù)采用基于SSAE編碼的加權(quán)融合規(guī)則進(jìn)行融合；對(duì)高頻子帶系數(shù)采用基于SSAE編碼的取大融合規(guī)則進(jìn)行融合；待所有子帶融合完成，利用SIST的逆變換生成融合后的圖像。

1 平移不變剪切波變換簡(jiǎn)介

平移不變剪切波變換（SIST）是一種多尺度、多方向的分解工具，它具有平移不變性、方向敏感性和運(yùn)算速度快等優(yōu)點(diǎn)。SIST由非下采樣金字塔分解和剪切濾波器組兩部分組成，其中非下采樣金字塔使得SIST具有多尺度特性，剪切波濾波器使得SIST具有多方向特性。關(guān)于SIST的細(xì)節(jié)可以參考文獻(xiàn)[8]。

2 棧式稀疏自編碼介紹

由于深度學(xué)習(xí)模型具有對(duì)復(fù)雜數(shù)據(jù)的卓越學(xué)習(xí)能力而越來越受到關(guān)注。相比傳統(tǒng)的機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)模型的多層網(wǎng)絡(luò)結(jié)構(gòu)能有效地從數(shù)據(jù)中提取出更多抽象層次的特征，從而更好地表示數(shù)據(jù)[10]。其中棧式稀疏自編碼（SSAE）作為深度學(xué)習(xí)的一個(gè)分支今年來發(fā)展迅速。此外由于圖像融合應(yīng)用中缺乏帶標(biāo)簽的訓(xùn)練數(shù)據(jù)，具有無監(jiān)督特性的SSAE相比其他的深度結(jié)構(gòu)更適合應(yīng)用到圖像融合中。本節(jié)將簡(jiǎn)要地介紹稀疏自編碼器和SSAE的基本原理和訓(xùn)練方法。關(guān)于SSAE的詳細(xì)訓(xùn)練過程請(qǐng)參考文獻(xiàn)[11]。

2.1 稀疏自編碼

如圖1所示，自編碼是一個(gè)典型的三層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，其三層結(jié)構(gòu)分別為輸入層、隱層和輸出層。自編碼的輸入層的值和輸出層相同，這意味著如果不對(duì)隱層加以限制，自編碼學(xué)習(xí)得到的將是一個(gè)無意義的恒等函數(shù)。如果在自編碼網(wǎng)絡(luò)的隱層限制其神經(jīng)元的數(shù)目小于輸入（輸出）層，則自編碼將學(xué)習(xí)到輸入（輸出）數(shù)據(jù)的壓縮表示。如果將隱層神經(jīng)元的平均激活度（aavg）限制為接近0的數(shù)，則該自編碼網(wǎng)絡(luò)將學(xué)習(xí)到輸入（輸出）數(shù)據(jù)的稀疏特征。

圖1 稀疏自編碼結(jié)構(gòu)示意圖

如圖1所示，從結(jié)構(gòu)上來看，稀疏自編碼中輸入層到隱層的結(jié)構(gòu)稱為編碼器，隱層到輸出層的結(jié)構(gòu)稱為解碼器。

其中a（i）為第i個(gè)輸入數(shù)據(jù)在隱層的激活值，x（i）為輸入（等于理論輸出y（i）），hW，b（x（i））為網(wǎng)絡(luò)實(shí)際輸出，其中1≤i≤m，m為輸入數(shù)據(jù)的數(shù)量。W1，l、b1，l、W1，l、b1，l和a（i），l分別代表第l個(gè)自編碼器中編碼器的權(quán)值矩陣、編碼器的偏置項(xiàng)、解碼器的權(quán)值矩陣、解碼器的偏置項(xiàng)和第i個(gè)輸入的隱層神經(jīng)元激活值，sl為第l層稀疏自編碼器隱層神經(jīng)元數(shù)目，特別的s0為第一層稀疏自編碼的輸入層神經(jīng)元的數(shù)目，由于本文采用了兩層結(jié)構(gòu)的SSAE，故0≤l≤2。

編碼器負(fù)責(zé)將x（i）轉(zhuǎn)換成編碼。解碼器負(fù)責(zé)從編碼中重構(gòu)出原數(shù)據(jù)，x（i）和hW，b（x（i））之間存在的誤差稱為重構(gòu)誤差。

稀疏自編碼的代價(jià)函數(shù)如下：

其中，公式（3）中J（W，b）定義的第一項(xiàng)是均方差項(xiàng)，它描述了實(shí)際值x（i）和理論值hW，b（x（i））之間的差別。第二項(xiàng)為權(quán)重衰減項(xiàng)，用來防止過擬合，其中λ為權(quán)重衰減參數(shù)，nl為自編碼結(jié)構(gòu)的層數(shù)，sl為第l層中神經(jīng)元的數(shù)目為第l-1層中第i個(gè)神經(jīng)元到l層中第j個(gè)神經(jīng)元的連接權(quán)值。第三項(xiàng)中，代表了第j個(gè)隱層神經(jīng)元的激活值與稀疏性參數(shù)ρ之間的KL距離，β為稀疏懲罰項(xiàng)的系數(shù)，用來控制稀疏性懲罰因子的權(quán)重。

自動(dòng)編碼器的訓(xùn)練過程是利用梯度下降法求解W1，1和b1，1的過程：

步驟1：設(shè)置：W1:=0，b1:=0，ΔW1:=0，Δb1:=0；

步驟2：根據(jù)公式（3）計(jì)算編碼器的重構(gòu)誤差J（W1，b1）；

步驟3：while J（W1，b1）>10-6：

其中ΔW1和ΔW2為W1和b1的增量，α為更新速率，max_Iter為最大迭代次數(shù)。

當(dāng)解出最優(yōu)的W1，1和b1，1后，利用公式（1）對(duì)所有的輸入數(shù)據(jù)進(jìn)行編碼，計(jì)算隱層神經(jīng)元的激活值a（i），1。

2.2 稀疏自編碼的深度結(jié)構(gòu)

棧式稀疏自編碼（SSAE）為稀疏自編碼的深度結(jié)構(gòu)，本文使用了兩層稀疏自編碼級(jí)聯(lián)而成的SSAE的編碼器部分來提取圖像深度特征，并以此作為融合規(guī)則中的活動(dòng)測(cè)度。其中，nl=2，s0=25，s1=9，s2=1。本文算法的SSAE結(jié)構(gòu)如圖2所示，該SSAE網(wǎng)絡(luò)可以將25維的輸入數(shù)據(jù)轉(zhuǎn)化為1維的編碼，此編碼為輸入數(shù)據(jù)的壓縮和稀疏表示，1維的編碼可以更方便地用來構(gòu)造融合規(guī)則。與稀疏自編碼器類似，SSAE也是在尋找使代價(jià)函數(shù)值最小的權(quán)值，其訓(xùn)練策略為逐層貪婪訓(xùn)練。

（1）首先利用輸入數(shù)據(jù)訓(xùn)練第一層編碼器，解得最優(yōu)的W1，1和b1，1；

（2）接著利用第一層自編碼的隱層神經(jīng)元的激活值a（i），1=sigmoid（W1，1x（i）+b1，1）作為輸入訓(xùn)練下一層的自編碼，解得最優(yōu)的W1，2和b1，2；

（3）當(dāng)SSAE訓(xùn)練完畢，利用公式（4）對(duì)所有的輸入數(shù)據(jù)進(jìn)行編碼，提取深度的稀疏特征a（i），2：

其中，a（i），2為第i個(gè)輸入數(shù)據(jù)在第2層稀疏自編碼器的隱層激活值，也是第i個(gè)輸入數(shù)據(jù)在該兩層結(jié)構(gòu)SSAE中所得的編碼。

圖2 本文使用的具有兩層結(jié)構(gòu)SSAE中編碼部分結(jié)構(gòu)示意圖

3 基于SSAE的水果圖像融合

考慮到水果圖像內(nèi)容的復(fù)雜性，具有深度結(jié)構(gòu)的SSAE能挖掘出水果圖像的分級(jí)特征。其次，為了盡可能高效地獲取融合后的水果圖像以供水果質(zhì)量檢測(cè)，本算法利用各子帶與原圖像之間的相關(guān)性，采用原圖像訓(xùn)練SSAE，再用訓(xùn)練好的SSAE對(duì)低頻子帶系數(shù)和高頻子帶系數(shù)直接進(jìn)行編碼提取特征。該策略不僅能提取出水果圖像的分級(jí)特征，而且能減少SSAE訓(xùn)練的耗時(shí)。接著利用SSAE編碼構(gòu)造子帶系數(shù)融合規(guī)則。圖3為本文提出的基于全子帶SSAE的水果圖像融合方法的框架，其實(shí)施步驟為：

（1）利用SIST將待融合圖像將ImageA和ImageB

（2）CLA和CLB為原圖像的近似表示，對(duì)CLA和CLB使用基于SSAE編碼加權(quán)的方法融合；

（4）待所有的子帶都融合完成，利用SIST逆變換將融合后的高頻和低頻子帶轉(zhuǎn)變?yōu)槿诤蠄D像。

為提高融合速度增加本文算法的時(shí)效性，本文利用原圖像小塊訓(xùn)練SSAE網(wǎng)絡(luò)，然后利用該訓(xùn)練好的SSAE網(wǎng)絡(luò)對(duì)各子帶編碼。

圖3 基于SSAE的水果圖像融合框架

3.1 編碼器的訓(xùn)練

（1）利用滑動(dòng)窗口技術(shù)將ImageA和ImageB分塊，得到圖像小塊IBA（k）和IBB（k）；

（2）將IBA（k）和IBB（k）拉伸成向量后拼接成矩陣IPA（k）和IPB（k）；

（3）利用IPA（k）和IPB（k）訓(xùn)練一個(gè)兩層的SSAE，得到最優(yōu)的W1，1、b1，1、W1，2和b1，2；

3.2 低頻融合規(guī)則

低頻子帶為原圖像的近似圖像，合適的低頻融合算法可以保證融合圖像中整體結(jié)構(gòu)的完整。SSAE編碼能夠有效地發(fā)現(xiàn)低頻子帶中復(fù)雜的結(jié)構(gòu)信息，此外加權(quán)融合的策略能較好的保證融合過程中不丟失重要的結(jié)構(gòu)信息。因此，本文使用的低頻子帶融合規(guī)則是基于SSAE編碼的加權(quán)融合規(guī)則，其實(shí)施步驟如下：利用滑動(dòng)窗口技術(shù)將CLA和CLB分塊，得到低頻系數(shù)小塊CLA（k）和CLB（k）；

（1）將CLA（k）和CLB（k））拉伸成向量后拼接成矩陣CLPA（k）和CLPB（k）；

（2）利用3.1中訓(xùn)練好的SSAE網(wǎng)絡(luò)，計(jì)算CLPA（k）和CLPB（k）的SSAE編碼CodeLA（k）和CodeLB（k）作為融合規(guī)則中的活動(dòng)測(cè)度；

（3）對(duì)每一對(duì)小塊CLA（k）和CLB（k）按公式（5）的方法進(jìn)行加權(quán)融合：

利用滑動(dòng)窗口變換的逆變換生成融合后的低頻子帶CLF。

3.3 高頻融合規(guī)則

高頻子帶系數(shù)包含了細(xì)節(jié)信息，其融合規(guī)則的優(yōu)劣決定融合圖像能否將待融合圖像中清晰的紋理細(xì)節(jié)保存下來。SSAE編碼能較好地區(qū)分出紋理信息和噪聲，此外取大的規(guī)則也能較好地處理融合過程中存在的噪聲干擾情況。因此，本文提出的高頻子帶融合規(guī)則是基于SSAE編碼的取大融合規(guī)則，其實(shí)施步驟如下：

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本算法的可行性和有效性，本文以兩組蘋果圖像作為實(shí)驗(yàn)對(duì)象來測(cè)試本算法，并與傳統(tǒng)的融合方法進(jìn)行對(duì)比。測(cè)試數(shù)據(jù)來自文獻(xiàn)[13]，對(duì)比的方法包括了簡(jiǎn)單加權(quán)融合法（AVG）、基于離散小波分解的融合方法（DWT）[14]、基于脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合方法（N-PCNN）[15]。進(jìn)一步，本文利用了峰值信噪比（PSNR）、信息熵（EN）、互信息（MI）和邊緣轉(zhuǎn)換率（Qabf）[16]這四組客觀評(píng)價(jià)指標(biāo)來驗(yàn)證本文算法的優(yōu)越性。PSNR表示圖像信號(hào)最大可能功率和影響它的表示精度的破壞性噪聲功率的比值，其值越大越好；EN反映了圖像攜帶信息量的多少，其值越大越好；MI反映了待融合圖像和融合圖像之間信息的相關(guān)程度，其值越大視覺效果越好；Qabf反映了待融合圖像的邊緣信息轉(zhuǎn)移到融合圖像中的程度，其值越接近1視覺效果越好。

實(shí)驗(yàn)中，SIST的濾波器選擇maxflat，各層分解的方向數(shù)為4、4、8。SSAE的稀疏性參數(shù)ρ設(shè)為0.01，權(quán)重衰減參數(shù)λ設(shè)為0.15，稀疏懲罰項(xiàng)的系數(shù)β設(shè)為1，SSAE由兩層自編碼組成，故nl=2，其中第一層自編碼的隱層神經(jīng)元個(gè)數(shù)s1設(shè)為9，第二層自編碼的隱層神經(jīng)元個(gè)數(shù)s2為1?；瑒?dòng)分塊的窗口大小為5×5，滑動(dòng)步長(zhǎng)為2。

4.1 第一組水果圖像融合

圖4（a）為待融合的可見光圖像，圖4（b）為待融合的近紅外圖像，圖4（c）展示了基于DWT方法的融合結(jié)果，圖4（d）展示了基于AVG方法的融合結(jié)果，圖4（e）展示了基于N-PCNN方法的融合結(jié)果，圖4（f）為本文方法融合的結(jié)果。圖4（a）清晰地顯示了水果圖像果皮中的細(xì)節(jié)和紋理，但是不能明顯的標(biāo)記處水果中的受損點(diǎn)。從圖4（b）中可以清晰地看出水果的受損處，但是缺失了細(xì)節(jié)信息。本組實(shí)驗(yàn)的融合目標(biāo)應(yīng)該是將圖4（a）中果皮紋理信息和圖4（b）中受損點(diǎn)位置信息都包括到融合圖像中。圖4（c）中沒能將圖4（a）的細(xì)節(jié)和紋理融入結(jié)果，同時(shí)圖4（c）在受損點(diǎn)處也較為模糊。圖4（d）和圖4（e）有少量的表皮紋理丟失，但是，圖4（f）成功的將果皮中的紋理信息和內(nèi)部的受損信息融入結(jié)果中，從主觀的角度來看本文方法效果較好。表1展示了本組實(shí)驗(yàn)的客觀評(píng)價(jià)指標(biāo)，其中加黑的為最優(yōu)指標(biāo)?？梢钥吹奖疚牡乃惴ㄔ贓N和Qabf這兩個(gè)指標(biāo)上是最好的，MI指標(biāo)排第二。盡管，DWT的MI排名第一，但是其主觀效果較差。因此，本文算法在客觀評(píng)價(jià)上取得了較好的效果。這是因?yàn)楸疚牡姆椒ú捎昧薙IST作為多尺度分解工具，可以將圖像的輪廓和紋理區(qū)分地更細(xì)致，此外歸功于SSAE特征較好的區(qū)分度，可以有效地區(qū)分圖像中的結(jié)構(gòu)信息、紋理信息和噪聲信息。綜合比較主觀效果和客觀評(píng)價(jià)指標(biāo)，不難得出本文方法優(yōu)于其他三者。用于輔助水果質(zhì)量檢測(cè)這一目的，本文方法能提供更為有價(jià)值的信息。

表1 客觀評(píng)價(jià)指標(biāo)（圖4）

4.2第二組水果圖像融合

圖5（a）為待融合的可見光圖像，圖5（b）為待融合的近紅外圖像，圖5（c）展示了基于DWT方法的融合結(jié)果，圖5（d）展示了基于AVG方法的融合結(jié)果，圖5（e）展示了基于N-PCNN方法的融合結(jié)果，圖5（f）為本文方法融合的結(jié)果。圖5（a）清晰的展示了水果表皮中的紋路但沒能完整地描繪出水果的輪廓。圖5（b）完整的描繪出了水果的輪廓且受損點(diǎn)比圖5（a）更為明顯，但是圖5（b）中缺失了果皮表面的紋理信息。圖5（c）融合出了水果的整體輪廓和受損點(diǎn)，但是表皮上的紋理只融合了一半。圖5（d）和圖5（e）丟失了部分表皮紋理，圖5（f）成功地融合了紋理、受損點(diǎn)和完整輪廓。表2展示了本組實(shí)驗(yàn)的客觀評(píng)價(jià)指標(biāo)比較，可以看出本文方法在四種指標(biāo)里有兩種指標(biāo)排第一?；贒WT的融合方法在MI指標(biāo)上取得了最佳值，但是主觀效果較差。排除DWT的MI指標(biāo)值，本文方法的MI是最佳的。因此，從客觀評(píng)價(jià)指標(biāo)的角度來比較，本文也是優(yōu)于其他三種方法的。因此在輔助水果質(zhì)量檢測(cè)這一應(yīng)用中，本文的方法是優(yōu)于其他三種方法的。

圖4 第一組水果圖像融合結(jié)果

5 結(jié)語

本文提出了一種基于全子帶棧式稀疏自編碼的水果紅外與可見光圖像融合新方法。由于SIST具有多尺度、多方向、平移不變等優(yōu)點(diǎn)，本文方法將待融合的水果圖像進(jìn)行SIST分解，從而針對(duì)各尺度、各方向的子帶設(shè)計(jì)更合適的融合規(guī)則。此外，由于SSAE具有非監(jiān)督、針對(duì)復(fù)雜數(shù)據(jù)能提取深層特征等優(yōu)點(diǎn)，基于SSAE編碼的融合規(guī)則能更好的兼顧各待融合子帶的差異性和統(tǒng)一性。實(shí)驗(yàn)結(jié)果表明，相比于傳統(tǒng)的圖像融合算法，本文所提的算法能更充分的融合兩種待融合圖像的優(yōu)點(diǎn)，融合圖像有效地整合水果表皮上的細(xì)節(jié)信息和內(nèi)部的缺陷信息。利用本算法得到的融合圖像能有效地提升水果品質(zhì)監(jiān)控的效率和水平。因此本算法是可行的，也是有效的。

表2 客觀評(píng)價(jià)指標(biāo)（圖5）

圖5 第二組水果圖像融合結(jié)果

[1]何鳳姣.中國農(nóng)產(chǎn)品的國際競(jìng)爭(zhēng)力研究[D].東北財(cái)經(jīng)大學(xué)，2014.

[2]李軍良.基于機(jī)器視覺和近紅外光譜的水果品質(zhì)分級(jí)研究[D].南京航空航天大學(xué)，2011.

[3]王耀南，李樹濤.多傳感器信息融合及其應(yīng)用綜述[J].控制與決策，2001，16（5）:518-522.

[4]Mallat SG.A Theory for Multiresolution Signal Decomposition:TheWavelet Representation[J].IEEE Transactions on Pattern Analysis &Machine Intelligence，1989，11（7）:674-693.

[5]Rockinger O.Image Sequence Fusion Using a Shift-InvariantWavelet Transform[C].International Conference on Image Processing，1997.Proceedings.IEEE Xplore，1997：288-291 vol.3.

[6]Do M N，VetterliM.The Contourlet Transform:an Efficient Directional Multiresolution Image Representation[J].IEEE Transactions on Image Processing，2005，14（12）:2091-2106.

[7]Cunha A L D，Zhou J，Do M N.The Nonsubsampled Contourlet Transform:Theory，Design，and Applications[J].IEEE Transactions on Image Processing，2006，15（10）:3089-3101.

[8]Easley G R.Optimally Sparse Image Representations using Shearlets[J]，2006:974-978.

[9]Bourlard H，Kamp Y.Auto-Association by Multilayer Perceptrons and Singular Value Decomposition[J].Biological Cybernetics，1988，59（4）:291-294.

[10]馮鑫，李川，胡開群.基于深度玻爾茲曼模型的紅外與可見光圖像融合[J].物理學(xué)報(bào)，2014，63（18）:211-219.

[11]UFLDL Tutorial.http://ufldl.stanford.edu/wiki/index.php/UFLDLTutorial

[12]Kullback S，Leibler R A.On Information and Sufficiency[J].Annals of Mathematical Statistics，1951，22（1）:79-86.

[13]王樹祺.基于圖像融合和機(jī)器學(xué)習(xí)的水果質(zhì)量分級(jí)與信息追溯技術(shù)[D].北京，北京航空航天大學(xué)，2012.

[14]Pajares G，Cruz JM D L.AWavelet-bBased Image Fusion Tutorial[J].Pattern Recognition，2004，37（9）:1855-1872.

[15]Yang S，Wang M，Lu Y X，et al.Fusion of Multiparametric SAR Images Based on SW-nonsubsampled Contourlet and PCNN[J]. Signal Processing，2009，89（12）:2596-2608.

[16]Xydeas C S，Petrovic V.Objective Image Fusion Performance Measure[J].Electronics Letters，2000，36（4）：308-309.

Fruit Image Fusion Based on Stacked Sparse Autoencoders of All Subbands

LUO Xiao-qing，WANG Peng-fei

（School of IoTEngineering，Jiangnan University，Wuxi 214122）

Proposes a Stacked Sparse AutoEncoders(SSAE)of all subbands based fruit image fusion method to detect the quality of fruits.First, source images are divided into image blocks by sliding windows technology to train a SSAE network.Second,source images are decomposed into low frequency subbands and high frequency subbands by Shift Invariant Shearlet Transform.Next,all frequency subbands are divided into subband blocks by sliding windows technology to learn codes by the SSAE network trained in the first step.Then,proposes two SSAE based fusion rules to fuse the frequency subbands.At last,the composite subbands are converted into fused image by the inverse shift invariant shearlet transform.Experimental results show the proposed method is sufficient and efficient in the application of fruit quality inspection.

羅曉清（1980-），女，江西南昌人，副教授，博士，研究方向?yàn)槟Ｊ阶R(shí)別與圖像處理

2017-03-06

2017-05-10

1007-1423（2017）14-0057-07

10.3969/j.issn.1007-1423.2017.14.012

王鵬飛（1992-），男，江蘇鹽城人，碩士，研究方向?yàn)閳D像處理、機(jī)器學(xué)習(xí)

SSAE;Image Fusion;FruitQuality Inspection