李旻祖，付蕓，韓春曉

（長(zhǎng)春理工大學(xué) 光電工程學(xué)院，長(zhǎng)春 130022）

高光譜圖像不僅包含每個(gè)波段下所有像元的空間信息，還包含每個(gè)像元的光譜信息，真正實(shí)現(xiàn)了“圖譜合一”。這使得高光譜成像在目標(biāo)檢測(cè)［1］、環(huán)境監(jiān)測(cè)［2］、地物識(shí)別［3］和醫(yī)療診斷［4-5］等領(lǐng)域都有著廣泛的應(yīng)用。 然而，傳統(tǒng)的高光譜分類方法，如K 近鄰學(xué)習(xí)算法和光譜角匹配算法等，這些算法僅利用高光譜圖像的光譜信息而忽略了空間信息，這導(dǎo)致了“異物同譜”和“同物異譜”等現(xiàn)象的發(fā)生。近年來，為了充分利用高光譜圖像所包含的豐富信息，更多的研究人員關(guān)注于將高光譜圖像中光譜信息和空間信息聯(lián)合［6-7］用于圖像分類的研究。

付青等人［8］提出一種將Log-Gabor 濾波器和CNN 相結(jié)合的高光譜圖像分類方法，該方法采用Log-Gabor 濾波器提取圖像的空間特征，再將空間特征和光譜特征輸入CNN 模型中實(shí)現(xiàn)分類，取得了較好的分類效果。文獻(xiàn)［9］在二維Gabor濾波器的基礎(chǔ)上，提出一種采用3D-Gabor 濾波器獲取高光譜遙感圖像特征的方法。 相比于2D-Gabor 濾波，3D-Gabor 濾波器具有更強(qiáng)的圖像特征提取能力，算法的魯棒性強(qiáng)且分類精度高。然而，這些方法仍然存在著一些不足：第一，Gabor函數(shù)與人類視覺細(xì)胞的響應(yīng)相似，所以能夠給出圖像時(shí)域和頻域局部化的信息，但是由于Gabor 變換的時(shí)頻窗口寬度是固定的，不能同時(shí)滿足對(duì)時(shí)間分辨率和頻率分辨率的要求；第二，如何有效地將光譜信息和空間信息相結(jié)合，以提高樣本分類精度，這需要更加深入的研究。該論文圍繞光譜信息和空間信息的融合方法展開研究，提出了一種高光譜圖像的空間信息和光譜信息的融合方法。這種方法首先提取圖像的Gabor 特征和LBP 特征等空間信息，其次將空間信息與光譜信息進(jìn)行融合，在融合空譜信息時(shí)，采用短時(shí)傅里葉變換（Short Time Fourier Transform，STFT）［10］將一維的空譜聯(lián)合矢量轉(zhuǎn)換為二維圖像矩陣。 這種做法具有以下兩個(gè)優(yōu)點(diǎn)：第一，充分地利用高光譜圖像的空間信息，有利于提高分類精度；第二，在融合空譜信息時(shí)，將一維空譜聯(lián)合特征向量轉(zhuǎn)化為二維矩陣，這樣可以利用深度學(xué)習(xí)現(xiàn)有的研究成果去分析與處理數(shù)據(jù)，這將為高光譜圖像分類的研究提供極大的方便。

1 本文方法

1.1 空間特征提取

圖像中目標(biāo)所在的位置和目標(biāo)之間的空間關(guān)系是圖像識(shí)別中非常重要的特征。本次實(shí)驗(yàn)主要提取圖像的紋理信息特征。

（1）二值化特征LBP

LBP 是一種常見的局部紋理特征［11］。 由于LBP 具有灰度不變性和旋轉(zhuǎn)不變性的特點(diǎn)，在圖像處理和模式識(shí)別中得到了廣泛的應(yīng)用。其原理是：以圖像的每個(gè)像素為中心點(diǎn)選取一個(gè)小鄰域，本文取為3×3。將中心像素的值設(shè)置為閾值，鄰域的像素值與閾值比較，大于閾值設(shè)置為1，否則設(shè)置為0，該區(qū)域內(nèi)的二進(jìn)制數(shù)形成LBP編碼。圖1 以大小為3 的鄰域?yàn)槔?，說明了LBP的編碼原理。圖像的LBP 特征向量記為f1。

圖1 LBP 特征提取原理

（2）Gabor 特征

Gabor 特征［12］是圖像分類識(shí)別任務(wù)中較為常用的一種特征，Gabor 濾波器與人眼的生物作用相似，非常適用于圖像紋理信息的識(shí)別。 其原理是不同紋理特征的中心頻率與帶寬不一樣，合理地設(shè)計(jì)Gabor 濾波器可以在頻域下提取不同尺度和方向的紋理特征。Gabor 核函數(shù)與人類大腦細(xì)胞的視覺沖擊響應(yīng)類似，其定義為：

其中：

式中，v值描述不同的Gabor 濾波波長(zhǎng)；μ值代表核函數(shù)的方向；Р代表總的方向數(shù)，通過控制這些參數(shù)可以調(diào)節(jié)濾波的尺度和方向；σ是一個(gè)常量，一般取。σ和k決定了Gauss 窗口的大小。

由于核函數(shù)去掉了直流分量，Gabor 特征提取受到光照變化的影響很小，在一定程度上也可以接受平移旋轉(zhuǎn)等較小的變化，也能夠很好地兼顧圖像的空域和頻域信息，表征圖像局部區(qū)域的多個(gè)方向和尺度的特征，從而較好地提取圖像的紋理信息，圖像像素點(diǎn)的Gabor 特征向量記為f2。

將提取的空間特征記為F1=［f1f2］，光譜特征記做F2，空譜聯(lián)合特征記做F= [F1F2]。

1.2 短時(shí)傅里葉變換

傅里葉變換［13］作為一種熱過程的分析工具，能夠?qū)?fù)雜的時(shí)域信號(hào)轉(zhuǎn)換為易于分析的頻域信號(hào)，這有利于復(fù)雜信號(hào)的分析理解和處理加工。短時(shí)傅里葉變換的基本思想是將信號(hào)局部平穩(wěn)化，即把長(zhǎng)的非平穩(wěn)隨機(jī)過程看成是一系列短時(shí)隨機(jī)平穩(wěn)信號(hào)的疊加，短時(shí)性可通過在時(shí)間上加窗口函數(shù)實(shí)現(xiàn)（即截取一部分?jǐn)?shù)據(jù)）。 然后對(duì)截取的每一小部分信號(hào)做傅里葉變換。具體過程如下：

其中，f(t)是信號(hào)；g(t-τ)是窗函數(shù)；f是頻率；STFTf(τ，f)是信號(hào)f(t)的短時(shí)傅里葉變換的結(jié)果。

在對(duì)信號(hào)進(jìn)行短時(shí)傅里葉變換時(shí)，要對(duì)連續(xù)的信號(hào)進(jìn)行離散化處理。 令公式（3）中的τ=m△t，可得到信號(hào)f(t) 的短時(shí)傅里葉變換：

得到的信號(hào)f(k) 短時(shí)傅里葉變換結(jié)果STFT就是一個(gè)二維矩陣，矩陣的行表示每個(gè)采樣的時(shí)間點(diǎn)，矩陣的列表示采樣的頻率值，矩陣上的每一個(gè)元素就是對(duì)應(yīng)點(diǎn)頻率的幅值，整個(gè)矩陣可以表示為：

本次實(shí)驗(yàn)采用Specgram（）函數(shù)實(shí)現(xiàn)短時(shí)傅里葉變換。 Specgram（）函數(shù)中主要有以下幾個(gè)參數(shù)：X、Window、Nperseg、Noverlap、Fs。X 表示輸入信號(hào)，在本文中X 為空譜聯(lián)合信息；Window 表示窗函數(shù)，在本文中窗函數(shù)選擇為漢寧窗；Nperseg 表示光譜信號(hào)分段做傅里葉變換時(shí)每段的長(zhǎng)度，Nperseg 選擇過大會(huì)使頻率分辨率提高，但是這會(huì)使波長(zhǎng)分辨率降低，減小Nperseg 會(huì)使波長(zhǎng)分辨率提高，但是會(huì)降低一些頻率分辨率，經(jīng)過多次嘗試本文Nperseg 設(shè)置為8；Noverlap 表示每段之間重疊的點(diǎn)數(shù)，一般Noverlap 的選擇要滿足Cola 約束，即Noverlap 的長(zhǎng)度為Nperseg 長(zhǎng)度的一半；Fs 是采樣頻率，本文中采樣頻率為1。

1.3 AlexNet 卷積神經(jīng)網(wǎng)絡(luò)

AlexNet 網(wǎng)絡(luò)［14］是2012 年ImageNet 競(jìng)賽冠軍獲得者Hinton 和他的學(xué)生Alex Krizhevsky 設(shè)計(jì)的。 該神經(jīng)網(wǎng)絡(luò)的主要優(yōu)勢(shì)在于：成功地使用ReLU 作為CNN 的激活函數(shù)，提高了分類精度，而且訓(xùn)練時(shí)使用Dropout 隨機(jī)忽略一部分神經(jīng)元，以避免模型過擬合。 本次實(shí)驗(yàn)所采用的卷積神經(jīng)網(wǎng)絡(luò)是在AlexNet 網(wǎng)絡(luò)的基礎(chǔ)上改進(jìn)得到的一個(gè)變形網(wǎng)絡(luò)，該網(wǎng)絡(luò)主要包括五個(gè)卷積層、三個(gè)池化層和三個(gè)全連接層，如圖2 所示。

圖2 AlexNet 卷積神經(jīng)模型結(jié)構(gòu)

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)采集人體血細(xì)胞的顯微高光譜數(shù)據(jù)，每個(gè)采樣點(diǎn)在370～930 nm 波長(zhǎng)范圍內(nèi)均獲取51 個(gè)波長(zhǎng)的數(shù)據(jù)，光譜分辨率為11.2 nm。使用ENVI 5.1 軟件（ITT Visual Information Solutions，Boulder，Colorado，美國(guó)）生成高光譜圖像，如圖3 所示。其中圖3（a）表示的是血液樣本第20 波段的單波段圖像；圖3（b）表示的是血液樣本的偽彩色合成圖；圖3（c）表示的是血液樣本的人工標(biāo)記圖像。在圖3（c）中紅色部分表示的是紅細(xì)胞，綠色部分為白細(xì)胞質(zhì)，藍(lán)色部分為白細(xì)胞核，黃色區(qū)域?yàn)楸尘?。提取圖中3 種不同組織及背景的光譜，分別記做背景光譜、紅細(xì)胞光譜、白細(xì)胞質(zhì)光譜和白細(xì)胞核光譜，光譜曲線如圖4 所示。

圖3 血液樣本

圖4 三種細(xì)胞組織和背景光譜

2.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)采用的硬件設(shè)備為Intel Core i5 10300H CPU 和NVIDA Geforce GTX 1650 GPU。 軟件采用Matlab 和PyCharm，利用Python 實(shí)現(xiàn)空譜聯(lián)合特征的STFT 方式編碼，同時(shí)借助Python 中的Keras 框架搭建改進(jìn)的CNN 模型。在訓(xùn)練過程中dropout 設(shè)為0.25，迭代次數(shù)epoch 設(shè)置為50，batch設(shè)置為64，學(xué)習(xí)速率調(diào)整為1 × 10-3。

2.3 實(shí)驗(yàn)結(jié)果

此次研究選取采集的顯微高光譜圖像的第24 個(gè)波段（波長(zhǎng)為583 nm）的圖像，進(jìn)行空間特征提取，該波段中圖像的組織形態(tài)清晰明了，對(duì)比度強(qiáng)，噪聲較小適合特征提取。其中第24 波段的空間圖像如圖5（a）所示，圖5（b）展示的是各個(gè)細(xì)胞類別的光譜信息。

圖5 第24 波段紅細(xì)胞和白細(xì)胞空間圖像及光譜信息

利用上述提出的方法將空-譜聯(lián)合數(shù)據(jù)轉(zhuǎn)化為二維圖像，利用CNN 模型分類。其中紅細(xì)胞、白細(xì)胞質(zhì)和白細(xì)胞核的空譜聯(lián)合信息經(jīng)過短時(shí)傅里葉變換后得到的圖像如圖6 所示。

圖6 短時(shí)傅里葉變換圖像

在評(píng)價(jià)分類結(jié)果時(shí)采用總體分類精度和Kappa 統(tǒng)計(jì)量作為分類結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)。 總體分類精度是正確分類的樣本數(shù)量與樣本總數(shù)的比值。 Kappa 是統(tǒng)計(jì)學(xué)中度量一致性的指標(biāo)，Kappa 系數(shù)的計(jì)算是基于混淆矩陣的，不僅考慮了混淆矩陣中對(duì)角線方向上分類正確的像元數(shù)目，還考慮了對(duì)角線以外的漏分和錯(cuò)分像元。當(dāng)該數(shù)值大于80% 時(shí)，則表示分類精度較高。

實(shí)驗(yàn)隨機(jī)選擇每類樣本的10% 標(biāo)記樣本作為訓(xùn)練數(shù)據(jù)來訓(xùn)練分類器參數(shù)，然后再將剩余的90% 標(biāo)記樣本用于測(cè)試。

分類結(jié)果如表1 所示，圖7 為分類結(jié)果的可視化圖像。

表1 分類結(jié)果

圖7 分類結(jié)果可視化圖像

各個(gè)細(xì)胞組織類別的精度如表2 所示。

表2 各類別分類精度

由表1 和表2 可以看出本文的方法在總體分類精度達(dá)到了98% 以上，其中紅細(xì)胞、白細(xì)胞質(zhì)、白細(xì)胞核分類的召回率為分別為99.80%、96.31% 和97.82%；精確度分別為97.77%、98.51%和99.60%，這表明本文提出的基于空譜聯(lián)合信息的分類算法在血細(xì)胞分類識(shí)別上取得了不錯(cuò)的效果。為了證明本文所提出的方法的有效性，這里設(shè)置了兩組對(duì)比實(shí)驗(yàn)，第一組對(duì)比實(shí)驗(yàn)是僅利用光譜信息進(jìn)行分類識(shí)別，旨在對(duì)比采用空譜聯(lián)合特征與僅采用光譜特征時(shí)分類性能的差異。第二組對(duì)比實(shí)驗(yàn)是僅提取Gabor 特征作為空間信息，利用SVM 分類，旨在對(duì)比本文空間特征提取方法結(jié)合空譜聯(lián)合編碼方式與傳統(tǒng)空譜聯(lián)合分類算法的差異。

第一組對(duì)比實(shí)驗(yàn)結(jié)果如表3 所示。

表3 第一組對(duì)比實(shí)驗(yàn)分類結(jié)果

第二組對(duì)比實(shí)驗(yàn)結(jié)果如表4 所示。

表4 第二組對(duì)比實(shí)驗(yàn)分類結(jié)果

通過表3 可以看出，采用光譜信息結(jié)合支持向量機(jī)的分類方法的分類精度為96.38%，相比于單一采用光譜信息的分類方式，本文所提出的空譜聯(lián)合分類方式在分類精度上提高了2%。這主要是因?yàn)橄啾扔趩我坏墓庾V信息，本文提取了顯微高光譜圖像的空間信息，然后與光譜信息一起組成空譜聯(lián)合信息，這樣使得被用來分類的特征信息更加豐富，有利于提高分類性能。從表4 中可以看出，本文的分類算法相比于僅提取Gabor 特征的分類方法在分類精度上提高了1.2% 左右，這是由于本文除了提取了圖像Gabor特征以外，還提取了圖像的一些統(tǒng)計(jì)特征和LBP特征，充分的利用了顯微高光譜圖像的空間信息，而且在融合空間特征與光譜數(shù)據(jù)時(shí)也不僅僅是簡(jiǎn)單的直接融合，而是采用了短時(shí)傅里葉變換的方法將一維特征向量轉(zhuǎn)換為二維矩陣進(jìn)行空譜特征融合，而且本文所采用的空譜聯(lián)合編碼方式更加有利于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行自適應(yīng)學(xué)習(xí)，進(jìn)而證明本文所提出的空譜特征聯(lián)合分類方法的有效性。

3 結(jié)論

為了充分地利用顯微高光譜圖像所包含的豐富信息，本文提出了基于LBP 特征和Gabor 特征的空間特征提取方法，相比于單一的2-D Gabor濾波器，本文方法提取的空間特征更加豐富，有利于提升分類精度。針對(duì)顯微高光譜圖像如何更好地融合空間信息和光譜信息的問題，本文提出了采用短時(shí)傅里葉變換方式，將一維的空譜聯(lián)合特征轉(zhuǎn)換為二維矩陣。相比于傳統(tǒng)的空譜聯(lián)合方式，這種方法具有更強(qiáng)的魯棒性和更高的分類精度，而且更加有利于利用現(xiàn)有的深度學(xué)習(xí)的研究成果。 然而，本文在算法時(shí)間效率和模型參數(shù)設(shè)定方面研究還不夠深入，如何縮短計(jì)算時(shí)間和優(yōu)化模型參數(shù)也是下一步研究的重點(diǎn)。