關(guān)鍵詞：內(nèi)窺鏡圖像;圖像增強(qiáng);MBLLEN;U-Net;Hessian矩陣

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A

0 引言（Introduction）

目前，已有許多增強(qiáng)算法應(yīng)用于內(nèi)窺鏡圖像的亮度與細(xì)節(jié)增強(qiáng)，例如傳統(tǒng)算法有伽馬變換、Retinex技術(shù)[1]、圖像空間轉(zhuǎn)換[2-3]、Txi算法[4]、導(dǎo)向濾波[5]。在深度學(xué)習(xí)方面，有許多無監(jiān)督學(xué)習(xí)低光圖像增強(qiáng)算法，例如XU 等[6]提出的SNR（Signal-to-Noise-Ratio）網(wǎng)絡(luò)、MA 等[7] 提出的SCI（Self-Calibrated Illumination）網(wǎng)絡(luò)及WU 等[8]提出的URetinex（Unfolding Retinex）網(wǎng)絡(luò)。

內(nèi)窺鏡圖像的亮度不均勻，傳統(tǒng)算法僅能簡單地改變?nèi)窒袼匦畔?，并且無監(jiān)督低微光增強(qiáng)網(wǎng)絡(luò)沒有明確的學(xué)習(xí)目標(biāo)，缺乏解釋性，這些算法的應(yīng)用結(jié)果均會產(chǎn)生色調(diào)改變及圖像噪聲。MBLLEN網(wǎng)絡(luò)是LV等[9]提出的一種有監(jiān)督的低光增強(qiáng)網(wǎng)絡(luò)，具有多分支結(jié)構(gòu)，解釋性較好，但其增強(qiáng)結(jié)果仍存在色調(diào)改變問題。因此，本研究改進(jìn)了低光照增強(qiáng)MBLLEN網(wǎng)絡(luò)結(jié)構(gòu)。為了解決內(nèi)窺鏡圖像場景語義信息較少和深層CNN（Convolutional Neural Network）會出現(xiàn)梯度消失導(dǎo)致內(nèi)窺鏡圖像亮度增強(qiáng)帶來的色調(diào)改變問題，本研究還引入了Hessian矩陣的特征值，對全局線性結(jié)構(gòu)做細(xì)節(jié)后處理增強(qiáng)。本研究提出的增強(qiáng)算法能在確保內(nèi)窺鏡圖像質(zhì)量的同時，實現(xiàn)出色的亮度和細(xì)節(jié)表現(xiàn)。

1 研究方法（Method）

本研究構(gòu)建了內(nèi)窺鏡圖像亮度增強(qiáng)數(shù)據(jù)集，并采用改進(jìn)的MBLLEN網(wǎng)絡(luò)有監(jiān)督地對內(nèi)窺鏡圖像進(jìn)行增強(qiáng)。在亮度增強(qiáng)的內(nèi)窺鏡圖像基礎(chǔ)上，將其轉(zhuǎn)化至高斯模糊域，引入Hessian矩陣的特征值，對內(nèi)窺鏡的全局線性細(xì)節(jié)進(jìn)行增強(qiáng)，然后轉(zhuǎn)回圖像空域。內(nèi)窺鏡圖像亮度與細(xì)節(jié)增強(qiáng)流程如圖1所示。

2 改進(jìn)型MBLLEN 網(wǎng)絡(luò)（Improved MBLLENnetwork）

2.1 數(shù)據(jù)集預(yù)處理

內(nèi)窺鏡圖像數(shù)據(jù)集中的亮度特征大致可以分為低光、光照正常、高光3類。由于高光的內(nèi)窺鏡圖像較少，因此本文基于The Kvasir Dataset[10]內(nèi)窺鏡數(shù)據(jù)集中的低光圖像和光照正常圖像合成內(nèi)窺鏡光照增強(qiáng)數(shù)據(jù)集。

針對兩種亮度特征的圖像，對V通道做不同的亮度處理。針對低光圖像，對其V通道做γ值大于1且小于1.5的伽馬變換隨機(jī)進(jìn)行亮度恢復(fù)，目的是得到視覺效果較好的內(nèi)窺鏡圖像;針對光照良好的圖像，對其V 通道做γ值小于1且大于0.5的伽馬變換隨機(jī)進(jìn)行亮度衰減，目的是模擬亮度衰減情況下的內(nèi)窺鏡圖像。最終得到亮度視覺較差和亮度視覺良好的內(nèi)窺鏡圖像對作為數(shù)據(jù)集。伽馬變換如公式（1）所示：

2.2 改進(jìn)型MBLLEN

MBLLEN是有監(jiān)督多分支結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，它能夠?qū)W習(xí)低微光圖像的亮度特征并進(jìn)行增強(qiáng)。在內(nèi)窺鏡圖像亮度增強(qiáng)任務(wù)中，MBLLEN的特征提取層深度較深，而醫(yī)學(xué)圖像語義信息有限，存在冗余的特征提取卷積層和遺忘特征信息等問題。同時，原有的特征增強(qiáng)模塊無法增強(qiáng)深層次的信息，因此本研究對MBLLEN網(wǎng)絡(luò)進(jìn)行改進(jìn)，對亮度受損的內(nèi)窺鏡圖像進(jìn)行增強(qiáng)。

改進(jìn)型MBLLEN 網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。本文調(diào)整了MBLLEN的卷積特征提取層的深度，將其修改為7層以解決深層網(wǎng)絡(luò)丟失信息的問題。同時，為了防止梯度趨近零和加速收斂，用跳連接對特征提取層前后進(jìn)行連接，使用U-Net結(jié)構(gòu)替換了原有的特征增強(qiáng)層，用于增強(qiáng)內(nèi)窺鏡圖像中深層次的亮度信息。

改進(jìn)后的MBLLEN網(wǎng)絡(luò)包含3種模塊，即特征提取模塊、特征增強(qiáng)模塊及融合模塊。

（1）特征提取模塊是一個單流網(wǎng)絡(luò)，具有7層卷積網(wǎng)絡(luò)，每一層都采用卷積核大小為3×3的卷積，步長為1，填充大小為1，使用ReLU非線性激活函數(shù)。第一層的輸入是低光照內(nèi)窺鏡圖像，接下來6層的輸入都是前一層的輸出特征，也是特征增強(qiáng)模塊的輸入。特征提取模塊每一層的輸出結(jié)果尺寸均為32×h×w。

（2）特征增強(qiáng)模塊為U-Net結(jié)構(gòu)，其數(shù)量等于特征提取層模塊的層數(shù)。每個增強(qiáng)模塊的輸入都是特征提取層的結(jié)果，輸出是與輸入圖像大小相同的三通道圖像。U-Net的壓縮路徑包含3次下采樣，擴(kuò)展路徑包含3次上采樣。壓縮路徑的下采樣采用卷積核大小為3×3的卷積，步長為1，填充大小為1，每層的特征融合是卷積核大小為3×3的卷積，步長為1，沒有填充;擴(kuò)展路徑的上采樣采用卷積核大小為3×3的反卷積，步長為2，填充大小為1，額外填充大小為1。每層的特征融合采用的卷積核大小與壓縮路徑保持一致，保證輸入尺寸與輸出尺寸一致。所有的特征增強(qiáng)模塊同時訓(xùn)練，但是沒有共享任何學(xué)到的參數(shù)。

（2）融合模塊接收所有特征增強(qiáng)模塊的輸出結(jié)果，生成最后的增強(qiáng)輸出結(jié)果。所有的增強(qiáng)輸出結(jié)果會被連接到一起，使用卷積核大小為1×1的卷積將圖像按權(quán)相加在一起。

3 圖像后處理（Image post-processing）

除了提升內(nèi)窺鏡圖像亮度，本文還提出了一種基于圖像Hessian矩陣特征值的隸屬度增強(qiáng)算法，用于改善內(nèi)窺鏡圖像中線性細(xì)節(jié)的表現(xiàn)，圖像后處理流程如圖3所示。

4 實驗及結(jié)果分析（Experiment and resultanalysis）

4.1 實驗數(shù)據(jù)集

本研究采用The Kvasir Dataset[10]胃腸道公開數(shù)據(jù)集，它包含8個不同類別的內(nèi)窺鏡圖像，其中解剖標(biāo)志有3類，病理結(jié)果有3類，內(nèi)鏡檢查程序有2類。在The Kvasir Dataset中選取2 000張內(nèi)窺鏡圖像，包含Z線、食管、胃腸等組織區(qū)域。選取其中的200張圖像作為驗證集，其余1 800張圖像作為訓(xùn)練集。對訓(xùn)練集數(shù)據(jù)進(jìn)行擴(kuò)增處理，包含翻轉(zhuǎn)、旋轉(zhuǎn)、高斯噪聲、高斯模糊4種操作，將圖像擴(kuò)增到9 000張。

4.2 實驗環(huán)境與配置

改進(jìn)型MBLLEN的優(yōu)化器選取SGD（Stochastic GradientDescent），初始學(xué)習(xí)率設(shè)置為0.002，權(quán)重衰減系數(shù)設(shè)置為0.000 1，β1=0.9，β2=0.999。實驗平臺采用Ubuntu 16.04操作系統(tǒng)，搭載24 GB顯存的GeForce RTX 3090GPU進(jìn)行實驗評估，利用開源深度學(xué)習(xí)框架Pytorch-1.13實現(xiàn)。

4.3 評價指標(biāo)

4.4 實驗結(jié)果與分析

為了驗證改進(jìn)型MBLLEN結(jié)構(gòu)的優(yōu)越性，本研究設(shè)計了消融實驗比較改進(jìn)前后的結(jié)構(gòu)在數(shù)據(jù)集中的損失收斂差異，損失函數(shù)在不同結(jié)構(gòu)下的表現(xiàn)如圖4所示。圖4中，A代表原MBLLEN網(wǎng)絡(luò)結(jié)構(gòu)，損失函數(shù)在20個epoch左右時收斂;B代表改為7層特征提取的MBLLEN網(wǎng)絡(luò)結(jié)構(gòu)，損失函數(shù)在15個epoch左右時收斂;C代表改成7層特征提取和增加了跳連接的MBLLEN網(wǎng)絡(luò)結(jié)構(gòu)，損失函數(shù)在17個epoch左右時收斂;D代表改成7層特征提取和U-Net的MBLLEN網(wǎng)絡(luò)結(jié)構(gòu)，損失函數(shù)在15 個epoch 左右時收斂;E 代表全部改進(jìn)下的MBLLEN網(wǎng)絡(luò)結(jié)構(gòu)，損失函數(shù)在8個epoch左右時收斂。通過對比A與B發(fā)現(xiàn)，改成7層的特征提取MBLLEN網(wǎng)絡(luò)由于網(wǎng)絡(luò)變淺，損失函數(shù)收斂速度加快，但與原結(jié)構(gòu)的收斂結(jié)果幾乎沒有差距，所以本研究不討論原結(jié)構(gòu)與7層特征提取結(jié)構(gòu)的具體差異。通過對比B與C發(fā)現(xiàn)，跳連接結(jié)構(gòu)緩解了網(wǎng)絡(luò)中的梯度消失問題，提高了梯度的有效傳播，加速了網(wǎng)絡(luò)的收斂，并且更容易記住圖像中的重要特征，使損失的收斂結(jié)果趨近0。通過對比B與D發(fā)現(xiàn)，U-Net結(jié)構(gòu)在多層次上學(xué)習(xí)圖像的局部和全局特征，加速了網(wǎng)絡(luò)的收斂，并且收斂速度比C結(jié)構(gòu)更快，但收斂結(jié)果與C結(jié)構(gòu)相近。通過對比C、D、E發(fā)現(xiàn)，本文改進(jìn)結(jié)構(gòu)中的每一部分都對模型加速收斂起到了一定的作用，并且能將損失收斂至最低，與內(nèi)窺鏡圖像的適應(yīng)性更好。A和B的模型輸出結(jié)果接近，如圖5中的MBLLEN所示;C、D、E的模型輸出結(jié)果接近，如圖5中的本文算法;模型的圖像輸出結(jié)果也顯示出改進(jìn)后的模型與內(nèi)窺鏡圖像具有更好的適配性。

為了驗證本文算法的主觀有效性，將算法的結(jié)果與其他主流方法得到的結(jié)果進(jìn)行對比，選取典型的兩張實驗結(jié)果（圖5和圖6），從視覺上可以觀察到Retinex、原結(jié)構(gòu)MBLLEN、URetinex以及SCI算法在提高內(nèi)窺鏡亮度的同時，改變了圖像的色調(diào)，增強(qiáng)算法調(diào)高了像素的亮度表現(xiàn)，同時降低了圖像的質(zhì)量，破壞了原圖像結(jié)構(gòu);SATO[4]和ZHANG等[5]提出的內(nèi)窺鏡增強(qiáng)算法為圖像展示了更多的血管或邊緣細(xì)節(jié)，但提高的亮度有限且引入了不必要的細(xì)節(jié)噪聲;本文算法的結(jié)果在亮度及線性細(xì)節(jié)前景增強(qiáng)前后的圖像質(zhì)量幾乎沒有降低，可以從圖像中觀察到更多的血管細(xì)節(jié)和組織邊緣強(qiáng)度。

為驗證本文算法的客觀有效性，我們在200張驗證集上應(yīng)用了主流算法，并計算了平均指標(biāo)，結(jié)果如表1所示。表1中的結(jié)果表明，本文提出的內(nèi)窺鏡圖像亮度與細(xì)節(jié)增強(qiáng)算法相較于改進(jìn)前的MBLLEN在PSNR、SSIM、DVBV三項指標(biāo)上均有較大的提升;同時，與其他6種主流圖像增強(qiáng)算法的對比結(jié)果顯示，在PSNR和DVBV指標(biāo)方面，僅落后于文獻(xiàn)[5]中的改進(jìn)引導(dǎo)濾波算法，在SSIM 指標(biāo)方面，僅落后于引入自校準(zhǔn)模塊的SCI算法，總體排名前列?？陀^指標(biāo)說明，本文算法能夠在保證圖像的質(zhì)量與結(jié)構(gòu)的前提下，提高圖像的亮度及線性細(xì)節(jié)前景對比度。

5 結(jié)論（Conclusion）

本研究提出了一種改進(jìn)型MBLLEN網(wǎng)絡(luò)的內(nèi)窺鏡圖像亮度與細(xì)節(jié)增強(qiáng)算法。首先，建立了內(nèi)窺鏡圖像亮度增強(qiáng)數(shù)據(jù)集。其次，利用改進(jìn)結(jié)構(gòu)下的MBLLEN算法對內(nèi)窺鏡圖像進(jìn)行亮度增強(qiáng)，在原有的MBLLEN結(jié)構(gòu)中縮短了特征卷積層，使用跳連接方式，將增強(qiáng)模塊替換成U-Net結(jié)構(gòu)，能夠提高內(nèi)窺鏡圖像特征的學(xué)習(xí)效率，并得到更擬合的亮度增強(qiáng)結(jié)果。最后，對內(nèi)窺鏡圖像做高斯隸屬度轉(zhuǎn)化，引入Hessian矩陣特征值對圖像像素的模糊域進(jìn)行線性增強(qiáng)。消融實驗證明了改進(jìn)型MBLLEN網(wǎng)絡(luò)結(jié)構(gòu)的有效性，并且在主流的6種圖像增強(qiáng)算法中，本研究增強(qiáng)的結(jié)果在主觀視覺上表現(xiàn)良好，200張驗證集的增強(qiáng)結(jié)果平均PSNR值為26.829，SSIM 值為0.868和DVBV值為131.372，在主流算法的增強(qiáng)結(jié)果中客觀指標(biāo)排名靠前，滿足內(nèi)窺鏡圖像在確保圖像質(zhì)量未改變的同時，提高亮度與細(xì)節(jié)表現(xiàn)的要求。

作者簡介：

王利鋼（1999-），男，碩士生。研究領(lǐng)域：圖像與視頻處理技術(shù)。

童基均（1977-），男，博士，教授。研究領(lǐng)域：人工智能，醫(yī)學(xué)圖像處理。

陳佳龍（2000-），男，碩士生。研究領(lǐng)域：圖像與視頻處理技術(shù)。

劉軼丞（2000-），男，碩士生。研究領(lǐng)域：圖像與視頻處理技術(shù)。