王 孟, 張大斌*, 劉杰民, 張 暉

(1.貴州大學(xué)機械工程學(xué)院，貴陽 550001；2.貴州省人民醫(yī)院，貴陽 550001；3.貴州銀行博士后流動站，貴陽 550001)

胃癌是癌癥致死率最高之一，亞洲胃癌發(fā)病率遠高于歐洲和北美[1-2]。研究表明早期診斷出常見消化道疾病能夠有效減少胃癌的發(fā)病率[3-4]，其中包括消化道炎癥、潰瘍、息肉和早期胃癌等等。膠囊內(nèi)窺鏡(wireless capsule endoscopy，WCE)技術(shù)是將電源、攝像、傳輸?shù)裙δ芨叨燃傻臒o線視頻拍攝膠囊。與傳統(tǒng)內(nèi)窺鏡技術(shù)相比，能拍攝整個消化道實時圖像，并且整個過程沒有任何不適感，患者整個消化道可呈現(xiàn)在顯示器上，因此在臨床上得以廣泛應(yīng)用[5]。

常用膠囊內(nèi)鏡不具備磁控功能，在消化道中完全隨腸胃蠕動而被動式運動，從膠囊內(nèi)鏡進入口腔至排出體外時長可達8 h以上[6]，以2幀/s圖像為例，則一次檢測可產(chǎn)生50 000張以上圖片。設(shè)備拍攝角度完全被動，有很大隨機性，拍攝過程可能被積液、消化物等腸道內(nèi)容物遮擋，也可能拍攝到黑暗的胃腸通道，或者攝像頭貼近腸道而無法拍攝等。為了幫助醫(yī)生診斷，近年來出現(xiàn)了一些基于WCE的計算機輔助決策系統(tǒng)。主要分為兩種目的，第一種是為了提升WCE審閱速度而進行WCE視頻縮減。彭同勝[7]提出了一種改進的局部二元模式算子LBP_max來提取圖像局部紋理，從而縮減視頻。第二種目的就是針對具體疾病進行圖像檢測。陳淑芬[8]提出一個兩階段顯著特征提取算法，進行混合建模提取二維二值信息，進而檢測消化道出血。檢測手段中，Hassan等[9]采用基于圖像幅度譜的歸一化灰度共生矩陣。Hussam等[10]采用基于Gabor小波的紋理描述符來處理圖像，并用遺傳算法來選擇描述子集。楊晗[11]采用水平集方法分割內(nèi)鏡圖像并用橢圓擬合腫瘤區(qū)實現(xiàn)腫瘤檢測。

目前對WCE視頻輔助診斷的方法均是基于經(jīng)典圖像表示方法，需要針對每一種病灶設(shè)計獨有的識別方法，算法間的兼容性差，只能識別某一種病灶。因此，針對消化道系統(tǒng)顏色相近這一特質(zhì)，提取最佳輸入特征，設(shè)計卷積神經(jīng)網(wǎng)絡(luò)進行膠囊內(nèi)疚輔助診斷。

1 圖像RGB通道分析

分析人體皮膚組織、內(nèi)臟表皮組織、腸道組織等的顏色信息，發(fā)現(xiàn)R通道的顏色變化強于G和B通道。人體不同皮膚組織之間的顏色差異也主要由R通道表現(xiàn)，R通道包含了更加豐富的顏色信息。因此，舍棄三通道中顏色特征最不明顯的一個通道，選擇剩余兩個通道作為網(wǎng)絡(luò)的輸入。

顏色直方圖是用來統(tǒng)計每個顏色通道中每個顏色值對應(yīng)的像素數(shù)量，其最大優(yōu)點在于能夠快速對任意圖像區(qū)域進行顏色直方圖統(tǒng)計而且該特征具有旋轉(zhuǎn)不變性。由此，利用顏色直方圖分析R、G、B通道，從而選出包含信息最豐富的兩通道。分析如下。

(1)掩膜處理：息肉與潰瘍在膠囊內(nèi)鏡中顯示的尺寸較小，通常在30×30以內(nèi)，因此截取50×50大小的掩膜(圖1)進行小范圍內(nèi)顏色分析。

(2)分析區(qū)域：膠囊內(nèi)鏡圖像存在明暗不均的問題，因此對高曝光區(qū)、正常曝光區(qū)和低曝光區(qū)進行分析，如圖2所示。

(3)圖像類別：分為健康圖像、息肉圖像和潰瘍圖像，如圖3所示。

(4)顏色直方圖分析：根據(jù)直方圖中每個顏色值與相鄰顏色值間像素數(shù)量的差異，求出每個通道的標準差與均值(表1)，通過標準差和均值來剖析直方圖。

圖1 WCE中截取的50×50掩膜

通過Python語言及其組件來完成圖像直方圖的建立，如圖4所示。

由圖4(a)～圖4(c)可以直觀地看出膠囊內(nèi)鏡圖像在各種曝光條件下主要差異存在于G、R通道。高曝光區(qū)，G通道顏色值集中在100～140，R通道顏色值越高則包含像素量越多；低曝光區(qū)，G通道顏色值集中在50～100，R通道顏色值則集中在40～130，且像素量在顏色值為50附近處最多。

由圖4(d)～圖4(f)可以直觀看出，正常圖像和患息肉疾病的圖像相比，R、G、B三通道的顏色值之間存在差異，同時局部顏色值之間的像素數(shù)量存在顯著差異。正常圖像和潰瘍圖像之間差異主要由像素量之間的急劇波動。上述為直方圖直觀分析，下面進行量化分析。

圖4 膠囊內(nèi)鏡直方圖

統(tǒng)計實際WCE視頻中連續(xù)的500幅圖像，正常曝光、高曝光和欠曝光圖像比例約為0.85∶0.05∶0.1。因此，將普通曝光、高曝光和欠曝光直方圖所有分類的均值分別乘以權(quán)重0.85、0.05和0.1再進行相加，標準差同樣處理，結(jié)果見表2。

表2中，G和R通道像素顏色值的標準差和均值高出B通道10%以上，反映出G和R通道細節(jié)特征更豐富，因而取G和R通道為網(wǎng)絡(luò)輸入，減少冗余信息量。

表1 9種組合下直方圖的標準差與均值

表2 RGB三通道評價

2 圖像對比度增強方法分析

膠囊內(nèi)鏡工作于食管、胃、小腸、大腸等，各部位的顏色信息、腸道直徑、運動狀態(tài)各不相同，導(dǎo)致內(nèi)鏡拍攝時對焦不準確，畫面存在一定程度的模糊。此外，病灶物理特征也不明顯，如小腸與息肉均呈粉紅色，即使經(jīng)驗豐富的醫(yī)生也未必能夠完全判斷病變。因此有必要對圖像進行增強，考慮膠囊內(nèi)鏡灰度圖像對比度的增強，對比全局直方圖均衡化、伽瑪變換、拉普拉斯變換三種算法。三種算法均在OpenCV中實現(xiàn)。

2.1 全局直方圖均衡化

從人體感官來看待一幅圖像，如果該圖像直方圖分布均勻，則總體感覺較為協(xié)調(diào)，且感官信息比較豐富，利于人眼判斷。全局直方圖均衡化通過調(diào)整直方圖灰度值集中區(qū)域，來增強對比度。設(shè)I(x,y)為輸入圖像(x,y)處灰度值，對應(yīng)直方圖均衡化后的輸出為O(x,y)。I(x,y)與O(x,y)間的映射關(guān)系為

(1)

式(1)中：Fk為灰度變換函數(shù)，k=0,1,…,255；N為總像素量；Ni為灰度i所包含的像素數(shù)量；P(ri)為圖像灰度值概率密度函數(shù)。

從映射函數(shù)可知，直方圖均衡化增加灰度動態(tài)范圍，調(diào)整原圖像灰度分布，提升對比度，突出細節(jié)信息，使人眼能夠更直觀讀取圖像信息，效果如圖5。圖5(a)、圖5(b)可看出息肉通過直方圖均衡化之后，息肉的表面亮度增加，邊緣亮度降低，對比度得到了增強，與周圍健康組織形成了鮮明界限。但是從圖5(c)、圖5(d)可知，由于灰度值較低部分和灰度值較高部分的像素量擴散，產(chǎn)生了噪聲，使畫面細節(jié)信息丟失。

圖5 息肉直方圖均衡化效果圖

2.2 伽瑪變換

人眼對于外界光源的感光值隨亮度增加或減少，人眼分辨亮度信息的能力逐漸減弱。膠囊內(nèi)鏡圖像曝光不足或過曝，會導(dǎo)致部分灰度保存為相似值而丟失信息。伽瑪變換對于修正異常灰度值有良好效果，可保留或去掉異?；叶刃畔?，增強圖像對比度。伽瑪變換表達式為

O=CIγ

(2)

式(2)中：C和γ為常數(shù)；I為歸一化到[0,1]后的輸入灰度；O為輸出灰度。γ<1，能增強了圖像的低灰度值區(qū)域；γ>1，增強了高灰度值區(qū)域。分析500幅膠囊內(nèi)鏡圖像可知，其所拍攝的圖片中欠曝光多于過曝光，加之圖像通常處于中低灰度值范圍，因此采用γ=0.1，0.2，…，0.9進行測試，最好結(jié)果γ=0.8如圖6所示。

圖6 伽瑪變換前后圖像

從圖6看出，膠囊內(nèi)鏡本身顏色閾較單一，使得息肉圖像各區(qū)域灰度變化不夠明顯，伽瑪變換圖像對比圖提升也就不夠。

2.3 拉普拉斯變換

膠囊內(nèi)鏡拍攝的圖像，尤其對于息肉來說，息肉組織與周圍正常組織之間的區(qū)分不那么明顯，此時可以用到拉普拉斯變換。它可加強灰度梯度大的區(qū)域，提升細節(jié)表現(xiàn)能力，提高對比度，同時對于其他區(qū)域的灰度值變化很小，利于病變組織的識別。變換效果如圖7所示。

圖7 拉普拉斯變換前后圖像

圖7可以看出，由于膠囊內(nèi)鏡圖像自身灰度梯度較小，包含的圖像信息較少，經(jīng)過拉普拉斯變換處理后，人眼已經(jīng)看不出銳化后的息肉，對比度提升同樣不夠明顯。

通過上述比較，可知三種增強方法對于膠囊內(nèi)鏡圖像對比度的提升效果最好的是全局直方圖均衡化。因此直方圖均衡化后的灰度圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，更有利于特征的提取。

3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3.1 網(wǎng)絡(luò)輸入

神經(jīng)網(wǎng)絡(luò)的三通道輸入分別為R通道、G通道、直方圖均衡化灰度通道。

神經(jīng)網(wǎng)絡(luò)深度為10，圖像數(shù)據(jù)量約2.2萬幅，不足以保證模型的有效訓(xùn)練。因此需要對數(shù)據(jù)進行增廣，主要采用了兩種方法:①利用OpenCV中進行圖像水平和豎直的翻轉(zhuǎn);②對原圖進行摳取，在每張大小為256×240的原圖上隨機摳取3張224×224大小的區(qū)域。通過兩種數(shù)據(jù)增廣，達到了網(wǎng)絡(luò)的數(shù)據(jù)量要求。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

目前廣泛使用的網(wǎng)絡(luò)訓(xùn)練方法存在兩個缺陷：①經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)(AlexNet、VGGNet、ResNet等)訓(xùn)練要求大量已標注的數(shù)據(jù)，而醫(yī)療圖像的標注成本極高，數(shù)據(jù)量遠遠不夠；②網(wǎng)絡(luò)預(yù)訓(xùn)練遷移方法存在圖像與預(yù)訓(xùn)練圖像差異巨大的問題，準確率不高。為此，借鑒VGG小卷積核實現(xiàn)大感受野、小卷積核實現(xiàn)深層網(wǎng)絡(luò)的特點，設(shè)計適用于膠囊內(nèi)鏡圖像的卷積神經(jīng)網(wǎng)絡(luò)[12]。

該網(wǎng)絡(luò)共10層，包含了7個卷積層與3個全連接層?？梢暬愂悄繕溯^小的病灶而非一般的場景描述，因此采用多個3×3卷積核實現(xiàn)高維特征提取，2×2池化層實現(xiàn)特征篩選。結(jié)合實際的訓(xùn)練數(shù)據(jù)量，全連接層沒用采用大量神經(jīng)元，而是采用256個神經(jīng)元，更加符合2萬幅圖像的訓(xùn)練。網(wǎng)絡(luò)架構(gòu)參數(shù)如表3所示。

表3 網(wǎng)絡(luò)架構(gòu)參數(shù)

4 實驗與結(jié)果

4.1 實驗數(shù)據(jù)

采用的數(shù)據(jù)為貴州省人民醫(yī)院2012—2016年保存的膠囊內(nèi)鏡圖像，所涉及的患病個體為100，圖像總量超過了500萬張。數(shù)據(jù)的標注工作分為三步：①醫(yī)生根據(jù)之前記錄的病例，首先確定病人所患的疾病，如息肉、潰瘍等，再從膠囊內(nèi)鏡視頻中篩選出患該病的圖像；②患病圖像由專業(yè)醫(yī)生進行逐個標注。標注分類為息肉、潰瘍、正常和未知，未知分類當中包含了其余的患病情況。最終得到的標注樣本有息肉、潰瘍、正常和未知各4 569、2 655、11 919和2 912幅圖像，從中各隨機抽取1/5作為測試集，剩下的作為訓(xùn)練集。

該實驗在Intel i7-7700HQ處理器，INVIDIA GTX1070顯卡以及16 G內(nèi)存的計算機中完成。為了解本算法的檢測效果，將其進行兩種對比試驗，與前述提出的幾種預(yù)處理之間對比，與經(jīng)典圖像表示和支持向量機聯(lián)合的對比。

4.2 幾種預(yù)處理比較

試驗評估了R、G、B三個通道與直方圖均衡化、伽瑪變換以及拉普拉斯變換組合為網(wǎng)絡(luò)輸出的預(yù)測效果,該試驗基于同樣的神經(jīng)網(wǎng)絡(luò)。九種組合的識別準確率見表4,其中直方圖均衡化、伽瑪變換、拉普拉斯變換分別用HIS、GAMA、LAP表示。

表4 九種組合的預(yù)測準確率

九種預(yù)測結(jié)果中，RG+HIS組合的準確率在各種目標下都是最高的，符合之前的預(yù)期，平均準確率可達96.8%?？梢杂^察到，R通道組合在相同條件下對于息肉的預(yù)測準確率都比G和B通道高，因為息肉病灶與正常組織之間的顏色差異主要是R分量上的細微差異。潰瘍與正常組織間存在明顯的顏色差異，因此預(yù)測準確率都比息肉高。直方圖均衡化、伽瑪變換和拉普拉斯變換的效果圖在前文已看到，三種方法對于對比度的提升最大的是直方圖均衡化，從表4得以驗證。相同條件下，直方圖均衡化方法的預(yù)測準確率均高于伽瑪變換和拉普拉斯變換，其中直方圖均衡化方法和伽瑪變換方法的效果比較接近。

4.3 與經(jīng)典機器視覺方法比較試驗

機器視覺中經(jīng)典的特征提取有SURF、FAST等，特征提取之后與支持向量機進行結(jié)合以實現(xiàn)良好的分類。SURF算法對旋轉(zhuǎn)、尺度、亮度、噪聲、視角等的變化具有一定魯棒性[13]，采用快速Hessian方法來檢測關(guān)鍵點，速度比SIFT快幾倍。FAST算法是通過比較檢測點與周圍16個像素之間信息差來判斷其是否為角點的算法，速度較快。本文系統(tǒng)與上述兩種算法的預(yù)測結(jié)果如表5所示。

從表5看出，經(jīng)典機器視覺特征檢測方法能夠?qū)崿F(xiàn)的準確率不超過81%，而基于多層卷積神經(jīng)網(wǎng)絡(luò)的特征檢測準確率超過95%。從單個檢測目標來看，RG+HIS也具有絕對優(yōu)勢，SURF和FAST方法本身具備了一定的特征檢測能力，結(jié)合SVM之后檢測能力提升還不夠顯著。

表5 RG+HIS與經(jīng)典機器視覺方法對比

5 結(jié)論

(1)提出了一種用于檢測膠囊內(nèi)鏡圖像中息肉、潰瘍、正常及其他病灶的算法,平均準確率達到了96.8%。與同一個神經(jīng)網(wǎng)絡(luò)下調(diào)整其他不同輸入方法相比，準確率至少高出2%；與經(jīng)典的機器視覺方法相比，平均準確率至少高出16.73%。檢測速度達到了68.6圖/s，能夠15 min內(nèi)檢測出一個病人完整的內(nèi)鏡圖像。本文提出的算法在特征檢測與預(yù)測方面勝于經(jīng)典機器視覺方法；不同輸入對于數(shù)據(jù)量較小時的網(wǎng)絡(luò)訓(xùn)練效果有很大影響。

(2)本文算法首先需要標注約2萬膠囊內(nèi)鏡圖像，然后通過數(shù)據(jù)增強方式將數(shù)據(jù)擴充至10萬以上，也可以直接標注10萬張不同的內(nèi)鏡圖像，鑒于時間緊迫，采用了前者。其次，提取圖像R和G通道，采用全局直方圖均衡化手段處理灰度圖以提高其對比度，將三者作為網(wǎng)絡(luò)輸入。網(wǎng)絡(luò)結(jié)構(gòu)是將VGG網(wǎng)絡(luò)結(jié)合自身數(shù)據(jù)限制進行相應(yīng)修改。試驗結(jié)果證實了這種神經(jīng)網(wǎng)絡(luò)訓(xùn)練前先行增強圖像方法的優(yōu)越性，可以推廣應(yīng)用到其他消化道內(nèi)鏡圖像的識別中。

下一步工作主要從兩個方面考慮，一是嘗試其他圖像增強手段，改變圖像輸入以得到膠囊內(nèi)鏡最佳的神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)；二是獲取更多的數(shù)據(jù)量，評估相同神經(jīng)網(wǎng)絡(luò)架構(gòu)下，不同數(shù)據(jù)量和不同輸入對于神經(jīng)網(wǎng)絡(luò)預(yù)測準確率的影響。