張 偉，余 浩，袁 波，王立強(qiáng)，2*，楊 青，2

（1. 浙江大學(xué)光電科學(xué)與工程學(xué)院，浙江杭州310027；2. 之江實(shí)驗(yàn)室 超級(jí)感知研究中心，浙江 杭州 311100）

1 引 言

近些年來(lái)，消化道疾病成為了常見(jiàn)病。現(xiàn)代人由于快節(jié)奏的生活和巨大的生活壓力，消化道常常處于亞健康狀態(tài)，久而久之消化道就會(huì)發(fā)生病變，且為惡性疾病的幾率較高。常見(jiàn)的消化道腫瘤有食管癌、胃癌、結(jié)直腸癌等。據(jù)中國(guó)國(guó)家癌癥中心統(tǒng)計(jì)，2015 年新發(fā)食管癌、胃癌、結(jié)直腸癌分別為 47.8 萬(wàn)例、67.9 萬(wàn)例、37.6 萬(wàn)例，死亡病例共達(dá) 106 萬(wàn)例［1］。

對(duì)于消化道癌癥來(lái)說(shuō)，早期篩查是癌癥治愈的先決條件，如果能夠及早發(fā)現(xiàn)、及時(shí)治療，可以有效減少惡性病變的發(fā)生率，降低死亡率。目前，臨床上篩查診斷消化道癌癥的一個(gè)重要途徑就是電子內(nèi)鏡活檢術(shù)，在電子內(nèi)鏡的引導(dǎo)下對(duì)病灶取活檢再由病理科診斷。這種診斷方式不僅診斷周期長(zhǎng)，而且由于取樣不準(zhǔn)容易漏診，同時(shí)會(huì)對(duì)病灶造成一定程度的損傷。細(xì)胞內(nèi)鏡［2］是一種具有超高放大倍率的高端電子內(nèi)窺鏡，配合術(shù)中染色可以直接在體內(nèi)觀察到細(xì)胞級(jí)的組織，是消化道癌早期篩查診療的重要途徑和研究方向，在一定程度上可以取代組織學(xué)活檢［3-4］。與激光共聚焦顯微內(nèi)窺鏡［5］不同，細(xì)胞內(nèi)鏡僅包含一個(gè)光學(xué)鏡頭，醫(yī)生操作更為方便。自2003 年奧林巴斯發(fā)布第一代細(xì)胞內(nèi)鏡系統(tǒng)［6］以來(lái)，伴隨著科學(xué)技術(shù)的進(jìn)步，細(xì)胞內(nèi)鏡系統(tǒng)得到了飛速的發(fā)展。目前，最先進(jìn)的第四代細(xì)胞內(nèi)鏡可以實(shí)現(xiàn)520 倍的連續(xù)光學(xué)變焦放大，顯微觀察的視場(chǎng)范圍可以達(dá)到 570 μm×500 μm，在體內(nèi)可以實(shí)時(shí)地觀察到獨(dú)立的細(xì)胞核［7］。然而，內(nèi)窺鏡醫(yī)生通常不具備病理診斷經(jīng)驗(yàn)，難以把握細(xì)胞內(nèi)鏡高倍率圖像中的組織病理特征。因此，為了輔助內(nèi)窺鏡醫(yī)生更準(zhǔn)確地分析細(xì)胞內(nèi)鏡高倍率圖像中的細(xì)胞核形態(tài)特征，本文基于已研制的高倍率細(xì)胞內(nèi)鏡系統(tǒng)開(kāi)展了細(xì)胞核分割技術(shù)的研究。

2 細(xì)胞內(nèi)鏡系統(tǒng)

細(xì)胞內(nèi)鏡技術(shù)一直以來(lái)都被日本的奧林巴斯公司壟斷。為了突破技術(shù)封鎖，本課題組設(shè)計(jì)搭建了一套大視場(chǎng)高倍率細(xì)胞內(nèi)鏡系統(tǒng)，如圖1所示。該系統(tǒng)主要包括探頭部、插入管、控制手柄、主機(jī)以及顯示器等。探頭部包含一個(gè)大視場(chǎng)高倍率變焦內(nèi)窺物鏡，外徑尺寸為9.8 mm，與臨床常規(guī)胃鏡相同，變焦旋鈕在控制手柄上，可以實(shí)現(xiàn)1~500 倍連續(xù)變焦放大功能。在實(shí)際使用過(guò)程中，將細(xì)胞內(nèi)鏡探頭逐步靠近組織表面并調(diào)節(jié)變焦旋鈕，可實(shí)現(xiàn)對(duì)組織的連續(xù)放大觀察，直至探頭貼住組織表面時(shí)，系統(tǒng)的放大倍率達(dá)到最大，能夠觀察到染色的細(xì)胞核，且此時(shí)顯微觀察的視場(chǎng)范圍可以達(dá)到1 mm 以上，具有視場(chǎng)大、分辨率高等優(yōu)點(diǎn)。

圖1 高倍率細(xì)胞內(nèi)鏡系統(tǒng)Fig. 1 Endocytoscopy system with high magnification

為了使不同組織之間以及細(xì)胞核與細(xì)胞質(zhì)之間的差異更加明顯，在使用細(xì)胞內(nèi)鏡檢查前需要對(duì)組織進(jìn)行染色［4］。目前，細(xì)胞內(nèi)鏡常用的染色劑有甲苯胺藍(lán)、亞甲藍(lán)和結(jié)晶紫等溶液。對(duì)食管黏膜的染色大多選擇甲苯胺藍(lán)或亞甲藍(lán)，而結(jié)晶紫能夠?qū)?xì)胞質(zhì)進(jìn)行有效染色［3，7］。本文基于搭建的高倍率細(xì)胞內(nèi)鏡系統(tǒng)，在豬食管黏膜組織上開(kāi)展了甲苯胺藍(lán)染色細(xì)胞核的實(shí)驗(yàn)。從離體的豬食管組織上剝離一小塊食管內(nèi)壁黏膜，沖洗干凈后再用1%濃度的甲苯胺藍(lán)水溶液進(jìn)行染色。這種染色劑著色很快，適用于內(nèi)鏡下快速染色。染色大約一分鐘之后用清水沖洗掉多余的染色劑，便完成了對(duì)豬食管黏膜組織細(xì)胞核的染色。將染色好的食管黏膜置于背光光源上，利用細(xì)胞內(nèi)鏡系統(tǒng)進(jìn)行觀察，圖2 展示了不同放大倍率下的成像結(jié)果，其中圖 2（a）~2（c）的成像物距由遠(yuǎn)及近，最后緊貼黏膜表面，在最高放大倍率下能夠清晰地觀察到均勻分布的細(xì)胞核，如圖2（c）所示。

圖2 高倍率細(xì)胞內(nèi)鏡系統(tǒng)觀察豬食管黏膜的染色細(xì)胞核Fig.2 Observation on stained nuclei of esophageal mucosa tissue of pig by endocytoscopy system with high magnification

3 細(xì)胞核分割方法

根 據(jù) Kumagai 等［8］和 Ono 等［9］的 研 究 ，使 用細(xì)胞內(nèi)鏡診斷食管病變和宮頸病變的良惡性主要依賴于細(xì)胞核的特征，但內(nèi)窺鏡醫(yī)生通常不具備細(xì)胞核病理診斷的經(jīng)驗(yàn)，而且缺乏統(tǒng)一標(biāo)準(zhǔn)，主觀估計(jì)誤差較大。Kumagai 等在2019 年采用深度學(xué)習(xí)方法對(duì)細(xì)胞內(nèi)鏡在食管拍攝到的圖像進(jìn)行識(shí)別分類以輔助內(nèi)窺鏡醫(yī)生診斷，其中類別包括良性病變和惡性病變兩類，最終模型診斷的總體準(zhǔn)確性為90.9%［10］。然而，這種輔助診斷的方法并未充分利用細(xì)胞核的特征，為了進(jìn)一步準(zhǔn)確分析細(xì)胞核的形態(tài)結(jié)構(gòu)，需要將細(xì)胞內(nèi)鏡圖像中的細(xì)胞核準(zhǔn)確地分割和提取出來(lái)。

深度學(xué)習(xí)在醫(yī)學(xué)圖像分割領(lǐng)域的應(yīng)用日趨成熟，與傳統(tǒng)的分割算法相比，深度學(xué)習(xí)方法的分割精度有了較大的提升［11-12］。Shelhamer 等［13］提出的全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Net?work，F(xiàn)CN）模型將網(wǎng)絡(luò)后端的全連接層替換成卷積層，再使用上采樣技術(shù)將低分辨率的深層特征圖映射到輸入圖像的尺寸上，成功地完成了像素級(jí)的語(yǔ)義分割任務(wù)。該網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，容易訓(xùn)練，目前已廣泛地應(yīng)用于圖像分割任務(wù)中。本文采用FCN 網(wǎng)絡(luò)作為細(xì)胞核分割模型的基本框架，其中FCN 的主體結(jié)構(gòu)采用了常用的VGG16［14］模型。

在細(xì)胞內(nèi)鏡所拍攝的豬食管黏膜細(xì)胞核圖像中，單個(gè)細(xì)胞核所占比例較小，直接將原始圖像用于訓(xùn)練難以取得好的分割效果，所以本文先對(duì)原始圖像的右側(cè)和底部按照邊界對(duì)稱性進(jìn)行填充，擴(kuò)展成512×512 像素，進(jìn)而再切分成16 個(gè)128×128 像素的圖像塊，然后將圖像塊放大至512×512 像素再輸入FCN 模型進(jìn)行訓(xùn)練，避免細(xì)胞核在不斷卷積池化的過(guò)程中丟失語(yǔ)義特征。最后，對(duì)每個(gè)圖像塊分割的結(jié)果對(duì)照位置進(jìn)行拼接并裁剪掉填充區(qū)域，通過(guò)后處理去除面積小于10 像素和大于200 像素的偽細(xì)胞核，輸出最終的細(xì)胞核分割結(jié)果。細(xì)胞核分割的整體框架如圖3所示。

圖3 基于FCN 的細(xì)胞核分割模型框架Fig.3 Structure of nuclear segmentation model based on FCN

4 實(shí)驗(yàn)與結(jié)果分析

4.1 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

本文基于已研制的高倍率細(xì)胞內(nèi)鏡系統(tǒng)對(duì)豬食管黏膜組織的細(xì)胞核進(jìn)行染色觀察并采集圖像數(shù)據(jù)，從8 次染色實(shí)驗(yàn)中共采集了40 張具有代表性的細(xì)胞核圖像，并手動(dòng)對(duì)這些圖像進(jìn)行標(biāo)注，制作出細(xì)胞核分割數(shù)據(jù)集，如圖4 所示，其中10 張圖像作為評(píng)估分割算法的測(cè)試集。另一方面，本文對(duì)用于訓(xùn)練的30 對(duì)圖像和標(biāo)簽進(jìn)行切割分塊，共得到1 080 對(duì)圖像塊，用于訓(xùn)練細(xì)胞核分割模型。

圖4 細(xì)胞核標(biāo)注Fig.4 Nuclear label

為了定量評(píng)估比較算法模型分割細(xì)胞核的準(zhǔn)確性，本文采用像素準(zhǔn)確性（Pixel Accuracy，PA）（Ap），特異性（Sp），敏感性（Se）和 Dice 系數(shù)（D）4 個(gè)指標(biāo)［15-16］，計(jì)算公式如下：

其中：TP表示分割正確的細(xì)胞核像素個(gè)數(shù)，TN表示分割正確的背景像素個(gè)數(shù)，F(xiàn)P表示誤分割成細(xì)胞核的像素個(gè)數(shù)，F(xiàn)N表示遺漏分割的細(xì)胞核像素個(gè)數(shù)。Dice 系數(shù)是醫(yī)學(xué)圖像分割領(lǐng)域衡量真值和預(yù)測(cè)值之間的重要度量，其值越大表示兩者的相似度越高［16］。

4.2 分割結(jié)果及討論

本文實(shí)驗(yàn)均是在Ubuntu 19.04 系統(tǒng)上進(jìn)行，CPU 型 號(hào) 為 i9-9900K，GPU 型 號(hào) 為 RTX 2080Ti，利 用 開(kāi) 源 庫(kù) PyTorch 1.6.0 和 OpenCV 3.4.2 進(jìn)行模型的訓(xùn)練測(cè)試以及圖像處理等。由于待分割的目標(biāo)只有細(xì)胞核，所以像素只有細(xì)胞核像素和背景像素兩類。因此，本文在訓(xùn)練細(xì)胞核分割模型時(shí)采用二進(jìn)制交叉熵?fù)p失函數(shù)，并采用 Adam 算法［17］進(jìn)行優(yōu)化，經(jīng)過(guò) 300 次的迭代訓(xùn)練之后得到細(xì)胞核分割模型。

為了驗(yàn)證圖像切割分塊訓(xùn)練的有效性，本文對(duì)未切分圖像也進(jìn)行了同樣的訓(xùn)練，并將切分圖像訓(xùn)練的模型記為FCN-crop，未切分圖像訓(xùn)練的模型記為FCN。除此之外，本文還實(shí)現(xiàn)了傳統(tǒng)的OTSU 分割方法，用來(lái)和深度學(xué)習(xí)方法對(duì)比。3 種分割方法在測(cè)試集上的分割結(jié)果如圖5 所示。在4 項(xiàng)指標(biāo)中，OTSU 的表現(xiàn)都是最差的，而FCN-crop 的表現(xiàn)是最好的，其像素準(zhǔn)確性達(dá)到了99.23%，特異性達(dá)到了99.54%，敏感性達(dá)到了84.37%，Dice 系數(shù)也達(dá)到了0.813 8。由于圖像中大部分像素都屬于背景像素，因此3 種方法的像素準(zhǔn)確性和特異性都在90%以上。在敏感性和 Dice 系數(shù)上，OTSU 和 FCN 都很低，說(shuō)明這兩種方法存在較多的細(xì)胞核遺漏分割的情況，且細(xì)胞核邊緣分割不夠準(zhǔn)確。FCN-crop 模型在敏感性和Dice 系數(shù)上都在0.8 以上，充分說(shuō)明它可以準(zhǔn)確地分割出細(xì)胞核，在測(cè)試集圖像上的分割結(jié)果如圖6 所示（彩圖見(jiàn)期刊電子版）。其中，綠色和黑色代表正確分割的真陽(yáng)性像素和真陰性像素，藍(lán)色和紅色代表錯(cuò)誤分割的假陽(yáng)性和假陰性像素。

圖5 三種方法分割結(jié)果的對(duì)比Fig.5 Comparison of segmentation results of three methods

圖6 FCN-crop 模型的分割結(jié)果。（a）~（c）是原始圖像，（e）~（g）是分割結(jié)果Fig.6 Segmentation results of FCN-crop model.（a）-（c）are original images，and（e）-（f）are segmentation results

在細(xì)胞內(nèi)鏡顯微成像模式下，F(xiàn)CN-crop 模型準(zhǔn)確分割出的細(xì)胞核可用于定量分析細(xì)胞核的大小、形態(tài)分布等特征，這些特征與食管黏膜組織的病變緊密相關(guān)［8，18］。通過(guò)聯(lián)合臨床醫(yī)學(xué)研究團(tuán)隊(duì)，這些定量化的特征在食管組織病理診斷分析中能夠降低醫(yī)生之間的個(gè)體差異和主觀估計(jì)所引入的誤差，對(duì)細(xì)胞內(nèi)鏡病理診斷標(biāo)準(zhǔn)制定以及輔助醫(yī)生診斷具有重要意義。

5 結(jié) 論

本文基于已研制的高倍率細(xì)胞內(nèi)鏡系統(tǒng)，在豬食管黏膜組織上使用甲苯胺藍(lán)溶液對(duì)細(xì)胞核進(jìn)行染色并成功觀察到了染色的細(xì)胞核。在采集細(xì)胞核圖像并手動(dòng)標(biāo)注制作細(xì)胞核分割數(shù)據(jù)集之后，以深度學(xué)習(xí)分割算法FCN 為基本框架實(shí)現(xiàn)了對(duì)圖像中染色細(xì)胞核的有效分割，分割準(zhǔn)確性和特異性都在99% 以上，且敏感性和Dice 系數(shù)都在0.8 以上，從而為細(xì)胞內(nèi)鏡AI 輔助診斷研究提供了細(xì)胞核分析的準(zhǔn)確依據(jù)。