陳志剛,黃斯彤
(廣州市第一人民醫(yī)院采購(gòu)中心,廣州510180)
乳腺癌是發(fā)生在乳腺腺上皮組織的惡性腫瘤,乳腺癌其中99%為女性患者,男性患者僅占1%。原位乳腺癌并不致命,但由于乳腺癌細(xì)胞喪失了正常細(xì)胞的特性,細(xì)胞之間連接松散,容易脫落,一旦癌細(xì)胞脫落,游離的癌細(xì)胞就會(huì)隨血液或者淋巴液播散全身,形成轉(zhuǎn)移,危及生命。雖然中國(guó)女性乳腺癌發(fā)病率和死亡率相對(duì)于全球來說處于較低水平,但是呈現(xiàn)瘋狂增長(zhǎng)的趨勢(shì),尤其在我國(guó)沿海發(fā)達(dá)地區(qū),乳腺癌發(fā)病率已成為女性惡性腫瘤發(fā)病率的第一位[1-2]。乳腺癌的早期診斷與準(zhǔn)確分析能為臨床指定合理的治療方案提供客觀依據(jù),并且能幫助部分患者獲得治愈的機(jī)會(huì),準(zhǔn)確檢測(cè)乳腺癌病灶是提高乳腺癌患者生存率的關(guān)鍵。
我國(guó)人均醫(yī)療資源相對(duì)短缺。將目標(biāo)檢測(cè)方法應(yīng)用到醫(yī)學(xué)影像上,實(shí)現(xiàn)高度自動(dòng)化精準(zhǔn)檢測(cè)乳腺癌僵尸乳腺癌影像學(xué)診斷的發(fā)展趨勢(shì)。這樣不僅有助于解決基層醫(yī)療診斷資源匱乏的困境,同時(shí)還能提高乳腺癌篩查的效率和質(zhì)量。
近年來,在乳腺癌的診斷和治療的影像學(xué)方法主要包括乳腺鉬靶X 照相(MM)、超聲(US)、計(jì)算機(jī)體層掃描(CT)、磁共振成像(MRI)以及核醫(yī)學(xué)核素示蹤技術(shù)檢測(cè)等[1]。
由于價(jià)格低廉,成像簡(jiǎn)單并且迅速等優(yōu)點(diǎn),目前MM 是檢測(cè)早起乳腺癌的一種最基本、最有效的檢查方法[3],乳腺鉬靶X 射線攝影檢查對(duì)微鈣化較為敏感,能夠從整體上對(duì)乳腺進(jìn)行觀察,并且對(duì)直徑較小的乳腺腫瘤的檢查率很高。但是當(dāng)乳腺含脂肪較少時(shí),MM探測(cè)乳腺癌的靈敏度會(huì)下降。超聲檢查則是根據(jù)集體組織阻抗的不同而形成微小界面成像,有著較高的軟組織分辨率[4],但對(duì)微小鈣化的檢出率低。
目前,計(jì)算機(jī)輔助診斷(Computer-Aided Diagnosis,CAD)系統(tǒng)已經(jīng)逐漸用于醫(yī)學(xué)檢測(cè),性能好的計(jì)算機(jī)輔助檢測(cè)系統(tǒng)能夠有效地防止因?yàn)橐曈X疲勞和人為精神疏忽而造成的誤診和漏診,幫助醫(yī)生更好地識(shí)別圖像中的微小病變。王曙燕等人[5]利用決策樹算法對(duì)乳腺癌圖像數(shù)據(jù)進(jìn)行分類,提出了一個(gè)基于決策樹算法的醫(yī)學(xué)圖像分類器。結(jié)果實(shí)現(xiàn)了ID3 和C4.5 算法對(duì)圖像數(shù)據(jù)的分類,獲得了分類的實(shí)驗(yàn)結(jié)果。王穎等人[6]提出了結(jié)合圖像增強(qiáng)和支持向量機(jī)(Support Vector Machine,SVM)的方法來識(shí)別腫塊區(qū)域。該方法首先根據(jù)增強(qiáng)圖像和原圖中像素的灰度和對(duì)比度等特征,提取出飽滿的種子區(qū)域,然后在感興趣區(qū)域進(jìn)行了特征提取后,將SVM 分類器應(yīng)用于腫塊區(qū)域和正常組織的分類中。這些方法盡管都取得了一些可見的有效成果,但是這些方法都只是淺層行,往往需要由人工設(shè)計(jì)提取數(shù)據(jù)的特征,而后再利用這些特征作為算法的輸入從而進(jìn)行分類或者回歸,這時(shí)特征的質(zhì)量就成為決定系統(tǒng)性能的關(guān)鍵。
而深度學(xué)習(xí)則可以從大量數(shù)據(jù)樣本中直接從原始高維數(shù)據(jù)中發(fā)掘出復(fù)雜的結(jié)構(gòu)特征,高層網(wǎng)絡(luò)所需的特征可以通過組合低層網(wǎng)絡(luò)提取到的特征形成,從而形成降低原始數(shù)據(jù)的冗余信息并且具有更高級(jí)語義信息的高層特征,大大增強(qiáng)了模型的表達(dá)能力。
常見的基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的目標(biāo)檢測(cè)算法Faster R-CNN[7]首先使用一組基礎(chǔ)的卷積和池化層提取輸入圖像的特征圖,然后得到相應(yīng)的候選區(qū)域,通過對(duì)感興趣區(qū)域池化將不同的候選區(qū)域的特征圖轉(zhuǎn)化為固定的長(zhǎng)度給全連接層,最后通過Softmax 分類,它是利用損失函數(shù)完成邊框回歸,獲得目標(biāo)的精確位置信息。R-CNN[7-8]系列方法都是先通過卷及審計(jì)網(wǎng)絡(luò)產(chǎn)生一系列稀疏的候選框,然后再對(duì)這些候選框進(jìn)行分類與回歸,這類型的方法往往有更高的準(zhǔn)確度。
基于深度學(xué)習(xí)的另一個(gè)目標(biāo)檢測(cè)算法YOLO[9]能將目標(biāo)區(qū)域預(yù)測(cè)和目標(biāo)類別預(yù)測(cè)整合于單個(gè)神經(jīng)網(wǎng)絡(luò)模型中,實(shí)現(xiàn)在準(zhǔn)確率較高的情況下快速目標(biāo)檢測(cè)與識(shí)別,更加適合現(xiàn)場(chǎng)應(yīng)用環(huán)境,但是目標(biāo)區(qū)域定位誤差較大。
本研究提出的基于SSD[10]的乳腺癌病灶檢測(cè)方法,相比Faster R-CNN 有明顯的速度優(yōu)勢(shì),相比YOLO 又有明顯的mAP 優(yōu)勢(shì),從而可以獲得更加穩(wěn)健的模型,適用于醫(yī)院的CAD 系統(tǒng),有利于減輕醫(yī)師負(fù)擔(dān),明顯提高乳腺癌病灶的檢測(cè)正確率。
選取乳腺超聲圖像一萬余張,人工標(biāo)注每張圖所含有的病灶區(qū)域;隨機(jī)選取其中1/5 的數(shù)據(jù)作為測(cè)試數(shù)據(jù),其余的作為訓(xùn)練數(shù)據(jù)。
檢測(cè)乳腺癌病灶主要分為兩個(gè)步驟:①采用一系列圖像變換的方法對(duì)US 原圖像數(shù)據(jù)進(jìn)行預(yù)處理,增加超聲圖圖像多樣性,以更好地提取乳腺癌病灶特征;②將預(yù)處理后的圖像數(shù)據(jù)輸入到SSD 網(wǎng)絡(luò)進(jìn)行檢測(cè)以及定位。流程圖如圖1 所示。
圖1 檢測(cè)乳腺癌病灶流程圖
(1)圖像預(yù)處理
在深度學(xué)習(xí)過程中,如果數(shù)據(jù)量過少就很難體現(xiàn)出深度學(xué)習(xí)算法的優(yōu)勢(shì),往往會(huì)造成數(shù)據(jù)過擬合或者網(wǎng)絡(luò)無法收斂。為了提高神經(jīng)網(wǎng)絡(luò)的泛化性,本文通過數(shù)據(jù)增強(qiáng)算法對(duì)原始圖像數(shù)據(jù)進(jìn)行幾何變換,改變圖像像素的位置并保證特征不變,從而擴(kuò)大數(shù)據(jù)集規(guī)模。在擴(kuò)增后的數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)比直接在原來的數(shù)據(jù)集上訓(xùn)練得到的網(wǎng)絡(luò)模型性能更好,并且可以減少過擬合現(xiàn)象的發(fā)生,增強(qiáng)了泛化能力。
為了不影響臨床診斷結(jié)果,本研究將不考慮采用涉及到色彩、形變和噪聲改變的圖像變換算法,而是對(duì)其中一部分?jǐn)?shù)據(jù)采用反射變換,隨機(jī)旋轉(zhuǎn)圖像一定角度,使圖像內(nèi)容的朝向發(fā)生改變;對(duì)另一部分?jǐn)?shù)據(jù)進(jìn)行尺度變換,參照SIFT 特征提取思想[11],利用指定的尺度因子對(duì)圖像濾波構(gòu)造尺度空間。改變圖像內(nèi)容的大小和模糊程度。通過對(duì)原始圖像進(jìn)行尺度變換,獲得該圖像在多尺度下的尺度空間表示序列。在每個(gè)候選位置上,通過一個(gè)精細(xì)擬合的模型來確定關(guān)鍵點(diǎn)的位置和尺度,基于圖像局部的梯度方向,分配給每個(gè)關(guān)鍵點(diǎn)位置一個(gè)或者多個(gè)方向;在每個(gè)關(guān)鍵點(diǎn)鄰域內(nèi)部,在選定的尺度上測(cè)量圖像局部的梯度,這些梯度被變換成允許比較大的局部形狀和光照的變化的一種表示。除此以外,我們還采用了水平翻轉(zhuǎn)以及隨機(jī)加噪(噪聲為均值為0 的高斯噪聲,方差分別為10,20,30)的數(shù)據(jù)擴(kuò)增方法,最后我們的數(shù)據(jù)集為原來的x 倍。
(2)基于SSD 檢測(cè)乳腺癌病灶
將擴(kuò)增后的數(shù)據(jù)集圖像作為SSD 的輸入進(jìn)行特征提取,SSD 的第一層使用的是VGG16 特征提取網(wǎng)絡(luò)[12]提取特征圖。VGG 本身也是一種物體分類神經(jīng)網(wǎng)絡(luò),但是為了達(dá)到多尺度預(yù)測(cè)目標(biāo)的目的。在基礎(chǔ)的VGG結(jié)構(gòu)后,由于低層的特征圖感受野比較小,而高層的特征圖感受野比較大,所以為了達(dá)到能夠檢測(cè)到不同尺度的物體的目的,我們抽取特定卷積層上大小為W×H×Channel 的特征圖,用一個(gè)3×3 的卷積層對(duì)每一個(gè)特征圖進(jìn)行預(yù)測(cè)。輸出的結(jié)果邊界框?qū)?yīng)的是其中類別的得分或者是相對(duì)于先驗(yàn)框的坐標(biāo)偏移量。對(duì)應(yīng)于特征圖上的每一個(gè)位置(cell)都會(huì)有k 個(gè)先驗(yàn)框。每一個(gè)被選中預(yù)測(cè)的特征圖,其每個(gè)位置(cell)都關(guān)聯(lián)k 個(gè)先驗(yàn)框,對(duì)每個(gè)先驗(yàn)框都要輸出c 個(gè)類別得分和4 個(gè)坐標(biāo)偏移,因此每個(gè)先驗(yàn)框有( )c+4 個(gè)輸出,每個(gè)位置有( c+4 )k 個(gè)輸出,對(duì)于W×H 大小的特征圖輸出為(c+4)×k×W×H 個(gè)輸出。分別對(duì)這些邊界框進(jìn)行檢測(cè)和分類,生成更多的邊界回歸框。最后將不同特征圖上的邊界框結(jié)合起來,利用非極大值抑制(Non-Maximum Suppression,NMS)的方法[13]來抑制掉一部分重疊或者不正確的邊界框,生成最后的檢測(cè)框集合。具體網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2 所示。
由圖2 的結(jié)構(gòu)可知,我們提取了Conv7,Conv8_2,Conv9_2,Conv10_2,Conv11_2 作為檢測(cè)所用的特征圖,加上Conv4_3 層,共6 個(gè)特征圖,其大小分別是(38,38),(19,19),(10,10),(5,5),(3,3,),(1,1)。由于不同特征圖需要設(shè)置的先驗(yàn)框數(shù)目不同,對(duì)于先驗(yàn)框的尺度,有一個(gè)線性遞增規(guī)則:隨著特征圖大小降低,先驗(yàn)框尺度線性增加:
其中m 為特征圖的個(gè)數(shù),但是由于第一層(Conv4_3 層)是單獨(dú)設(shè)置的,所以應(yīng)該是5,sk表示的是先驗(yàn)框的大小相對(duì)于圖片的比例,其中的Smin和Smax表示該比例的最小值和最大值。對(duì)于第一個(gè)特征圖,我們將先驗(yàn)框的尺度比例設(shè)置為Smin/2,其中Smin我們?cè)O(shè)置為0.2,故可以得出第一個(gè)特征圖的尺度為300×0.1=30 。而對(duì)于后面的幾個(gè)特征圖,參考SSD的Caffe 代碼可以得出計(jì)算規(guī)律:先將尺度比例擴(kuò)大100 倍,此時(shí)根據(jù)公式(1)可以得知線性增加的增長(zhǎng)步長(zhǎng)為17。這樣可以得出各個(gè)特征圖Sk分別為20,37,54,71,88,將這些比例除以100,然后再乘以圖片大小,可以得到各個(gè)特征圖的尺度分別為60,111,162,213,264。對(duì)于長(zhǎng)寬比,按如下公式計(jì)算先驗(yàn)框的寬度與高度(其中sk指的是先驗(yàn)框?qū)嶋H尺度,而不是尺度比例):
其中 為特征圖大小。
得到特征圖后,我們需要通過對(duì)特征圖進(jìn)行卷積來得到檢測(cè)結(jié)果。類別置信度和邊界框位置各采用一次3×3 卷積來完成。令nk為該特征圖所采用的先驗(yàn)框的數(shù)目,那么類別置信度所需要的卷積核數(shù)量為nk×c,邊界框所需要的卷積核數(shù)量為nk×4。由于每個(gè)先驗(yàn)框都會(huì)預(yù)測(cè)一個(gè)邊界框,所以SSD 可以預(yù)測(cè)的邊界框是一個(gè)相當(dāng)龐大的數(shù)字,這有利于我們研究的密集抽樣以及多尺度目標(biāo)檢測(cè)。
圖2 SSD目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)圖示
在11072 張訓(xùn)練圖片數(shù)據(jù)上,2,838 張測(cè)試圖片,YOLO、Faster-RCNN、SSD 的測(cè)試結(jié)果如表1。
表1 YOLO、Faster-RCNN 和SSD 的性能比較
研究結(jié)果采用PASCAL VOC Challenge 比賽中被官方認(rèn)可提出的平均精度均值(mAP)作為評(píng)判不同網(wǎng)絡(luò)在本研究數(shù)據(jù)集上有效程度的指標(biāo)。所以我們需要計(jì)算出交并比IoU,即產(chǎn)生的候選框與原標(biāo)記框的交疊率:
其中area(C)表示產(chǎn)生的候選框的面積,area(G)表示原標(biāo)記框的面積。
如果IoU 大于等于0.5 則被認(rèn)為是一個(gè)正確框的預(yù)測(cè),記為正樣本;反之如果小于0.5,則被認(rèn)為是一個(gè)錯(cuò)誤的預(yù)測(cè),記為負(fù)樣本。
由以上實(shí)驗(yàn)可知SSD 在此任務(wù)上性能最佳,在此基礎(chǔ)上進(jìn)行數(shù)據(jù)增強(qiáng)工作,采用的數(shù)據(jù)增強(qiáng)方法為翻轉(zhuǎn)、反轉(zhuǎn)、高斯模糊、銳化,效果圖如圖3 所示。實(shí)驗(yàn)結(jié)果顯示SSD 的性能提升了近3%。
圖3 數(shù)據(jù)增強(qiáng)效果圖
綜上所述,SSD 算法比較其他主流方法在超聲圖像病灶檢測(cè)任務(wù)中的性能更高,有利于超聲醫(yī)師更加高效地判定乳腺癌;且翻轉(zhuǎn)、反轉(zhuǎn)、高斯模糊、銳化等數(shù)據(jù)增強(qiáng)方法能有效提高檢測(cè)結(jié)果在此任務(wù)中的準(zhǔn)確率。