鄭 杰, 郭 朋

（深圳藍(lán)韻醫(yī)學(xué)影像有限公司放射研發(fā)部 廣東 深圳 518000）

1 概述

乳腺癌作為女性最常見(jiàn)的惡心腫瘤之一，發(fā)病率正呈逐年上升的趨勢(shì)，嚴(yán)重威脅婦女的身心健康。因此，乳腺癌的早期診斷和早期治療就顯得尤為重要。乳腺病變主要表現(xiàn)為腫塊[1]、鈣化點(diǎn)[2]、雙側(cè)不對(duì)稱[3]及結(jié)構(gòu)扭曲[4]等形式，其中腫塊和鈣化點(diǎn)簇是乳腺癌最主要的表征，因此腫塊和鈣化點(diǎn)的自動(dòng)檢測(cè)成為計(jì)算機(jī)輔助診斷系統(tǒng)[5]的兩個(gè)主要方面，其中腫塊由于其邊緣模糊，形狀各異，與周?chē)M織對(duì)比度較低等因素，一直是計(jì)算機(jī)輔助診斷系統(tǒng)的一個(gè)難點(diǎn)。

傳統(tǒng)乳腺病變檢測(cè)的步驟為：首先對(duì)原始乳腺圖像進(jìn)行預(yù)處理，然后在給定圖像上基于區(qū)域、邊緣以及聚類(lèi)選取感興趣區(qū)域，最后進(jìn)行感興趣區(qū)域的分類(lèi)識(shí)別。傳統(tǒng)的病變檢測(cè)存在人工提取的特征魯棒性不高，泛化能力較差；以及獲取感興趣區(qū)域的方法大多都是針對(duì)特定形態(tài)、灰度、大小的病變，不具有普適應(yīng)的缺點(diǎn)。

2012年以后，基于卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)視覺(jué)的飛速發(fā)展使得深度學(xué)習(xí)成為目標(biāo)檢測(cè)領(lǐng)域當(dāng)之無(wú)愧的王牌。與傳統(tǒng)方法相比，卷積神經(jīng)網(wǎng)絡(luò)具有以下三點(diǎn)優(yōu)勢(shì)：（1）大規(guī)模的訓(xùn)練數(shù)據(jù)；（2）網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜、層數(shù)更多；（3）GPU 加速技術(shù)使得大規(guī)模的并行計(jì)算成為現(xiàn)實(shí)。2014年Girshick R[6]將區(qū)域生成和CNN 網(wǎng)絡(luò)相結(jié)合，提出了目標(biāo)檢測(cè)模型R-CNN。2015年Girshick R[7]將空間金字塔池化[8]方法融入到R-CNN 中，提出了Fast R-CNN 模型，大幅減少了運(yùn)算次數(shù)，同時(shí)降低了資源消耗。2016年，REN 和Girshick R[9]等利用區(qū)域生成網(wǎng)絡(luò)（Region Proposals Networks,RPN）來(lái)產(chǎn)生候選框，降低提取候選框的計(jì)算壓力，提出了Faster R-CNN 網(wǎng)絡(luò)。

本文將Faster R-CNN 網(wǎng)絡(luò)應(yīng)用于數(shù)字乳腺X 線圖像的腫塊檢測(cè)，并根據(jù)腫塊的特性，對(duì)Faster R-CNN 進(jìn)行了優(yōu)化，大幅提高了病灶檢測(cè)效率和檢出率，并且保持了較低的假陽(yáng)率。

2 乳腺腫塊檢測(cè)

改進(jìn)Faster R-CNN 的乳腺腫塊檢測(cè)方法主要包括顯著性檢測(cè)和Faster R-CNN 檢測(cè)兩個(gè)過(guò)程，下面分別介紹。

2.1 顯著性檢測(cè)

基于頻率調(diào)諧的顯著性檢測(cè)方法[10]是一種全分辨率的顯著性檢測(cè)方法。該方法通過(guò)對(duì)比局部顏色和亮度特征，定義了圖像中每個(gè)像素的顯著性，通過(guò)保留更多的頻率內(nèi)容來(lái)保留原始圖像中感興趣區(qū)域的邊界。具體實(shí)現(xiàn)步驟如下：

（1）對(duì)原始圖像進(jìn)行高斯平滑；

（2）將圖像的顏色由RGB 空間轉(zhuǎn)換成Lab 空間，分別計(jì)算L、a 和b 通道的均值、和；

（3）計(jì)算高斯平滑和求均值后圖像的歐式距離，生成顯著圖。

這種方法簡(jiǎn)單高效，對(duì)于背景不復(fù)雜的數(shù)字乳腺X射線圖像具有良好的檢測(cè)效果，可大幅提高圖像中腫塊與周?chē)＝M織的對(duì)比度。

2.2 Faster R-CNN 檢測(cè)

Faster R-CNN 網(wǎng)絡(luò)是在R-CNN 網(wǎng)絡(luò)和Fast R-CNN網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)化而來(lái)，是深度學(xué)習(xí)目標(biāo)檢測(cè)領(lǐng)域的主流框架之一。該網(wǎng)絡(luò)框架將目標(biāo)檢測(cè)方法中涉及到的生成候選框、提取候選框特征、對(duì)候選框進(jìn)行分類(lèi)和回歸候選框集成到一個(gè)卷積神經(jīng)網(wǎng)絡(luò)中，簡(jiǎn)化了整個(gè)目標(biāo)檢測(cè)系統(tǒng)，系統(tǒng)集成度更高，真正實(shí)現(xiàn)了“端到端”的檢測(cè)識(shí)別算法。流程如圖2 所示。

Faster R-CNN 框架包含用來(lái)生成候選區(qū)域的區(qū)域生成網(wǎng)絡(luò)和Fast R-CNN 檢測(cè)網(wǎng)絡(luò)兩部分。將區(qū)域生成網(wǎng)絡(luò)得到的候選區(qū)域送入Fast R-CNN 檢測(cè)網(wǎng)絡(luò)，對(duì)候選區(qū)域進(jìn)行分類(lèi)和邊界回歸。在Fast R-CNN 檢測(cè)網(wǎng)絡(luò)環(huán)節(jié)中，ROI池化層采用了MLRP 方法[11]，結(jié)合了多層卷積層的特征，使得候選框包含的信息更加豐富。RPN 網(wǎng)絡(luò)和Fast R-CNN網(wǎng)絡(luò)在訓(xùn)練時(shí)可以共享基礎(chǔ)卷積特征，分別用于各自的任務(wù)。

2.2.1 區(qū)域生成網(wǎng)絡(luò) 訓(xùn)練區(qū)域生成網(wǎng)絡(luò)時(shí)，通過(guò)對(duì)基礎(chǔ)網(wǎng)絡(luò)生成的特征圖中的每一個(gè)像素點(diǎn)設(shè)置一定數(shù)量的不同尺寸和寬高比的錨點(diǎn)，使用IoU（InterseCTion over Union）來(lái)選擇正負(fù)樣本集進(jìn)行網(wǎng)絡(luò)訓(xùn)練，選擇規(guī)則如下：

（1）正類(lèi)：IoU ＞0.7 或錨點(diǎn)與目標(biāo)框的IoU 值最大

（2）負(fù)類(lèi)：IoU ＜0.3

（3）其它：跨越圖像邊界和剩余樣本不參與訓(xùn)練

在訓(xùn)練中，使用梯度下降法進(jìn)行反向傳播訓(xùn)練，損失函數(shù)定義如下：

式中：i是每一批次的所有錨點(diǎn)，Pi是正類(lèi)錨點(diǎn)的概率，當(dāng)錨點(diǎn)為正類(lèi)錨點(diǎn)時(shí)，Pi*取1，反之取0。ti是預(yù)測(cè)框的修正參數(shù)的坐標(biāo)向量，ti*是預(yù)測(cè)框?qū)?yīng)目標(biāo)框的坐標(biāo)向量。Ncls和Nreg目的在于對(duì)該公式的兩個(gè)子項(xiàng)進(jìn)行歸一化，λ用于平衡兩個(gè)子項(xiàng)的權(quán)重。Lcls（·）是預(yù)測(cè)置信度的損失函數(shù)，該損失函數(shù)為一個(gè)二分類(lèi)的邏輯回歸函數(shù)，可描述為如下表達(dá)式：

Lreg（·）是修正參數(shù)的損失函數(shù)，表達(dá)式如下：

其中smoothL1（·）函數(shù)為：

在得到預(yù)測(cè)框的坐標(biāo)參數(shù)后，需要對(duì)坐標(biāo)參數(shù)進(jìn)行回歸調(diào)整，使預(yù)測(cè)框更接近目標(biāo)框的真實(shí)坐標(biāo)：

2.2.2 Fast R-CNN 檢測(cè)網(wǎng)絡(luò)

Fast R-CNN 網(wǎng)絡(luò)對(duì)輸入到網(wǎng)絡(luò)中的圖像首先得到卷積特征圖；然后對(duì)每個(gè)候選區(qū)域進(jìn)行ROI 池化，本文方法中ROI 池化采用MLRP 方法，與原始算法中僅將Conv5_3 層輸出的特征映射進(jìn)行池化不同，MLRP 方法是將基礎(chǔ)網(wǎng)絡(luò)中的Conv4_3 層和Conv5_3 層輸出的特征映射分別進(jìn)行ROI 池化后串聯(lián)，再利用窗口的卷積核將串聯(lián)后的特征圖進(jìn)行融合；再?gòu)娜诤虾蟮木矸e特征圖中提取固定長(zhǎng)度的特征向量，并將該特征向量輸入到全連接層中，分別通過(guò)全連接層和softmax 計(jì)算每個(gè)候選區(qū)域?qū)儆诿總€(gè)類(lèi)別的概率，得到cls_prob 概率向量；最后通過(guò)回歸每個(gè)候選框的位置偏移量bbox_pred，獲得檢測(cè)框的精確位置。

區(qū)域生成網(wǎng)絡(luò)輸出的候選框區(qū)域形狀、大小各異，所以不同候選區(qū)域所包含的特征向量維度也各不相同。而全連接層對(duì)輸入特征向量維度有固定限制，所有輸入特征向量維度必須相同，因此通過(guò)ROI 池化層將不同候選區(qū)域所包含的特征圖轉(zhuǎn)化成固定維度的特征向量，從而匹配后續(xù)的全連接層。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)數(shù)據(jù)采用DDSM（Digital Database for Screening Mammography）乳腺數(shù)據(jù)庫(kù)和多家使用藍(lán)韻醫(yī)學(xué)影像有限公司數(shù)字乳腺X 攝影系統(tǒng)Luna 的二、三級(jí)醫(yī)院，經(jīng)過(guò)整理，共選出6500 幅滿足條件的圖像，其中5000 幅圖像作為訓(xùn)練數(shù)據(jù)集，另外1500 幅圖像作為測(cè)試數(shù)據(jù)集。DDSM 數(shù)據(jù)集是美國(guó)南佛羅里達(dá)大學(xué)和馬薩諸塞州綜合醫(yī)院以及桑迪亞國(guó)家實(shí)驗(yàn)室共同參與的合作項(xiàng)目，包含約2500項(xiàng)研究，每項(xiàng)研究包括每個(gè)乳房的兩幅圖像。

實(shí)驗(yàn)環(huán)境：Windows 下的Tensorflow+Keras 框架進(jìn)行模型的訓(xùn)練，在Nvidia 1080Ti GPU 下加速訓(xùn)練。

常用的衡量腫塊檢測(cè)系統(tǒng)優(yōu)劣的兩大指標(biāo)為：檢出率（Sensitivity,Sens）和假陽(yáng)率（False Positive Marks Per Image,FPI），其表達(dá)式如下：

檢出率是指陽(yáng)性腫塊被檢測(cè)出來(lái)的比率，假陽(yáng)率是指平均每幅圖像中被檢測(cè)出的假陽(yáng)性腫塊的數(shù)量。

3.1 顯著性檢測(cè)的有效性分析

我們通過(guò)一組對(duì)比實(shí)驗(yàn)驗(yàn)證顯著性檢測(cè)的有效性，對(duì)于相同的測(cè)試集，第一次直接用Faster R-CNN 進(jìn)行檢測(cè)，第二次先進(jìn)行顯著性檢測(cè)，再用Faster R-CNN 進(jìn)行檢測(cè)，實(shí)驗(yàn)結(jié)果見(jiàn)表1。

表1 是否進(jìn)行顯著性檢測(cè)結(jié)果對(duì)比

見(jiàn)表1 所述，增加顯著性檢測(cè)環(huán)節(jié)的實(shí)驗(yàn)結(jié)果有著更高的檢出率以及略微升高的假陽(yáng)率，說(shuō)明顯著性檢測(cè)是有效的。實(shí)際臨床應(yīng)用中，高檢出率和低假陽(yáng)率很難同時(shí)滿足，要在保證較低假陽(yáng)率的基礎(chǔ)上，盡可能的提高檢出率。

3.2 修改錨點(diǎn)對(duì)檢測(cè)結(jié)果的影響

通過(guò)統(tǒng)計(jì)訓(xùn)練數(shù)據(jù)集中醫(yī)生標(biāo)記的腫塊大小發(fā)現(xiàn)，最小腫塊約50×50 像素點(diǎn)，而最大腫塊可達(dá)1000×1000 像素點(diǎn)左右。為了更好地檢測(cè)出測(cè)試數(shù)據(jù)集中不同尺寸的腫塊，我們將原始Faster R-CNN 中3 種尺度（128、256、512）和3 種長(zhǎng)寬比（1：1、1：2、2：1）的9個(gè)錨點(diǎn)調(diào)整為9 種尺度（50、100、200、300、500、650、800、950、1050）和1種長(zhǎng)寬比（1：1）的9個(gè)錨點(diǎn)。如此一來(lái)，這9個(gè)尺度基本能覆蓋全測(cè)試數(shù)據(jù)集中腫塊的尺寸。實(shí)驗(yàn)結(jié)果見(jiàn)表2 所示。

表2 修改錨點(diǎn)前后檢測(cè)結(jié)果對(duì)比

見(jiàn)表2 所述，與修改錨點(diǎn)前相比，修改錨點(diǎn)后具有更高的檢出率和更低的假陽(yáng)率，說(shuō)明通過(guò)修改錨點(diǎn)的方式，可以有效的提高腫塊檢測(cè)的檢出率，降低假陽(yáng)率。

3.3 池化方法對(duì)檢測(cè)結(jié)果的影響

我們通過(guò)一組實(shí)驗(yàn)來(lái)對(duì)比池化方法對(duì)檢測(cè)結(jié)果的影響，即在相同的測(cè)試集上分別利用原始檢測(cè)模型和利用MLRP 池化方法的檢測(cè)模型進(jìn)行對(duì)比測(cè)試，實(shí)驗(yàn)結(jié)果見(jiàn)表3所示：

表3 更改池化方法前后檢測(cè)結(jié)果對(duì)比

見(jiàn)表2 所述，在假陽(yáng)率基本保持一致的情況下，采用MLRP 池化方法的檢測(cè)模型具有更高的檢出率，說(shuō)明使用MLRP 池化方法可以有效的提高腫塊檢測(cè)的檢出率。

3.4 檢測(cè)效果

本文方法的乳腺腫塊檢測(cè)結(jié)果如圖2 所示。

4 結(jié)束語(yǔ)

本文將常用于自然圖像目標(biāo)檢測(cè)的Faster R-CNN算法應(yīng)用于乳腺腫塊的檢測(cè)，并且根據(jù)腫塊的特性，對(duì)Faster R-CNN 進(jìn)行了適當(dāng)改進(jìn)。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的Faster R-CNN 算法，在保持較低假陽(yáng)率的前提下，有效提高了腫塊檢測(cè)的效率和檢出率，在輔助醫(yī)生對(duì)乳腺癌的診斷方面具有重要作用，本文方法具有一定的臨床應(yīng)用價(jià)值。