張奕涵，柏正堯，尤逸琳，李澤鍇

云南大學(xué)信息學(xué)院，昆明 650500

0 引言

腦膠質(zhì)瘤是一種常見(jiàn)的、死亡率較高的原發(fā)性顱腦腫瘤，嚴(yán)重危害患者的生命健康。腦膠質(zhì)瘤按照其在病理學(xué)上的惡性程度可以分為低級(jí)別膠質(zhì)瘤（low-grade gliomas，LGG）和高級(jí)別膠質(zhì)瘤（highgrade gliomas，HGG），低級(jí)別膠質(zhì)瘤為分化良好的膠質(zhì)瘤，患者預(yù)后較好；高級(jí)別膠質(zhì)瘤為惡性腫瘤，患者生存率較差。作為常見(jiàn)的原發(fā)性腦腫瘤，早期及時(shí)發(fā)現(xiàn)及治療對(duì)患者的身體健康至關(guān)重要。由于不同級(jí)別的膠質(zhì)瘤伴隨不同程度的水腫和壞死，且存在腫瘤與健康組織之間邊界模糊、腫瘤大小不一等問(wèn)題，導(dǎo)致醫(yī)生難以準(zhǔn)確識(shí)別病變區(qū)域，從而嚴(yán)重阻礙手術(shù)進(jìn)程。對(duì)異常的病變腫瘤進(jìn)行準(zhǔn)確的檢測(cè)和分割，再制定對(duì)應(yīng)的治療方案，將極大地改善手術(shù)質(zhì)量（Mallick 等，2019）。然而，手動(dòng)分割腫瘤區(qū)域耗時(shí)耗力，且不同醫(yī)生分割的結(jié)果也存在差異。因此，亟需一種自動(dòng)分割技術(shù)以提高效率和分割精度。傳統(tǒng)的MRI（magnetic resonance imaging）圖像分割方法包括監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)等機(jī)器學(xué)習(xí)方法，如馬爾可夫隨機(jī)場(chǎng)（Markov random field，MRF）、高斯混 合模型（Gaussian mixture model，GMM）（Zhang 等，2017）、支持向量機(jī)（support vector machine，SVM）（Thillaikkarasi 和Saravanan，2019）、K-均值聚類等方法常用于腦腫瘤分割，但是這些方法具有很大的局限性。隨著深度學(xué)習(xí)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）已被證明在圖像處理領(lǐng)域有著極大的潛力（Krizhevsky等，2012），基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割方法已成為目前的主流方法（Feng 等，2019）。Havaei 等人（2017）提出了卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行腦腫瘤分割，通過(guò)滑動(dòng)濾波器窗口結(jié)合局部和全局特征對(duì)每個(gè)像素的標(biāo)簽進(jìn)行預(yù)測(cè)。為降低計(jì)算成本，Long 等人（2015）基于CNN 提出了具有1 × 1 卷積核的全卷積網(wǎng)絡(luò)（fully convolutional network，F(xiàn)CN）。二維和三維網(wǎng)絡(luò)是目前醫(yī)學(xué)影像分割領(lǐng)域中常用的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，它們?cè)诙嗄B(tài)MRI 腦腫瘤圖像分割中也得到了廣泛的應(yīng)用。二維卷積神經(jīng)網(wǎng)絡(luò)常用于處理多張切片 的MRI 圖像序 列，如U-Net（Ronneberger 等，2015）、SegNet（Badrinarayanan 等，2017）、DeepMedic（Kamnitsas 等，2017）等模型，這些模型通過(guò)編碼—解碼框架并使用跳躍連接來(lái)保留圖像中的細(xì)節(jié)信息和空間信息。然而，二維卷積神經(jīng)網(wǎng)絡(luò)往往會(huì)忽略圖像中的體素信息，因此在處理具有空間信息的三維圖像時(shí)，三維卷積神經(jīng)網(wǎng)絡(luò)受到了越來(lái)越多的關(guān)注。與二維卷積神經(jīng)網(wǎng)絡(luò)相比，三維卷積神經(jīng)網(wǎng)絡(luò)能夠更好地利用圖像中的三維信息，從而取得更好的性能。例如，3D U-Net（?i?ek 等，2016）是一種流行的三維卷積神經(jīng)網(wǎng)絡(luò)模型，它使用編碼器—解碼器框架來(lái)進(jìn)行圖像分割，并使用跳躍連接來(lái)保留圖像中的細(xì)節(jié)和空間信息。此外，Milletari 等人（2016）針對(duì)三維圖像提出了V-Net，相當(dāng)于在U-Net基礎(chǔ)上引入了殘差塊。但是，這些模型都存在一些缺點(diǎn)，如二維網(wǎng)絡(luò)雖然參數(shù)量小且可以捕捉到局部的特征信息但無(wú)法有效地處理醫(yī)學(xué)圖像中的深層信息，而三維網(wǎng)絡(luò)能夠同時(shí)處理空間和時(shí)間信息，但是其計(jì)算成本較高，需要更多的存儲(chǔ)空間和計(jì)算資源，這在實(shí)際應(yīng)用中會(huì)帶來(lái)不小的挑戰(zhàn)。因此，平衡二維和三維網(wǎng)絡(luò)的優(yōu)缺點(diǎn)，提高醫(yī)學(xué)圖像的診斷精度和計(jì)算效率成為當(dāng)前醫(yī)學(xué)圖像分割領(lǐng)域的首要任務(wù)。為了緩解內(nèi)存占用率高和計(jì)算成本高等問(wèn)題，Chandra 等人（2018）提出了一種名為CA3D（contextaware 3D CNNs）的輕量級(jí)網(wǎng)絡(luò)，旨在提高腦腫瘤分割的計(jì)算效率，該模型使用上下文感知塊在空間和通道方向上進(jìn)行特征融合，此外使用局部特征下采樣減少特征圖的尺寸及計(jì)算量。為了有效提取不同通道之間的關(guān)聯(lián)信息，Chen 等人（2019）提出一種多纖維網(wǎng)絡(luò)結(jié)構(gòu)DMF-Net（dilated multi-fiber network），該網(wǎng)絡(luò)可以利用時(shí)間和空間信息，有效捕捉多類特征。Nuechterlein 和Mehta（2018）提出了一種輕量級(jí)網(wǎng)絡(luò)架構(gòu)3D-ESPNet，通過(guò)引入ESP（efficient spatial pyramid of dilated convolutions for semantic segmentation）模塊，可以大幅減少網(wǎng)絡(luò)參數(shù)量，同時(shí)不降低模型精度。Hu 等人（2019）提出的MCC-Net（multicascaded convolutional neural network）通過(guò)引入條件隨機(jī)場(chǎng)（conditional random field，CRF）對(duì)CNN 的輸出進(jìn)行后處理來(lái)優(yōu)化分割結(jié)果，相比于復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，MCC-Net 結(jié)構(gòu)簡(jiǎn)單。Qiu 等人（2021）提出的3D EMSU-Net 采用多級(jí)并行膨脹卷積和空間注意力機(jī)制有效提取多尺度特征，并且具有較低的計(jì)算和內(nèi)存開(kāi)銷。

多模態(tài)腦腫瘤病變圖像中的異常組織往往是大小、形狀不一的，在腦腫瘤分割任務(wù)中，對(duì)病灶區(qū)域進(jìn)行精細(xì)、準(zhǔn)確的分割成為目前研究的難點(diǎn)。多模態(tài)腦腫瘤圖像中的多模態(tài)這一特點(diǎn)有助于進(jìn)行更好的分割。不同模態(tài)圖像間存在互補(bǔ)的信息，但直接將多種模態(tài)進(jìn)行拼接作為編碼器的輸入可能使不同模態(tài)之間的信息不能充分交互，且網(wǎng)絡(luò)不易關(guān)注到有用的腫瘤信息，模態(tài)融合策略對(duì)得到精確的分割結(jié)果起著重要作用。一般的網(wǎng)絡(luò)架構(gòu)分為基于單編碼器和基于多模型和編碼器的模型（Zhou 等，2019），當(dāng)前大多數(shù)模型通常使用單編碼器對(duì)圖像進(jìn)行處理，基于單編碼器的方法直接將不同的多模態(tài)圖像以通道的方式集成到輸入中，無(wú)法充分利用不同模態(tài)間的互補(bǔ)信息，影響分割結(jié)果的準(zhǔn)確性。因此，受到D-UNet（Zhou 等，2021）的網(wǎng)絡(luò)結(jié)構(gòu)的啟發(fā)，針對(duì)目前大多數(shù)網(wǎng)絡(luò)直接將4 種模態(tài)拼接作為網(wǎng)絡(luò)的輸入，使網(wǎng)絡(luò)計(jì)算重復(fù)冗余的信息導(dǎo)致推理速度變慢和效率變低等問(wèn)題，本文提出了一種具有雙層編碼器的模型，允許多個(gè)編碼器分別提取兩組特征信息，并使用特定的融合策略將它們?nèi)诤希詮?qiáng)調(diào)對(duì)分割任務(wù)有用的信息。然后，將部分卷積塊替換為擴(kuò)張多纖維模塊，在模型參數(shù)量較少的前提下捕獲多尺度特征。此外，模型上采樣過(guò)程會(huì)損失一些邊緣細(xì)節(jié)特征，為了保留細(xì)節(jié)信息，在解碼部分引入注意力門(mén)控來(lái)進(jìn)一步優(yōu)化特征的提取和融合。實(shí)驗(yàn)結(jié)果表明，與原始的3D U-Net、V-Net及DMF-Net相比，該模型在多個(gè)腦腫瘤數(shù)據(jù)集上取得了更加優(yōu)越的分割性能。

總體來(lái)說(shuō)，本文做出了以下貢獻(xiàn)：1）提出了推理速度較快、參數(shù)量較少的自適應(yīng)模態(tài)融合雙編碼器網(wǎng)絡(luò)。其中上層子網(wǎng)絡(luò)引入了擴(kuò)張多纖維模塊及注意力門(mén)控，通過(guò)使用擴(kuò)張多纖維模塊減少模型的參數(shù)量，加入注意力門(mén)控使網(wǎng)絡(luò)更關(guān)注小腫瘤圖像特征信息，對(duì)多模態(tài)圖像數(shù)據(jù)進(jìn)行推理時(shí)更專注有用的信息，減少對(duì)重復(fù)信息的關(guān)注。2）提出了一種新的自適應(yīng)多模態(tài)特征融合模塊，對(duì)兩部分編碼器輸出的特征進(jìn)行有效融合。該模塊利用跨模態(tài)的交互注意力機(jī)制增強(qiáng)不同模態(tài)間的信息交互和融合能力。3）在BraTS2018、BraTS2019 和BraTS2020 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，將分割結(jié)果與基線模型以及其他先進(jìn)方法進(jìn)行對(duì)比，證明本文提出的自適應(yīng)模態(tài)融合雙編碼器網(wǎng)絡(luò)在多模態(tài)腦腫瘤圖像分割任務(wù)中的有效性。

1 網(wǎng)絡(luò)結(jié)構(gòu)及方法

1.1 D3D-Net結(jié)構(gòu)

基于現(xiàn)有的常用深度神經(jīng)網(wǎng)絡(luò)基準(zhǔn)模型，本文提出了一種具有雙編碼器結(jié)構(gòu)的雙層3D 融合網(wǎng)絡(luò)D3D-Net，如圖1 所示。該網(wǎng)絡(luò)使用雙編碼器結(jié)構(gòu)對(duì)兩組模態(tài)圖像進(jìn)行編碼，充分挖掘不同模態(tài)對(duì)的組內(nèi)和組間特征信息，以保留不同模態(tài)圖像的特有信息，將4 個(gè)模態(tài)分為兩組，兩組模態(tài)信息不同且互補(bǔ)，分別通過(guò)上下兩層子網(wǎng)絡(luò)提取腦腫瘤特征信息，再通過(guò)融合模塊凸顯有用的信息。

圖1 本文網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Structure of the proposed network

該網(wǎng)絡(luò)結(jié)構(gòu)主要由3 部分組成：編碼器模塊、特征融合模塊和解碼器模塊。D3D-Net 分為兩個(gè)子網(wǎng)絡(luò)，上層子網(wǎng)絡(luò)在編碼和解碼部分應(yīng)用了擴(kuò)張多纖維模塊，擴(kuò)張多纖維模塊能夠處理遠(yuǎn)距離及全局信息，且可以在不增加參數(shù)量的情況下擴(kuò)大感受野大小，還可以有效減少模型的參數(shù)量，提高模型的訓(xùn)練速度和效率。此外，在解碼器上采樣部分引入了注意力門(mén)控，注意力門(mén)控可過(guò)濾跳躍連接傳遞的特征，幫助模型更加關(guān)注重要特征區(qū)域，更好地捕捉小腫瘤病灶區(qū)域的細(xì)節(jié)信息，從而提高分割精度。下層子網(wǎng)絡(luò)采用卷積神經(jīng)網(wǎng)絡(luò)作為編碼器對(duì)圖像進(jìn)行特征提取，使用3 次卷積層并使用最大池化降低特征圖的尺寸，從而加快網(wǎng)絡(luò)的訓(xùn)練速度。此外，由于網(wǎng)絡(luò)早期提取特征的能力較好，且隨著網(wǎng)絡(luò)的深入，可訓(xùn)練的參數(shù)將會(huì)增大，所以兩次特征融合均位于編碼階段，以實(shí)現(xiàn)組內(nèi)和組間的信息融合。自適應(yīng)特征融合模塊的作用是將來(lái)自上、下兩層子網(wǎng)絡(luò)的特征進(jìn)行融合，在編碼階段融合兩次可以將不同編碼器提取的特征進(jìn)行更細(xì)致、更全面的融合。

1.2 擴(kuò)張多纖維模塊

2D 處理方法忽略了3D 圖像空間上下文之間的關(guān)系，而3D 模型中3D 卷積是在整個(gè)通道上進(jìn)行操作的，計(jì)算成本高，計(jì)算復(fù)雜度呈指數(shù)上升。因此，在參數(shù)量較低的情況下提高分割精度是本文的研究目標(biāo)。

卷積網(wǎng)絡(luò)達(dá)到一定規(guī)模時(shí)，標(biāo)準(zhǔn)卷積在通道和空間維度會(huì)存在冗余，解決冗余問(wèn)題可極大地減少訓(xùn)練和推理的計(jì)算開(kāi)銷。分組卷積最早應(yīng)用在Krizhevsky 等人（2012）的論文中，能夠以訓(xùn)練精度小幅下降為代價(jià)大大減少模型的參數(shù)量，但簡(jiǎn)單地將普通卷積分離為多個(gè)組卷積會(huì)影響多通道之間的信息交互能力，從而損害模型的學(xué)習(xí)能力。為了改善通道間的信息交流能力，Chen 等人（2018）提出了擴(kuò)張多纖維模塊。如圖2 所示，擴(kuò)張多纖維模塊將多路復(fù)用器用于多個(gè)纖維之間以促進(jìn)信息交換，并且使用擴(kuò)張多纖維單元捕獲多尺度空間相關(guān)性。同時(shí)，擴(kuò)張多纖維模塊將原始的多纖維模塊中的3 × 3 × 3卷積塊替換為3 個(gè)3 × 3 × 3 的擴(kuò)張纖維，3 個(gè)擴(kuò)張纖維由3 個(gè)有著不同擴(kuò)張率d的擴(kuò)張卷積分支組成，3個(gè)分支被分配了3個(gè)不同的權(quán)重，最后的輸出為加權(quán)相加，這種加權(quán)策略有助于從不同視野中選擇最有價(jià)值的信息。為促進(jìn)各纖維間的信息交互，使用包含1 × 1 × 1 卷積的多路復(fù)用器，用于不同纖維之間。此外，使用殘差連接允許信息從較低層傳遞到較高層，增強(qiáng)學(xué)習(xí)能力而無(wú)需額外的參數(shù)。

圖2 擴(kuò)張多纖維模塊Fig.2 Dilated multi-fiber module

DMF-Net證明了擴(kuò)張多纖維模塊在提高網(wǎng)絡(luò)性能和降低參數(shù)量方面的有效性，因此，本文使用擴(kuò)張多纖維模塊，以實(shí)現(xiàn)多尺度表示，在瓶頸部分和解碼器中使用多纖維模塊還原到原始圖像大小，并輸出最終的分割結(jié)果。

1.3 自適應(yīng)特征融合模塊

由于腦腫瘤MR 圖像正、負(fù)樣本像素間存在著極大的不平衡問(wèn)題，訓(xùn)練時(shí)會(huì)關(guān)注無(wú)用的信息，因此需要引入注意力機(jī)制關(guān)注有用的特征信息。主流的注意力機(jī)制有通道注意力、空間注意力和融合了空間和通道的注意力機(jī)制。Hu 等人（2018）提出了基于壓縮激勵(lì)的SE（squeeze-and-excitation）模塊，該模塊能夠自適應(yīng)地學(xué)習(xí)通道間的關(guān)系，提高網(wǎng)絡(luò)的表達(dá)能力。它由兩個(gè)步驟組成：壓縮（squeeze）和激勵(lì)（excitation）。在壓縮階段，SE 模塊通過(guò)全局平均池化來(lái)對(duì)每個(gè)通道的特征進(jìn)行壓縮，得到一個(gè)長(zhǎng)度為1 的向量，表示該通道在全局特征中的重要性。這個(gè)向量可以看做是對(duì)所有特征進(jìn)行的加權(quán)平均，其中權(quán)重是通過(guò)平均池化得到的。在激勵(lì)階段，SE 模塊使用一個(gè)兩層的全連接網(wǎng)絡(luò)，對(duì)每個(gè)通道的重要性進(jìn)行映射，得到一個(gè)激勵(lì)向量，這個(gè)激勵(lì)向量可以看做是一種通道權(quán)重。最后，在使用SE 模塊的卷積層中，每個(gè)通道的特征都會(huì)乘以其對(duì)應(yīng)的通道權(quán)重，從而強(qiáng)化重要的特征，抑制不重要的特征。SE 模塊可以自適應(yīng)地對(duì)每個(gè)通道進(jìn)行加權(quán)，從而提高網(wǎng)絡(luò)的表達(dá)能力和泛化能力。但是，SE 注意力模塊的作用是對(duì)卷積神經(jīng)網(wǎng)絡(luò)的通道進(jìn)行加權(quán)，在多模態(tài)三維腦腫瘤圖像分割中，不同模態(tài)之間的差異很大，而SE 注意力模塊只能對(duì)有限數(shù)量的通道進(jìn)行加權(quán)，可能無(wú)法充分利用不同模態(tài)之間的信息。此外，腦腫瘤圖像是三維圖像，SE 注意力模塊只考慮到了通道的信息編碼，而忽略了圖像的空間位置特性。為解決這一問(wèn)題，Woo 等人（2018）提出了一種結(jié)合通道注意力和空間注意力機(jī)制的CBAM（convolutional block attention module）模塊，旨在提高卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)特征的關(guān)注能力。與SE 注意力模塊類似，CBAM 也可以用于三維數(shù)據(jù)的分割任務(wù)，但也存在一些弊端，例如參數(shù)數(shù)量過(guò)多、訓(xùn)練過(guò)程易出現(xiàn)梯度爆炸或梯度消失等問(wèn)題。為減少參數(shù)量，Wang等人（2020）提出了輕量級(jí)的注意力模塊ECA（efficient channel attention），相比SE 模塊和CBAM 模塊，ECA模塊在保持通道關(guān)聯(lián)性的同時(shí)，不會(huì)忽略空間位置特征的信息。此外，ECA 模塊相對(duì)于SE 模塊和CBAM 模塊計(jì)算復(fù)雜度更低，具有更高的運(yùn)行效率。具體而言，如圖3所示，上一層的χ特征圖作為輸入，對(duì)χ做全局平均池化得到1 × 1 ×C的向量g(χ)，計(jì)算過(guò)程為

圖3 ECA模塊Fig.3 ECA module

式中，W和H分別代表特征圖的寬度和高度，χij表示特征圖的像素點(diǎn)。

得到g(χ)后，可以獲取每個(gè)通道的權(quán)重，具體為

式中，ωi為第i個(gè)通道的權(quán)重，yi為第i個(gè)通道的特征為yi的第i通道的第j個(gè)相鄰?fù)ǖ赖奶卣?，σ為激活函?shù)為k個(gè)相鄰?fù)ǖ赖募稀?/p>

然后，與大小為k的卷積核進(jìn)行一維卷積，具體為

式中，Conv1D為一維卷積，經(jīng)過(guò)卷積使得每層的通道與相鄰層的通道進(jìn)行信息交互。k的大小由自適應(yīng)得出，具體為

式中，取γ=2，b=1，k=5，C代表特征通道數(shù)，odd表示取奇數(shù)。

將輸入的特征圖χ與處理好的特征圖權(quán)重相乘，權(quán)重即可加在特征圖上。

本文選擇ECA 模塊作為自適應(yīng)特征融合模塊的基礎(chǔ)模塊，以實(shí)現(xiàn)兩組模態(tài)的組內(nèi)信息交互。由于網(wǎng)絡(luò)早期提取信息的能力較強(qiáng)，所以在編碼器部分設(shè)置兩個(gè)自適應(yīng)特征融合模塊（adaptive feature fusion，AFF），如圖4所示，該模塊通過(guò)對(duì)特征通道進(jìn)行注意力加權(quán)激活不同通道間的聯(lián)系，然后通過(guò)殘差連接對(duì)特征進(jìn)行重用，最后將經(jīng)過(guò)加權(quán)的兩組特征相加輸入到下一個(gè)模塊中。

圖4 自適應(yīng)特征融合模塊Fig.4 Adaptive feature fusion module

具體而言，AFF 模塊分為殘差通道注意模塊和特征融合模塊。其中，x1和x2分別表示來(lái)自上下兩層子網(wǎng)絡(luò)的特征圖，特征圖尺寸為64 × 64 × 64 ×64。兩組特征圖分別輸入殘差通道注意模塊進(jìn)行組內(nèi)信息交互，使用殘差連接將輸入特征圖與加權(quán)特征圖相加進(jìn)行特征重用，具體計(jì)算為

式中，?表示矩陣乘法，Δ 表示自適應(yīng)平均池化，Conv表示卷積操作，σ表示sigmoid 函數(shù)，R表示殘差連接。f1表示第1 個(gè)分支輸出結(jié)果，f2表示第2 個(gè)分支輸出結(jié)果，y表示最終的融和結(jié)果。

1.4 注意力門(mén)控

醫(yī)學(xué)圖像分割中，不同患者的腫瘤形狀和大小差異較大時(shí)需要多級(jí)級(jí)聯(lián)CNN 提取感興趣的區(qū)域并對(duì)該區(qū)域進(jìn)行密集預(yù)測(cè)，但這種方法會(huì)產(chǎn)生冗余的計(jì)算量和模型參數(shù)。Oktay 等人（2018）提出的新型注意力門(mén)控可用于密集標(biāo)簽預(yù)測(cè)，該模塊可自動(dòng)學(xué)習(xí)不同大小、形狀的目標(biāo)結(jié)構(gòu)，會(huì)使注意力系數(shù)更加凸顯局部區(qū)域特征，著重顯示對(duì)任務(wù)有用的特征。此外，加入該模塊不會(huì)產(chǎn)生額外的計(jì)算開(kāi)銷，也不需要大量的模型參數(shù)。注意力門(mén)控的具體結(jié)構(gòu)如圖5所示。

圖5 注意力門(mén)控Fig.5 Attention gate

g與xl并行操作，將g和xl分別通過(guò)Wg和Wx（對(duì)g進(jìn)行上采樣或?qū)l進(jìn)行下采樣），將兩支路輸出相加，然后依次通過(guò)ReLU 操作、ψ操作、sigmoid 操作，通過(guò)重采樣得到注意力權(quán)重α，最后將注意力權(quán)重α與xl相乘得到。

1.5 損失函數(shù)

醫(yī)學(xué)圖像分割任務(wù)中存在類別不平衡的問(wèn)題，本文使用廣義骰子損失函數(shù)（generalized dice loss，GDL）能夠有效解決這個(gè)問(wèn)題，通過(guò)對(duì)不同類別的權(quán)重進(jìn)行自適應(yīng)調(diào)整，使得每個(gè)類別的影響更加均勻，其計(jì)算過(guò)程為

式中，wk表示第k個(gè)類別的權(quán)重，yi，k和pi，k分別表示第i個(gè)樣本屬于第k個(gè)類別的真實(shí)標(biāo)簽和模型預(yù)測(cè)結(jié)果。在多分類問(wèn)題中，yi，k通常使用one-hot編碼表示，即第i個(gè)樣本屬于第k個(gè)類別時(shí)為1，否則為0。

2 實(shí) 驗(yàn)

本文模型的深度學(xué)習(xí)框架基于Pytorch，硬件環(huán)境為24 GB 顯存的NVIDIA GeForce RTX 3090，實(shí)驗(yàn)環(huán)境為Ubuntu20.04 LTS64 位操作系統(tǒng)。模型訓(xùn)練周期為300 個(gè)epoch，批大小為6，訓(xùn)練時(shí)間為20 h。本文采用初始學(xué)習(xí)率為0.001 的Adam 優(yōu)化器，使用L2 范數(shù)對(duì)模型正則化，權(quán)重衰減為10-5，防止過(guò)擬合，提高模型的泛化能力。

2.1 數(shù)據(jù)集

本文使用國(guó)際醫(yī)學(xué)圖像計(jì)算和計(jì)算機(jī)輔助干預(yù)協(xié) 會(huì)（Medical Image Computing and Computer Assisted Intervention Society，MICCAI）多模態(tài)腦腫瘤分割挑戰(zhàn)賽的BraTS2018（brain tumor segmentation 2018）、BraTS2019和BraTS2020數(shù)據(jù)集。這3個(gè)數(shù)據(jù)集包含了來(lái)自多個(gè)醫(yī)院的磁共振成像（MRI）數(shù)據(jù)，包含T1 加權(quán)、T1 加權(quán)對(duì)比增強(qiáng)、T2 加權(quán)和FLAIR（fluid-attenuated inversion recovery）圖像（Zhou 等，2019）。每個(gè)病例都由4 種模態(tài)的MRI 圖像組成，并附帶有腫瘤分割標(biāo)簽，其中包含4 種不同的組織類別：壞死區(qū)、水腫區(qū)、非增強(qiáng)腫瘤和增強(qiáng)腫瘤。

BraTS2018 數(shù)據(jù)集包含285 個(gè)病例，每個(gè)病例圖像尺寸為240 × 240 × 155 像素，其中包括210 個(gè)高級(jí)膠質(zhì)瘤病例、75 個(gè)低級(jí)膠質(zhì)瘤病例。驗(yàn)證集包含66個(gè)病例，不含人工分割標(biāo)簽。

BraTS2019 數(shù)據(jù)集在BraTS2018 數(shù)據(jù)集的基礎(chǔ)上增加了49 例HGG 病例和1 例LGG 病例，本文將BraTS2018 數(shù)據(jù)集作為訓(xùn)練集，將增加的50 組數(shù)據(jù)集作為測(cè)試集。BraTS2020 數(shù)據(jù)集包含369 個(gè)訓(xùn)練集病例和125個(gè)驗(yàn)證集病例。分割標(biāo)簽包括壞疽區(qū)、浮腫區(qū)、腫瘤增強(qiáng)區(qū)，分割任務(wù)是由嵌套標(biāo)簽形成的3個(gè)子區(qū)域，分別為整個(gè)腫瘤（whole tumor，WT）、增強(qiáng)腫瘤（enhancing tumor，ET）和腫瘤核心（tumor core，TC）。其中，WT 包含壞死區(qū)、浮腫區(qū)和腫瘤增強(qiáng)區(qū)，ET包含腫瘤增強(qiáng)區(qū)，TC包含壞死區(qū)和腫瘤增強(qiáng)區(qū)。

兩個(gè)數(shù)據(jù)集圖像類型是nii 格式，需通過(guò)軟件ITK-SNAP 讀取nii 文件。4 種模態(tài)及標(biāo)簽的可視化結(jié)果如圖6所示。

圖6 腦腫瘤MRI 4種模態(tài)及標(biāo)簽圖像Fig.6 Four modes and labels of MRI images of brain tumors（（a）T1；（b）T1CE；（c）T2；（d）FLAIR；（e）ground truth）

2.2 數(shù)據(jù)預(yù)處理

由于不同模態(tài)不同病例圖像大小、形態(tài)和位置有差異，且原始圖像有很多無(wú)用的背景信息不利于進(jìn)行推理，所以對(duì)圖像進(jìn)行修正減少冗余信息，從而降低圖像占用顯存的數(shù)據(jù)預(yù)處理操作是有必要的。通過(guò)可視化腦腫瘤圖像可以發(fā)現(xiàn)，腦部圖像約占整個(gè)MRI圖像尺寸的2/3，原始圖像包含大量不含腫瘤的無(wú)用背景信息，所以在分割前，將原始數(shù)據(jù)從240 × 240 × 555 體素剪裁到128 × 128 × 128 體素，從而減少無(wú)用背景信息降低計(jì)算量，剪裁后的圖像作為模型的輸入。此外，使用了以下數(shù)據(jù)增強(qiáng)技術(shù)：1）在軸面、冠狀面、矢狀面隨機(jī)翻轉(zhuǎn)概率為0.5；2）角度在［-10°，+10°］之間進(jìn)行隨機(jī)旋轉(zhuǎn)；3）隨機(jī)強(qiáng)度偏移在［-0.1，0.1］之間，縮放在［0.9，1.1］之間。

2.3 評(píng)價(jià)指標(biāo)

為了評(píng)估網(wǎng)絡(luò)的性能，采用Dice 系數(shù)（Dice coefficient）和Hausdorff距離（Hausdorff distance，HD）作為評(píng)價(jià)指標(biāo)，對(duì)預(yù)測(cè)結(jié)果的好壞進(jìn)行評(píng)估。

Dice 系數(shù)是一種集合相似度度量函數(shù)，用于計(jì)算兩個(gè)樣本的相似程度，分割結(jié)果最好值為1，最差值為0。

豪斯多夫距離是描述空間中任意兩個(gè)集合之間相似程度的一種量度。豪斯多夫距離越小，表示分割效果越好。HD_95 是將HD 值乘以95%以消除離群值對(duì)結(jié)果的影響。

2.4 實(shí)驗(yàn)結(jié)果

基于BraTS2018 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，在BraTS2018訓(xùn)練集上進(jìn)行模型訓(xùn)練，使用訓(xùn)練好的模型對(duì)BraTS2018 驗(yàn)證集進(jìn)行模型驗(yàn)證，并將分割實(shí)驗(yàn)結(jié)果提交至CBICA（Center for Biomedical Image Computing and Analytics）圖像處理官方在線網(wǎng)站得到Dice和HD95等分割評(píng)價(jià)指標(biāo)。

為了驗(yàn)證不同模態(tài)組合對(duì)網(wǎng)絡(luò)的影響，將FLAIR、T1、T1CE、T2 四種模態(tài)分別記為1、2、3、4。上層子網(wǎng)絡(luò)輸入模態(tài)為FLAIR 和T1，下層子網(wǎng)絡(luò)輸入模態(tài)為T(mén)1CE和T2的組合，記為D3D-Net1。同理，得到其他5 個(gè)對(duì)比網(wǎng)絡(luò)。為了選擇最優(yōu)的模態(tài)組合，將6 個(gè)網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練和驗(yàn)證，最終采用上層子網(wǎng)絡(luò)輸入為T(mén)1CE 和T2、下層子網(wǎng)絡(luò)輸入為FLAIR和T1的D3D-Net1作為最終的模型。

6 組網(wǎng)絡(luò)及其他基準(zhǔn)網(wǎng)絡(luò)在同樣實(shí)驗(yàn)環(huán)境下在BraTS2018驗(yàn)證集上的分割結(jié)果如表1所示。由表1可知，本文提出的各種組合的D3D-Net 模型在與基準(zhǔn)模型的對(duì)比實(shí)驗(yàn)中表現(xiàn)出最佳的性能，根據(jù)分割指標(biāo)，模型在增強(qiáng)腫瘤、整個(gè)腫瘤和腫瘤核心的Dice值分別達(dá)到了79.7%，89.5%，83.3%。與3D U-Net相比，分別提升了3.6%，1.0%，11.5%；與V-Net 相比，提升了3.0%，0.4%，2.3%；與DMF-Net 相比，提升了2.2%，0.2%，0.1%。所提出的網(wǎng)絡(luò)在增強(qiáng)腫瘤部分提升的程度較大，也證明了網(wǎng)絡(luò)在小目標(biāo)分割方面的有效性。

表1 在BraTS2018驗(yàn)證集上的分割結(jié)果對(duì)比Table 1 Segmentation results of BraTS2018 validation set

具有分割分?jǐn)?shù)分布特征的箱圖如圖7 所示，描繪了增強(qiáng)腫瘤、整個(gè)腫瘤和腫瘤核心之間Dice 值和HD_95 距離的分布及樣本個(gè)體值，由于部分腫瘤圖像沒(méi)有增強(qiáng)腫瘤和腫瘤核心部分，所以這部分樣例的增強(qiáng)腫瘤和腫瘤核心的Dice 值為0，除了這部分特殊的樣例和少數(shù)樣例，D3D-Net對(duì)于所有這3組中的大多數(shù)對(duì)象都表現(xiàn)良好。少數(shù)樣例的Dice 值較低可能是分割的腫瘤圖像過(guò)小所導(dǎo)致的。

圖7 ET、WT和TC數(shù)據(jù)組上的Dice和HD_95性能箱圖Fig.7 The boxplot of the performance of Dice and HD_95 on the data groups of ET，WT and TC

2.5 消融實(shí)驗(yàn)

為了證明雙層網(wǎng)絡(luò)比單層網(wǎng)絡(luò)更有效，本文基于BraTS2018 數(shù)據(jù)集對(duì)不同的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)分為4 組，a 組網(wǎng)絡(luò)結(jié)構(gòu)為單層的DMF-Net 網(wǎng)絡(luò)；b 組網(wǎng)絡(luò)結(jié)構(gòu)為沒(méi)有注意力門(mén)控的雙層網(wǎng)絡(luò)；c 組網(wǎng)絡(luò)結(jié)構(gòu)為加入注意力門(mén)控的DMF-Net 網(wǎng)絡(luò)；d組網(wǎng)絡(luò)結(jié)構(gòu)為本文提出的D3D-Net。

實(shí)驗(yàn)結(jié)果如表2 所示，通過(guò)對(duì)比a、b 兩組，可以發(fā)現(xiàn)雙層網(wǎng)絡(luò)結(jié)構(gòu)各個(gè)子腫瘤區(qū)域的分割精度整體要優(yōu)于單層網(wǎng)絡(luò)結(jié)構(gòu)，雖然b 組腫瘤核心部分的分割精度略低于a 組，但是其增強(qiáng)腫瘤和腫瘤核心的豪斯多夫距離要遠(yuǎn)低于a 組，證明了雙層網(wǎng)絡(luò)比單層網(wǎng)絡(luò)更有效。通過(guò)對(duì)比a、c 和b、c，可證明注意力門(mén)控在單層和雙層網(wǎng)絡(luò)的有效性。此外，由c、d 兩組數(shù)據(jù)可證明本文提出的自適應(yīng)模態(tài)融合雙編碼器網(wǎng)絡(luò)的有效性。雖然d 組的豪斯多夫距離略高于c 組，但是d 組的分割精度要優(yōu)于c 組，也證明了本文提出的方法對(duì)分割精度的提升有積極作用。

表2 網(wǎng)絡(luò)結(jié)構(gòu)消融實(shí)驗(yàn)結(jié)果Table 2 Results of network structure ablation experiment

此外，為了證明本文提出的自適應(yīng)特征融合模塊的有效性，使用幾種不同的融合策略進(jìn)行實(shí)驗(yàn)。融合策略如圖8所示，分別為直接相加融合、僅有通道注意的融合和有殘差結(jié)構(gòu)的通道注意融合，實(shí)驗(yàn)結(jié)果如表3所示。與直接將輸入模態(tài)進(jìn)行相加和不含殘差結(jié)構(gòu)的通道注意融合策略相比，包含殘差連接的通道注意融合AFF模塊分割結(jié)果的Dice值有著明顯的提高，與直接相加的融合策略相比，增強(qiáng)腫瘤、整個(gè)腫瘤和腫瘤核心分別提升了0.6%、0.1%、0.2%，證明了殘差連接能夠重用特征和引入注意力機(jī)制的有效性。

表3 不同融合策略的影響Table 3 Impact of different fusion strategies

圖8 3種不同的模態(tài)融合策略Fig.8 Three different modal fusion strategies（（a）addition；（b）channel attention fusion；（c）AFF）

2.6 對(duì)比實(shí)驗(yàn)

為了證明本文所提出網(wǎng)絡(luò)的先進(jìn)性，將提出的網(wǎng)絡(luò)與其他先進(jìn)網(wǎng)絡(luò)，如3D ESP-Net（Nuechterlein等，2018）、3D EMS-UNet（Qiu 等，2021）、CSPU-Net（夏峰 等，2022）等網(wǎng)絡(luò)進(jìn)行了比較。對(duì)比實(shí)驗(yàn)的結(jié)果如表4 所示，可以看出，與其他幾種先進(jìn)方法相比，本文網(wǎng)絡(luò)在幾個(gè)腫瘤子區(qū)域的分割精度指標(biāo)都取得了最優(yōu)的結(jié)果，各子區(qū)域的HD_95 值也較小。與其他模型分割結(jié)果相比，分割精度指標(biāo)最少分別提升了1.8%，0.1% 和0.2%，最多分別提升了7.9%，2.3%和8.5%。這些實(shí)驗(yàn)結(jié)果表明本文提出的網(wǎng)絡(luò)具有先進(jìn)性。

表4 在BraTS2018驗(yàn)證集上的分割結(jié)果與其他先進(jìn)方法對(duì)比Table 4 Comparison of segmentation results on BraTS2018 validation set with other advanced methods

2.7 可視化及有效性分析

為了進(jìn)一步證明本文提出的網(wǎng)絡(luò)的有效性，在BraTS2019 數(shù)據(jù)集和BraTS2020 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。BraTS2019 數(shù)據(jù)集在BraTS2018 數(shù)據(jù)集的基礎(chǔ)上增加了49 例HGG 病例和1 例LGG 病例，本文將BraTS2018 數(shù)據(jù)集作為訓(xùn)練集，將增加的50 組數(shù)據(jù)集作為測(cè)試集，不同模型的分割結(jié)果如表5所示。

表5 在BraTS2019 50例數(shù)據(jù)集上的分割結(jié)果對(duì)比Table 5 Segmentation results of BraTS2019 50 samples

BraTS2020 訓(xùn)練集包含369 個(gè)病例，驗(yàn)證集包含125 個(gè)病例。五折交叉驗(yàn)證實(shí)驗(yàn)將數(shù)據(jù)集隨機(jī)分成5 份，不重復(fù)地取其中1 份作為測(cè)試集，其他4 份作為訓(xùn)練集，以更全面地評(píng)估模型，五折交叉驗(yàn)證結(jié)果如表6所示。

表6 在BraTS2020數(shù)據(jù)集上的五折交叉驗(yàn)證Table 6 Five fold cross validation results on BraTS2020

此外，為了讓被評(píng)估的模型結(jié)果更加準(zhǔn)確可信，在BraTS2020 驗(yàn)證集上進(jìn)行了實(shí)驗(yàn)，驗(yàn)證集的分割結(jié)果如表7 所示，與其他基準(zhǔn)網(wǎng)絡(luò)相比，本文提出的D3D-Net 模型在3 個(gè)分割子區(qū)域的分割精度分別為78.2%、87.3%、83.8%。與DMF-Net 相比，增強(qiáng)腫瘤、整體腫瘤和腫瘤核心的分割精度分別提升了2.4%，0.8%，2.5%。

表7 在BraTS2020驗(yàn)證集上的分割結(jié)果對(duì)比Table 7 Segmentation results of BraTS2020 validation set

圖9 是幾種不同的分割方法對(duì)腦腫瘤分割的可視化結(jié)果。圖9（a）—（h）分別表示4種模態(tài)圖像、分割掩碼（標(biāo)簽）、本文提出方法的分割結(jié)果、3D U-Net分割結(jié)果和DMF-Net 分割結(jié)果。其中，紅色代表非增強(qiáng)腫瘤及壞死腫瘤，綠色代表腫瘤附近的水腫區(qū)域，藍(lán)色代表增強(qiáng)型腫瘤。從5 組不同病例圖像的分割結(jié)果可以明顯看出，相比于3D U-Net 和DMFNet 的分割結(jié)果，本文提出的D3D-Net 模型分割的3 個(gè)子區(qū)域與手動(dòng)標(biāo)注的標(biāo)簽更加接近，尤其是小病灶及腫瘤核心的分割效果較好。

圖9 各模態(tài)、標(biāo)簽及不同模型分割結(jié)果對(duì)比Fig.9 Comparison of modalities，labels and segmentation results of different models（（a）T1；（b）T1CE；（c）T2；（d）FLAIR；（e）label；（f）ours；（g）3D U-Net；（h）DMF-Net）

3 結(jié)論

本文針對(duì)大多數(shù)單編碼器網(wǎng)絡(luò)存在的特征融合不充分等問(wèn)題，提出了一種自適應(yīng)模態(tài)融合雙編碼器結(jié)構(gòu)——D3D-Net，通過(guò)使用特定的融合策略將兩組特征信息融合，有效地強(qiáng)調(diào)了對(duì)分割任務(wù)有用的信息。同時(shí)，通過(guò)使用擴(kuò)張多纖維模塊替換部分卷積塊，該模型在參數(shù)量較少的情況下成功地捕獲了多尺度特征。另外，在解碼部分引入注意力門(mén)控，進(jìn)一步優(yōu)化了特征的提取和融合，從而成功地保留了一定的邊緣細(xì)節(jié)特征。為了證明本文提出方法的有效性，使用BraTS2018、BraTS2019 和BraTS2020 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該模型在多個(gè)腦腫瘤數(shù)據(jù)集上的分割性能顯著優(yōu)于3D U-Net、V-Net、DMF-Net等網(wǎng)絡(luò)，在增強(qiáng)腫瘤、整體腫瘤和腫瘤核心的分割精度上有較顯著的提升。因此，該模型在醫(yī)學(xué)影像分割任務(wù)中具有良好的應(yīng)用前景。

雖然本文提出的網(wǎng)絡(luò)具有較好的分割效果，但仍存在一些問(wèn)題：首先，本文只使用了雙層編碼器提取兩組模態(tài)信息，但是在實(shí)際的醫(yī)學(xué)影像分割任務(wù)中，4 種模態(tài)的圖像通常具有不同的特征信息。其次，雖然本文提出的是參數(shù)量較少的輕量化模型，但是由于模型是雙編碼器結(jié)構(gòu)，因此在訓(xùn)練時(shí)占用顯存較大。后續(xù)工作可以考慮如何更好地充分利用多模態(tài)圖像的特征信息以及如何減少模型的計(jì)算復(fù)雜度。此外，對(duì)小腫瘤邊緣信息提取的準(zhǔn)確性的提高有待進(jìn)一步研究。