李彬榕 謝 珺 李 鋼 續(xù)欣瑩 藍子俊

甲狀腺是一個蝴蝶形的內(nèi)分泌腺，位于頸部的前下方，會分泌人體所需激素.甲狀腺結(jié)節(jié)是指甲狀腺細胞異常生長形成的腫塊，甲狀腺結(jié)節(jié)的大小、形狀、輪廓等特征是臨床上甲狀腺結(jié)節(jié)良/惡性診斷的重要依據(jù).超聲影像技術(shù)已成為臨床上首選的甲狀腺結(jié)節(jié)檢測手段，然而，超聲圖像具有分辨率和對比度較低、固有斑點噪聲較大、偽影較多等特性，且甲狀腺結(jié)節(jié)尺寸形態(tài)各異,邊緣輪廓粗糙，導(dǎo)致臨床檢查時甲狀腺結(jié)節(jié)區(qū)域不易精確判別[1].目前，常使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)實現(xiàn)對甲狀腺結(jié)節(jié)的自動快速分割，輔助臨床檢查，如PSPNet(Pyramid Scene Parsing Net-work)[2]、DeepLabv3+[3]、U-Net類深度神經(jīng)網(wǎng)絡(luò)[4]等.

近期，研究人員提出質(zhì)疑：卷積層的存在是否必要，不使用卷積層能否更好地實現(xiàn)機器視覺任務(wù).因此，能通過簡單的線性操作實現(xiàn)參數(shù)學(xué)習(xí)的多層感知機(Multi-layer Perceptron, MLP)再次受到研究者的關(guān)注，很多基于深度MLP的網(wǎng)絡(luò)架構(gòu)被提出.Tolstikhin等[5]提出MLP-Mixer，未使用任何卷積層，僅利用矩陣轉(zhuǎn)置和MLP層實現(xiàn)空間特征信息的傳輸,并在圖像分類任務(wù)中取得較優(yōu)結(jié)果.MLP-Mixer只能用于固定大小的輸入圖像，Chen等[6]提出CycleMLP，可應(yīng)對不同尺寸的輸入圖像.Cycle-MLP使用循環(huán)采樣的空間連接方法,在不增加計算復(fù)雜度的基礎(chǔ)上擴大感受野范圍，在圖像分類、目標(biāo)檢測、語義分割任務(wù)中都取得與CNN媲美的性能.

然而，MLP架構(gòu)與CNN都只能捕獲圖像局部區(qū)域關(guān)系，無法捕獲任意形狀的不相交區(qū)域和遠距離區(qū)域關(guān)系[7].對于醫(yī)學(xué)圖像處理任務(wù)，局部推理無法有效應(yīng)對圖像中斑點噪聲較大和偽影較多的問題.全局推理模塊致力于捕獲圖像全局依賴關(guān)系，緩解噪聲干擾.Wang等[8]提出Non-local塊，引入圖像全局關(guān)系推理中，計算圖像中任何像素對當(dāng)前像素的關(guān)系權(quán)值，捕獲圖像遠程像素點之間的依賴關(guān)系.Fu等[9]提出DANet(Dual Attention Network),把Non-local操作視為空間維度的注意力機制，并在此基礎(chǔ)上引入通道注意力機制,構(gòu)建雙注意力機制,獲取圖像上下文依賴關(guān)系.

此外，研究人員致力于探索效率和靈活性更高、性能提升更明顯的全局推理方案，如多頭自注意力[10]、使用全連接圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Net-works, GNN)對上下文信息進行交互[11]、基于圖卷積(Graph Convolutional Networks, GCN)[12]的全局推理、知識引導(dǎo)圖推理[13]等方法.研究表明，全局推理模塊具有輕量化的優(yōu)點，能輕松插入模型中，提升模型性能.

為了完成精確、高效的甲狀腺結(jié)節(jié)分割，本文提出融合全局推理和MLP架構(gòu)的甲狀腺結(jié)節(jié)分割模型，融合基于圖卷積的全局推理模塊和金字塔特征層.模型以軸向移位MLP模塊為基礎(chǔ)架構(gòu)，以更小的計算復(fù)雜度實現(xiàn)不同空間位置特征之間的交互.在編碼部分,融合端到端的全局推理單元，基于圖卷積完成遠距離像素依賴關(guān)系建模，緩解圖像噪聲干擾較大的影響.在解碼部分，引入金字塔特征層，完成多尺度特征交互，應(yīng)對結(jié)節(jié)尺寸多變的問題.在DDIT數(shù)據(jù)集上的實驗表明，本文模型性能較優(yōu)，此外，本文模型還適用于乳腺結(jié)節(jié)分割、視網(wǎng)膜血管分割等其它醫(yī)學(xué)圖像分割任務(wù).

1 融合全局推理和MLP架構(gòu)的甲狀腺結(jié)節(jié)分割模型

圖1 本文模型結(jié)構(gòu)圖

1.1 軸向移位MLP單元

為了完成甲狀腺結(jié)節(jié)的精確分割，需要對輸入的圖像特征進行充分的感知交互.為了以更小的計算復(fù)雜度實現(xiàn)不同空間位置特征之間的交互，本文以軸向移位MLP單元[14]組成的模塊為基礎(chǔ)架構(gòu),搭建甲狀腺結(jié)節(jié)分割模型.

軸向移位MLP單元結(jié)構(gòu)如圖2(a)所示，由層歸一化(Layer Normalization, LN)操作、軸向移位操作、MLP和殘差連接組成.軸向移位環(huán)節(jié)通過執(zhí)行通道投影、水平移位和垂直移位以提取特征，水平移位和垂直移位負責(zé)特征沿空間維度的運算，通道投影將沿不同方向移位運算后的特征映射到一個線性層.

圖2(b)以水平移位為例展示軸向移位操作的交互過程.當(dāng)輸入特征尺寸為H×W×C時，H、W為特征張量的高、寬，C為特征張量維度，假設(shè)W=5，C=3，省略H，當(dāng)移位大小設(shè)置為3時，輸入特征會分成3部分，每部分沿水平方向分別移位[-1，0，1]個單位并進行零填充((b)中白色塊)，也可使用其它填充方法[15].提取(b)中虛線框中的特征作為新特征，完成水平移位操作.垂直移位沿垂直方向執(zhí)行同樣的操作.

(a)單元結(jié)構(gòu) (b)交互過程

分別表示特征的水平移位運算和垂直移位運算.由于特征在水平方向和垂直方向執(zhí)行移位操作，再將特征進行重新組合，可組合來自不同空間位置的信息，這樣特征就可進行充分的感知和交互.

1.2 全局推理單元

為了獲取更全面的語義上下文信息，同時更好地解決甲狀腺超聲圖像噪聲干擾較大的問題，在MLP架構(gòu)的基礎(chǔ)上融合全局推理單元[16]，對圖像特征的全局信息進行交互推理.全局推理單元的推理策略可分為3步：1)將特征投影到可有效計算推理關(guān)系的交互空間；2)在交互空間應(yīng)用圖卷積進行推理操作；3)將關(guān)系感知特征導(dǎo)回原始坐標(biāo)空間.

全局推理單元結(jié)構(gòu)如圖3所示.輸入特征X∈RH×W×C，其中H、W分別表示輸入特征張量的高、寬，C表示輸入特征張量的維度.通過學(xué)習(xí)投影函數(shù)f(·)，將特征投影到交互空間，即交互空間的輸入特征V=f(X)∈RN×C′，N為交互空間中特征節(jié)點的個數(shù),C′為特征節(jié)點維度.這里將投影函數(shù)表示為f(φ(X;Wφ))，投影函數(shù)的權(quán)重矩陣表示為B=θ(X;Wθ)，其中φ(·)和θ(·)如圖3所示，由2個1×1卷積層生成.

圖3 全局推理單元結(jié)構(gòu)圖

在交互空間中，把捕獲輸入特征區(qū)域之間的關(guān)系簡化為捕獲相應(yīng)節(jié)點之間的交互，即構(gòu)建一個全連接圖，如圖4(a)所示，圖中每個節(jié)點將對應(yīng)的特征存儲為其狀態(tài)，這樣關(guān)系推理簡化為在較小的圖上對節(jié)點之間的交互進行建模.

本文應(yīng)用圖卷積建模和推理節(jié)點之間的上下文關(guān)系，將全連接圖表示為鄰接矩陣Ag的形式.圖卷積推理計算過程可分為2步，如圖4(b)所示.1)執(zhí)行拉普拉斯平滑，將全連接圖中節(jié)點的新特征計算為該節(jié)點和其鄰居節(jié)點的加權(quán)平均值，從而使同個簇中的節(jié)點特征相似，消除圖像噪聲干擾問題.2)在模型訓(xùn)練期間，學(xué)習(xí)節(jié)點底層特征之間關(guān)系的權(quán)重矩陣Wg,并進行特征交互，學(xué)習(xí)特征之間的強聯(lián)系，為圖像像素點的分類提供依據(jù)，提升分割精度.

整個交互空間的輸出特征為：

V′=((I-Ag)V)Wg，

其中，鄰接矩陣Ag和權(quán)重矩陣Wg都隨機初始化并在模型訓(xùn)練期間通過梯度下降法迭代學(xué)習(xí)，I為單位矩陣，用于加速算法優(yōu)化.

(a)推理原理

(b)推理過程

再將關(guān)系推理后的輸出特征反向投影回原始坐標(biāo)空間，以便整個單元的輸出可被后面單元利用，做出更好決策.通過學(xué)習(xí)投影函數(shù)g(·)，將交互空間的輸出特征V′∈RN×C′反向投影，得到

Y=g(V′)∈RH×W×C′，

這里投影函數(shù)的權(quán)重矩陣D=BT，使用權(quán)重矩陣B可減少計算成本.投影回原始坐標(biāo)空間后，再經(jīng)過一個1×1卷積層，將維度擴展為輸入維度，并進行殘差連接，得到整個單元的輸出Z∈RH×W×C.

1.3 金字塔特征層

為了應(yīng)對甲狀腺結(jié)節(jié)尺寸多變的特點，改善模型對甲狀腺結(jié)節(jié)輪廓線細節(jié)的分割能力，在解碼模塊使用金字塔特征層，完成多尺度特征交互[17]，結(jié)構(gòu)如圖5所示.首先輸入圖像經(jīng)過主干網(wǎng)絡(luò)進行特征提取，獲取具有豐富語義的特征圖.假設(shè)輸入圖像X0∈RH0×W0×C0，其中H0、W0分別為輸入特征張量的高、寬，C0為輸入特征張量的維度，本文使用Efficient-

Net-D4網(wǎng)絡(luò)進行特征提取，將提取的多尺度特征表示為f1∈RHi×Wi×Ci、f2∈RHi×Wi×Ci、f3∈RHi×Wi×Ci、f4∈RHi×Wi×Ci，其中，

利用提取到的多尺度特征構(gòu)建金字塔特征層，構(gòu)建方法是先對f4進行上采樣,得到特征圖：

f34=upsample×2(f4)+conv34(f3).

其中:conv34(·)表示1×1卷積層，實現(xiàn)f3到f4特征維度的補齊;upsample×2(·)表示對特征圖進行兩倍的上采樣，這里使用雙線性插值法，也可使用其它上采樣方法[18].得到的特征圖f34為原始圖像尺寸的1/8.再繼續(xù)對特征圖進行上采樣：

f12=upsample×2(f2)+conv12(f1)，

f1234=upsample×4(f34)+conv24(f12).

其中:conv12(·)、conv24(·)分別實現(xiàn)f1到f2和f2到f4特征維度的補齊；upsample×4(·)表示對特征圖進行四倍的上采樣，得到原始圖像尺寸1/2的特征圖f1234.然后，將f1234與經(jīng)過降維和上采樣的特征進行合并，得到金字塔特征層的輸出.

圖5 金字塔特征層結(jié)構(gòu)圖

研究表明，這種自下而上提取多尺度特征的金字塔結(jié)構(gòu)比原始自頂向下的特征金字塔表現(xiàn)更優(yōu)[19]，可更好地保留頂層豐富的語義信息.如圖1所示，金字塔特征層的輸出特征首先經(jīng)過卷積層，將特征維度轉(zhuǎn)換為分割類別數(shù)，再經(jīng)過一個分割頭，得到最終的分割結(jié)果.而分割頭是一個1×1卷積層，輸出標(biāo)簽圖中每個類別的置信度分數(shù)，根據(jù)置信度分數(shù)確定最終的分割結(jié)果.

1.4 計算復(fù)雜度分析

首先分析基于軸向移位MLP的模型相比CNN和Transformer架構(gòu)的計算復(fù)雜度.卷積操作的計算復(fù)雜度與輸出特征圖的尺寸及卷積核的尺寸相關(guān)，即單個卷積層的時間復(fù)雜度為O(M2K2CinCout)，其中，M表示卷積核輸出特征圖的尺寸，K表示卷積核的尺寸，Cin表示卷積層輸入通道數(shù)，Cout表示卷積層輸出通道數(shù).而CNN的計算復(fù)雜度還要隨卷積層的堆疊而不斷累加，導(dǎo)致CNN計算復(fù)雜度常出現(xiàn)冗余現(xiàn)象.基于Transformer的架構(gòu)通常采用多頭自注意力操作計算輸入特征的注意力關(guān)系，給定一個輸入尺寸為H×W×C的特征圖，多頭自注意力操作會經(jīng)過4次全連接運算和2次矩陣乘法運算，計算復(fù)雜度為

Ω(多頭自注意力)=4HWC2+2(HW)2C.

軸向移位MLP單元只對輸入特征進行移位操作，不需要任何加法運算和乘法運算，時間成本較低，幾乎與移位大小沒有關(guān)系.對于H×W×C的輸入特征圖，軸向移位操作實際上只有4個通道投影操作，計算復(fù)雜度

Ω(軸向移位)=4HWC2,

其中，卷積操作的計算復(fù)雜度為O(M2K2CinCout)，自注意力操作的計算復(fù)雜度為O(4HWC2+2(HW)2C),軸向移位操作的計算復(fù)雜度為O(4HWC2).因此，基于軸向移位MLP模型的計算復(fù)雜度要遠低于CNN和Transformer架構(gòu)的計算復(fù)雜度.

全局推理單元由3個1×1卷積層和圖卷積推理操作構(gòu)成.1×1卷積層的計算復(fù)雜度只與輸入特征和輸出特征的尺寸、維度有關(guān)，圖卷積推理中的拉普拉斯平滑和特征交互操作都只進行一次矩陣乘法.圖3中全局推理單元的計算復(fù)雜度可計為O(3HWNCC′+N2C′+NC′2)，其中降維后的特征維度C′往往很小.因此，相比其它復(fù)雜的推理方法(如多頭自注意力方法)，本文使用的全局推理單元具有計算復(fù)雜度較小、靈活性較高的特點.由圖1本文模型整體結(jié)構(gòu)圖可知，模型由12個軸向移位MLP單元和4個全局推理單元堆疊而成，因此模型整體計算復(fù)雜度約為

Ω(48HWC2+12HWNCC′+4N2C′+4NC′2).

2 實驗及結(jié)果分析

2.1 實驗數(shù)據(jù)及參數(shù)設(shè)置

實驗選用DDIT(Digital Database Thyroid Image)小型開源數(shù)據(jù)集[20]，包含來自不同年齡、性別的637位患者病例的甲狀腺超聲圖像，部分圖像中會有不相關(guān)區(qū)域.首先使用閾值法去除圖像的不相關(guān)區(qū)域，即對原始圖像的像素值沿x軸和y軸求平均，去除均值小于閾值的行和列，經(jīng)過實驗確定閾值為5.將處理后的圖像調(diào)整為256×256，作為網(wǎng)絡(luò)輸入.

本文使用交叉驗證的方法評估模型性能，在保證訓(xùn)練集和測試集中結(jié)節(jié)大小和類別分布相似的基礎(chǔ)上執(zhí)行五折交叉驗證.輸入圖像為256×256，將結(jié)節(jié)規(guī)模按照結(jié)節(jié)所占像素數(shù)分為3個等級：1)小于1 722像素、2)小于5 666像素,大于1 722像素、3)大于5 666像素.每個尺寸等級的圖像都分成5部分，如圖6所示.將5部分依次作為測試集進行交叉驗證.通過卡方獨立性檢驗，這個結(jié)節(jié)等級劃分與甲狀腺結(jié)節(jié)良/惡性分類有統(tǒng)計學(xué)意義.因此，將數(shù)據(jù)集的637幅超聲圖像中的509幅圖像作為訓(xùn)練集，128幅圖像作為測試集.

圖6 五折交叉驗證

實驗使用Adam(Adaptive Moment Estimation)優(yōu)化器訓(xùn)練網(wǎng)絡(luò)，優(yōu)化器平滑參數(shù)β1=0.7,β2=0.999，批尺寸設(shè)置為3.采用Warmup預(yù)熱學(xué)習(xí)率策略和余弦退火衰減策略進行學(xué)習(xí)率調(diào)整，初始學(xué)習(xí)率為1e-4，學(xué)習(xí)率衰減率為0.011，開始衰減的迭代次數(shù)為20，每隔30次衰減一次.預(yù)熱階段的學(xué)習(xí)率為1e-12，預(yù)熱迭代次數(shù)為5.使用的損失函數(shù)為Soft Dice損失.

實驗在具有NIVIDIA GeForce GTX-1080 Ti的單個GPU機器上進行，GPU專用內(nèi)存為11 GB，所有模型都使用Pytorch 1.5.0和Python 3.7完成實驗.

2.2 評估指標(biāo)

使用Dice系數(shù)和交并比(Intersection over Union, IoU)值作為分割結(jié)果的評估指標(biāo).Dice系數(shù)主要用于評估兩個不同樣本間的相似程度，即判斷兩個樣本中重合部分占總元素的比例，所占比例越高，模型精度越高.IoU計算兩個樣本的交集和并集之比,評估兩個樣本的相關(guān)性，比值越高，相關(guān)度越高，模型性能越優(yōu).具體計算公式如下：

對于甲狀腺結(jié)節(jié)分割任務(wù)，上式中的X表示分割金標(biāo)準(zhǔn)圖中的甲狀腺結(jié)節(jié)區(qū)域，Y表示預(yù)測結(jié)果中的甲狀腺結(jié)節(jié)區(qū)域，真正例數(shù)(True Positive, TP)表示正確分割甲狀腺結(jié)節(jié)的部分，假正例數(shù)(False Positive, FP)表示將黑色背景預(yù)測為甲狀腺結(jié)節(jié)的部分，假反例數(shù)(False Negative, FN)表示將甲狀腺結(jié)節(jié)預(yù)測為黑色背景的部分，真反例數(shù)(True Nega-tive, TN)表示正確預(yù)測黑色背景的部分.

實驗首先通過訓(xùn)練得到模型參數(shù)，進而預(yù)測得到分割圖，最后使用預(yù)測分割圖和分割金標(biāo)準(zhǔn)圖計算Dice系數(shù)和IoU值.Dice系數(shù)和IoU值越接近1，表明甲狀腺結(jié)節(jié)分割效果越優(yōu).

使用準(zhǔn)確性(Accuracy, AC)，敏感性(Sensibi-lity, SE)，特異性(Specificity, SP)，精準(zhǔn)率(Preci-sion, PC)和ROC(Receiver Operating Characte-ristic)曲線下面積AUC(Area Under Curve)值評價分割結(jié)果.ROC曲線的橫軸是假正例率(False Posi-tive Rate, FPR)，縱軸是真正例率(True Positive Rate, TPR)，TPR越高，F(xiàn)PR越低，ROC曲線越陡，AUC值越大，模型的性能越優(yōu).具體計算公式如下：

2.3 消融實驗結(jié)果

為了探索模型中各組成模塊的性能，將MLP中的軸向移位操作、卷積操作、自注意力操作進行對比.實際上，軸向移位可看作卷積操作的一個變體，類似于空洞卷積[21]，可通過改變移位大小產(chǎn)生不同范圍的感受野.此外，軸向移位MLP還解決空洞卷積對小目標(biāo)分割性能較差的問題.單個卷積核的參數(shù)量為O(K2CinCout)，其中，K表示卷積核的尺寸，Cin表示卷積層輸入通道數(shù)，Cout表示卷積層輸出通道數(shù).自注意力操作需要沿著通道維度進行映射，計算每個Patch塊的查詢向量、索引向量、內(nèi)容向量，因此參數(shù)量為O(3C2).軸向移位操作的參數(shù)量僅與特征維度有關(guān)，可計為O(C2)，隨著特征維度的增加，本文模型將具有相當(dāng)大的參數(shù)量，使模型擁有更小的Patch Size和更多的特征維度數(shù)，獲得更精細和更多的特征信息.

為了探索MLP架構(gòu)和全局推理單元的性能優(yōu)勢，本文組合目前較通用的主流框架，搭建不同模型，進行消融實驗，結(jié)果如表1所示.在表中，全局推理+多頭自注意力的組合使用單階段的編碼方式，其余全部為四階段編碼，不同階段特征維度不同.表1中的前4行對比ResNet、EfficientNet、多頭自注意力和軸向移位MLP的性能差異，從結(jié)果可看出，使用軸向移位MLP使模型具有更快的訓(xùn)練時間和測試時間，也使模型具有很大的參數(shù)量，取得最優(yōu)的分割結(jié)果.表1中第4行和第5行對比全局推理和多頭自注意力的性能差別，從結(jié)果可看出，兩者都會使模型產(chǎn)生很大的參數(shù)量，但在效率和分割結(jié)果上，使用全局推理的模型性能明顯優(yōu)于使用多頭自注意力的模型.

表1 不同組合方式下模型性能對比

為了進一步探索全局推理單元對模型整體分割性能的影響，在模型編碼部分的4個階段分別使用或不使用全局推理，消融實驗結(jié)果如表2所示.由表可見，在編碼模塊引入全局推理單元,有助于提升模型性能，添加的全局推理單元越多，模型所需的訓(xùn)練時間越長、參數(shù)量越大、分割效果越優(yōu).在4個階段全部使用全局推理單元，取得最佳的分割結(jié)果.

表2 是否使用全局推理對模型性能的影響

下面定量分析是否在解碼部分加入金字塔特征層,消融實驗結(jié)果如表3所示.由表可看出，使用金字塔特征層后，雖然模型訓(xùn)練時間較多、參數(shù)量較大，但分割結(jié)果值顯著提升，可見使用金字塔特征層能有效提升分割精度.

表3 是否加入金字塔特征層對模型性能的影響

由于實驗測試集數(shù)量較少，為了防止模型訓(xùn)練中過擬合現(xiàn)象的發(fā)生，以及提高分割模型的泛化能力，在模型訓(xùn)練階段均使用測試時數(shù)據(jù)增強策略(Test-Time Augmentation， TTA)[22].給測試集上的每幅圖像創(chuàng)建多個增強副本，在包含增強副本的測試集上完成預(yù)測，得到更可靠的評估結(jié)果，并反饋到模型訓(xùn)練中.

下面使用本文模型進行消融實驗，定量分析TTA策略的好處，實驗結(jié)果如表4所示.由表可見，使用TTA策略可取得更高值，分割效果更優(yōu).

表4 是否使用TTA策略對模型性能的影響

2.4 不同分割模型對比結(jié)果

為了驗證本文模型的性能，實驗選擇醫(yī)學(xué)圖像分割經(jīng)典模型進行量化對比.實驗使用的經(jīng)典模型全部來自基于Pytorch的圖像分割神經(jīng)網(wǎng)絡(luò)庫，它們的特征提取網(wǎng)絡(luò)均使用EfficientNet-D6.對比模型如下：PSPNet[2]、DeepLabv3+[3]、LinkNet[23]、PAN(Py-ramid Attention Network)[24]、U-Net[25]、UNet++[26].所有模型在同臺機器的單個GPU上進行實驗，輸入圖像裁剪尺寸均采用256×256，總迭代次數(shù)均設(shè)置為184，批尺寸設(shè)置為3，學(xué)習(xí)率等其它超參數(shù)都保持一致，所有模型均使用TTA策略完成訓(xùn)練.

各模型性能對比如表5所示.由表可看出，本文模型單次迭代訓(xùn)練時間和測試時間都相對較少，說明本文模型的計算復(fù)雜度較低，能更快速地完成訓(xùn)練和預(yù)測.計算復(fù)雜度的降低并不意味著本文模型具有更少的參數(shù)量，相反，本文模型保留較高的參數(shù)量，占用更多的存儲空間，這允許本文模型能以更小的計算復(fù)雜度獲得通道維度更大、更精細、更多的特征信息.

表5 各模型的性能對比

各模型訓(xùn)練過程中IoU值曲線變化情況如圖7所示.由圖可見，本文模型的IoU值曲線提升更明顯.

圖7 各模型分割結(jié)果的IoU曲線

各模型分割結(jié)果的指標(biāo)值對比如表6所示，表中黑體數(shù)字表示最優(yōu)值.由表可看出，本文模型分割結(jié)果最優(yōu)，取得更高的AC值、PC值、Dice系數(shù)和IoU值，說明本文模型對甲狀腺結(jié)節(jié)區(qū)域的判別精度更高，即分割結(jié)果更準(zhǔn)確.而本文模型的SE值和SP值不如U-Net和PAN，這是因為U-Net在分割結(jié)果上出現(xiàn)較多的過分割現(xiàn)象，即分割結(jié)果的面積總是較大一些，而PAN在分割結(jié)果上出現(xiàn)較多的欠分割現(xiàn)象，即分割結(jié)果的面積總是較小.

表6 各模型分割結(jié)果的指標(biāo)值對比

各模型的實際分割結(jié)果示例如圖8所示，其中，(a)為預(yù)處理之后的輸入圖像，(b)為專家標(biāo)注的分割金標(biāo)準(zhǔn)圖.由(c)、(d)可看出，PSPNet和LinkNet對大型結(jié)節(jié)和邊緣輪廓線的分割結(jié)果粗糙.由(e)～(h)可看出，多數(shù)模型對大型結(jié)節(jié)的分割效果較優(yōu)，而對小型結(jié)節(jié)和邊緣不規(guī)則的結(jié)節(jié)會出現(xiàn)欠分割或過分割現(xiàn)象.由(i)可看出，本文模型分割結(jié)果的邊緣輪廓保持在專家標(biāo)注圖輪廓的附近，除不規(guī)則結(jié)節(jié)以外，其它結(jié)節(jié)分割結(jié)果縱橫比和形狀都未出現(xiàn)較大誤差，而這兩種特征也是后續(xù)醫(yī)療診斷工作中至關(guān)重要的特征，因此，本文模型具有更好的分割效果.

(a)輸入圖像

(b)分割金標(biāo)準(zhǔn)圖

(c)PSPNet

(d)LinkNet

(e)DeepLabv3+

(f)PAN

(g)U-Net

(h)UNet++

(i)本文模型

為了進一步驗證本文模型在DDIT甲狀腺結(jié)節(jié)分割數(shù)據(jù)集上的良好性能，使用五折交叉驗證方法對7個模型進行性能對比，結(jié)果如表7所示.由表可見，本文模型在每折上的IoU值都最高，具有最好的分割性能.

表7 各模型的五折交叉驗證IoU值對比

2.5 通用性分析

為了驗證本文模型的通用性，在TN-SCUI挑戰(zhàn)賽甲狀腺結(jié)節(jié)分割數(shù)據(jù)集[27]、乳腺結(jié)節(jié)分割BUSI數(shù)據(jù)集[28]、視網(wǎng)膜血管分割DRIVE數(shù)據(jù)集[29]上進行實驗.TN-SCUI數(shù)據(jù)集為原始數(shù)據(jù)集經(jīng)過增強處理后的版本，包含7 288幅甲狀腺超聲圖像，其中3 282幅為良性結(jié)節(jié)、4 006幅為惡性結(jié)節(jié).使用五折交叉驗證方法，選取5 830幅圖像作為訓(xùn)練集，1 458幅作為測試集，經(jīng)處理后的圖像尺寸為256×256，總迭代次數(shù)為30.乳腺結(jié)節(jié)分割BUSI數(shù)據(jù)集共有647幅乳腺超聲圖像，其中437幅圖像為良性乳腺結(jié)節(jié)，210幅圖像為惡性乳腺腫瘤.在數(shù)據(jù)集上隨機抽取516幅圖像作為訓(xùn)練集，131幅圖像作為測試集，圖像尺寸為256×256，總迭代次數(shù)為90.對于視網(wǎng)膜血管分割DRIVE數(shù)據(jù)集，首先運用取圖像塊的方法對訓(xùn)練圖像進行數(shù)據(jù)增強，增強后的數(shù)據(jù)集包含30 000幅圖像塊，其中29 940幅圖像塊作為訓(xùn)練集，60幅圖像塊作為測試集，圖像塊尺寸為64×64，總迭代次數(shù)為120.

本文模型在3個數(shù)據(jù)集上的可視化分割結(jié)果如圖9所示.由圖可看出，本文模型整體上的分割效果較完美，說明模型中的全局推理單元能較好地應(yīng)對超聲圖像中噪聲干擾較大和偽影較多的問題，而金字塔特征層的引入使模型能較準(zhǔn)確地分割大小形態(tài)各異的結(jié)節(jié)和細微的視網(wǎng)膜血管分支.當(dāng)然，本文模型也存在一些不足之處，如第1幅～第6幅中甲狀腺和乳腺結(jié)節(jié)的邊緣輪廓線分割差異較大，分割表現(xiàn)有待提高.

(a)輸入圖像

(b)分割金標(biāo)準(zhǔn)圖

(c)本文模型分割結(jié)果

為了進一步表現(xiàn)本文模型的先進性，在3個數(shù)據(jù)集上與多個模型進行對比，實驗結(jié)果如表8所示.實驗中所有模型均在同臺機器上使用相同的策略完成訓(xùn)練.由表可看出，本文模型在3個數(shù)據(jù)集上都取得最高的指標(biāo)值，可見本文模型能充分捕獲圖像中的多尺度信息和細節(jié)信息，更好地應(yīng)對圖像中的噪聲干擾問題，對乳腺結(jié)節(jié)分割和視網(wǎng)膜血管分割也能獲得精度更高的分割結(jié)果.

表8 各模型在3個數(shù)據(jù)集上的指標(biāo)值對比

3 結(jié) 束 語

本文提出融合全局推理和MLP架構(gòu)的甲狀腺結(jié)節(jié)分割模型，以軸向移位MLP為基礎(chǔ)架構(gòu)，編碼部分融合全局推理單元，解碼部分引入金字塔特征層，實現(xiàn)甲狀腺超聲圖像中結(jié)節(jié)區(qū)域的自動分割.實驗驗證和計算復(fù)雜度的分析表明，本文模型能以更小的計算復(fù)雜度實現(xiàn)快速、精確的甲狀腺結(jié)節(jié)分割，更好地應(yīng)對目前甲狀腺結(jié)節(jié)分割存在的難點問題.另一方面，對于其它醫(yī)學(xué)圖像分割任務(wù)，如乳腺結(jié)節(jié)分割和視網(wǎng)膜血管分割，本文模型也取得較優(yōu)的分割效果.但是，面對形狀不規(guī)則的甲狀腺結(jié)節(jié)，本文模型分割結(jié)果仍存在不準(zhǔn)確或輪廓線粗糙的現(xiàn)象.今后將考慮獲取甲狀腺超聲圖像顯著性圖，往更精細化方向發(fā)展，并結(jié)合深度學(xué)習(xí)技術(shù)，實現(xiàn)甲狀腺結(jié)節(jié)良/惡性分類.