沈豪杰 黃吉利 徐晴宇 張仕程 任鵬*

（1.徐州醫(yī)科大學(xué)醫(yī)學(xué)信息與工程學(xué)院 江蘇省徐州市 221000）（2.徐州醫(yī)科大學(xué)醫(yī)學(xué)影像學(xué)院 江蘇省徐州市 221000）（3.徐州醫(yī)科大學(xué)麻醉學(xué)院 江蘇省徐州市 221000 4.徐州醫(yī)科大學(xué)口腔醫(yī)學(xué)院 江蘇省徐州市 221000）

1 多模態(tài)神經(jīng)網(wǎng)絡(luò)算法

皮膚是防護(hù)機(jī)體的第一道屏障，覆蓋于軀體表面，極易受到各種致病因子的損害。因此，皮膚病已經(jīng)成為人類最常見(jiàn)的疾病之一。在所有類型的皮膚病中，黑色素瘤癌癥被確定為人類中最致命的一種，其致死率超過(guò)所有死于皮膚病的患者的75%。黑色素瘤在我國(guó)發(fā)病率以每年3%-5%的速度增長(zhǎng)，每年新增病例約為2 萬(wàn)[1]。早期發(fā)現(xiàn)可以將黑素瘤的5年存活率由14%提高至99%左右。皮膚病變圖像分析是黑色素瘤診斷和治療的重要進(jìn)展[2]。這種技術(shù)可以幫助醫(yī)生及時(shí)發(fā)現(xiàn)和識(shí)別黑色素瘤，并及早采取治療措施。

近年來(lái)，許多國(guó)內(nèi)外學(xué)者利用機(jī)器學(xué)習(xí)技術(shù)進(jìn)行圖像分割，以實(shí)現(xiàn)對(duì)皮膚病的早期檢測(cè)和治療。研究人員采用了具有不同性能的不同深度網(wǎng)絡(luò)架構(gòu)，在檢測(cè)皮膚癌癥方面取得了較高的準(zhǔn)確率。Ansari 等人[3]提出了一種基于支持向量機(jī)（Support Vector Machine，SVM）的診斷分類方法，為了去除不需要的噪聲，研究人員采用了中值濾波器。此外，他們還使用對(duì)比度增強(qiáng)技術(shù)以獲得更高質(zhì)量的圖像結(jié)果，然后利用最大熵閾值對(duì)圖像進(jìn)行分割。Gautam 和Ahmed[4]提出了一種基于背景照明補(bǔ)償?shù)膱D像分割方法，以獲得最準(zhǔn)確的診斷結(jié)果。研究人員采用了迭代膨脹技術(shù)進(jìn)行噪聲去除。在特征提取方面，使用ABCDE 規(guī)則（不對(duì)稱性、邊界、顏色、直徑和演變）來(lái)分析圖像。最后，使用SVM 進(jìn)行分類，達(dá)到了70%的準(zhǔn)確率。隨著GPU 計(jì)算能力的提高，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)已成為圖像處理中最強(qiáng)大的工具之一，包括醫(yī)學(xué)圖像分析[5-6]。常炳國(guó)等人[7]提出一種融合元數(shù)據(jù)和圖像數(shù)據(jù)的多模態(tài)神經(jīng)網(wǎng)絡(luò)算法。通過(guò)感知機(jī)學(xué)習(xí)模型提取元數(shù)據(jù)的特征向量；通過(guò)CNN 模型提取圖像數(shù)據(jù)的特征向量，將特征向量融合映射進(jìn)行分類，用于黑色素腫瘤的早期輔助診斷。Pomponiu 等[8]在圖像特征提取方面使用預(yù)訓(xùn)練的AlexNet 網(wǎng)絡(luò)，然后使用k 最鄰近分類器進(jìn)行分類。Lopez 等[9]人在皮膚鏡圖像分類任務(wù)中，對(duì)VGGNet 進(jìn)行了調(diào)整，并比較了三種不同的方法。這三種方法包括從頭開(kāi)始訓(xùn)練、將預(yù)訓(xùn)練網(wǎng)絡(luò)用作特征提取器，以及對(duì)預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行微調(diào)。結(jié)果表明，第三種方法取得了最好的分類效果。Ahmed 等人[10]提出了一種全自動(dòng)算法。他們選擇將解碼器架構(gòu)與金字塔池單元相結(jié)合，從而實(shí)現(xiàn)皮膚鏡圖像中的皮膚病變。這種方法的優(yōu)勢(shì)在于不需要對(duì)圖像進(jìn)行任何灰度轉(zhuǎn)換或預(yù)處理。

本文以深度學(xué)習(xí)中的CNN 方法為基礎(chǔ)，將通道注意力機(jī)制與DenseNet 結(jié)合并應(yīng)用于皮膚病變圖像中的黑色素瘤鑒別任務(wù)。為了驗(yàn)證所提出算法的有效性，選取了4 種分類評(píng)價(jià)指標(biāo)以及3 種對(duì)比模型。實(shí)驗(yàn)結(jié)果表明，與對(duì)比模型相比，本文的方法在各個(gè)評(píng)價(jià)指標(biāo)上均獲得了最佳效果。

2 方法

2.1 DenseNet

DenseNet 是在2017年提出的一種經(jīng)典的圖像分類網(wǎng)絡(luò)[11]，其主要的貢獻(xiàn)是設(shè)計(jì)了密集連接結(jié)構(gòu)，極地大增強(qiáng)了網(wǎng)絡(luò)模型對(duì)于特征圖的復(fù)用能力，有效地促進(jìn)了不同網(wǎng)絡(luò)層之間的信息流通，緩解了過(guò)擬合現(xiàn)象。構(gòu)成DenseNet 的主要組件是密集塊（Dense Block）和過(guò)渡層（Transition Layer），通過(guò)調(diào)控密集塊內(nèi)的連接層數(shù)，可以獲得DenseNet 的4 個(gè)不同版本，包括DenseNet121、DenseNet169、DenseNet201 和DenseNet264。在傳統(tǒng)的CNN 結(jié)構(gòu)中，前一組特征圖與后一組特征圖相互連接，因此L 個(gè)網(wǎng)絡(luò)層具有L 個(gè)連接。而密集塊通過(guò)添加密集連接結(jié)構(gòu)，將不相鄰的特征圖直接連接起來(lái)，使得L 個(gè)網(wǎng)絡(luò)層具有個(gè)連接。圖1 顯示了一個(gè)具有10 個(gè)連接的4 層密集塊結(jié)構(gòu)。

圖1：具有10 個(gè)連接的4 層密集塊

假設(shè)輸入特征圖為X0, Xi(i=0,1,2,…4)表示為第i 層的特征圖，Hi(·)表示為非線性變換，包括3×3 的卷積層、批量歸一化和激活函數(shù)等。那么第4 層的輸出特征圖X4是對(duì)先前所有層的輸出特征圖進(jìn)行非線性變換得到的，該過(guò)程的公式表達(dá)如下：

在一個(gè)整個(gè)密集塊之后會(huì)跟隨著過(guò)渡層，過(guò)渡層的作用是降低特征圖的維度，它由一個(gè)1×1 的卷積層和一個(gè)2×2 的平均池化層（Global Average Pooling，GAP）組成。由于密集塊內(nèi)的層數(shù)設(shè)置不同，DenseNet 擁有4種不同的版本，本文選擇了DenseNet121 作為研究對(duì)象。DenseNet121 首先由一個(gè)7×7 卷積層和一個(gè)3×3 最大池化層組成，這兩個(gè)操作的步長(zhǎng)均設(shè)置為2。剩余的網(wǎng)絡(luò)部分主要由4 個(gè)密集塊和3 個(gè)過(guò)渡層組成，每個(gè)密集塊內(nèi)部的連接層數(shù)量分別為6，12，24，16。除最后一個(gè)密集塊以外，其余每個(gè)密集塊之后都連接有一個(gè)過(guò)渡層。最后一個(gè)密集塊的輸出結(jié)果將會(huì)通過(guò)一個(gè)GAP 層和一個(gè)帶有softmax[12]激活函數(shù)的全連接層，這個(gè)全連接層設(shè)置的神經(jīng)元數(shù)量對(duì)應(yīng)著目標(biāo)任務(wù)所包含的類別數(shù)量。

2.2 通道注意力機(jī)制

受人類視覺(jué)關(guān)注特性的啟發(fā)，機(jī)器視覺(jué)中的注意力機(jī)制可以幫助網(wǎng)絡(luò)結(jié)構(gòu)聚焦于更有效的特征信息。注意力機(jī)制按照獲取獲取注意力權(quán)重方式的不同一般可以分為通道注意力、空間注意力和混合注意力。本文選擇引入通道注意力機(jī)制，其特點(diǎn)是即插即用且添加的額外參數(shù)量極少，幾乎不會(huì)影響網(wǎng)整體的規(guī)模和推理速度。ECA[13]是一種高效的通道注意力機(jī)制，它提出了一種不降維的局部跨通道交互策略和自適應(yīng)確定一維卷積核大小的方法，顯著地提升了圖像分類任務(wù)的性能。ECA 的具體結(jié)構(gòu)如圖2 所示。其中，F(xiàn) 表示輸入特征圖，F(xiàn)’表示輸出特征圖，H、W 和C 分別表示特征圖的高度、寬度和通道數(shù)。GAP 表示全局平均池化，K 表示獲取局部跨通道關(guān)系的一維卷積核大小。S 表示sigmoid 激活函數(shù)，U 表示相乘操作。

圖2：ECA 的具體結(jié)構(gòu)

ECA 的內(nèi)部流程可以分以下步驟。首先，通過(guò)GAP 層匯集不同通道的空間信息，生成與通道數(shù)量一致的向量。其次，使用卷積核大小為K 的一維卷積對(duì)其進(jìn)行特征提取。接著，通過(guò)sigmoid 激活函數(shù)生成歸一化后的通道權(quán)重系數(shù)。最后，將輸入特征圖與得到權(quán)重系數(shù)相乘進(jìn)行優(yōu)化。上述過(guò)程中在一維卷積運(yùn)算時(shí)使用的卷積核大小K 可以通過(guò)式（2）計(jì)算得到：

其中odd 指的數(shù)值最近的奇數(shù)，γ 設(shè)置為2，b 設(shè)置為1。給定了特征圖的通道維度C，那么一維卷積的核大小K 可以自適應(yīng)地計(jì)算得到。

2.3 EnDenseNet121

本文在DenseNet121 的基礎(chǔ)上嵌入了ECA，并提出了一種新穎的黑色素瘤識(shí)別網(wǎng)絡(luò)EnDenseNet121。具體地，我們?cè)贒enseNet121 中的每個(gè)密集塊后添加了ECA結(jié)構(gòu)，從通道維度強(qiáng)化網(wǎng)絡(luò)模型對(duì)于重要特征的關(guān)注度，抑制無(wú)用的特征信息，最終提升對(duì)于黑色素瘤的識(shí)別效果。

EnDenseNet121 的具體結(jié)構(gòu)如圖3 所示，它主要包括4 個(gè)階段的特征提取，每個(gè)密集塊和過(guò)渡層的參數(shù)配置與DenseNet121 保持一致。本文是針對(duì)皮膚病變圖像的良惡性2 分類問(wèn)題，因此最后通過(guò)全連接層和sigmoid 激活函數(shù)輸出預(yù)測(cè)結(jié)果，預(yù)測(cè)值越近1，表示模型認(rèn)為輸入樣本屬于黑色素瘤的概率越大。

2.4 損失函數(shù)

對(duì)于一張皮膚病變圖像，模型對(duì)其進(jìn)行前向傳播后獲得預(yù)測(cè)結(jié)果，并且通過(guò)特定的損失函數(shù)計(jì)算該預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽之間的差距。模型訓(xùn)練的目的就是不斷優(yōu)化權(quán)重參數(shù)從而逐步降低這個(gè)損失值。本文研究的目標(biāo)是對(duì)于皮膚病變圖像的良惡性二分類問(wèn)題，因此采用了適用于二分類問(wèn)題的二元交叉熵作為損失函數(shù)，它可以通過(guò)式（3）計(jì)算得到：

其中，y?{0,1}代表真實(shí)標(biāo)簽，p?(0,1)表示模型的預(yù)測(cè)結(jié)果。二元交叉熵用于評(píng)判二分類模型預(yù)測(cè)結(jié)果的好壞，當(dāng)標(biāo)簽y 為1 時(shí)，預(yù)測(cè)值p 越接近1，損失值就越趨近于0。同理，當(dāng)標(biāo)簽y 為0 時(shí)，預(yù)測(cè)值p 越接近0，損失值就越趨近于0。

2.5 評(píng)價(jià)指標(biāo)

為了評(píng)估模型對(duì)于皮膚病變圖像良惡性診斷的效果，我們采用了4 種分類評(píng)價(jià)指標(biāo)，包括準(zhǔn)確率(Accuracy)、召回率(Recall)、精準(zhǔn)度(Precision)和F1得分(F1-score)。其中，準(zhǔn)確率表示確分類的樣本數(shù)量與樣本總數(shù)量之比，召回率表示正確預(yù)測(cè)為正的樣本數(shù)量與所有實(shí)際為正的樣本數(shù)量之比，精準(zhǔn)度表示模型正確預(yù)測(cè)為正的樣本數(shù)量除以其預(yù)測(cè)為正的所有樣本數(shù)量，F(xiàn)1 得分是通過(guò)平衡召回率和精準(zhǔn)度計(jì)算得到的。上述評(píng)價(jià)指標(biāo)的計(jì)算公式如下：

其中，真陰性（TN）表示預(yù)測(cè)為良性實(shí)際也為良性。真陽(yáng)性（TP）表示預(yù)測(cè)為惡性實(shí)際也為惡性。假陰性（FN）表示預(yù)測(cè)為良性實(shí)際為惡性。假陽(yáng)性（TP）表示預(yù)測(cè)為惡性實(shí)際為良性。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文的研究數(shù)據(jù)來(lái)源于SIIM-ISIC(2020)舉辦的黑色素瘤分類挑戰(zhàn)賽[14]，該數(shù)據(jù)集提供了大量的皮膚病變圖像，并且給出了每張圖像所屬的類別：良性或惡性（黑色素瘤）。我們從上述數(shù)據(jù)集中提取了2130 例圖像作為本文的研究對(duì)象，其中包括良性數(shù)據(jù)1163 例，惡性數(shù)據(jù)967 例。為了契合模型的輸入維度，采用雙線性插值方法將所有圖像的高度、寬度和通道數(shù)分別統(tǒng)一調(diào)整為224、224 和3。此外，良性數(shù)據(jù)的標(biāo)簽編碼為0，惡性數(shù)據(jù)的標(biāo)簽編碼為1。最后，我們按照8:1:1 的比例將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，具體劃分情況見(jiàn)表1。

表1：訓(xùn)練集、驗(yàn)證集和測(cè)試集劃分情況

3.2 實(shí)驗(yàn)環(huán)境與訓(xùn)練參數(shù)

本文的實(shí)驗(yàn)平臺(tái)為win11 64 位操作系統(tǒng)，運(yùn)行內(nèi)存為32GB，GPU 型號(hào)為NVIDIA GeForce RTX 3090，顯存為24GB。所有實(shí)驗(yàn)的程序設(shè)計(jì)都是基于Python3.8.10完成的，其中模型的搭建采用了開(kāi)源的深度學(xué)習(xí)框架Tensorflow2.9.0，結(jié)果分析部分采用了scikit-learn1.1.3工具箱完成。

在模型訓(xùn)練的過(guò)程中，更新模型參數(shù)的優(yōu)化器設(shè)置為Adam[15]，初始學(xué)習(xí)率設(shè)置為0.001，beta1 設(shè)置為0.9，beta2 設(shè)置為0.999。訓(xùn)練批次設(shè)置為16，訓(xùn)練輪次設(shè)置為140。每當(dāng)模型在訓(xùn)練集上完整地訓(xùn)練一次后，即對(duì)驗(yàn)證集進(jìn)行預(yù)測(cè)并記錄相應(yīng)的損失值，最終將驗(yàn)證集損失最小的模型權(quán)重保存用于測(cè)試。此外，為了降低學(xué)習(xí)率過(guò)大而導(dǎo)致模型錯(cuò)過(guò)全局最優(yōu)解的風(fēng)險(xiǎn)，規(guī)定在訓(xùn)練輪次分別達(dá)到20，40，80 時(shí)，學(xué)習(xí)率分別下降至0.0005、0.00025 和0.000125。最后，我們還采用了隨機(jī)翻轉(zhuǎn)、隨機(jī)平移和隨機(jī)裁剪等多種數(shù)據(jù)擴(kuò)增手段，用于防止在訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合現(xiàn)象。上述訓(xùn)練過(guò)程中使用的參數(shù)統(tǒng)一地應(yīng)用于本文研究的所有模型。

3.3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證我們提出的EnDenseNet121 針對(duì)黑色素瘤識(shí)別的有效性，我們選擇了VGGNet19、ResNet50 和DenseNet121 等3 個(gè)優(yōu)秀的圖像分類模型進(jìn)行對(duì)比。我們首先分析了所有模型的訓(xùn)練過(guò)程，圖4 顯示了各個(gè)模型在訓(xùn)練過(guò)程中的損失值下降情況?？梢园l(fā)現(xiàn)，隨著訓(xùn)練輪次的增加，不同模型的損失值逐步下降并趨于平穩(wěn)，EnDenseNet121 的損失值收斂至最低。這表明了各個(gè)模型都在一定程度上學(xué)會(huì)了如何鑒別黑色素瘤，并且EnDenseNet121 在訓(xùn)練集上的學(xué)習(xí)能力最強(qiáng)。

圖4：不同模型在訓(xùn)練集上的損失值下降曲線

圖5 顯示了所有模型在訓(xùn)練過(guò)程中的準(zhǔn)確率上升情況?？梢园l(fā)現(xiàn)，隨著訓(xùn)練輪次的增加，不同模型的準(zhǔn)確率逐步上升并趨于平穩(wěn)。其中，VGGNet19 對(duì)于黑色素瘤的識(shí)別效果最差，ResNet50 和DenseNet121 的識(shí)別效果較為接近。EnDenseNet121 由于引入了ECA 機(jī)制，增強(qiáng)了模型對(duì)于黑色素瘤特征的關(guān)注度，因此效果超越了所有的對(duì)比模型，在訓(xùn)練集上獲得了最高的識(shí)別準(zhǔn)確率。

圖5：不同模型在訓(xùn)練集上的準(zhǔn)確率上升曲線

最后，我們將各個(gè)模型在驗(yàn)證集上表現(xiàn)最好的模型保存用于對(duì)測(cè)試集進(jìn)行預(yù)測(cè)。表2 展示了所有模型在測(cè)試集上的預(yù)測(cè)效果，包括前文提到的4 個(gè)評(píng)價(jià)指標(biāo)。

表2：不同模型在測(cè)試集上的預(yù)測(cè)結(jié)果

通過(guò)表2 可以得到，所有模型對(duì)于黑色素瘤的識(shí)別準(zhǔn)確率都能達(dá)到80%以上。其中，VGG19 的準(zhǔn)確率達(dá)到了80.28%，ResNet50 和DenseNet121 由于跳躍連接的引入，識(shí)別效果顯著提升，準(zhǔn)確率分別為83.56%和84.03%。EnDenseNet121 在所有評(píng)價(jià)指標(biāo)上均獲得了最佳表現(xiàn)，準(zhǔn)確率達(dá)到86.38%，精準(zhǔn)度達(dá)到81.90%，召回率達(dá)到89.58%，F(xiàn)1 得分達(dá)到85.57%。

4 結(jié)語(yǔ)

借助人工智能技術(shù)對(duì)皮膚病變圖像進(jìn)行分析具有重要意義，這能夠幫助醫(yī)生迅速地發(fā)現(xiàn)和識(shí)別黑色素瘤并及時(shí)采取相應(yīng)的治療措施。本文以優(yōu)秀的圖像分類模型DenseNet 為基礎(chǔ)，將其進(jìn)一步與高效的通道注意力機(jī)制ECA 相結(jié)合，提出了一種能夠在皮膚病變圖像中鑒別黑色素瘤的深度學(xué)習(xí)模型EnDenseNet121。在公開(kāi)的皮膚病變數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠有效地識(shí)別黑色素瘤，在各個(gè)分類評(píng)價(jià)指標(biāo)上均超越了對(duì)比模型，準(zhǔn)確率達(dá)到86.38%，精準(zhǔn)度達(dá)到81.90%，召回率達(dá)到89.58，F(xiàn)1 得分達(dá)到85.57%。在未來(lái)的工作中，我們將會(huì)進(jìn)一步引入特征能力挖掘更強(qiáng)的模塊，提升模型的分類性能。同時(shí)，我們還會(huì)考慮對(duì)模型進(jìn)行輕量化處理，以滿足實(shí)時(shí)分析皮膚病變圖像的需求。