摘要：針對醫(yī)療設(shè)備存儲資源有限的問題，提出一種基于復(fù)合知識蒸餾的診斷分類方法，旨在確保骨科影像診斷模型的高精度性能。該方法首先采用自適應(yīng)直方圖均衡化對數(shù)據(jù)集進行增強；其次引入知識蒸餾，選用EfficientNet＼|B7作為教師網(wǎng)絡(luò)、EfficientNet＼|B0作為學(xué)生網(wǎng)絡(luò)，同時對學(xué)生網(wǎng)絡(luò)引入漸進式自蒸餾，以提升特征挖掘和泛化能力。在MURA（MusculoskeletalRadiographs）數(shù)據(jù)集上進行驗證的結(jié)果表明，復(fù)合知識蒸餾（CKD）模型的準(zhǔn)確率為96.26%，其參數(shù)量僅為EfficientNet＼|B7模型參數(shù)量的8.48%，并且在準(zhǔn)確率方面僅下降了1.16%，驗證了此模型的有效性。

關(guān)鍵詞：骨科影像；自適應(yīng)直方圖均衡化；特征挖掘；知識蒸餾；漸進式自蒸餾

中圖分類號：TP391文獻標(biāo)志碼：A

0引言（Introduction）

X射線影像作為骨科疾病檢測的一種經(jīng)濟且高效的工具，其應(yīng)用廣泛但受限于需要專業(yè)醫(yī)師進行耗時診斷，可能會延誤診斷和治療［1］。基于深度學(xué)習(xí)的診斷模型能在短時間內(nèi)提供準(zhǔn)確的診斷信息，從而有效減輕醫(yī)生的工作負擔(dān)并提高診斷效率［2］。然而，骨科影像具有低分辨率、低對比度、多紋理等特點，如果僅使用DNN（DeepNeuralNetwork）對其進行特征提取及分類，可能效果不盡如人意。同時，盡管深度學(xué)習(xí)在骨科影像識別等領(lǐng)域取得了顯著成就，但也面臨資源需求高和過擬合等挑戰(zhàn)［3］。雖然已有研究者提出如剪枝［4］、量化［5］、知識蒸餾［6］等輕量化的方法用來降低模型的參數(shù)量和計算復(fù)雜度，但是在分類精度上仍有一定的提升空間。

基于此，提出一種基于復(fù)合知識蒸餾的深度學(xué)習(xí)診斷模型。在預(yù)處理階段，引入了自適應(yīng)直方圖均衡化［7］，以處理骨科影像的亮度和對比度變化，以提高骨科影像數(shù)據(jù)集的質(zhì)量。在模型構(gòu)建上，選擇EfficientNet［8］模型作為主干網(wǎng)絡(luò)，其憑借獨特的統(tǒng)一縮放復(fù)合系數(shù)策略，在保持模型性能的同時，又能在一定程度上減少參數(shù)量。此外，為了進一步提高分類精度，并盡可能降低模型的參數(shù)量，提出一種復(fù)合知識蒸餾（CompositeKnowledgeDistillation，CKD）的方法，有效解決了模型性能差和設(shè)備存儲有限的問題。該方法為深度學(xué)習(xí)在骨科影像診斷中的應(yīng)用提供了可靠的解決方案。

1相關(guān)工作（Relatedwork）

針對骨科影像的特殊性，研究人員在預(yù)處理階段采用了多種預(yù)處理技術(shù)，如直方圖均衡化［9］、小波變換［10］、非局部均值去噪［11］等方法，旨在降低圖像中的噪聲水平和改善圖像的質(zhì)量和視覺效果。自適應(yīng)直方圖均衡化已經(jīng)被證明能在增強圖像對比度、亮度的同時，有效應(yīng)對骨科影像中的變化。

在骨科影像診斷分類方面，有許多研究已經(jīng)證明CNN（ConvolutionalNeuralNetwork）網(wǎng)絡(luò)能夠?qū)强朴跋襁M行有效的診斷分類［12＼|14］。遷移學(xué)習(xí)可以將一個領(lǐng)域或任務(wù)中學(xué)到的知識遷移到另一個相關(guān)領(lǐng)域或任務(wù)中。最初，使用預(yù)先訓(xùn)練的DL（DeepLearning）系統(tǒng)，例如AlexNet［15］、VisualGeometryGroup的DL網(wǎng)絡(luò)（VGG16和VGG19）［16］和ResNet50［17］，通過SoftMax分類器將所選的射線照片圖像分類為正常和異常類，類似的還有Inception［18］和DenseNet121［19］。然而，傳統(tǒng)的CNN網(wǎng)絡(luò)往往存在參數(shù)量大、計算復(fù)雜、優(yōu)化困難及任務(wù)局限等缺點。EfficientNet是對相對傳統(tǒng)的CNN網(wǎng)絡(luò)（如VGG、ResNet、Inception和DenseNet）的一種優(yōu)化和改進，在平衡深度和寬度方面表現(xiàn)出色，可以通過自動網(wǎng)絡(luò)搜索獲得高效結(jié)構(gòu)。

在存儲設(shè)備資源有限且分類精度較低的情況下，HINTON等［20］提出使用基于知識蒸餾的方法將復(fù)雜的教師模型的知識轉(zhuǎn)移到簡化的學(xué)生模型中，提高了學(xué)生模型的性能，并降低了模型的復(fù)雜性和計算開銷，使其適用于移動的設(shè)備和資源有限的環(huán)境中。隨后，研究人員利用特征圖［21］、注意力［22］等方法，實現(xiàn)了多種教師模型知識向?qū)W生模型的傳遞。魏淳武等［23］借助知識蒸餾在模型遷移方向上的優(yōu)勢，將帶有長時期隨訪信息的分類任務(wù)轉(zhuǎn)換為基于領(lǐng)域知識的模型遷移任務(wù)；劉明靜［24］采用多個教師輔助模型來進行知識傳遞；李宜儒等［25］利用知識蒸餾算法訓(xùn)練輕量級學(xué)生模型，并引入師生間的注意力機制提高模型性能。然而，學(xué)生模型可能過于依賴教師模型的知識，導(dǎo)致在面對與教師模型的訓(xùn)練數(shù)據(jù)分布不一致的新數(shù)據(jù)時的表現(xiàn)較差。有研究者嘗試將學(xué)生網(wǎng)絡(luò)本身作為教師網(wǎng)絡(luò)命名為自我知識蒸餾（Self＼|KnowledgeDistillation，SKD）［26］。KANG等［27］結(jié)合了神經(jīng)架構(gòu)搜索和自蒸餾，以改進學(xué)生模型在圖像分類任務(wù)中的性能。ZHANG等［28］研究了深度相互學(xué)習(xí)策略，該策略不需要強大的靜態(tài)教師網(wǎng)絡(luò)，而是采用一組學(xué)生網(wǎng)絡(luò)在訓(xùn)練中相互合作學(xué)習(xí)。KIM等［29］提出漸進式自蒸餾（ProgressiveSelf＼|KnowledgeDistillation，PS＼|KD）方法，通過逐漸增大溫度參數(shù)，實現(xiàn)了漸進性訓(xùn)練，提高了模型的泛化能力、適應(yīng)性和穩(wěn)定性。

綜上，本文提出了一種復(fù)合知識蒸餾（CKD）方法，綜合利用知識蒸餾和漸進式自蒸餾兩者的優(yōu)勢，可以同時傳遞詳細和抽象的知識，提升模型性能，減少過擬合，并增強模型的適應(yīng)性。

2算法原理（Algorithmprinciple）

2.1數(shù)據(jù)增強

自適應(yīng)直方圖均衡化是醫(yī)學(xué)影像預(yù)處理的關(guān)鍵步驟，目的是增強圖像的對比度，以便于診斷網(wǎng)絡(luò)更好地識別細節(jié)和結(jié)構(gòu)特征。對輸入圖像的直方圖進行評估、歸一化，然后將輸入圖像轉(zhuǎn)換為輸出圖像。骨科影像的自適應(yīng)直方圖均衡化處理如圖1所示。

2.2主干網(wǎng)絡(luò)：EfficientNet

本文在知識蒸餾部分中的教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)分別為EfficientNet＼|B7和EfficientNet＼|B0，漸進式自蒸餾部分中的教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)同時為EfficientNet＼|B0。EfficientNet網(wǎng)絡(luò)通過協(xié)同增加網(wǎng)絡(luò)的寬度（每層的通道數(shù)）、深度（網(wǎng)絡(luò)的層數(shù)）及輸入圖像的分辨率，實現(xiàn)模型性能的顯著提升，其結(jié)構(gòu)示意圖如圖2所示。

EfficientNet網(wǎng)絡(luò)的結(jié)構(gòu)以EfficientNet＼|B0為基礎(chǔ)，通過調(diào)整分辨率、通道數(shù)和層數(shù)，形成一系列從EfficientNet＼|B1到EfficientNet＼|B7的模型變體。該網(wǎng)絡(luò)共包含9個階段，Stage1為步長為2的3×3卷積層（帶有批標(biāo)準(zhǔn)化和Swish激活函數(shù)），從Stage2到Stage8，采用重復(fù)堆疊的MBConv（MobileInvertedBottleneckConvolution）結(jié)構(gòu)，其中每個MBConv后附帶數(shù)字1或6，表示倍率因子n。每個MBConv包括Depthwise卷積和1×1卷積，其中k3×3或k5×5表示Depthwise卷積核的大小。Channels表示每個階段輸出特征圖的通道數(shù)。Stage9由一個1×1卷積層、平均池化層和全連接層組成。這種網(wǎng)絡(luò)設(shè)計通過在不同層級上的調(diào)整和倍率因子的引入，實現(xiàn)了高效的特征提取和性能優(yōu)化。

2.3知識蒸餾

知識蒸餾是結(jié)合了遷移學(xué)習(xí)和模型壓縮思想的方法，旨在通過從預(yù)先訓(xùn)練的教師模型向未經(jīng)訓(xùn)練的學(xué)生模型傳遞暗知識，使得學(xué)生模型在特定任務(wù)中也能表現(xiàn)出色。教師模型使用SoftMax輸出每個類別的概率Si，如公式（1）所示，而知識蒸餾的重點在于使用logits表示模型對每個類別的概率預(yù)測值，如公式（2）所示：

其中：qi是學(xué)生網(wǎng)絡(luò)學(xué)習(xí)的軟標(biāo)簽，zi是每個類別的輸出概率，N是類別數(shù)，T是蒸餾溫度的超參數(shù)。取T為1時，公式（2）退化為SoftMax，按照logits輸出各類的概率；若T逐漸增大，則輸出結(jié)果的分布比較平坦，有助于保持相似的信息。教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)的蒸餾損失如公式（3）所示：

其中：Loss是教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)的總蒸餾損失，α是教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)中二者知識的權(quán)重。lossμ和lossν分別表示硬標(biāo)簽（T=1）和軟標(biāo)簽（T≠1）的損失，如公式（4）和公式（5）所示：

其中：lossμ表示真實的標(biāo)簽和學(xué)生模型預(yù)測的交叉熵，lossν表示教師模型和學(xué)生模型的軟標(biāo)簽預(yù)測的相對熵，cj是真實標(biāo)簽，qj是學(xué)生模型的輸出，pj是教師模型的輸出，N是類別數(shù)。

2.4漸進式自蒸餾

自蒸餾是指使用學(xué)生網(wǎng)絡(luò)成為教師網(wǎng)絡(luò)本身，并利用其過去的預(yù)測在訓(xùn)練期間具有更多的信息監(jiān)督，設(shè)PSt（x）是來自學(xué)生網(wǎng)絡(luò)在第t輪的關(guān)于x的預(yù)測。然后在第t輪的目標(biāo)可以寫為

其中：x、y分別為輸入和對應(yīng)的硬標(biāo)簽，超參數(shù)α為教師網(wǎng)絡(luò)的權(quán)衡系數(shù)。

在傳統(tǒng)的知識蒸餾（KD）中，教師網(wǎng)絡(luò)保持不變，因此α通常在訓(xùn)練期間被設(shè)置為固定值。然而在漸進式自蒸餾PS＼|KD中，應(yīng)該考慮教師網(wǎng)絡(luò)的可靠性，這是因為模型通常在訓(xùn)練的早期階段沒有足夠的數(shù)據(jù)知識。為此，可以逐漸增加α的值。第t輪的α計算公式如下：

其中：T是訓(xùn)練的總次數(shù)，αT是最后時期的α，在第t輪的目標(biāo)函數(shù)可以寫為

2.5&na1be18f90026d386b15bc0f9c5a3efcdbsp;復(fù)合知識蒸餾模型

本文融合了知識蒸餾和漸進式自蒸餾的優(yōu)勢，同時彌補了學(xué)生網(wǎng)絡(luò)容易過擬合和過度依賴教師網(wǎng)絡(luò)的問題，提出了一種復(fù)合知識蒸餾的方法。此模型能在進行模型壓縮的同時，盡可能提高模型的性能。將EfficientNet作為數(shù)據(jù)特征提取器，在知識蒸餾部分，教師網(wǎng)絡(luò)為EfficientNet＼|B7，學(xué)生網(wǎng)絡(luò)為EfficientNet＼|B0，在漸進式自蒸餾部分，選擇EfficientNet＼|B0作為學(xué)生網(wǎng)絡(luò)，最終將兩個部分的損失之和作為復(fù)合蒸餾模型的損失。復(fù)合知識蒸餾結(jié)構(gòu)圖如圖3所示。

復(fù)合知識蒸餾分為兩個部分，分別為整體框架下的知識蒸餾和局部的漸進式自蒸餾。漸進式自蒸餾部分使用EfficientNet＼|B0作為訓(xùn)練網(wǎng)絡(luò)，整體框架下的知識蒸餾網(wǎng)絡(luò)的教師網(wǎng)絡(luò)為EfficientNet＼|B7，其學(xué)生網(wǎng)絡(luò)來自同一訓(xùn)練輪次下的漸進式自蒸餾網(wǎng)絡(luò)。最終復(fù)合知識蒸餾網(wǎng)絡(luò)訓(xùn)練的總損失為Losstotal，分別來自知識蒸餾網(wǎng)絡(luò)的蒸餾損失LossF1，以及漸進式自蒸餾網(wǎng)絡(luò)的預(yù)測與真實硬標(biāo)簽的損失LossF2。Losstotal的計算公式為

其中：β為二者損失的權(quán)衡參數(shù)，知識蒸餾網(wǎng)絡(luò)的蒸餾損失LossF1由LossM和LossN兩個部分組成，LossM為知識蒸餾網(wǎng)絡(luò)在蒸餾溫度為T時的蒸餾損失，LossN為漸進式自蒸餾網(wǎng)絡(luò)中Epoch=t且蒸餾溫度T≠1時與硬標(biāo)簽y之間的損失；LossF2為漸進式自蒸餾網(wǎng)絡(luò)中Epoch=t－1且蒸餾溫度T=1時與硬標(biāo)簽y之間的損失。相應(yīng)的計算公式如下：

其中：x為輸入圖像，y為圖像的真實硬標(biāo)簽。PT1j（x）、PT2j（x）分別為教師模型和學(xué)生模型在蒸餾溫度為T時的軟標(biāo)簽預(yù)測值，N為類別數(shù)，H表示交叉熵。αT為漸進式自蒸餾中軟標(biāo)簽和硬標(biāo)簽之間損失的權(quán)衡系數(shù)，PSt、PSt－1分別表示學(xué)生網(wǎng)絡(luò)中第t輪、t－1輪的預(yù)測結(jié)果。

3實驗結(jié)果與分析（Experimentresultsandanalysis）

3.1數(shù)據(jù)集及預(yù)處理

MURA（MusculoskeletalRadiographs）是由美國斯坦福大學(xué)研究人員創(chuàng)建的，旨在幫助開發(fā)自動化算法檢測和診斷骨骼系統(tǒng)肌肉骨骼影像中的關(guān)節(jié)疾病。MURA數(shù)據(jù)集包含超過40000張X射線圖像，分布在大約14800個患者上，涵蓋7個主要的關(guān)節(jié)類別，如肘關(guān)節(jié)、指關(guān)節(jié)、肱關(guān)節(jié)、肩關(guān)節(jié)、尺關(guān)節(jié)、掌關(guān)節(jié)、腕關(guān)節(jié)，MURA數(shù)據(jù)集樣本展示如圖4所示。原MURA的數(shù)據(jù)集共有1560張肱關(guān)節(jié)圖片，通過隨機水平翻轉(zhuǎn)、隨機旋轉(zhuǎn)和高斯模糊技術(shù)對數(shù)據(jù)集進行數(shù)據(jù)增強，將數(shù)據(jù)集的數(shù)量增加了3倍，達到4680張。為了更有效地評估模型性能，同時重新劃分訓(xùn)練集和測試集的比例，按照8∶2的比例將數(shù)據(jù)集劃分為訓(xùn)練集和測試集，數(shù)量分別為3744張和936張。

3.2實驗參數(shù)配置

使用Python語言在GPU加速環(huán)境中進行實驗，采用Pytorch深度學(xué)習(xí)框架，電腦配置為Windows11系統(tǒng)、128GB內(nèi)存、NVIDIARTXGeforce4090顯卡、48GB顯存。表1列出了本實驗的部分參數(shù)設(shè)置。

3.3實驗評價指標(biāo)

計算機輔助診斷系統(tǒng)的診斷性能通常用準(zhǔn)確率（Accuracy）、召回率（Recall）、精確率（Precision）3個指標(biāo)來衡量，這些指標(biāo)可通過混淆矩陣計算獲得，混淆矩陣主要用于比較真實情況和預(yù)測結(jié)果，如表2所示。

對于醫(yī)學(xué)圖像的ROI（RegionofInterest）區(qū)域，可以用陽性或陰性描述病變或非病變，其判斷的正確性可以用真或假表示。準(zhǔn)確率、召回率、精確率的公式表示如下：

Accuracy=［（TP+TN）/（TP+TN+FP+FN）］×100%[JZ）][JY]（14）

Recall=TPR=［TP/（TP+FN）］×100%[JZ）][JY]（15）

Precision=［TP/（TP+FP）］×100%[JZ）][JY]（16）

3.4模型對比分析

本文使用4種不同的分類網(wǎng)絡(luò)（VGG16、InceptionV3、ResNet50、DenseNet121）驗證在經(jīng)過數(shù)據(jù)增強之后的MURA當(dāng)中肱關(guān)節(jié)的分類識別效果。訓(xùn)練過程和訓(xùn)練超參數(shù)在所有網(wǎng)絡(luò)上保持完全一致，并保存了每個網(wǎng)絡(luò)的最佳模型。接著，使用肱關(guān)節(jié)數(shù)據(jù)集對這些模型進行訓(xùn)練，使用相同的參數(shù)設(shè)置，包括BatchSize為16、Epoch為50、學(xué)習(xí)率為0.0001，均使用交叉熵損失函數(shù)和Adam優(yōu)化器。

將本文提出的模型經(jīng)訓(xùn)練后，對20%的樣本進行測試，訓(xùn)練和測試過程的Loss曲線如圖5所示。從圖5中可知，模型經(jīng)過訓(xùn)練，在訓(xùn)練集和測試集上都展現(xiàn)出了較好的學(xué)習(xí)能力，損失曲線逐漸下降并趨于穩(wěn)定。盡管在測試集上的損失略高于訓(xùn)練集，差距僅為0.2，表明模型在未見過的數(shù)據(jù)上仍然保持了相對良好的泛化能力。為了驗證本文算法的有效性和優(yōu)越性，將本文所提出的模型與其他基線模型進行對比和消融實驗對比。首先在同一數(shù)據(jù)集上分別與傳統(tǒng)的基線模型VGG16、InceptionV3、ResNet50、DenseNet121進行對比，表3為本文算法與其他基線模型的算法比較結(jié)果。

從表3中的數(shù)據(jù)可以看出，本文方法性能表現(xiàn)出顯著優(yōu)勢，準(zhǔn)確率達到96.26％、召回率達到95.49%，精確率達到96.94%。準(zhǔn)確率比基線模型VGG16、InceptionV3、ResNet50、DenseNet121依次提高了10.77%、8.69%、4.48%、2.93%。

從圖6中可以看出，針對模型參數(shù)量而言，VGG16的參數(shù)量最大，本文模型參數(shù)量僅是它的4.04%，相對于其他模型而言，參數(shù)量也較小，這得益于EfficientNet網(wǎng)絡(luò)本身及復(fù)合知識蒸餾的效果，充分驗證了本文模型的有效性。

上述實驗僅僅對MURA當(dāng)中的肱關(guān)節(jié)數(shù)據(jù)集進行實驗對比，為了更好地驗證所提出模型在其他數(shù)據(jù)集上的遷移能力和性能，以同樣的方法，對MURA當(dāng)中的其他類別的數(shù)據(jù)集進行了訓(xùn)練和測試。

為了全面評估本文模型的性能，將其應(yīng)用于MURA數(shù)據(jù)集中的其他多個關(guān)節(jié)部位，包括指關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、尺關(guān)節(jié)、肩關(guān)節(jié)和掌關(guān)節(jié)進行訓(xùn)練和測試，求出每一種數(shù)據(jù)集的相關(guān)測試評價指標(biāo)的數(shù)值。將該模型在每一種數(shù)據(jù)集上針對相同的評價指標(biāo)得到的數(shù)值做平均，即該模型在不同數(shù)據(jù)集上針對相同評價指標(biāo)的測試結(jié)果的均值。采用同樣的方法求得VGG16、InceptionV3、ResNet50、DenseNet121在MURA的其他數(shù)據(jù)集上的均值，如圖7所示，總體性能情況與單一肱關(guān)節(jié)數(shù)據(jù)集的測試結(jié)果一致，本文模型依然能夠表現(xiàn)出優(yōu)異的遷移能力和性能。

將本文的復(fù)合知識蒸餾（CKD）方法與當(dāng)前其他先進的蒸餾方法在肱關(guān)節(jié)數(shù)據(jù)集上進行實驗比較，結(jié)果如表4所示。相較于SsD＼|KD［30］、CRCKD［31］、GluNumNet［32］、Alex/2_ViT［33］，本文算法的準(zhǔn)確率、召回率、精確率都具有明顯的提升，其中準(zhǔn)確率相較于它們依次提高了15.36%、13.22%、5.93%、1.23%。由圖8可知，與SsD＼|KD相比，本文算法的模型參數(shù)量增加了約0.5倍；與CRCKD、GluNumNet、Alex/2_ViT相比，本文算法的參數(shù)量有明顯的降低，參數(shù)量減少了39.78%、70.24%、81.94%，并且在降低模型參數(shù)量的同時提升了模型的性能。

3.5消融實驗

為進一步分析各個模塊的作用，分別用EfficientNet＼|B0、EfficientNet＼|B7、自蒸餾（SKD）、知識蒸餾（KD）以及本文方法復(fù)合知識蒸餾（CKD）對同一數(shù)據(jù)集（肱關(guān)節(jié)數(shù)據(jù)集）進行消融實驗，并利用相關(guān)評價指標(biāo)對實驗結(jié)果進行對比，結(jié)果如表5所示。從表5中的數(shù)據(jù)可以看出，EfficientNet＼|B0是EfficientNet系列中參數(shù)量最低的網(wǎng)絡(luò)，其準(zhǔn)確率達到了較好的水平，結(jié)果為85.86%。EfficientNet＼|B0通過自蒸餾，得以充分利用單模型訓(xùn)練，節(jié)約了計算的內(nèi)存和資源。自蒸餾使得學(xué)生模型可以從自己的輸出中學(xué)習(xí)到教師模型的知識，并逐漸提高了自身的性能，準(zhǔn)確率也提升至92.74%，從而在資源有限的設(shè)備上實現(xiàn)較好的性能，但容易造成過擬合的現(xiàn)象。通過知識蒸餾，本實驗采用的離線蒸餾將訓(xùn)練好的模型用作測試，并將其遷移至移動設(shè)備上，能夠大大節(jié)省設(shè)備的占用資源，對于自蒸餾而言，知識蒸餾的準(zhǔn)確率也提升至93.53%。學(xué)生模型在訓(xùn)練時充分利用了教師模型的知識，提高學(xué)生模型的泛化能力，尤其在數(shù)據(jù)較少的情況下的表現(xiàn)更好，但是存在學(xué)生模型過于依賴教師模型的現(xiàn)象。因此，本文提出的復(fù)合知識蒸餾方法結(jié)合了二者的優(yōu)勢，并彌補了各自的不足。蒸餾模型的共同點均是利用小模型達到大模型所具有的優(yōu)勢，從而實現(xiàn)模型壓縮與效能提升的雙重目標(biāo)。

消融實驗各模型參數(shù)量比較如圖9所示，本文提出的復(fù)合知識蒸餾方法較Efficient＼|Net＼|B0、自蒸餾、知識蒸餾的模型參數(shù)量略微增加，但其模型性能卻有了明顯的提升，準(zhǔn)確率達到了96.26%，較EfficientNet＼|B0、自蒸餾、知識蒸餾分別提高了12.11%、3.80%和2.92%。此外，本文提出的復(fù)合知識蒸餾方法的模型參數(shù)量僅為EfficientNet＼|B7的8.48%，但其準(zhǔn)確率卻只相差1.16%，模型性能可與之相媲美。

3.6不同的超參數(shù)對模型性能的影響

蒸餾模型的性能在很大程度上受到超參數(shù)α和蒸餾溫度T的影響，同時本文提出的復(fù)合知識蒸餾方法中含有自蒸餾模型，其中采用的是漸進式自蒸餾模型，超參數(shù)α是隨著訓(xùn)練的次數(shù)變化而變化的，受αT和Epoch的影響，設(shè)置αT為0.8，設(shè)置Epoch為50。為了對比不同的超參數(shù)對蒸餾模型性能的影響，上述實驗是在α=0.85、T=3的條件下進行測試的。同理，在肱關(guān)節(jié)數(shù)據(jù)集上對本文模型進行對比，可以在一定范圍內(nèi)得出最佳的性能，如表6所示。從表6中的數(shù)據(jù)可知，隨著α和蒸餾溫度T的不斷增大，其模型的測試準(zhǔn)確率大致呈現(xiàn)逐漸上升的趨勢，但也發(fā)現(xiàn)，超參數(shù)不是越大越好，在蒸餾溫度為7時，蒸餾效果就不如3和5。其中，當(dāng)蒸餾溫度為5、α為0.85時，本文模型的準(zhǔn)確率高達97.13%，與EfficientNet＼|B7相媲美。同時，表6中的數(shù)據(jù)是在有限的參數(shù)設(shè)定下的結(jié)果，要想探索更優(yōu)的效果，可以采用更加系統(tǒng)的方法進行搜索，如網(wǎng)格搜索法等。

4結(jié)論（Conclusion）

針對醫(yī)學(xué)影像診斷領(lǐng)域因設(shè)備存儲有限等導(dǎo)致模型診斷結(jié)果不理想的問題，本文提出一種復(fù)合知識蒸餾方法。選用EfficientNet作為主干網(wǎng)絡(luò)，為了提高模型的性能和減少設(shè)備資源占用，引入了知識蒸餾的思想，選用模型較大、性能優(yōu)的EfficientNet＼|B7作為教師模型，選用模型較小、性能優(yōu)的EfficientNet＼|B0作為學(xué)生模型。此外，研究人員對學(xué)生模型采用了漸進式自蒸餾方法，旨在更好地挖掘數(shù)據(jù)特征。本文綜合了二者的優(yōu)勢，知識蒸餾使得復(fù)雜模型的精華能夠被傳遞給學(xué)生模型，使得簡單模型能夠在保持較低計算資源消耗的情況下，達到接近復(fù)雜模型的性能。漸進式自蒸餾則通過引入“偽標(biāo)簽”進行自我訓(xùn)練，不斷地提升模型在未標(biāo)記數(shù)據(jù)上的表現(xiàn)，從而加強了其泛化能力。然而，本文方法也存在一些缺陷，主要是本文模型的性能與超參數(shù)（T、α、αT等）的設(shè)置有緊密聯(lián)系，但在選擇和調(diào)整超參數(shù)時方法相對局限，因此未來工作應(yīng)重點解決如何通過更加簡單有效的方法調(diào)整超參數(shù)以獲得最佳性能。此外，還可以探索更好的模型輕量化方法，不斷提升模型的性能和降低模型的復(fù)雜度。

參考文獻（References）

［1］趙曉陽，許樹林，潘為領(lǐng)，等.公共人工智能平臺在膝關(guān)節(jié)骨性關(guān)節(jié)炎分期中的應(yīng)用［J］.實用臨床醫(yī)藥雜志，2022，26（8）：22＼|26.

［2］JOSHID，SINGHTP.AsurveyoffracturedetectiontechniquesinboneX＼|rayimages［J］.Artificialintelligencereview，2020，53（6）：4475＼|4517.

［3］HGEM，WHLINGT，NOWAKW.Aprimerformodelselection：thedecisiveroleofmodelcomplexity［J］.Waterresourcesresearch，2018，54（3）：1688＼|1715.

［4］LISL，ZHANGXJ.ResearchonorthopedicauxiliaryclassificationandpredictionmodelbasedonXGBoostalgorithm［J］.Neuralcomputingandapplications，2020，32（7）：1971＼|1979.

［5］SEIBOLDM，MAURERS，HOCHA，etal.Real＼|timeacousticsensingandartificialintelligenceforerrorpreventioninorthopedicsurgery［J］.Scientificreports，2021，11（1）：3993.

［6］DIPALMAJ，SURIAWINATAAA，TAFELJ，etal.Resolution＼|baseddistillationforefficienthistologyimageclassification［J］.Artificialintelligenceinmedicine，2021，119：102136.

［7］PIZERSM，AMBURNEP，AUSTINJD，etal.Adaptivehistogramequalizationanditsvariations［J］.Computervision，graphics，andimageprocessing，1987，39（3）：355＼|368.

［8］TANMX，LEQV.EfficientNet：Rethinkingmodelscalingforconvolutionalneuralnetworks［EB/OL］.（2020＼|09＼|11）［2024＼|02＼|04］.https：∥doi.org/10.48550/arXiv.1905.11946.

［9］WANGJJ，LUOJW，HOUNYEAH，etal.Adecoupledgenerativeadversarialnetworkforanteriorcruciateligamenttearlocalizationandquantification［J］.Neuralcomputingandapplications，2023，35（26）：19351＼|19364.

［10］RINISHAB，SULOCHANAW，KUMARAW.Awavelettransformandneuralnetworkbasedsegmentationclassificationsystemforbonefracturedetection［J］.Optik，2021，236：166687.

［11］SEZERA，SEZERHB.Deepconvolutionalneuralnetwork＼|basedautomaticclassificationofneonatalhipultrasoundimages：anoveldataaugmentationapproachwithspecklenoisereduction［J］.Ultrasoundinmedicine&biology，2020，46（3）：735＼|749.

［12］BIENN，RAJPURKARP，BALLRL，etal.Deep＼|learning＼|assisteddiagnosisforkneemagneticresonanceimaging：developmentandretrospectivevalidationofMRNet［J］.PLoSmedicine，2018，15（11）：e1002699.

［13］LINL，DOUQ，JINYM，etal.DeeplearningforautomatedcontouringofprimarytumorvolumesbyMRIfornasopharyngealcarcinoma［J］.Radiology，2019，291（3）：677＼|686.

［14］AKCAYS，KUNDEGORSKIME，WILLCOCKSCG，etal.UsingdeepconvolutionalneuralnetworkarchitecturesforobjectclassificationanddetectionwithinX＼|raybaggagesecurityimagery［J］.IEEEtransactionsoninformationforensicsandsecurity，2018，13（9）：2203＼|2215.

［15］KRIZHEVSKYA，SUTSKEVERI，HINTONGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks［J］.CommunicationsoftheACM，2017，60（6）：84＼|90.

［16］SIMONYANK，ZISSERMANA.Verydeepconvolutionalnetworksforlarge＼|scaleimagerecognition［EB/OL］.（2015＼|04＼|10）［2024＼|02＼|04］.https：∥doi.org/10.48550/arXiv.1409.1556.

［17］HEKM，ZHANGXY，RENSQ，etal.Deepresidual&nbdRHaOJtq8GNN55+t29kdY4b8gAUIKn+2z1cHgDXawM=bsp;learningforimagerecognition［C］∥IEEE.ProceedingsoftheIEEE：2016IEEEConferenceonComputerVisionandPatternRecognition.Piscataway：IEEE，2016：770＼|778.

［18］SZEGEDYC，LIUW，JIAYQ，etal.Goingdeeperwithconvolutions［C］∥IEEE.ProceedingsoftheIEEE：2015IEEEConferenceonComputerVisionandPatternRecognition.Piscataway：IEEE，2015：1＼|9.

［19］HUANGG，LIUZ，VANDML，etal.Densely?;connectedconvolutionalnetworks［C］∥IEEE.ProceedingsoftheIEEE：2017IEEEConferenceonComputerVisionandPatternRecognition.Piscataway：IEEE，2017：2261＼|2269.

［20］HINTONG，VINYALSO，DEANJ.Distillingtheknowledgeinaneuralnetwork［EB/OL］.（2015＼|03＼|09）［2024＼|02＼|04］.https：∥doi.org/10.48550/arXiv.1503.02531.

［21］ROMEROA，BALLASN，KAHOUSE，etal.Fitnets：Hintsforthindeepnets［EB/OL］.（2015＼|03＼|27）［2024＼|02＼|04］.https：∥doi.org/10.48550/arXiv.1412.6550.

［22］ZAGORUYKOS，KOMODAKISN.Payingmoreattentiontoattention：Improvingtheperformanceofconvolutionalneuralnetworksviaattentiontransfer［EB/OL］.（2017＼|02＼|12）［2024＼|02＼|04］.https：∥doi.org/10.48550/arXiv.1612.03928.

［23］魏淳武，趙涓涓，唐笑先，等.基于多時期蒸餾網(wǎng)絡(luò)的隨訪數(shù)據(jù)知識提取方法［J］.計算機應(yīng)用，2021，41（10）：2871＼|2878.

［24］劉明靜.基于多教師知識蒸餾改進策略的醫(yī)學(xué)圖像分類方法研究［D］.天津：天津大學(xué)，2020.

［25］[JP3]李宜儒，羅健旭.一種基于師生間注意力的AD診斷模型［J］.華東理工大學(xué)學(xué)報（自然科學(xué)版），2023，49（4）：583＼|588.

［26］HAHNS，CHOIH.Self＼|knowledgedistillationinnaturallanguageprocessing［EB/OL］.（2019＼|08＼|02）［2024＼|02＼|04］.https：∥doi.org/10.48550/arXiv.1908.01851.

［27］KANGM，MUNJ，HANB.Towardsoracleknowledgedistillationwithneuralarchitecturesearch［J］.ProceedingsoftheAAAIconferenceonartificialintelligence，2020，34（4）：4404＼|4411.

［28］ZHANGHB，LIANGWN，LICX，etal.DCML：deepcontrastivemutuallearningforCOVID＼|19recognition［J］.Biomedicalsignalprocessingandcontrol，2022，77：103770.

［29］KIMK，JIB，YOOND，etal.Self＼|knowledgedistillationwithprogressiverefinementoftargets［C］∥IEEE.ProceedingsoftheIEEE：2021IEEE/CVFInternationalConferenceonComputerVision.Piscataway：IEEE，2021：6547＼|6556.

［30］WANGYW，WANGYH，CAIJY，etal.SSD＼|KD：aself＼|superviseddiverseknowledgedistillationmethodforlightweightskinlesionclassificationusingdermoscopicimages［J］.Medicalimageanalysis，2023，84：102693.

［31］XINGX，HOUY，LIH，etal.Categoricalrelationpreservingcontrastiveknowledgedistillationformedicalimageclassification［C］∥Springer.ProceedingsoftheSpringer：MedicalImageComputingandComputerAssistedIntervention＼|MICCAI2021：24thInternationalConference，Strasbourg，F(xiàn)rance，September27＼|October1，2021，Proceedings，PartV.Piscataway：SpringerInternationalPublishing，2021：163＼|173.

［32］LIGY，WANGXH.Multi＼|branchlightweightresidualnetworksforhandwrittencharacterrecognition［J］.Computerengineeringandapplications，2023，59（5）：115＼|121.

［33］LENGB，LENGM，GEMF，etal.Knowledgedistillation＼|baseddeeplearningclassificationnetworkforperipheralbloodleukocytes［J］.Biomedicalsignalprocessingandcontrol，2022，75：103590.

作者簡介：

王烤（1998＼|），男，碩士生。研究領(lǐng)域：控制理論與應(yīng)用，深度學(xué)習(xí)，圖像處理。

吳欽木（1975＼|），男，博士，教授。研究領(lǐng)域：控制理論與應(yīng)用，電動汽車傳動控制，電驅(qū)動系統(tǒng)效率優(yōu)化和故障診斷，深度學(xué)習(xí)。