朱永正，張吉，程奇，于慧瀟，鄧愷飛，張建華，秦志強，趙建，孫俊紅，黃平，

1.山西醫(yī)科大學法醫(yī)學院，山西 太原 030001；2.司法鑒定科學研究院 上海市法醫(yī)學重點實驗室 司法部司法鑒定重點實驗室 上海市司法鑒定專業(yè)技術(shù)服務(wù)平臺，上海 200063；3.貴州醫(yī)科大學法醫(yī)學院，貴州 貴陽 550000；4.徐州醫(yī)科大學法醫(yī)學教研室，江蘇 徐州 221004；5.廣州市刑事科學技術(shù)研究所 法醫(yī)病理學公安部重點實驗室，廣東 廣州 510442

溺死是世界范圍內(nèi)第三大意外死亡原因[1-2]，在法醫(yī)學實踐中，由于受到尸體腐敗和水中生物破壞的影響，溺死的診斷極具挑戰(zhàn)性[3-5]。硅藻，一種廣泛棲息于水生環(huán)境的浮游生物，會在溺水過程中隨著溺液被吸入肺組織，并通過肺泡壁-毛細血管屏障進入血液循環(huán)，分布到肝、腎等其他實質(zhì)器官[6-7]。因此，硅藻檢驗被視為輔助溺死診斷的“金標準”，是主要的實驗室檢驗方法[5，8-9]。然而傳統(tǒng)硅藻檢驗方法需要專業(yè)人員利用光鏡或電子顯微鏡對硅藻進行觀察和計數(shù)，耗費了大量時間和精力，且檢驗結(jié)果具有一定的主觀性[10-11]。

近年來，有關(guān)人工智能（artificial intelligence，AI）領(lǐng)域中深度學習（deep learning，DL）的研究發(fā)展迅速，在目標檢測、圖像分類等任務(wù)上取得了不錯的成績[12]，已被廣泛應用于醫(yī)學圖像識別[13-14]。在法醫(yī)學硅藻檢驗領(lǐng)域，已有學者[15]利用DL 實現(xiàn)了硅藻的自動化檢驗，使檢驗更加高效、準確。在目前的研究中，主要應用DL 中卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）兩大算法，即目標檢測算法和圖像分類算法，來實現(xiàn)涂片背景中硅藻的自動化分析。目標檢測算法通過獲取背景中硅藻的候選框進行識別和分類，代表算法有R-CNN、Fast R-CNN、Faster RCNN、RetinaNet 等[16-20]。圖像分類算法是將圖片中的“硅藻”和“背景”進行分類標注，通過輸出圖片的分類標簽概率來實現(xiàn)硅藻的識別和分類，代表算法有AlexNet、VGG、ResNet、Inception 和 Inception-ResNet 等[12，21-22]。

ZHOU 等[23-24]先后將DL 技術(shù)應用于法醫(yī)學硅藻檢驗，即通過InceptionV3 算法、數(shù)字化全切片圖像（whole slide image，WSI）技術(shù)和強酸消化法的聯(lián)用對組織消化液涂片中的硅藻進行自動化識別和分類，其識別準確率及種屬分類準確率分別已達到甚至超過法醫(yī)病理學家人工識別診斷的水平?；谏鲜鲅芯砍晒?，本團隊現(xiàn)已獲授權(quán)相關(guān)國家發(fā)明專利（授權(quán)號CN 110851632 B）[25]并獨立開發(fā)出一套智能化硅藻鑒識軟件系統(tǒng)，即DiatomNet V1.0[26]（軟件著作權(quán)登記號2021SR0337617），其能夠在400 倍光鏡下自動識別標準涂片（半徑大于1.5 cm）中的所有硅藻及其碎片，大幅度降低了人工識別所帶來的時間和精力成本。涉及涂片掃描（所需時間10 min 以內(nèi)）、數(shù)字化涂片預處理（所需時間8 min 左右）、自動化硅藻識別（所需時間5～6 min）、硅藻檢驗結(jié)果呈現(xiàn)、人工結(jié)果確認（所需時間約6 min）、檢測報告生成在內(nèi)的全底物硅藻檢驗僅需要30～40 min，最快可在25 min 左右完成。目前，該軟件已在司法鑒定科學研究院法醫(yī)病理學研究室進行測試，相關(guān)程序代碼優(yōu)化工作還在穩(wěn)步進行。

DL 模型是DiatomNet V1.0 的核心模塊，對于軟件自動化識別硅藻的能力起著舉足輕重的作用。為不斷優(yōu)化軟件的硅藻識別能力，探究最適合的算法模型，本研究采用小樣本量數(shù)據(jù)集（20 000 張圖片）對不同發(fā)展階段中具有代表性的4 種深度學習算法（VGG16、ResNet50、InceptionV3 和Inception-ResNet-V2）進行對比研究，探討各模型結(jié)構(gòu)、特征提取對硅藻識別性能的影響并明確最優(yōu)分類算法，旨在為國內(nèi)外從事法醫(yī)學自動化硅藻檢驗研究的學者們提供算法選擇方面的數(shù)據(jù)參考。

1 材料與方法

1.1 組織消化液涂片制備

為了訓練和評估各DL 算法在真實溺死樣本中的性能，本研究根據(jù)《人體組織器官中硅藻硝酸破機法檢驗》（GA/T 813—2008）[27]采用硝酸破機法分別對9例溺死尸體肺組織進行硅藻提取并制作成組織消化液涂片。具體步驟如下：提取死者左肺上葉并用超純水進行清洗，隨后在肺邊緣區(qū)域切取15 g 組織。為避免取材過程中出現(xiàn)交叉污染，上述操作使用一次性耗材及經(jīng)蒸餾水反復清洗后的器具。將提取的組織切碎置于強酸溶液內(nèi)，待其消化至澄清時，取10 mL 消化液高速離心10 min（離心半徑12.7 cm，4 000 r/min），棄上清液，將沉淀液均勻涂布于載玻片上。每個案例制作3 張涂片，共27 張。經(jīng)本研究質(zhì)量控制后從中剔除4 張不合規(guī)涂片。本研究經(jīng)司法鑒定科學研究院倫理委員會審核批準，涉及的人體標本均已獲得死者家屬的知情同意。

1.2 數(shù)據(jù)集建立

將尸體組織消化液涂片載入Aperio AT2 高通量切片掃描儀（美國Leica 公司）內(nèi)進行數(shù)字化全切片掃描，掃描倍數(shù)為400，文件格式為svs（https://openslide.org/demo/）。應用python 3.9.2 軟件以像素255×255 對虛擬涂片進行分割。分割后的圖片由2 名經(jīng)驗豐富的法醫(yī)病理學專家進行注釋、分類。收集包含我國主要淡水硅藻種屬（小環(huán)藻屬、直鏈藻屬、菱形藻屬、舟形藻屬、橋彎藻屬、異極藻屬等）的“硅藻”及“背景”樣本，建立模型校正數(shù)據(jù)庫。在23 張涂片中，分別標記了11 364 張硅藻和10 047 張背景樣本。為方便數(shù)據(jù)集的劃分，數(shù)據(jù)庫內(nèi)保留“硅藻”和“背景”樣本各10 000 張。按6∶2∶2 的比例將數(shù)據(jù)集分為訓練集、驗證集和測試集。為了保證模型的識別具有旋轉(zhuǎn)和平移不變性，本研究對訓練、驗證集樣本進行90°、180°、270°旋轉(zhuǎn)和直方圖歸一化處理（圖1），進一步擴充了數(shù)據(jù)庫樣本。根據(jù)損失函數(shù)，將訓練集用于迭代校正模型參數(shù)，驗證集則在每次迭代訓練過程中用于動態(tài)評估CNN模型的性能，測試集則用于訓練、優(yōu)化后模型的獨立性評估。測試集結(jié)果一般會低于訓練和驗證結(jié)果，但更接近于模型的真實效能及泛化能力。

圖1 數(shù)據(jù)增強后的模型訓練數(shù)據(jù)集Fig.1 Model training data set after data enhancement

1.3 模型訓練

VGG16、ResNet50、InceptionV3、Inception-ResNet-V2 4 種模型的架構(gòu)詳見圖2。為加速模型訓練收斂及防止過擬合現(xiàn)象的出現(xiàn)，本研究使用遷移學習的方法對模型進行預訓練，預訓練數(shù)據(jù)集來自ImageNet 數(shù)據(jù)庫（https://image-net.org/index.php），包含了1 000 個目標分組的128 萬張圖片[28]。在訓練過程中，主要參考驗證集準確率和損失函數(shù)值。隨著訓練的迭代增加，模型逐漸趨于擬合，相應驗證集準確率和損失函數(shù)值不再隨之發(fā)生遞增和遞減。如出現(xiàn)相反情況，則提示有過擬合的情況發(fā)生。因此，在過擬合出現(xiàn)前，選取準確率最高或損失函數(shù)值最低的模型作為最優(yōu)解。訓練參數(shù)如下：學習率為0.001，單次訓練圖片64張，迭代次數(shù)上限設(shè)為150次，優(yōu)化器為Adadelta。模型的訓練在Ubuntu 18.04 系統(tǒng)下完成，計算機工作站參數(shù)配置如下：CPU（Intel Xeon 6 132×2），GPU 顯卡（nVIDIA GeForce RTX2080Ti×2），128 G 內(nèi)存。模型代碼在python 3.6.5 環(huán)境下運行，軟件模塊包括Tensorflow、OpenCV、Numpy、Pandas 和Sklearn。

圖2 4 種DL 圖像分類模型模式圖Fig.2 Flowchart of four DL image classification models

1.4 模型效能評價及比較

根據(jù)繪制受試者工作特征（receiver operating characteristic，ROC）曲線，計算其曲線下面積（area under curve，AUC）值。為了能夠真實、全面地評估各項指標參數(shù)且不刻意優(yōu)化單項指標結(jié)果[如召回率（recall rate，RR）或查準率（precision rate，PR）]，本研究訓練模型的ROC 概率閾值固定為0.5。根據(jù)這一閾值統(tǒng)計模型在測試集預測中的真陽性（true positive，TP）數(shù)量、假陽性（false positive，F(xiàn)P）數(shù)量、真陰性（true negative，TN）數(shù)量、假陰性（false negative，F(xiàn)N）數(shù)量，并據(jù)此計算硅藻識別的RR、PR、F1 分數(shù)、特異性（specificity，S）及準確率（accuracy rate，AR）用于比較和評估4 種模型架構(gòu)的識別性能。各評估指標參數(shù)描述如下：

1）召回率

召回率也稱為敏感性（sensitivity）、查全率，且查全率應用于硅藻檢驗的模型評估中更為切合，即識別正確的“硅藻”占樣本中總硅藻的百分比，反映了硅藻識別的檢出率，

2）查準率

查準率也稱為精確率，且查準率應用于硅藻檢驗的模型評估中更為切合，主要是指真實硅藻在模型識別樣本中的百分比，反映了硅藻識別的正確率，

3）特異性

特異性即識別正確的“背景”占樣本中總背景的百分比，反映模型對背景樣本的鑒別能力，

4）準確率

準確率即所有正確識別的“硅藻”和“背景”占總樣本的百分比，反映模型識別硅藻和背景的總體正確率，

5）F1 分數(shù)

F1 分數(shù)：靈敏度和精確率的調(diào)和平均數(shù)，反映模型硅藻識別的綜合性能，

（1）～（5）公式中，TP代表真陽性數(shù)量，即模型正確識別硅藻的樣本數(shù)量；TN代表真陰性數(shù)量，即模型正確識別背景的樣本數(shù)量；FP代表假陽性數(shù)量，即模型錯誤識別硅藻的樣本數(shù)量；FN代表假陰性數(shù)量，即模型錯誤識別背景的樣本數(shù)量。

1.5 模型硅藻識別的可視化及可解釋性分析

應用導向反向傳播（guided-back propagation，GBP）算法和梯度加權(quán)類激活映射（gradient-weighted class activation mapping，Grad-CAM）算法對模型單個樣本（中心綱及羽紋綱硅藻）預測能力進行可視化分析，明確模型所學習到的全部特征是否主要集中于硅藻區(qū)域。GBP 可對卷積核本身進行可視化，能夠“看到”模型較深卷積層所學習到的“硅藻”和“背景”的特征。Grad-CAM 可通過熱力圖顯示原始圖片的不同區(qū)域?qū)柙遄R別的“貢獻”程度，明確在硅藻識別中起關(guān)鍵作用的特征信息[29]。

2 結(jié)果

2.1 模型訓練

圖3 及表1 反映了4 種模型在訓練過程中準確率和損失函數(shù)值隨迭代次數(shù)增加而產(chǎn)生的變化?；贗nception 架構(gòu)的模型（包括InceptionV3 和Inception-ResNet-V2）訓練收斂速度明顯快于其他兩種模型。4 種模型的訓練集準確率均在99.50%以上。相較而言，InceptionV3 模型的驗證集準確率最高，Inception-ResNet-V2 和VGG16 模型次之，均在95.00%以上，ResNet50 的準確率最低，僅為94.00%。

表1 4 種模型的最優(yōu)模型性能指標Tab.1 Optimal performance of four models

圖3 4 種模型經(jīng)二階平滑處理的訓練準確率及損失函數(shù)曲線Fig.3 The accuracy and loss curves of four models after the 2nd order smoothing on training and validation

2.2 模型效能評價與比較

表2 和圖4～5 顯示，在模型測試過程中，InceptionV3 模型的硅藻識別性能優(yōu)于其他模型，其AUC（0.967）、準確率（91.30%）和特異性（92.80%）在4 種模型中最高，且同時具有較高的召回率（89.80%）、查準率（92.58%）和F1 分數(shù)（0.91），提示該模型在區(qū)分硅藻和背景方面均具有較強的鑒識能力。VGG16 和Inception-ResNet-V2 模型整體性能不如InceptionV3，但仍具備準確識別硅藻的能力，其AUC值均在0.900以上。其中，VGG16具有相對較高的硅藻篩選能力（召回率為84.65%），而Inception-ResNet-V2 硅藻識別精準率則相對較高（查準率為87.22%）。相較于InceptionV3，上述2個模型尚無法做到硅藻與背景鑒別能力的均衡。ResNet50模型各項評估指標最低。雖然其特異性（87.05%）和查準率（81.04%）尚可，但較低的召回率（55.35%）意味著幾乎一半的硅藻會被漏檢。

表2 4 種模型的硅藻識別性能參數(shù)Tab.2 Diatom identification performance parameters of four models

圖4 4 種最優(yōu)模型的ROC 曲線及其AUC 值Fig.4 The ROC curves and AUC values of 4 optimal models

圖5 4 種最優(yōu)模型的混淆矩陣、召回率和特異性Fig.5 The confusion matrixes，recall rate and specificity of 4 optimal models

2.3 模型硅藻識別可視化分析

如圖6 所示，應用Grad-CAM 和GBP 算法分別檢驗4 種模型對中心綱和羽紋綱硅藻的聚焦程度，4 種模型均在硅藻區(qū)域內(nèi)展現(xiàn)了較高的關(guān)注強度，提示其均通過訓練準確提取到了硅藻的形態(tài)學特征，但GBP結(jié)果反映InceptionV3 提取到的硅藻特征更多且集中，更有利于其準確分類。

圖6 應用Grad-CAM 和GBP 方法對4 種模型在中心綱及羽紋綱硅藻識別上的熱圖分析Fig.6 Heat map analysis of pennataes and centricaes identificated with 4 models by Grad-CAM and GBP methods

3 討論

近年來，深度學習技術(shù)發(fā)展迅速，已被廣泛應用于醫(yī)學圖像識別[13-14]。在法醫(yī)學硅藻檢驗領(lǐng)域，已有學者利用CNN 中的目標檢測算法和圖像分類算法實現(xiàn)了硅藻的自動化檢驗，較傳統(tǒng)人工檢驗方法更高效、準確[15]。然而，目前的研究主要集中于單一算法在自動化硅藻檢驗上的實現(xiàn)和應用，缺乏各算法間的系統(tǒng)性比較研究。本研究選擇了CNN 圖像分類算法中復雜性和準確性較為均衡的4 種模型（VGG16、ResNet50、InceptionV3 和Inception-ResNet-V2）進 行硅藻的自動識別，并基于小樣本數(shù)據(jù)量進行模型的訓練、評估，探究他們在硅藻識別上的適用性，為國內(nèi)外從事法醫(yī)學自動化硅藻檢驗研究的學者提供一定的數(shù)據(jù)參考。

在眾多模型評估指標中，召回率和查準率主要決定著模型是否能夠真正應用于實踐。較低的召回率會造成大量硅藻的漏檢；而低查準率則會導致大量無效備選圖片的生成，掃描半徑越大，其對人工確認的負擔也就越大，試想從數(shù)百、數(shù)千甚至數(shù)萬張圖片中（尤其是肝、腎組織）挑選少量硅藻，隨之所產(chǎn)生的工作量無異于人工識別。因此，為了能夠兼顧召回率和查準率2 項指標，往往需要額外計算F1 分數(shù)值用于綜合判斷模型的實際預測能力。

經(jīng)過對最優(yōu)模型的選擇和外部測試，4 種模型對硅藻均具有一定的識別能力，且以硅藻區(qū)域為主要識別依據(jù)（圖6），但InceptionV3 模型明顯優(yōu)于其他模型，較高的F1 分數(shù)值提示該模型具有更為全面的識別性能，這主要得益于其獨特的Inception 結(jié)構(gòu)，可將一個n×n的卷積核拆解成n×1 和1×n個，在保持高性能計算的同時增加了網(wǎng)絡(luò)的寬度和深度，可讓模型靈活決定卷積核的大小，在一定程度上降低了訓練參數(shù)的規(guī)模，從而有效提升了運算速度[30]。此外，InceptionV3 深且簡單的模型架構(gòu)，使其不易產(chǎn)生過擬合和梯度彌散等問題，能夠更好、更準確地對目標物特征進行抽象化提取。

ResNet50 是這4 種模型中性能最差的，其召回率僅為55.35%，對法醫(yī)學硅藻檢驗來說，意味著有一半的硅藻將會被漏檢。此外，GBP 熱圖分析發(fā)現(xiàn)，該模型提取到的特征較為分散，特征數(shù)量也相對較少。ResNet 模型架構(gòu)主要是基于殘差學習的思想，可在訓練過程中將部分參數(shù)信息以跳躍性的方式進行傳輸，在一定程度上保護了參數(shù)信息的完整性，省去了中間繁瑣的參數(shù)調(diào)整過程，極大地簡化了學習目標和難度系數(shù)[31]。然而，可能正是這種殘差學習方式，使得該模型沒有學習到硅藻的關(guān)鍵形態(tài)學特征，間接導致其不能對涂片中的硅藻進行準確識別。

Inception-ResNet-V2 和VGG16 模型具有較好的硅藻識別性能，在GBP 熱圖分析中，Inception-ResNet-V2 比VGG16 提取到的特征更靶向集中于硅藻，且硅藻的分類特征更多，但二者在硅藻識別上都無法兼顧硅藻查全和查準性能。VGG16 對硅藻識別的特異性較低，會有很多的“背景”被誤檢；而Inception-ResNet-V2 模型對硅藻識別的召回率較低，會有很多的“硅藻”被漏檢。從模型本身因素考慮，VGG16 是這4 種算法中結(jié)構(gòu)最為簡單的模型，常用于圖像特征的提取、目標檢測候選框的生成，但其最大的問題在于訓練參數(shù)過多，約有1.38 億個，更容易產(chǎn)生過擬合現(xiàn)象[21]。由于VGG 模型具有搭建簡單、硬件要求低及性能適中的優(yōu)點，因此，其更合符合小批量、簡單樣本的訓練；Inception-ResNet-V2 是在Inception 結(jié)構(gòu)的基礎(chǔ)上引入了殘差網(wǎng)絡(luò)的思想，將淺層特征通過另外一條分支累加至更為高層的特征結(jié)構(gòu)中，使得部分特征信息得以重復利用，有效避免了深層網(wǎng)絡(luò)梯度彌散的問題[22]。與ResNet50 相似的是，該模型仍有可能會漏掉部分必要形態(tài)學特征，但自身存在的Inception 結(jié)構(gòu)使其繼承了InceptionV3 部分特征提取的優(yōu)勢，因此，Inception-ResNet-V2 模型整體性能介于InceptionV3 和ResNet50 之間。

在法醫(yī)學自動化硅藻檢驗中，主要用到以CNN為核心的圖片分類算法和目標檢測算法。本研究結(jié)果發(fā)現(xiàn)，InceptionV3 的各項評估指標（如查準率、召回率、F1 分數(shù)等）幾乎均達到了90%或以上，如進行更大樣本量的訓練（如DiatomNet V1.0 中的模型）其效能將會得到進一步提升。就本研究結(jié)果而言，InceptionV3 模型的效能（F1 分數(shù)0.91，查準率92.58%，召回率89.89%，概率閾值0.5）均高于已發(fā)表的目標檢測算法，如KRAUSE 等[32]的自建模型（F1 分數(shù)0.82，查準率77%，召回率87%）、RUIZ-SANTAQUITERIA等[33]的Mask R-CNN（F1 分數(shù)0.85，查準率85%，召回率86%）、BUENO 等[34]的YOLO（F1 分數(shù)0.78，查準率75%，召回率84%）。此外，本研究所采用的數(shù)字化WSI 掃描技術(shù)能夠在數(shù)分鐘內(nèi)獲取整張涂片的數(shù)據(jù)，結(jié)合InceptionV3 的高性能分類能力，使得DiatomNet V1.0 無論在時間消耗、檢測準確率、人工確認負擔等方面均具有突出的優(yōu)勢，具有一定的實際應用前景。然而，不可否認的是，該系統(tǒng)主要基于傳統(tǒng)光鏡識別，放大倍數(shù)僅400 倍，難以對硅藻種屬進行準確判斷。盡管ZHANG 等[24]的動物實驗證實基于InceptionV3 模型的硅藻種屬分類方法能夠大致推斷出位于上海市黃浦江、蘇州河水域的溺水地點，但為了獲取更為精準的預測結(jié)果，仍需要基因測序、掃描電子顯微鏡等技術(shù)手段對硅藻種屬進行更為細致的分類。

綜上，通過對4 種模型的比較，InceptionV3 具有最優(yōu)的硅藻識別性能且能夠準確、靶向提取到硅藻特征，更適合應用于法醫(yī)學實踐。雖然Inception-ResNet-V2模型的硅藻識別性能一般，但其特征的提取也是集中于硅藻本身。由此得出，具有Inception 結(jié)構(gòu)的模型更適合硅藻識別任務(wù)。