杜金星 麻安鵬 王君 楊本娟

摘? 要： 深度學習技術在醫(yī)學圖像分析領域發(fā)展得非常好，但醫(yī)學圖像注釋成本高，使得深度學習技術在醫(yī)學圖像分析領域受到阻礙。主動學習算法是目前解決注釋成本高的一個研究熱點。文章介紹了在醫(yī)學圖像分析領域中采用主動深度學習降低注釋成本的技術手段和方法，以便相關人員了解目前的研究進展。最后對主動學習方法仍存在的問題和發(fā)展趨勢進行了總結和展望。

關鍵詞： 深度學習; 醫(yī)學圖像; 主動學習; 注釋成本

中圖分類號：TP751? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2021）02-08-04

Abstract： Deep learning technology has developed very well in the field of medical image analysis， but the high cost of medical image annotation hinders the application of deep learning technology in the field of medical image analysis. Active learning algorithm is a research hotspot to solve the problem of high annotation cost. This paper introduces the technical means and methods of using active deep learning to reduce annotation cost in the field of medical image analysis， so that the relevant personnel can understand the current research progress. Finally， the problems of active learning method are summarized and the development trend is prospected.

Key words： deep learning; medical image; active learning; annotation cost

0 引言

機器學習在醫(yī)學圖像分析中具有重要的地位。如醫(yī)學圖像的分類與識別、定位與檢測、組織器官與病灶分割等，這些任務幾乎都是由機器學習完成的。近幾年，深度學習作為機器學習的一種工具，在生物醫(yī)學圖像分析中成為研究熱點，有研究[1-2]聲稱，深度學習技術在醫(yī)學圖像分析領域可以達到甚至超越專家水平，但通常只有當目標任務有大量帶注釋的樣本時才會出現(xiàn)這種情況。然而，給醫(yī)學圖像注釋成本很高。主動學習是一種降低注釋成本的方法，目的是以迭代方式在每一輪選擇有價值的樣本專家標注，以最小化訓練數(shù)據(jù)實現(xiàn)最大化模型性能。目前很少在深度主動學習框架下對醫(yī)學圖像領域做總結，Tanwar等人[3]只對各種醫(yī)學圖像分析做了詳細綜述; yi等人[4]廣泛研究了generative adversarial networks （GAN）[5]在醫(yī)學圖像中的應用; Cheplygina等人[6]回顧了半監(jiān)督學習、多示例學習和遷移學習; Xie等人[7]總結了將深度學習技術應用在醫(yī)學圖像中; Hesamian等人[8]對醫(yī)學圖像分割進行研究;包昌宇等人[9]針對乳腺鉬靶圖像分類方法進行研究; Zhang等人[10]針對小數(shù)據(jù)量這一問題，總結可以解決的方法。

以下將從醫(yī)學深度主動學習框架中的關鍵部分介紹降低醫(yī)學圖像注釋成本方法、面臨的主要問題及改進措施，并展望未來，將深度學習技術完美應用到醫(yī)學影像的研究工作。

1 研究現(xiàn)狀

深度學習在醫(yī)學圖像分析中的應用越來越廣泛，如何降低醫(yī)學注釋成本非常重要。本文總將該框架劃分為四個主要部分進行介紹。

1.1 構建初始訓練樣本集

在運用主動學習策略挑選樣本之前，有一個具有一定精度的分類器很重要。因此在主動查詢策略之前必須對分類器進行初始訓練。比較常用的構建初始樣本方法是隨機抽樣 [14，26，28]。隨機抽樣可能會導致相似的圖像被抽取，使訓練集中存在冗余。為了克服這一問題，Smailagic[11]采用ORB（Oriented FAST and Rotated BRIEF， ORB）算法[12]構造初始訓練集，并將此方法應用于糖尿病視網膜病變（Diabetic retinopathy， DR），乳腺癌和皮膚癌的分類檢測。這種方法的目的是尋找彼此最不相似的圖像，從而覆蓋更大的區(qū)域，減少初始訓練樣本集中存在的冗余，降低注釋成本。

1.2 查詢策略

主動學習查詢策略在主動學習框架中占重要的地位，大部分有價值的樣本是由查詢策略篩選出來。目前，國內外許多研究機構或組織根據(jù)不確定性度量或代表性度量以及他們的各種組合提出許多有效的查詢策略。

1.2.1 不確定性度量查詢策略

用不確定度量作為主動學習查詢策略，挑選的樣本是不容易分類的樣本，這樣的樣本對深度模型貢獻大，可以提高模型性能。

Folmsbee等人[13]挑選不確定樣本的方法是由訓練有素的病理學專家對未標記樣本的模型輸出進行主觀比較。并將此方法在蘇木精和伊紅染色的全口癌切片的數(shù)字化圖像數(shù)據(jù)上與隨機抽樣方法對比，訓練精度至少提高3%。如Deng 等人[14]用最優(yōu)標號和次優(yōu)標號（Best vs second-best， BvSB）[15]選擇最不確定的訓練數(shù)據(jù)。BvSB是每個像素/樣本的最高兩類概率的差異作為不確定性度量。以磁共振（Magnatic Resonance， MR）腦組織分割為例，將該方法應用在IBSR18數(shù)據(jù)集和MRBrainS18進行了評價，結果表明，僅使用60%的訓練數(shù)據(jù)就可以獲得最優(yōu)的訓練效果。Konyushkova等人[16]提出一種利用圖像空間中的幾何平滑先驗來輔助分割過程的主動學習方法。他們使用傳統(tǒng)的不確定性度量來估計接下來應該注釋哪些像素，并在多類設置中引入了新的不確定性標準。

Yoo等人[17]提出一種不針對具體任務的不確定性度量方法。該方法在訓練一個任務的同時訓練一個損失預測模型，損失預測模型用于計算剩余未標記池中樣本的不確定性。Zhao等人[18]通過在深度模型的隱藏層中注入深度監(jiān)督，來減少注釋工作量和提高模型性能。在每一階段的末尾，根據(jù)最終掩膜與隱藏層掩膜的一致性作為主動學習的不確定性來選擇最有信息性樣本。將此方法應用在手指骨骼分割中與完整標注相比，僅使用43.16%的樣本就能獲得同樣的效果。Hemmer等人[19]通過將模型的softmax標準輸出替換為Dirichlet密度參數(shù)，通過捕獲高預測不確定性來有效的學習未標記數(shù)據(jù)。Li 等人[20]提出一個主動學習框架內的不確定性校正醫(yī)學圖像分割，通過不確定性查詢策略挑選區(qū)域或全部圖像。

1.2.2 不確定性度量+代表性度量查詢策略

主動學習每次只用不確定性策略批量的挑選的樣本可能存在冗余，因此再找一個可以覆蓋數(shù)據(jù)集有代表性樣本也很重要。

Smailagic等人[11]提出一種兩步查詢策略。首先用熵作為不確定性度量，去掉預測值低的未標記的樣本;然后將其余樣本用相似性度量尋找最不相似的樣本。在三種醫(yī)學圖像數(shù)據(jù)集上驗證，當訓練精度達到80%時，在不確定性查詢策略中加入代表性度量挑選的樣本比只用不確定查詢策略挑選樣本少32%。因此，從這些不確定樣本中選擇一個代表性的子集，可以降低注釋成本。同樣，Yang等人[22]提出一個建議注釋框架。第一階段是利用自舉方法挑選貢獻量大的樣本。訓練多個FCNs[23]深度模型，用這些模型預測平均方差來估計給定圖像的不確定性。第二階段在不確定樣本中用余弦相似性選擇有代表性的樣本，即從不確定樣本中尋找最不相似的樣本，進一步細化不確定圖像。在胰腺分割數(shù)據(jù)和淋巴結超聲圖像分割數(shù)據(jù)上評估了此方法，證明只使用50%的訓練數(shù)據(jù)就可以達到最先進的分割性能。Sourati等人[24]在深度網絡中首次提出了一種計算Fisher Information以保證查詢樣本多樣性的新方法。在此，通過傳播的梯度計算使得高效的計算能夠在的大參數(shù)空間上計算Fisher Information卷積。

1.2.3 動態(tài)查詢策略

文獻[8，12]的主動學習查詢策略從不確定樣本中選擇有代表性子集來減少冗余。然而主動查詢策略每次挑選的樣本與訓練的深度模型息息相關，可能會因為關注分布的小區(qū)域而將模型偏向于分布的特定區(qū)域，導致數(shù)據(jù)特征沒有挖掘出來。

Zhou等人[25]主動選擇策略中加入了隨機性，隨機選擇不依賴于模型，增強主動學習的魯棒性。除此，還可以探索不確定性和代表性的最佳組合方式作為主動學習查詢策略的方法。如Ozdemir等人[26]實現(xiàn)了一個改進版的建議性注釋框架。提出一種borda計數(shù)法，探索不確定度量和代表性度量的最佳組合選擇下一批樣本。此方法應用在醫(yī)學圖像肌肉分割數(shù)據(jù)中驗證，最終只使用整個訓練集的27%就可以達到基線精度。Kim等人[21，27]提出一種自信coreset主動學習方法。為了有效利用不確定性和多樣性的互補信息，在貪婪的K-center選擇算法中，利用置信度和最小距離合并來計算信息量。

1.3 人工注釋

主動學習從未標記的樣本中根據(jù)設定的規(guī)則挑選有價值樣本由醫(yī)學專家注釋，需要同時考慮樣本的質量、樣本的數(shù)量和醫(yī)學圖像的復雜度。例如MR（顱腦核磁共震檢查）腦組織分割，每張圖像不僅不同組織類別間灰度變化不大，還有著復雜的結構。這些注釋代價高昂且難以獲取。一個自然的想法是在生物醫(yī)學圖像分析中使用相對低成本的注釋來執(zhí)行這些復雜的任務。Deng等人[14]提供了一個注釋平臺。注釋者不需要注釋每個樣本的所有信息，只需要糾正模型預測錯誤的信息。Kuo等人[28]把主動學習當作0/1背包動態(tài)問題選擇樣本，來降低注釋成本。目標是選擇一批樣本進行注釋，使模型的不確定性最大化同時保持注釋成本低于給定閾值。Rajchl et al [29]研究了使用超級像素來加速注釋過程。該方法采用預處理步驟對每幅圖像進行超像素分割，然后利用非專業(yè)人員選取目標區(qū)域中的超像素進行標注。Zhang等人[30]針對三維醫(yī)學圖像分割提出一種稀疏注釋策略。首先在深度模型3D U-Net[31]中加入了注意力機制來提高分割準確度，同時估計每個切片的分割準確度;其次利用注意力機制估計分割的準確性為主動學習提供指導，由主動學習導出要標記的切片注釋;最后采用弱監(jiān)督訓練方法對具有片級稀疏標記訓練集的模型進行訓練。

1.4 更新分類器

用訓練數(shù)據(jù)更新分類器方法主要有兩種：一種是使用新獲取的注釋樣本和所有可用樣本對模型進行訓練（如文獻[11，26，28]）;另一種是用新注釋的樣本加上可用樣本的子集或只使用新注釋的樣本對模型進行訓練。Gorriz et al[32]用新標注的樣本，由模型自動偽標注樣本訓練模型。自動偽標注樣本每一輪會刪除，這樣做可以減少錯誤的偽標記樣本混亂模型。Zhou et al[25]用新注釋的樣本加上可用樣本的子集，這個子集是消除容易預測的樣本。這樣不僅因專注困難樣本而防止災難性遺忘，還可以自動平衡訓練數(shù)據(jù)集。

在更新模型時，用遷移學習還是重新訓練？文獻[26]將自然圖像訓練的深度模型遷移到醫(yī)學任務，在放射學、心臟病、胃腸病學三種醫(yī)學數(shù)據(jù)分別對模型進行充分微調，結果證明，遷移學習優(yōu)于從零開始訓練。Zhou et al [27]提出了一種增量微調的深度主動學習框架。用迭代方式將新注釋的樣本以增量方式注入訓練樣本，對深度模型進行持續(xù)微調。在三個生物醫(yī)學成像應用中評估了此的方法，證明這種方法注釋成本可以減少至少一半。

2 結束語

本文綜述了近年來基于主動學習的深度醫(yī)學圖像分析算法，這些算法在降低注釋成本中取得了很好的成果，但仍存在不足之處。如主動學習策略是人為設計的，醫(yī)學圖像標注成本并沒有達到最低。在注釋醫(yī)學數(shù)據(jù)如此昂貴的情況下，進一步降低冗余信息是非常有必要的。用強化學習來學習一個主動學習的策略算法，使得挑選樣本冗余信息最低，設計這一算法有望使醫(yī)學圖像注釋成本做到更低，這是一個非常值得研究的問題。

參考文獻（References）：

[1] H Greenspan， B van Ginneken， R M Summers， et al. Guesteditorial deep learning in medical imaging： Overview and future promise of an exciting new technique[J]. IEEE Transactions on Medical Imaging，2016.35（5）：1153-1159

[2] Rajpurkar P， Irvin J， Ball R.L， et al. Deep learning for chestradiograph diagnosis： A retrosp-ective comparison of the CheXNeXt algorithm to practicing radiologists[J]. PLoS Med，2018.15： e1002686

[3] Altaf F， Islam S M S， Akhtar N， et al. Going Deep in Medical Image Analysis：Concepts， Methods， Challenges and Future Directions[J]. IEEE Access，2019.7：99540-99572

[4] Yi X， Walia E， Babyn P. Generative Adversarial Network in Medical Imaging： A Review[J]. Medical Image Analysis，2019：58-101

[5] Goodfellow I J， Pouget-Abadie J， Mirza M， et al.Generative Adversarial Networks[J]. Advances in Neural Information Processing Systems，2014.3：2672-2680

[6] Cheplygina V， de Bruijne M， Pluim J.P. Not-so-supervised： a survey of semi-supervised，multi-instance， and transfer learning in medical image analysis[J]. Medical Image Analysis，2019：58-101

[7] Xiaozheng Xie， Jianwei Niu， Xuefeng Liu et al. A Survey on Domain Knowledge Powered Deep Learning for Medical Image Analysis. arXiv：2004.12150，2020.

[8] Hesamian M H ， Jia W ， He X ， et al. Deep Learning Techniques for Medical Image Segmentation： Achievements and Challenges[J]. Journal of Digital Imaging，2019.32（4）：582-596

[9] 包昌宇，彭俊川，胡楚婷等.基于深度學習的乳腺鉬靶圖像分類方法研究進展[J].生物醫(yī)學工程研究，2020.39（2）：208-213

[10] Zhang P， Zhong Y， Deng Y， Tang X， Li X. A survey on deep learning of small sample in biomedical image analysis. arXiv preprint arXiv：1908.00473，2019.

[11] Smailagic A， Noh H. Y， Costa P， et al. MedAL： Deep Active Learning Sampling Method for Medical Image Analysis[A].2018 17th IEEE International Conference on Machine Learning and Applications （ICMLA）[C]，2018.

[12] Ethan Rublee， Vincent Rabaud， Kurt Konolige， et al.ORB： An effificient alternative to sift or surf[A].? IEEE International Conference onComputer Vision， ICCV 2011[C].Barcelona， Spain，2011：2564-2571

[13] Folmsbee J， Liu X， Brandwein-Weber M et al. Active deep learning： Improved training efficiency of convolutional neural networks for tissue classification in oral cavity cancer[A].IEEE[C]. Washington， DC，2018：770-773

[14] Yang Deng， Yao Sun， Yongpei Zhu， et al. Efforts estimation of doctors annotating medical image. arXiv：1901.02355，2019.

[15] A. J Joshi， F.Porikli， and N.Papanikolopoulos. Multi-class active learning for image classification[A].IEEE International Conference on Robotics and Automation， ICRA[C].USA（Alaska），2010：2372-2379

[16] Konyushkova K， Sznitman R， Fua P. Geometry in active learning for binary and multi-class image segmentation[J].Computer Vision and Image Understanding，2019.182（5）：1-16

[17] Yoo D， Kweon I. S.Learning Loss for Active Learning[A].2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）[C].United States（long beach），2019：93-102

[18] Ziyuan Zhao ， Xiaoyan Yang ， Bharadwaj Veeravalli et al.Deeply Supervised Active Learning for Finger Bones Segmentation[A]. Accepted version to be published in the 42nd IEEE Annual International Conference of the IEEE Engineering in Medicine and Biology Society[C].Montreal（Canada），2020：27-40.

[19] Patrick Hemmer， Niklas Kuhl， Jakob Schoffer et al.DEAL：Deep Evidential Active Learning for Image Classifification.arXiv：2007.11344，2020.

[20] Bo Li ，Tommy Sonne Alstr?m. On uncertainty estimation in active learning for image segmentation[J]. Presented at ICML 2020 Workshop on Uncertainty & Robustness in Deep Learning.2020，338：34-45

[21] Sener O， Savarese S et al. Active learning for convolutional neural networks： A core-set approach[A]. International Conference on Learning Representation （ICLR）[C]. USA. 2018.

[22] Yang L， ZhangY， Chen J， et al. Suggestive annotation： A deep active learning framework for biomedical image segmentation[A]. MICCAI[C]. Springer，Cham，2018： 399-407

[23] Long J ， Shelhamer E ， Darrell T . Fully Convolutional?Networks for Semantic Segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2015.39（4）：640-651

[24] Sourati J， Gholipour A， Dy J.G et al. Active Deep Learning with Fisher Information for Patch-Wise Semantic Segmentation[A]. Deep learning in medical image analysis and multimodal learning for clinical decision support ： 4th International Workshop， DLMIA 2018， and 8th International Workshop， ML-CDS 2018， held in conjunction with MICCAI 2018[C].Granada，2018：83-91

[25] Zhou Z， Shin J. Y， Gurudu， S. R. Gotway， et al. AFT *：Integrating Active Learning and Transfer Learning to Reduce Annotation Efforts. arXiv： 1802. 00912. 2018.

[26] Ozdemir F， Peng Z， Tanner C， et al. Active Learning for Segmentation by Optimizing Content Information for Maximal Entropy [A]. Deep Learning in Medical Image Analysis and Multi-modal Learning for Clinical Decision Support[C]. Springer，2018：183-191

[27]? Seong Tae Kim， Farrukh Mushtaq. Confident Coreset for Active Learning in Medical Image Analysis[J]. Computer Vision and Pattern Recognitionar，2020.13：46-16

[28] Kuo W， Hane C， Yuh E， et al. Cost-sensitive active learning for intracranial hemorrhage detection[A]. International Conference on Medical Image Computing and Computer-Assisted Intervention[C]. Springer，2018：715-723

[29] Rajchl M， Lee M.C.H， Schrans et al. Learning under Distributed Weak Supervision. arXiv：1606.01100V1， 2016.

[30] Zhenxi Zhang， Jie Li， Zhusi Zhong.A sparse annotation strategy based on attention-guided active learning for 3D medical image segmentation.arxiv：1906.07367. 2019.

[31] O. Ronneberger， P.Fischer， and T.Brox. U-Net：Convolutional Networks for Biomedical Image Segmentation[A].Springer International Publishing[C].Springer，2015.

[32] Marc Gorriz， Xavier Giro-i-Nieto， Axel Carlier et al.Cost-Effective Active Learning for Melanoma Segmentation. arXiv：1711.09168，2018.

[33] Tajbakhsh N， Shin J.Y， Gurudu S.R et al. Convolutional Neural Networks for Medical Image Analysis： Full Training or Fine Tuning？[A] IEEE Transactions on Medical Imaging 35[C]，2016：1299-1312

[34] Zhou Z， Shin J， Zhang L， et al. Fine-tuning convolutional?neural networks for biomedical image analysis： actively and incrementally[J].CVPR，2017：4761-4772