倪銘，袁慧書(shū)

近年來(lái)，深度學(xué)習(xí)(deep learning，DL)作為機(jī)器學(xué)習(xí)的一部分在醫(yī)學(xué)各個(gè)領(lǐng)域引起了廣泛關(guān)注[1-2]。DL 在圖像識(shí)別和分類、語(yǔ)音識(shí)別和自然語(yǔ)言處理等多個(gè)領(lǐng)域被大量應(yīng)用[3]，其目的在于模仿人類大腦的思考方式，進(jìn)行有意義的數(shù)據(jù)轉(zhuǎn)換和學(xué)習(xí)來(lái)幫助人類完成某些工作[4]。雖然MRI 在診斷骨關(guān)節(jié)損傷方面具有很高的敏感度和特異度[5-6]，但骨關(guān)節(jié)損傷診斷的準(zhǔn)確度仍有待提高[7]。隨著研究的不斷深入，骨關(guān)節(jié)系統(tǒng)的DL 研究也逐漸增多，越來(lái)越多的方法和模型被相繼提出，但基于MRI的DL研究在骨關(guān)節(jié)運(yùn)動(dòng)損傷方面的應(yīng)用仍然非常局限，目前研究主要集中在膝關(guān)節(jié)運(yùn)動(dòng)損傷中，而對(duì)于其他關(guān)節(jié)的研究相對(duì)少見(jiàn)。本文通過(guò)分析國(guó)內(nèi)外相關(guān)文獻(xiàn)，總結(jié)當(dāng)前領(lǐng)域研究進(jìn)展和存在的問(wèn)題，以期對(duì)此領(lǐng)域的研究和發(fā)展起到指導(dǎo)和推動(dòng)作用。

1 圖像分割

由于骨關(guān)節(jié)解剖結(jié)構(gòu)復(fù)雜，進(jìn)行DL 研究時(shí)常常因?yàn)閳D像信息過(guò)多而導(dǎo)致模型訓(xùn)練效果較差，而預(yù)先對(duì)圖像進(jìn)行分割能夠減少圖像內(nèi)的無(wú)用信息并保留有用信息。目前，對(duì)于膝關(guān)節(jié)結(jié)構(gòu)分割的文獻(xiàn)報(bào)道相對(duì)較多，相關(guān)技術(shù)正逐步發(fā)展、完善，但分割其他關(guān)節(jié)結(jié)構(gòu)的報(bào)道相對(duì)較少。

Zhou 等[8]提出通過(guò)高效卷積編解碼網(wǎng)絡(luò)聯(lián)合3D 全連接條件隨機(jī)場(chǎng)和3D 簡(jiǎn)單變形模型的方法分割膝關(guān)節(jié)，該方法對(duì)股骨、脛骨、肌肉組織的Dice 相似系數(shù)(dice similariy coefficient，DSC)高于0.9，股骨軟骨、脛骨軟骨、髕骨及軟骨、半月板、髕韌帶、股四頭肌腱、髕下脂肪墊的DSC 在0.8～0.9。該研究初步實(shí)現(xiàn)了對(duì)膝關(guān)節(jié)所有解剖結(jié)構(gòu)的分割，并取得了與人工分割較高的一致性。Gaj等[9]使用U-Net對(duì)膝關(guān)節(jié)進(jìn)行分割，通過(guò)條件生成對(duì)抗網(wǎng)絡(luò)(conditional generative adversarial nets，CGAN)對(duì)U-Net 分割的結(jié)果進(jìn)行批判，直到CGAN 無(wú)法區(qū)分人工和模型分割結(jié)果時(shí)停止，該方法對(duì)膝關(guān)節(jié)軟骨和半月板分割的平均DSC 為0.88。該研究通過(guò)反復(fù)的自我糾錯(cuò)來(lái)提升模型性能，完成了對(duì)半月板和軟骨的分割，其學(xué)習(xí)方式與人類更加接近。Satyananda等[10]提出了4D-LOGISMOS算法用于膝關(guān)節(jié)軟骨分割。該研究首次提出匹配不同時(shí)間相同區(qū)域信息的方法來(lái)提升分割性能，對(duì)軟骨分割的誤差顯著減少。Liu[11]提出一種名為SUSAN的方法對(duì)不同數(shù)據(jù)集的膝關(guān)節(jié)進(jìn)行分割，結(jié)果表明SUSAN 能夠和全監(jiān)督的U-Net 性能相媲美，但SUSAN 僅需要一組注釋的訓(xùn)練集就能夠?yàn)椴煌腗RI數(shù)據(jù)集提供快速、準(zhǔn)確的分割，在不同組織對(duì)比度的圖像中都具有適用性。Zhang等[12]使用4 種不同序列結(jié)合支持向量機(jī)和判別隨機(jī)場(chǎng)分割正常膝關(guān)節(jié)軟骨，分割髕骨、脛骨和股骨軟骨的DSC 在0.84～0.86，并且發(fā)現(xiàn)兩個(gè)模型的效果優(yōu)于單一模型。Byra等[13]使用轉(zhuǎn)移學(xué)習(xí)改良U-Net 后分割半月板，兩名醫(yī)生開(kāi)發(fā)的模型DSC分別為0.86和0.83，模型的分割性能與人工分割準(zhǔn)確度相似。

此外，Wang 等[14]設(shè)計(jì)了一種結(jié)合脈沖耦合神經(jīng)網(wǎng)絡(luò)和全卷積神經(jīng)網(wǎng)絡(luò)的方法來(lái)分割肩關(guān)節(jié)骨性結(jié)構(gòu)，模型分割3 個(gè)測(cè)試集的準(zhǔn)確度分別為0.96、0.96 和0.94。Medina 等[15]使用兩個(gè)GoogleNet (模型A 和模型B)用于選擇MRI 矢狀位的“Y”視圖和分割肩袖，分別進(jìn)行內(nèi)部和外部驗(yàn)證，模型A 在內(nèi)部和外部驗(yàn)證中挑選“Y”視圖的準(zhǔn)確度均為0.99，模型B在兩個(gè)驗(yàn)證集中分割肩袖的DSC都大于0.93。

2 深度學(xué)習(xí)與韌帶損傷

韌帶損傷是運(yùn)動(dòng)損傷常見(jiàn)的表現(xiàn)之一，膝關(guān)節(jié)前交叉韌帶(anterior cruciate ligaments，ACL)損傷在臨床中最常見(jiàn)，其次為踝關(guān)節(jié)韌帶損傷[16-17]。由于關(guān)節(jié)解剖結(jié)構(gòu)復(fù)雜、認(rèn)識(shí)不足等原因常常導(dǎo)致韌帶損傷被忽視。所以開(kāi)發(fā)DL 用于韌帶損傷的識(shí)別和診斷有助于醫(yī)生快速和準(zhǔn)確地評(píng)估韌帶病變，減少漏診或誤診。

Bien等[18]使用MRNet來(lái)識(shí)別ACL損傷并進(jìn)行內(nèi)部驗(yàn)證，同時(shí)使用?tajduhar 等[19]公開(kāi)的數(shù)據(jù)集進(jìn)行外部驗(yàn)證。在內(nèi)部驗(yàn)證集中區(qū)分正常和異常ACL 的AUC 為0.94，識(shí)別ACL 撕裂的AUC 為0.97，在外部驗(yàn)證集中直接使用MRNet 識(shí)別ACL 撕裂的AUC 為0.82，再次訓(xùn)練模型后AUC 提升至0.91。該研究表明MRNet可以用于識(shí)別ACL損傷和撕裂，但該模型用于其他數(shù)據(jù)集時(shí)需要對(duì)模型進(jìn)行再訓(xùn)練。Chang 等[20]在冠狀位圖像勾畫ROI 后比較了3 種識(shí)別ACL 撕裂的方法，分別是對(duì)原始圖像直接使用ResNet 識(shí)別、使用U-Net 裁剪后使用ResNet 識(shí)別、在前一方法的基礎(chǔ)上同時(shí)裁剪出不包含ACL 的圖片進(jìn)行學(xué)習(xí)，3 種方法的準(zhǔn)確度分別為0.68、0.72、0.77。同時(shí)該研究比較了輸入單幅、三幅和五幅裁剪圖像時(shí)模型的效果，相應(yīng)準(zhǔn)確度分別為0.77、0.87、0.92，提示可能隨著輸入信息的增加模型性能會(huì)逐步提高。

Namiri等[21]在研究中比較了3D卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)和2D-CNN檢測(cè)ACL損傷的差異，二者在ACL 損傷識(shí)別的準(zhǔn)確度分別為0.89 和0.92，Kappa 系數(shù)為0.83。3D-CNN的卷積層允許學(xué)習(xí)3D特征，比2D-CNN結(jié)構(gòu)更加復(fù)雜，但也更容易出現(xiàn)過(guò)擬合，該研究由于3D-CNN 與ImgNet不兼容導(dǎo)致性能不如2D-CNN。Liu 等[22]設(shè)計(jì)了用于自動(dòng)識(shí)別ACL 撕裂的系統(tǒng)，使用LeNet-5 篩選包含ACL 結(jié)構(gòu)的圖像后通過(guò)YOLO裁剪ACL局部圖像，最后使用DenseNet診斷ACL撕裂，該方法對(duì)ACL 撕裂識(shí)別的敏感度和特異度均為0.96，AUC 為0.98。Zhang 等[23]通過(guò)3D-DenseNet 區(qū)分正常和異常ACL，結(jié)果發(fā)現(xiàn)3D-DenseNet診斷效果好于VGG16和ResNet。

運(yùn)動(dòng)損傷也常見(jiàn)于踝關(guān)節(jié)、肩關(guān)節(jié)、肘關(guān)節(jié)等部位[24]，但目前缺少對(duì)ACL 以外韌帶損傷的相關(guān)研究。在未來(lái)需要逐步對(duì)更多韌帶進(jìn)行研究，來(lái)輔助醫(yī)生更加精準(zhǔn)和快速地診斷韌帶損傷。

3 深度學(xué)習(xí)與半月板、盂唇損傷

半月板和盂唇都由纖維軟骨組織構(gòu)成，對(duì)于維持關(guān)節(jié)的正常功能具有重要作用，準(zhǔn)確地識(shí)別損傷對(duì)于治療方案的制定和患者的預(yù)后非常重要。目前對(duì)于膝關(guān)節(jié)半月板的研究相對(duì)較少，并且尚未見(jiàn)到關(guān)節(jié)盂唇損傷相關(guān)的研究。

Pedoia 等[25]使用圖像擴(kuò)增方法將訓(xùn)練集擴(kuò)大了10 倍，采用2D-U-Net分割半月板后使用3D-CNN識(shí)別半月板損傷，得到的結(jié)果與人口統(tǒng)計(jì)學(xué)信息共同輸入到隨機(jī)森林后獲得最終預(yù)測(cè)結(jié)論。該方法對(duì)區(qū)分正常和異常半月板的敏感度、特異度分別為0.90、0.82，AUC 為0.89。同時(shí)，研究在3D-CNN 中結(jié)合WORMS 評(píng)分將半月板損傷分為正常、輕中度和重度三類，相應(yīng)的準(zhǔn)確度分別為0.81、0.78 和0.75。該研究把影像與臨床信息結(jié)合來(lái)對(duì)半月板損傷進(jìn)行判斷，分析方式與醫(yī)生更加接近，使用的圖像擴(kuò)增技術(shù)對(duì)于解決組間不平衡問(wèn)題也是一種很好的思路。Couteaux 等[26]通過(guò)VGG 對(duì)正常與損傷半月板進(jìn)行區(qū)分后使用Mask R-CNN 判斷半月板前后方向的撕裂，通過(guò)淺層的ConvNet判斷半月板上下方向的撕裂，將3種模型的結(jié)果按照不同權(quán)重加權(quán)后最終的AUC 為0.91。該研究不僅對(duì)正常與損傷的半月板進(jìn)行識(shí)別，也對(duì)撕裂的方向進(jìn)行了區(qū)分，為臨床提供了更多的信息，應(yīng)用價(jià)值也更大。

近年來(lái)，盂唇損傷逐漸引起了臨床醫(yī)生的重視[27]。盂唇包括肩關(guān)節(jié)盂唇和髖關(guān)節(jié)盂唇，由于盂唇血供不豐富，一旦出現(xiàn)損傷難以愈合，所以準(zhǔn)確地診斷盂唇損傷非常重要。目前對(duì)于盂唇損傷的研究仍是空白，如何通過(guò)DL 對(duì)盂唇進(jìn)行定位和診斷還需要進(jìn)一步研究。

4 深度學(xué)習(xí)與軟骨損傷

膝關(guān)節(jié)軟骨損傷若不能及時(shí)處理往往會(huì)過(guò)早發(fā)展為嚴(yán)重的骨關(guān)節(jié)病[28]，早期準(zhǔn)確診斷軟骨病變非常重要。雖然有許多MRI新技術(shù)被應(yīng)用于軟骨損傷的診斷中[29-30]，但軟骨損傷仍然經(jīng)常被忽視。開(kāi)發(fā)基于MRI的軟骨損傷DL檢測(cè)方法有利于提高早期診斷準(zhǔn)確度。目前軟骨損傷的研究主要集中在膝關(guān)節(jié)軟骨，對(duì)于其他軟骨的研究尚未見(jiàn)報(bào)道。

Liu等[31]提出了一種全自動(dòng)的膝關(guān)節(jié)軟骨損傷診斷系統(tǒng)，該系統(tǒng)由兩個(gè)二維深層CNN構(gòu)成，其中第一個(gè)CNN對(duì)軟骨和骨進(jìn)行分割，第二個(gè)CNN 用于評(píng)估軟骨損傷。模型分割股骨和脛骨軟骨的DSC 分別為0.81 和0.82，軟骨病變檢測(cè)準(zhǔn)確度也能夠與影像醫(yī)生相媲美(AUC＞0.91)。該研究初步實(shí)現(xiàn)了膝關(guān)節(jié)軟骨病變的識(shí)別，在不同年資醫(yī)生中都表現(xiàn)出了穩(wěn)定的診斷性能。楊貴昌等[32]通過(guò)多激活卷積神經(jīng)網(wǎng)絡(luò)對(duì)軟骨損傷I～Ⅳ級(jí)診斷的AUC分別為0.92、0.89、0.95和0.97。司莉萍等[33]在轉(zhuǎn)移學(xué)習(xí)的基礎(chǔ)上使用Ⅴ型網(wǎng)絡(luò)和Inception 網(wǎng)絡(luò)分別對(duì)膝關(guān)節(jié)軟骨進(jìn)行分割和診斷。該方法對(duì)骨性結(jié)構(gòu)分割的DSC 高于0.91，對(duì)于軟骨的DSC 高于0.75，Inception 網(wǎng)絡(luò)識(shí)別軟骨損傷的AUC 為0.99。Pedoia 等[25]在研究中使用2D-U-Net 和3D-CNN 對(duì)檢測(cè)軟骨損傷，模型的敏感度和特異度均為0.80，AUC為0.88。

5 深度學(xué)習(xí)與肌腱損傷

肌腱損傷以肩袖損傷最常見(jiàn)，傳統(tǒng)影像學(xué)對(duì)于大多數(shù)肌腱損傷的診斷并不困難，但DL 可以節(jié)省時(shí)間、提高工作效率，并能夠作為AI 軟件的一部分來(lái)對(duì)關(guān)節(jié)損傷進(jìn)行全面評(píng)估。Shim 等[34]使用3D-CNN 識(shí)別肩袖損傷，將肩袖分為正常、部分撕裂、小撕裂、中等撕裂、大撕裂5 類，采用Voxception ResNet 對(duì)3D-CNN 進(jìn)行訓(xùn)練。模型識(shí)別正常和異常的準(zhǔn)確度為0.93，識(shí)別多分類的TOP-1準(zhǔn)確度為0.69。

6 當(dāng)前問(wèn)題與展望

雖然DL 是影像學(xué)研究的熱門方向，但基于MRI 的骨關(guān)節(jié)運(yùn)動(dòng)損傷DL 研究仍處在起步階段，大多數(shù)研究主要關(guān)注膝關(guān)節(jié)損傷，而對(duì)于其他關(guān)節(jié)的研究非常少見(jiàn)，而且當(dāng)前DL 研究仍然存在許多不足。

骨關(guān)節(jié)運(yùn)動(dòng)損傷通常要結(jié)合多個(gè)圖像和多個(gè)序列進(jìn)行綜合診斷，而目前常用的DL 模型大多是針對(duì)簡(jiǎn)單的數(shù)據(jù)進(jìn)行學(xué)習(xí)，還沒(méi)有成熟的模型能夠?qū)Χ喾N序列和多幅圖像同時(shí)進(jìn)行學(xué)習(xí)[35]，所以嘗試開(kāi)發(fā)一種新的模型來(lái)學(xué)習(xí)復(fù)雜數(shù)據(jù)對(duì)骨關(guān)節(jié)運(yùn)動(dòng)損傷的DL 研究可能起到巨大的推動(dòng)作用。雖然目前有研究結(jié)果表明隨著輸入信息量的增加模型的性能也會(huì)提升，但不代表輸入過(guò)多的信息也能提升模型的性能，結(jié)構(gòu)復(fù)雜的模型是否比結(jié)構(gòu)簡(jiǎn)單的模型能獲得更多收益也需要進(jìn)一步探討，復(fù)雜的模型訓(xùn)練時(shí)間和識(shí)別時(shí)間會(huì)相應(yīng)增加，如何平衡模型性能和收益也是需要考慮的問(wèn)題之一。

目前，研究中全監(jiān)督學(xué)習(xí)仍然為主要的監(jiān)督學(xué)習(xí)方式，但全監(jiān)督學(xué)習(xí)需要投入大量的精力，對(duì)大樣本的逐一標(biāo)記限制了任務(wù)數(shù)量，也限制了DL的長(zhǎng)期潛力。DL由全監(jiān)督學(xué)習(xí)向半監(jiān)督學(xué)習(xí)甚至無(wú)監(jiān)督學(xué)習(xí)轉(zhuǎn)變是有必要的，半監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)能夠減輕研究者的工作量，減少人為因素導(dǎo)致的結(jié)果不準(zhǔn)確，但目前半監(jiān)督和無(wú)監(jiān)督學(xué)習(xí)的準(zhǔn)確度不如全監(jiān)督學(xué)習(xí)，如何讓半監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)達(dá)到與全監(jiān)督學(xué)習(xí)相似的效果也是需要進(jìn)一步研究的內(nèi)容之一。雖然在各個(gè)領(lǐng)域深度學(xué)習(xí)的研究非常多，但實(shí)際應(yīng)用于臨床的研究卻非常少見(jiàn)[36]，一部分原因可能與國(guó)內(nèi)缺少包含多中心數(shù)據(jù)的數(shù)據(jù)庫(kù)有關(guān)，由于不同機(jī)構(gòu)的掃描方法和設(shè)備不同，導(dǎo)致模型不能在不同機(jī)構(gòu)中使用，所以今后逐步建立我國(guó)相關(guān)研究數(shù)據(jù)庫(kù)也是非常必要的。多數(shù)研究對(duì)圖像進(jìn)行裁剪或分割后進(jìn)行損傷識(shí)別，但對(duì)于骨關(guān)節(jié)系統(tǒng)的部分病變按照結(jié)構(gòu)邊緣分割是很困難的，當(dāng)ACL 完全斷裂并攣縮后正常形態(tài)丟失，此時(shí)描述其輪廓非常困難，而裁剪出一定大小的圖片勢(shì)必會(huì)包含某些額外信息，這些信息同時(shí)包含了有用信息和無(wú)用信息，所以裁剪方法和保留圖像大小也會(huì)影響模型性能，這也需要今后更多的研究去探討。

總之，雖然目前骨關(guān)節(jié)運(yùn)動(dòng)損傷的DL 研究仍處于起步階段，但隨著研究不斷的發(fā)展和深入，DL的潛力和價(jià)值也會(huì)被逐漸挖掘出來(lái)，DL 有望逐步發(fā)展成為今后影像科醫(yī)師的得力助手。

作者利益沖突聲明：全體作者均聲明無(wú)利益沖突。