張 釩 陸正大 李春迎 焦竹青 倪昕曄
由于人體各組織聲阻抗的差異性,不同組織反射的信息亦有不同,超聲能體現(xiàn)不同組織的聲信號,并顯示不同的亮度,從而形成層次分明的切面圖像[1]。相較于X 線、CT 等,超聲無電離輻射,且成像速度快,對軟組織及血流有較好的成像效果[2]。目前,圖像分割在醫(yī)學診斷中十分重要,能用于可視化分析、圖像引導放療和手術等[3]。但超聲圖像存在高散斑噪聲、低信噪比和強度不均等問題,簡單的圖像分割方法不能獲得理想的分割結果[4]。因此,自動準確地分割超聲圖像是一項具有挑戰(zhàn)性的任務。目前,超聲圖像分割主要應用于乳腺、肝臟、前列腺、婦科、甲狀腺等疾病診斷,以及頸動脈超聲圖像分類等領域。本文就超聲圖像分割的傳統(tǒng)方法、基于形變模型的分割方法及結合深度學習方法的研究進展進行綜述。
傳統(tǒng)的超聲圖像分割方法主要是人為根據(jù)臨床經(jīng)驗手動分割,其精度不能滿足臨床需求。根據(jù)方法不同大致可以歸類為基于邊緣檢測的方法和基于區(qū)域生長的方法,前者根據(jù)圖像中感興趣區(qū)域與其相鄰區(qū)域不連續(xù)的性質進行分割;后者利用局部相似實現(xiàn)圖像分割。
邊緣檢測法是通過檢測相鄰像素特征值的突變性,提取圖像的所有邊緣,利用此類算法提取特定區(qū)域的邊緣以有針對性地改進算法本身,或對提取的邊緣圖像進行一定的預處理。邊緣檢測法可分為閾值分割法、聚類法及馬爾科夫隨機場等方法。閾值分割法是通過設定不同的特征閾值,將圖像像素點進行分類,計算簡便且較為穩(wěn)定快速;聚類法可分為k-means(k均值)聚類法和分層聚類法,k-means聚類法是按照一定的方法度量樣本間的相似度,然后通過不斷的迭代來更新聚類的中心,當中心不再變動時,說明圖像分割完成;分層聚類法是將每個像素各自分為一類,通過迭代將最近的兩類合并形成新的類。Saranya 等[5]提出了常規(guī)k-means的3種變體,即正則化k-means、模糊k-means和正則化模糊k-means來分析和克服乳腺分割魯棒性低的問題,準確率達98%。Shao 等[6]采用基于最大類間方差(Otsu)法和差分搜索算法的多級閾值分割法對模擬超聲圖像進行分割,結果表明相較于傳統(tǒng)的區(qū)域增長、活動輪廓模型等方法,該算法的分割效果得到了最大的相似度和最小的面積誤差。Shao 等[7]基于隱馬爾科夫模型結合Otsu 法進行圖像處理,采用改進的矢量法進行修復,提高了圖像的可識別性,建立了可靠的特征提取算法,以及綜合診斷模型,并通過實驗驗證了該模型具有一定的臨床價值。
赫新雨等[8]提出了一種基于脊柱超聲邊緣生長的邊緣提取方法,直接對圖像中特定區(qū)域邊緣附近像素點的灰度值與灰度閾值進行逐點比較,并利用邊緣點的特點(平滑性和連續(xù)性等)進行選擇與排除,與邊緣檢測法相比能較大程度地減少斑點噪聲對邊緣提取的影響。倪豪等[9]結合Otsu法先對超聲圖像做預分割,以此確定絕對背景區(qū)自動設置種子的起始點,然后再通過區(qū)域生長法將其從背景中分割,最后通過數(shù)字形態(tài)學降噪法進一步提高缺陷的識別度,分割時間為1984 ms,在兼顧分割質量的同時也能縮短時間。Fan等[10]結合迭代四叉樹分解(QTD)和病灶的灰度特征建立兩個約束條件來定位病灶內的種子,再根據(jù)提取區(qū)域的最大變化率,采用漸進均分算法對最優(yōu)閾值進行無限逼近,對96 張病灶圖像分割的結果顯示,該方法能自動找到病灶內的種子,準確率達92.27%,平均耗時為12.02 s。在圖像樣本較多的情況下,其分割效率高于人工分割。
由于超聲圖像灰度不均且邊緣不一定連續(xù),存在一定的斑點噪聲及偽影,分割時可能會出現(xiàn)偽邊緣,無論是邊緣檢測法還是區(qū)域生長法均存在分割準確率不足的問題,且區(qū)域生長法的分割結果受種子點的影響較大。隨著各種輔助方法的結合,傳統(tǒng)分割方法大部分情況下可用于超聲診斷的參考,但因其算法本身的不足,分割時間往往較長,不能對實時動態(tài)的超聲圖像進行高效分割,具有一定局限性。
為解決傳統(tǒng)分割方法算法的缺陷,將形變模型用于超聲圖像分割的方法已廣泛應用。其中水平集模型是一種利用整幅圖像信息而非梯度信息來引導曲線進行邊緣分割的方法,對邊緣信息較弱的圖像具有很好的分割效果。Chan 和Vese[11]提出的CV 模型是一種經(jīng)典的水平集模型,其是基于MumfordShah(MS)模型,通過假設區(qū)域內圖像灰度均勻提出的一種基于全局信息的無邊緣主動輪廓分割模型,該方法對灰度均勻圖像的分割效果較好。Li 等[12]提出了局部區(qū)域可控的擬合(RSF)模型,能實現(xiàn)對灰度不均勻圖像的分割。RSF 模型以局部信息為依據(jù),因此初始輪廓對分割結果影響較大。為解決初始輪廓精度不高對灰度不均超聲圖像分割的問題,邵蒙恩等[13]提出了一種結合全局信息和局部信息的CV-RSF 模型對甲狀腺結節(jié)進行分割,可降低RSF 模型的敏感性,實現(xiàn)準確分割。不同組圖像的分割結果與醫(yī)師手動分割的重疊率分別為99.17%、99.58%、99.83%,均優(yōu)于RSF 模型的97.83%、99.23%、97.98%。但該分割方法對初始輪廓仍有一定依賴,為此,邵蒙恩等[14]在CV 模型中引入一個基于梯度的邊緣引導函數(shù),根據(jù)面積變化自動勾畫甲狀腺結節(jié)的粗分割輪廓,并解決手動設置迭代次數(shù)的問題,從而實現(xiàn)甲狀腺結節(jié)圖像有效、準確、自動分割,平均重疊率為0.9064±0.0355,且在迭代次數(shù)上也小于CV 模型和RSF模型。但該研究樣本量僅30例,后續(xù)還需更多的數(shù)據(jù)驗證其普遍性和準確性。Bi 等[15]基于水平集模型引入局部瑞利分布擬合能量來處理超聲圖像的不均勻性,以實現(xiàn)對子宮圖像的分割,無論對模擬或真實圖像均有很好的分割精度,平均骰子相似系數(shù)(DSC)可達0.95±0.02。
此外,Kass等[16]提出的snake模型也是一種活動輪廓模型,分割結果對初始輪廓較敏感,但對復雜多變的邊緣提取效果較差。因此,Ma 等[17]提出了基于局部相位改進的snake 模型,在snake 框架中使用強度不變的局部相位特征來生成圖像能量,能對血管超聲圖像進行分割,DSC 為0.933±0.013。與傳統(tǒng)的基于梯度的圖像能量不同,基于局部相位的圖像能量在所有邊緣上均相同,從而能實現(xiàn)準確分割,但對一些邊緣泄露部位仍然無法處理。Mcinerney 和Terzopoulos[18]提出一種自適應拓撲主動輪廓模型(T-snake),其能夠根據(jù)輪廓變化自適應地改變拓撲結構,對初始輪廓的要求較低,對CT 和MRI 圖像分割效果較好,但對有斑點噪聲、邊界連續(xù)性差、灰度不均勻的超聲圖像分割結果還需進一步驗證。周春瑜和程顯毅[19]將自適應濾波與改進的T-snake模型相結合,能有效抑制斑點噪聲,有助于解決甲狀腺超聲圖像邊緣特征不明顯、灰度不均的問題。
目前,基于形變模型分割方法的研究已取得一定進展,分割質量較佳,且分割時間較傳統(tǒng)方法有一定縮短,在超聲圖像分割中應用比較多。但上述方法結合了先驗形狀信息來針對圖像噪聲和偽影的魯棒分割,由于不同器官或組織的特異性,上述方法在某些情況下不能準確描繪邊界,存在邊界模糊或缺失等問題,今后應針對如何實現(xiàn)高質量、高效率的分割進一步研究。
深度學習是在超聲圖像分割中非常實用的方法,與傳統(tǒng)的具有手工特征的機器學習方法相比,深層神經(jīng)網(wǎng)絡的主要優(yōu)點是能夠生成由豐富語義和細微信息組成的多層次特征。近年來,卷積神經(jīng)網(wǎng)絡(CNN)、全卷積網(wǎng)絡(FCN)及對稱分割網(wǎng)絡(U-Net)在醫(yī)學圖像分割中的效果突出。CNN通過對下采樣的低維特征圖進行特征提取,再經(jīng)上采樣將其特征映射到高維空間,以此輸出分割掩模;FCN將CNN中的全連接層改為卷積層,并在上采樣加入反卷積以恢復圖像,最后輸出分割掩模;U-Net則是在下采樣過程中加入了多次卷積,再在上采樣中與對應的下采樣層建立連接層進行特征融合,最后輸出分割掩模。目前主流的深度學習超聲分割方法多基于此3 種網(wǎng)絡進行優(yōu)化和改進,深度學習的超聲分割在乳腺、前列腺、甲狀腺、頸動脈超聲診斷中已有廣泛研究,但由于不同組織間超聲成像的差異,對不同部位超聲圖像的分割往往需要對網(wǎng)絡做出相應的調整和優(yōu)化。
乳腺中有大量的脂肪組織,對比度低,陰影較多,故病灶邊界較模糊,易出現(xiàn)過分割現(xiàn)象。Xu 等[20]使用CNN 在三維超聲圖像上將乳腺超聲圖像分割成皮膚、纖維腺組織、腫塊和脂肪組織4個部分,使用3個正交面提取圖像塊,加入了基于距離的評估指標修正豪斯多夫距離,較單一平面效果更好,僅在小部分邊緣脂肪組織上出現(xiàn)過分割現(xiàn)象,準確率和回歸率均達80%以上,可作為乳腺腫瘤評估的參考依據(jù)。Hu 等[21]將擴展的FCN 與基于相位的活動輪廓模型相結合,進一步提高了分割結果,DSC 為88.971±0.010。Fang 等[22]設計了基于FCN 和主動輪廓模型的超聲圖像二維乳腺腫瘤自動分割方法,將基于FCN 的M-Net 結合基于相位的活動輪廓模型進行乳腺腫瘤二維超聲圖像自動分割,加快了訓練過程,性能優(yōu)于U-Net 和V-Net 分割,其DSC 為0.9689,豪斯多夫距離為6.96 個像素點。之后,Lee 等[23]提出了一個多尺度網(wǎng)格平均池化的通道注意模塊,用于超聲圖像中乳腺癌區(qū)域的精確分割,該模塊的加入使網(wǎng)絡能同時使用全局和局部空間信息進行精確分割。由于CNN 中的卷積運算往往聚焦于局部區(qū)域,導致目標部位病灶分割精度下降,Xue 等[24]開發(fā)了一種帶有全局引導塊和乳腺病灶邊界檢測模塊的深度CNN,用于增強乳腺超聲病灶分割,能有效提高分割結果的邊界質量,DSC為0.821±0.011,準確率為(96.9±0.5)%。
前列腺超聲圖像自動分割對于超聲引導的前列腺干預和治療計劃至關重要。但因經(jīng)直腸超聲中前列腺邊界缺失或模糊、回聲強度分布不均勻,以及前列腺病灶形態(tài)的不確定性,自動分割仍具有挑戰(zhàn)性。Lei 等[25]提出基于多方向深度監(jiān)督V-Net 的前列腺超聲圖像分割,DSC 達0.92±0.03,V-Net 各階段引入了三維監(jiān)督機制,解決了在訓練數(shù)據(jù)有限時深度網(wǎng)絡訓練優(yōu)化困難的問題,可能成為前列腺癌診斷和治療的有效工具。Karimi 等[26]提出兩種策略來提高困難圖像的分割精度:一是采用自適應采樣策略對CNN進行訓練,鼓勵訓練過程中更多地關注圖像中難以分割的部分;二是訓練一個CNN 模型集成,利用集成之間的差異性來識別不確定的分割圖,降低出現(xiàn)誤分割的可能性,DSC 達0.939±0.035,豪斯多夫距離為(2.7±2.3)mm。Wang 等[27]利用CNN 不同層次編碼的互補信息,開發(fā)了一種新型三維深度神經(jīng)網(wǎng)絡,該網(wǎng)絡配備了注意模塊,能使用不同層的多層次特征,并細化每一個體層的特征,在CNN 的淺層抑制非前列腺噪聲,并在深層特征中增加更多的前列腺細節(jié),提高了分割的準確性。
甲狀腺超聲圖像存在強度不一的斑點噪聲,且周邊組織復雜,有時會出現(xiàn)多個結節(jié),難以準確定性診斷,因此對自動分割的精度要求較高。Buda 等[28]對比使用基于卡尺生成近似結節(jié)掩模和手工標注與卡尺自動導引相結合的分割方法,發(fā)現(xiàn)加入卡尺自動引導后的分割性能更好,DSC 從0.851 提升到0.904。Yang 等[29]提出了一種基于先驗水平集與深度CNN 相結合的甲狀腺濾泡腫瘤分割分類方法,采用Res-U-net 框架和基于先驗的水平集方法進行增強互補,獲得了更準確的分割結果。Webb等[30]使用基于遞歸FCN的深度學習語義分割甲狀腺及其內部囊腫和結節(jié),有效提高了甲狀腺特征的分割效果,但由于數(shù)據(jù)集較少等原因,對甲狀腺內部囊腫和結節(jié)的分割結果僅可用于輔助參考。
頸動脈斑塊的定量研究對評估和監(jiān)測頸動脈粥樣硬化的進展具有重要意義,自動分割技術有助于更清晰地監(jiān)測病灶。Zhou 等[31]提出了一種基于深度學習的頸動脈三維超聲圖像中中外膜和內腔內膜的半自動分割方法,將分割問題轉化為像素分類問題,能更高效地進行分割,DSC 為0.9284±0.0446。蔡夢媛等[32]基于二維超聲提出一種深度學習的頸動脈斑塊自動分割方法,改進了U-Net 網(wǎng)絡結構,并融合了殘差網(wǎng)絡和PReLU激活函數(shù),對頸動脈斑塊分割的效率和精度有一定提高,DSC為0.8945±0.0345,但在其訓練和驗證過程中缺乏足夠的數(shù)據(jù)集,存在一定局限性。Jain 等[33]使用單個深度學習和混合深度學習模型實現(xiàn)了頸內動脈斑塊的自動分割,DSC 為0.900,在分割精度和速度方面均有很好的性能。
深度學習算法一般需要大量的訓練數(shù)據(jù)集,但在超聲圖像中準備大量的標記數(shù)據(jù)集非常困難。為解決這一問題,Behboodi 和Rivaz[34]提出模擬超聲圖像訓練U-Net 深度學習分割架構,并測試超聲設備收集的組織模擬影像數(shù)據(jù),闡述了模擬數(shù)據(jù)上的訓練體系結構轉換為真實數(shù)據(jù)的可行性,但仍需通過真實試驗來驗證并完善。總之,基于深度學習的超聲分割具有分割速度快、質量高等優(yōu)點,但其所需的樣本標簽有一定的獲取難度,在無足夠數(shù)據(jù)的情況下分割效果可能與傳統(tǒng)方法相近。另外,由于不同組織超聲成像的差異性,不同部位的分割網(wǎng)絡往往不能通用。
超聲圖像因其成像原理等問題分割困難,但其具有無創(chuàng)、價格低等優(yōu)勢,在臨床診斷及放療靶區(qū)勾畫等方面仍有重要作用。閾值分割法、區(qū)域生長法等傳統(tǒng)方法原理簡單,處理單幀清晰的超聲圖像時分割效果較好,但分割速度慢且區(qū)域生長法的分割質量還受種子點影響;活動輪廓模型收斂速度較快且穩(wěn)定性好,但其分割結果依賴于初始輪廓,不能實現(xiàn)自動分割;基于深度學習的方法是目前超聲圖像分割領域的研究熱門,其分割質量高、速度快,但訓練過程需大量標簽數(shù)據(jù),廣泛應用具有局限,且不同組織的圖像往往需要重新訓練或使用其他網(wǎng)絡。
總之,圖像分割的研究對提高后期醫(yī)學圖像分析具有積極意義,為提高超聲圖像分割的質量,可以將深度學習算法與傳統(tǒng)分割方法結合,以實現(xiàn)優(yōu)勢互補來提高分割質量,同時使用數(shù)據(jù)增強等方法來擴充數(shù)據(jù)集。此外,無監(jiān)督網(wǎng)絡也可用于超聲圖像分割,以解決數(shù)據(jù)稀少和推廣性不高的問題??傊?,雖然目前超聲圖像分割方法均有一定局限,但隨著傳統(tǒng)方法的不斷改進和深度學習算法的廣泛應用,其具有良好的應用前景。