岳 晴,關(guān) 雪,王生生
(1.中國航空工業(yè)集團公司沈陽飛機設(shè)計研究所,遼寧 沈陽 110000;2.吉林大學(xué)計算機科學(xué)與技術(shù)學(xué)院,吉林 長春 130012)
醫(yī)學(xué)圖像分割是圖像分割的一個重要分支,將傳統(tǒng)的解剖學(xué)觀察人體組織的方法轉(zhuǎn)化為通過掃描儀器獲取器官醫(yī)療圖像,根據(jù)各個組織器官的特性,將具有特殊含義的部分單獨分割出來,醫(yī)生可根據(jù)分割后的圖像給出相應(yīng)的治療方案,減少病人的痛苦,為病人爭取寶貴的治療時間.
目前醫(yī)療圖像分割算法主要分為傳統(tǒng)醫(yī)療圖像分割算法與基于深度學(xué)習(xí)的醫(yī)療圖像分割算法.傳統(tǒng)的醫(yī)療圖像分割算法主要分為基于閾值的分割方法[1-3]、基于邊緣的分割方法[4-6]、基于區(qū)域的分割方法[7-9]等.這些方法或多或少存在抗噪聲能力差,無法保證邊緣的連續(xù)性和封閉性,容易出現(xiàn)大量碎邊緣、噪聲和灰度分布不均的圖像,容易產(chǎn)生空洞和過度分割等問題.在深度學(xué)習(xí)的圖像分割方法中,全卷積神經(jīng)網(wǎng)絡(luò)是主流框架之一,通過編碼器-解碼器的結(jié)構(gòu)對圖像進行分割,但容易忽略圖像中的細節(jié)信息;U-Net網(wǎng)絡(luò)在全卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進行了改進,具有更高的分割精度,且在小規(guī)模數(shù)據(jù)集中具有良好的表現(xiàn),但對醫(yī)療圖像的精細分割仍存在一定的缺陷.
綜上,本文提出了一種基于改進的距離正則化模型的醫(yī)療圖像分割方法.首先,通過U-Net網(wǎng)絡(luò)對圖像進行預(yù)分割;其次,根據(jù)醫(yī)療圖像的對稱性,提出了基于中心點的水平集初始化方案;然后,對圖像中存在不需要邊界的情況進行處理,提出了一種用于圖像分割的有向距離正則化水平集演化方法,提高了模型的魯棒性;最后,本文將提出的模型與經(jīng)典距離正則化模型、LGIF、LIC模型進行了對比實驗,通過對比,證明本文所提出模型的有效性與可行性.
本文利用U-Net網(wǎng)絡(luò)對醫(yī)療圖像進行預(yù)分割,得到目標(biāo)的大致位置,然后利用改進的距離正則化模型,完成圖像的精細分割.
U-Net網(wǎng)絡(luò)結(jié)構(gòu)是圖像分割的一種常用方法,在小規(guī)模數(shù)據(jù)集上可以進行端到端的訓(xùn)練,訓(xùn)練成本低,并具有良好的訓(xùn)練效果.本文的U-Net結(jié)構(gòu)與原有的U-Net結(jié)構(gòu)相同[10],U-Net網(wǎng)絡(luò)采用了一種包含下采樣和上采樣的網(wǎng)絡(luò)結(jié)構(gòu).向下采樣是逐步顯示環(huán)境信息,向上采樣是將向下采樣中每層信息與向上采樣的輸入信息相結(jié)合,回復(fù)詳細信息,逐步恢復(fù)圖像精度.對于尺寸為m*n的圖像,本文所采用的損失函數(shù)為
(1)
其中X和Y分別為groundtruth和predicted results.
U-Net結(jié)構(gòu)對多強邊界的超聲圖像分割效果較差,因此,本文將水平集方法與U-Net模型相結(jié)合,利用U-Net網(wǎng)絡(luò)進行預(yù)分割,得到水平集模型的先驗信息.為了將水平集模型與U-Net模型相結(jié)合,本文提出的抑制項公式為
(2)
其中:φ表示水平集演化函數(shù),φcon表示U-Net分割結(jié)果的水平集函數(shù),γ為一個正值參數(shù).
除此之外,抑制項公式還限制了水平集曲線的演化,解決了很多水平集模型對初始化輪廓敏感的問題.
1.2.1 自動化初始輪廓檢測方法
超聲圖像大部分為對稱圖像,且捕獲的目標(biāo)通常在圖像中間.因此,可以通過計算圖像中的重心及尖點坐標(biāo),計算出圖像的對稱軸,確定以圖像中心為起始位置的初始輪廓的位置.重心坐標(biāo)v1(x1,y1)公式為
(3)
其中:(xi,yi) 是像素的坐標(biāo),pi是像素值.
本文采用Harris角點檢測算法尋找中間位置可能存在的尖點,尖點坐標(biāo)記為ν2(x2,y2),得到對稱軸l的方程,公式為
l:(y1-y2)*x+(x1-x2)*y+(x1*y2-x2*y1)=0.
(4)
同時為了保持在初始條件下水平集函數(shù)的原始圖像力,本文將水平集初始輪廓設(shè)置為圓形.將對稱軸l與圖像M的交點記為(xa,ya),(xb,yb),對稱軸坐標(biāo)O的計算公式為
(5)
通過符號距離函數(shù)(SDF)為水平集進行初始化,公式為
(6)
(7)
1.2.2 新的邊緣指示函數(shù)
當(dāng)圖像具有強烈的背景邊緣時,距離正則化檢測方法無法分辨目標(biāo)邊界與背景邊界之間的差異.因此,本文引入一種新的邊緣檢測函數(shù)用于區(qū)分目標(biāo)邊界與背景邊界.
圖1 不同強弱邊界的原始圖像及紅色區(qū)域的梯度向量
根據(jù)梯度方向來區(qū)分不需要的邊界和目標(biāo)邊界,并引入新的邊緣指示函數(shù)gnew.以初始輪廓位于目標(biāo)外部的情況為例,當(dāng)不需要的邊界比背景更暗時,如圖1(b)所示,gnew可以定義為
(8)
相反,當(dāng)不需要的邊界比圖1(d)中的背景更亮?xí)r,可以將gnew定義為
(9)
將新的邊緣指示函數(shù)gnew替換原式中的g,便得到了新的有向距離正則化模型,公式為
(10)
由公式(8)和(9)可以看出,圖像中的邊界是否可取完全取決于水平集函數(shù)的梯度向量與邊界處圖像的梯度向量的夾角.當(dāng)零級輪廓到達不需要的邊界時,新的邊緣指示函數(shù)gnew將被設(shè)置為1,則φ將發(fā)生很大變化,零級輪廓將被迫穿過不需要的邊界.但是當(dāng)零級等值線到達理想邊界時,φ會像距離正則化模型一樣,φ的演化會非常緩慢,零級等值線會收斂到這個邊界.在當(dāng)前的操作中,需要根據(jù)圖像的特征,手動決定是使用公式(8)還是公式(9).
1.2.3 正則項
在水平集方法中,正則化是為了保證水平集函數(shù)中的符號距離函數(shù)在演化過程中保持不變.它還可以防止水平集函數(shù)太陡或太平.其中正則化函數(shù)應(yīng)保證水平集函數(shù)f在過零處具有足夠的靈敏度,同時在遠離零水平集的區(qū)域保持平滑.為了有效地對水平集函數(shù)進行魯棒正則化,本文定義了一個去參數(shù)化的正則化函數(shù)為
φR=tan(ηφn+1).
(11)
其中η設(shè)置固定常數(shù)為7.
公式(11)提高了水平集函數(shù)在過零區(qū)域的斜率,抑制兩個高點的斜率.同時去參數(shù)化正則化函數(shù)采用了非線性拉伸方法,保持函數(shù)范圍不變的同時,提高了函數(shù)通過零點的斜率,平滑了其他區(qū)域,最終實現(xiàn)水平集函數(shù)的正則化.此外方程中沒有需要重復(fù)調(diào)整系數(shù),提高了模型的魯棒性.
本文使用超聲膽囊肌瘤圖像進行對比實驗,超聲膽囊肌瘤圖像為強背景醫(yī)療圖像,因此不需要再對圖像進行灰度處理,可直接將改進后的距離正則化模型與經(jīng)典距離正則化模型進行對比.
為了驗證圖像預(yù)分割的效果,將本文提出的新模型與U-Net網(wǎng)絡(luò)相結(jié)合后進行實驗.其中,U-Net網(wǎng)絡(luò)學(xué)習(xí)的數(shù)據(jù)集來自ISBI 2016,其中800張圖像作為訓(xùn)練集,100張圖像作為測試集,由于這些圖像是MRI圖像,因此要進行灰度處理.U-Net網(wǎng)絡(luò)訓(xùn)練參數(shù):步長timestep為1,μ=0.2,λ=5,α=-3,初始矩陣值為2.
將本文提出的距離正則化改進模型、經(jīng)典距離正則化模型、LGIF模型、LIC模型應(yīng)用于同一張強背景邊界的超聲膽囊肌瘤圖像中,如圖2所示,圖像大小為620×589像素.
圖2 膽囊肌瘤超聲的原始圖像
對比實驗結(jié)果如圖3所示.其中圖3(a)為距離DRLSE模型方法分割迭代1 000次的效果,可以看出大部分的分割結(jié)果比較好,但是右側(cè)邊界出現(xiàn)了溢出的情況.圖3(b)為DRLSE模型方法分割迭代1 500次的效果,與迭代1 000次相比,右側(cè)的溢出情況更加嚴(yán)重.圖3(c)為LGIF模型方法迭代1 000次的效果,可以看出圖像中都是散亂的點,對超聲圖像分割是失敗的;圖3(d)為LIC模型方法迭代500次的效果,由于計算信息過多,計算量大,花費時間較長,500次迭代已花費了14 min,可以看出LIC模型分割效果較好,但是它是基于全局信息進行的分割,會分割出不需要的邊界.圖3(e)為本文提出的改進距離正則化模型迭代1 000次的分割效果,可以看出分割效果較好,下部邊緣可以進一步完善,與距離正則化方法相比,并未出現(xiàn)邊界溢出的情況.圖3(f)為改進模型迭代1 500次的分割效果,比迭代1 000次的效果更好,邊緣更加平滑、完善.同時,將本文提出的模型的分割時間與其他模型進行對比,如表1所示.從表1中可以看出除了LGIF模型,其他3種模型均可以進行有效地分割,但LIC模型分割時間較長,不建議采用;距離正則化模型雖然時間上與改進模型相近,但是分割效果不如改進模型.因此無論是從時間還是分割效果上來看,本文提出的距離正則化改進模型均優(yōu)于其他模型.
表1 不同模型分割的實驗
(a) DRLSE模型;(b) DRLSE模型;(c) LGIF模型;(d) LIC模型;(e) 本文方法(1 000次);(f) 本文方法(1 500次)圖3 膽囊肌瘤超聲圖像的分割
從測試集中選取4張黑色素瘤圖片作為分割圖片,如圖4所示,圖片大小均為1 022×767像素.
圖4 黑色素瘤原始圖片
利用本文提出的方法與U-Net相結(jié)合的模型與距離正則化模型、LGIF模型、LIC模型分別對圖像進行分割,分割結(jié)果如圖5所示.其中圖5(a)為距離正則化模型對4張黑色素瘤圖像迭代1 200次的分割結(jié)果,可以看出分割結(jié)果欠佳,圖像中間部分出現(xiàn)了氣泡狀的曲線,并且對于前兩張圖像由于迭代次數(shù)不夠,無法收斂到邊界,需要更多的迭代次數(shù),后兩張圖像即使收斂到邊界,輪廓曲線也并不平滑;圖5(b)為LGIF模型對黑色素瘤圖像迭代500次的分割結(jié)果,可以看出LGIF模型具有很好的收斂效果,但是分割結(jié)果的邊緣并不平滑;圖5(c)為LIC方法迭代50次的分割結(jié)果,LIC模型是所有模型中迭代次數(shù)最少的,僅通過50次迭代就得到了一個較好的輪廓曲線,但是LIC模型分割的耗時也是較長的,僅次于需要上千次迭代的距離正則化模型,并且分割結(jié)果的邊緣也不是很平滑;圖5(d)為本文提出的距離正則化改進模型與U-Net網(wǎng)絡(luò)相結(jié)合迭代500次的分割結(jié)果,在較短的時間內(nèi),通過較短的迭代次數(shù)獲得了最理想的結(jié)果,輪廓停在圖像的邊緣處,并且邊緣十分平滑.
(a) 距離正則化模型
(b) LGIF模型
(c) LIC模型
(d) 本文模型圖5 不同模型對黑色素瘤的分割結(jié)果
本文還對距離正則化模型、LGIF 模型、LIC 模型和本文提出的模型進行定量比較,結(jié)果如表2所示,本文所提出模型的DICE值高于平均DICE值,但就方差而言,LIC模型和LGIF模型更穩(wěn)定,它們的方差比本文提出的模型更低.但本文提出模型的平均F1為0.934 5,高于其他3個模型.綜上所述,LIC模型和LGIF模型是對傳統(tǒng)活動輪廓模型的改進,在一定程度上更加穩(wěn)定,但考慮到F1,所提出的模型比其他模型具有更好的性能,能夠處理一些極端的情況.
表2 不同方法的100張黑色素瘤圖像的定量實驗
本文提出一種改進的距離正則化水平集模型的圖像分割方法,利用U-Net網(wǎng)絡(luò)對圖像進行預(yù)分割,再利用改進的距離正則化水平集模型進行精細分割,提高了模型的魯棒性.實驗結(jié)果表明,本文提出的方法具有較好的分割效果,具有一定的競爭力和可行性.