国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

一種基于深度學習的二階段舌象分割網(wǎng)絡模型

2022-11-24 01:07劉東華張偉顧旋梁富娥呂珊珊
中醫(yī)藥信息 2022年11期
關鍵詞:舌體舌象空洞

劉東華,張偉,顧旋,梁富娥,呂珊珊

(甘肅中醫(yī)藥大學信息工程學院,甘肅 蘭州 730000)

舌診是指醫(yī)生觀察病人的舌質(zhì)和舌苔來進行診斷的一種方法,屬于中醫(yī)“望、聞、問、切”四診中望診的重要方法,也是中醫(yī)特色診法[1]。應用現(xiàn)代分析手段分析舌象,首先要從圖像中將舌體分割出來才能繼續(xù)對舌象進行分類識別和診斷,所以舌象分割是后續(xù)研究的前提和關鍵。由于舌象分割的復雜性和特殊性,人們提出了各種各樣的分割方法。閾值法[2]分割舌體,利用舌體顏色像素值的差別來進行劃分,分割速度快但精度不高;邊緣檢測算法[3],根據(jù)圖像邊緣像素值變化劇烈這一特點來進行定位,但舌體背景環(huán)境復雜,出現(xiàn)錯誤分割率高;以主動輪廓模型[4]為主的算法,模型算法過度依賴輪廓線的好壞,很容易進行錯誤的分割。因為這些算法都是利用的舌體的顏色,紋理等淺層的特征,以上傳統(tǒng)圖像處理方法在精度上很難有較大的提升,想要提高舌體的分割精度就需要利用舌象更深層次的特征信息。

近幾年深度學習在計算機視覺領域得到了廣泛的應用,這是因為卷積神經(jīng)網(wǎng)絡可以提取圖像深層次抽象的語義特征。卷積神經(jīng)網(wǎng)絡從R_CNN[5]發(fā)展到Faster R_CNN[6],從CNN到FCN[7],在圖像目標檢測、分類、分割領域都得到了廣泛的應用。卷積神經(jīng)網(wǎng)絡在醫(yī)學圖像領域已經(jīng)取得了不錯的成果,但應用在舌象領域還不是很成熟。本文在卷積神經(jīng)網(wǎng)絡的基礎上改進了一個二階段舌象分割網(wǎng)絡模型,網(wǎng)絡分為粗分割(Rsnet)和精分割(Psnet)兩部分級聯(lián)組成,兩部分網(wǎng)絡可以單獨訓練,減輕整體網(wǎng)絡的復雜度,降低對計算機硬件的要求。

1 舌象分割網(wǎng)絡及方法

本算法的整體網(wǎng)絡結構見圖1,網(wǎng)絡結構主要可以分為粗分割和精分割。粗分割階段,將圖像進行卷積后提取不同尺度的特征圖融合,傳入全連接層從臉部圖像中提取出感興趣區(qū)域,定位舌體,去除無關干擾信息。精分割階段,利用深度卷積神經(jīng)網(wǎng)絡處理上一階段提取出的感興趣區(qū)域,傳入特征增強網(wǎng)絡強化特征信息,然后分類器對圖像每一個像素點進行分類,實現(xiàn)舌體精分割。形態(tài)學優(yōu)化,利用腐蝕膨脹操作對精分割后的圖像進行優(yōu)化處理,進一步優(yōu)化分割的結果。

圖1 舌象分割算法網(wǎng)絡結構

1.1 粗分割階段

舌體分割的本質(zhì)就是對舌象圖像中的每一像素點進行分類,舌象圖像中無關因素越多就會影響分類器的效率,影響分割的精度。所以減少舌象中無關因素的影響,準確地提取出感興趣區(qū)域,定位舌體區(qū)域是關鍵。

粗分割階段網(wǎng)絡的主干部分由帶深度可分離卷積[8]的Mobilenet_v1[9]組成,對舌象圖片進行卷積和池化操作,提取圖像深層次的抽象特征。舌象經(jīng)過卷積池化后,筆者取出網(wǎng)絡的最后3 個有效特征層來構建特征金字塔,不同尺度的特征圖包含了不同層次的特征信息,將這些不同尺度的特征圖進行有效融合,融合舌象不同層次的特征信息,進行特征增強處理。特征增強后的圖像傳入全連接層,全連接層利用這3 個增強后的特征進一步分類回歸預測結果。

深度可分離卷積可以實現(xiàn)普通卷積一樣的結果,但其所需要的參數(shù)和運算量大大減少。深度可分離卷積模塊可以分為逐深度卷積和逐點卷積,逐深度卷積對輸入特征圖的每個通道分別使用一個卷積核,然后將所有卷積核的輸出再進行拼接得到它的最終輸出。逐點卷積實際為1×1卷積,在深度可分離卷積中主要起兩個方面的作用,一個作用是能夠自由改變輸出通道的數(shù)量,另一個作用是對逐深度卷積輸出的特征圖進行通道融合。

假設輸入特征圖的尺寸為Dk×Dk×M,卷積核的尺寸為DF×DF×M,數(shù)量為N。假設對應特征圖空間位置中的每一個點都會進行一次卷積操作,那么可知單個卷積共需要進行Dk×Dk×DF×DF×M次計算。這是因為特征圖空間維度共包含Dk×Dk個點,而對每個點進行卷積操作的計算量與卷積核的尺寸一致,即DF×DF×M,所以對單個卷積而言,其總計算量為Dk×Dk×DF×DF×M,對N個卷積的總計算量為Dk×Dk×DF×DF×M×N。對逐深度卷積計算量為Dk×Dk×DF×DF×M,逐點卷積計算量為Dk×Dk×M×N,所以深度可分離總計算量為Dk×Dk×DF×DF×M+Dk×Dk×M×N。對比可知深度可分離卷積的計算量與普通卷積的比為,可知深度可分離卷積計算效率遠優(yōu)于普通卷積。

1.2 精分割階段

本文的精分割網(wǎng)絡模型是編碼-解碼結構,編碼部分網(wǎng)絡由帶空洞卷積的深度卷積神經(jīng)網(wǎng)絡(DCNN)模塊[10]和帶空洞卷積的空間金字塔模塊[11]組成。深度卷積神經(jīng)網(wǎng)絡模塊對粗分割網(wǎng)絡傳入的圖像進行下采樣特征提取,然后特征金字塔模塊對特征層利用不同rate 的空洞卷積進行特征提取,特征金字塔融合后再進行1×1 卷積壓縮特征。解碼部分主要作用就是將編碼模塊中的低維特征與空間特征金字塔融合的高維特征進行有效合并,然后進行上采樣恢復圖像大小并分割預測。

在圖像分割領域,DCNN 通常會多次使用卷積和池化操作,這樣可以提取圖像深層次的高維特征,但是經(jīng)過卷積池化后特征圖會不斷變小,低層的邊界信息和語義信息會丟失,這樣就會降低分割的精度。為了解決類似問題,人們提出了空洞卷積模塊,它能代替下采樣和上采樣操作,且不會造成精度損失。

空洞卷積可以不丟棄任何信息并增大特征圖的感受野,讓每個輸出特征圖都包含大范圍信息??斩淳矸e與正常的卷積相比,空洞卷積加入了一個叫作擴張率(dilation rate)的參數(shù),該參數(shù)定義了卷積核處理數(shù)據(jù)時各值的間距。

圖2 中三幅3×3 卷積圖像中(a)為普通卷積,(b)(c)為不同擴張率的空洞卷積,圖像最外層的大框表示輸入圖像,黑色的圓點表示3×3 的卷積核,灰色框格表示的是卷積后的感受野。圖中(a)是普通的卷積過程(dilation rate= 1),卷積后的感受野為3,(b)是擴張率(dilation rate=2)的空洞卷積,卷積后的感受野為5,(c)是擴張率(dilation rate = 3)的空洞卷積,卷積后的感受野為8。從圖中可以看出,普通卷積可以看作空洞卷積的一種特殊情況,同樣一個3×3 的卷積,空洞卷積卻可以起到5×5、7×7 等卷積的效果,以上可以看出空洞卷積能夠不增加網(wǎng)絡的參數(shù)量,卻可以增大特征圖的感受野。

圖2 普通卷積和空洞卷積對比圖

空洞卷積感受野的計算公式如下,假設空洞卷積的卷積核大小為k,空洞數(shù)為d,則其等效卷積核大小k':

k'=k+(k-1) ×(d-1)

當前層網(wǎng)絡感受野計算,其中,RFi+1表示當前層的感受野,RFi表示上一層的感受野,k'表示卷積核的大?。?/p>

RFi+1=RFi+(k'-1) ×Si

Si表示之前所有層的步長的乘積(不包含本層):

1.3 形態(tài)學優(yōu)化

形態(tài)學優(yōu)化的主要作用是利用形態(tài)學圖像處理算法來進行圖像優(yōu)化處理,分割后的圖像背景中會出現(xiàn)一些細小噪聲和小的連通域,邊緣會產(chǎn)生毛刺和不平整,經(jīng)過形態(tài)學算法優(yōu)化處理后會消除噪聲并平滑邊緣。形態(tài)學圖像優(yōu)化算法常被用于圖像的預處理和后處理中,是一種不錯的圖像增強技術。

形態(tài)學優(yōu)化算法過程:

(1)首先將分割后的圖像做二值化處理,然后選取適合舌體形狀大小的結構元素對二值化處理后的圖像進行多次腐蝕膨脹操作。

(2)將上一步腐蝕膨脹處理后的圖像轉換為布爾類型數(shù)組,以舌體為主要部分,消除舌體周圍小的連通區(qū)域即可以消除被誤分割的背景噪聲并平滑邊緣。

(3)將舌體分割輸入的原圖與布爾類型數(shù)組相乘就可以得到形態(tài)學優(yōu)化后的分割圖像。

2 實驗研究與分析

2.1 數(shù)據(jù)集

為了提高算法模型的泛化能力,本文的數(shù)據(jù)主要來源于兩種方式:(1)專業(yè)舌象儀在標準光源環(huán)境下對受試者進行舌象數(shù)據(jù)采集;(2)智能手機在非標準環(huán)境下對受試者進行舌象數(shù)據(jù)采集。最終通過篩選從數(shù)據(jù)庫中選取了1 025 張舌象圖片,然后隨機將這1 025 張圖片分成5等份,205張圖片作為測試集,820張圖片作為訓練集。

2.2 實驗環(huán)境

本文為了訓練分割網(wǎng)絡模型,應用tensorflow 框架搭建分割網(wǎng)絡,代碼實驗全在如下計算機上完成:Windows 10 系統(tǒng),AMD R7 5800H Cpu,16 G Ram,NVIDIA GeForce GTX1660 4G Gpu,使用的編程語言為python。

2.3 算法評判標準

圖像分割算法效果評價,一般是把算法網(wǎng)絡自動分割的圖像與實際分割圖像對比分析,計算出分割算法的好壞。本文采用像素精度(PA)、平均像素精度(MPA)和平均交并比(MIOU)3 個標準來對算法進行評判。計算公式如下:

式中:Pii為將第i類正確地分割為第i類的像素點數(shù)量,Pij為將第i類錯誤地分割為第j類的像素點數(shù)量,Pji為將第j類錯誤地分割為第i類的像素點數(shù)量,m+1 是類別個數(shù)。這三個評判指標取值都在0~1 之間,值越大說明分割精度越好。

2.4 結果分析

將本文方法與Otsu算法、Grabcut算法[12]等傳統(tǒng)圖像分割方法以及基于深度學習思想的Segnet算法[13]進行對比分析,見圖3。第一列5 張舌象圖片中的前3 張為標準環(huán)境下舌象儀采集的數(shù)據(jù),后2 張為智能手機在非標準環(huán)境下采集的數(shù)據(jù),通過不同類型的數(shù)據(jù)集來驗證算法的魯棒性。

由圖3可以看出,Otsu算法根據(jù)自適應閾值來分割圖像,選取一個適當?shù)拈撝祦韺D像進行像素級分類,此方法在標準環(huán)境下采集的圖像中分割效果不錯,但在非標準環(huán)境下采集的圖像中效果較差,由此可知Otsu算法在不同類型的數(shù)據(jù)集上魯棒性較差。Grabcut算法需要手動標記出分割目標區(qū)域,然后進行多次算法迭代運算分割出結果,算法不能自動進行,需要人為干預,分割效率也較低。Otsu 算法和Grabcut 算法都是傳統(tǒng)的圖像分割算法,利用的是舌象最底層的像素特征,顏色、形狀、紋理等。根據(jù)底層特征進行分割速度快,但精度不高,像舌體的顏色有時會和嘴唇的顏色相近,所以分割時會把嘴唇誤分割為舌體,并且算法在不同類型的舌象數(shù)據(jù)集上魯棒性較差。Segnet算法是基于深度學習的網(wǎng)絡模型,由圖3和表1數(shù)據(jù)可以看出其分割效率比傳統(tǒng)圖像分割算法要高出許多,而且可以在不同類型的舌象數(shù)據(jù)集上運行,并保持分割精度基本不變,所以其分割精度和魯棒性都較傳統(tǒng)的圖像分割算法精度更優(yōu)。本文分割算法平均交并比達到了95.25%,比Segnet算法高3.10%,在不同類型的數(shù)據(jù)集上可以有效地避免多數(shù)像素的錯誤分類和漏分類,在大部分圖像上可以實現(xiàn)理想的分割效果,有較好的分割精度和魯棒性,可以滿足后續(xù)分類識別的精度要求。

表1 不同分割算法的結果(%)

圖3 不同分割算法結果對比

本文提出的分割算法網(wǎng)絡是二階段的,其中粗分割(Rsnet)提取感興趣區(qū)域減少背景因素干擾,精分割(Psnet)通過對舌體像素級的分類來實現(xiàn)精準分割,后接形態(tài)學優(yōu)化算法來消除細小噪聲和平滑舌體邊緣信息,并通過實驗來驗證每部分在整體網(wǎng)絡中的作用大小,將各部分拆裝后再進行有效拼接,進行實驗對比分析。MIOU 越高表明像素分類正確率高,舌體分割精度高。從表2 可以看出直接使用精分割網(wǎng)絡,不經(jīng)過粗分割網(wǎng)絡提取感興趣區(qū)域的分割精度有所下降,直接進入精分割網(wǎng)絡分割舌體,圖像中的背景因素會產(chǎn)生干擾,增大像素錯誤分類的概率。經(jīng)過形態(tài)學優(yōu)化算法處理后,舌體邊緣因背景因素引起的錯誤分割像素點被消除,減少了被錯誤分類的像素點數(shù)量,整體分割精度又得到了提升。從表2 中也可以看出經(jīng)過粗分割后再精分割的算法精度比直接進行精分割的平均交并比高0.42%,說明經(jīng)過粗分割提取目標區(qū)域,去除無關因素干擾對網(wǎng)絡整體精度的提升有很大幫助。形態(tài)學優(yōu)化二階段分割出來的舌象平均交并比提升了0.05%,可以看出二階段分割網(wǎng)絡的整體效率高,基本不會出現(xiàn)較大區(qū)域的錯分像素點。

表2 不同拼接算法的結果(%)

3 結論

本文針對傳統(tǒng)圖像分割算法需要預處理,人為干預、分割精度低等問題,提出了基于深度學習的二階段舌象分割網(wǎng)絡模型。首先對圖像目標進行感興趣區(qū)域提取,減少背景區(qū)域的干擾,然后利用空洞卷積在不損失信息的情況下增大特征圖感受野的方法來對圖像進行精準分割,提高分割精度,最后采用形態(tài)學優(yōu)化算法對分割后的舌體圖像進行優(yōu)化處理,消除細小噪聲和平滑邊緣。本文網(wǎng)絡采用級聯(lián)的方法來對舌象進行自動分割,分割精度高而且模型靈活并對計算機硬件要求低。與傳統(tǒng)圖像分割算法相比,本文網(wǎng)絡分割精度高、魯棒性好且自動化程度高。與其他主流分割算法相比,本文網(wǎng)絡在分割精度上比其有所提升,能夠滿足后續(xù)分類識別的條件要求。在接下來的研究工作中,我們可以在高精度分割網(wǎng)絡的基礎上,進一步研究舌象的分類識別,根據(jù)舌象識別相應病癥。

猜你喜歡
舌體舌象空洞
574例新型冠狀病毒肺炎康復者舌象特征分析
基于Citespace的國內(nèi)腫瘤舌象研究可視化分析(2001-2020年)
基于Citespace糖尿病舌象研究的文獻計量與可視化分析
基于一種局部圖像增強和改進分水嶺的舌體分割算法
鍛造過程中大截面塑料模具鋼中空洞缺陷的閉合行為
如何避免想象作文空洞無“精神”
舌象儀臨床應用研究的方法學及報告質(zhì)量評價
基于深度卷積神經(jīng)網(wǎng)絡的舌體胖瘦精細分類
舌體大小與阻塞性睡眠呼吸暫停低通氣綜合征發(fā)病的相關性
望舌可預測中風
丹巴县| 怀仁县| 阿城市| 台山市| 淳安县| 合阳县| 县级市| 高密市| 莲花县| 拉孜县| 宽城| 怀化市| 安宁市| 积石山| 卓资县| 江阴市| 通州区| 海林市| 秦安县| 鹤庆县| 万源市| 吉水县| 西藏| 洪江市| 壶关县| 原平市| 会理县| 鱼台县| 军事| 三门峡市| 潜山县| 黔西县| 扎兰屯市| 蕲春县| 罗城| 义乌市| 靖安县| 瑞安市| 友谊县| 平潭县| 胶州市|