国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

結(jié)合SKNet與U-Net的鹽體識別方法

2022-02-25 06:01程國建萬曉龍姚衛(wèi)華魏新善
油氣地質(zhì)與采收率 2022年1期
關(guān)鍵詞:編碼器卷積損失

程國建,劉 寧,萬曉龍,姚衛(wèi)華,魏新善

(1.西安石油大學(xué)計(jì)算機(jī)學(xué)院,陜西 西安 710065;2.中國石油長慶油田分公司勘探開發(fā)研究院,陜西 西安 710018)

鹽體構(gòu)造是指由于巖鹽或其他蒸發(fā)巖的流動變形所形成的地質(zhì)變形體,包括鹽變形體本身及其周圍的其他變形巖層[1-2]。由于鹽體運(yùn)動可以形成良好的圈閉,其對于油氣的生成、聚集和最終定位具有重要影響,并且鹽體在常溫常壓下會發(fā)生假塑性流動,從而導(dǎo)致油井鉆探過程中會遇到許多問題。地下的地質(zhì)構(gòu)造一般通過收集地震反射信號呈現(xiàn)出來,其地震圖像需要專家進(jìn)行人工識別鹽體,這無疑非常費(fèi)時費(fèi)力[3-7]。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展,邊緣檢測、圖像分割等技術(shù)應(yīng)用到鹽體識別中。早期,研究者們使用傳統(tǒng)的圖像處理方法如歸一化割、水平集等,這些方法具有較高的計(jì)算復(fù)雜度,在真實(shí)場景中很難實(shí)施部署。WANG 等將地震屬性與機(jī)器學(xué)習(xí)算法相結(jié)合,常用的地震屬性有視覺顯著性和無序性等[8]。DI 等對6 種機(jī)器學(xué)習(xí)分類器在鹽體識別問題上進(jìn)行對比,得到類似的鹽體分割結(jié)果,表明鹽體識別問題對機(jī)器學(xué)習(xí)算法不太敏感[9]。

隨著卷積神經(jīng)網(wǎng)絡(luò)(CNN,Convolutional Neural Network)的出現(xiàn),網(wǎng)絡(luò)模型實(shí)現(xiàn)了端到端的特征選擇與分割。WALDELAND 等首次將CNN 應(yīng)用到鹽體識別中,將3D 地震圖像切分成小塊,以預(yù)測當(dāng)前小塊中心像素是否為鹽體,獲得了較好的鹽體分割效果[10]。全卷積神經(jīng)網(wǎng)絡(luò)(FCN,F(xiàn)ully Convolutional Networks)的發(fā)明,把圖像級別的分類進(jìn)一步延伸到像素級別,從而進(jìn)行端到端的分割[11]。為了克服FCN 沒有充分考慮上下文信息和實(shí)時性較差等缺點(diǎn),出現(xiàn)了基于編碼器-解碼器的網(wǎng)絡(luò)模型,U-Net是其代表之一[12]。U-Net 是一個對稱的結(jié)構(gòu),由收縮路徑和擴(kuò)張路徑組成,并通過跨層連接將編解碼器聯(lián)系起來。ISLAM 等結(jié)合U-Net 和SE-ResNet 卷積模塊,驗(yàn)證了基于跳躍連接的CNN 體系結(jié)構(gòu)在學(xué)習(xí)基本地震特征的能力[13]。上述方法都采用固定的3×3的卷積核,不能提取豐富的鹽體上下文信息,從而出現(xiàn)鹽體邊界分割不清晰或鹽體狹長處分割不準(zhǔn)確等問題。為此,筆者提出將SKNet(Selective Kernel Network)[14]與U-Net 相結(jié)合的方法,其可自適應(yīng)地調(diào)節(jié)感受野,獲得更豐富的鹽體特征;并在U-Net的編解碼器之間引入位置和通道自注意力機(jī)制[15],獲得鹽體的長距離依賴關(guān)系,增強(qiáng)鹽體特征表示,將所提出的方法命名為USKNet,該方法取得了較好的鹽體識別效果。

1 USKNet模型架構(gòu)

USKNet模型架構(gòu)基于U-Net改進(jìn)(圖1)。在編碼器部分,將SKNet34替換原始堆疊的卷積、批量歸一化與激活層,從而使編碼器可以根據(jù)鹽體的大小或形狀動態(tài)地選擇3×3 或5×5 的卷積核。特征圖經(jīng)過編碼器過程中,最大池化或卷積步長為2 的操作使特征圖像素從128×128 縮小至8×8,通道數(shù)則從8維增加至512 維。在編解碼器中間部分,經(jīng)過2 個卷積操作后,使用位置和通道自注意力機(jī)制,捕捉長距離依賴關(guān)系,同時抑制無關(guān)特征或噪聲。在解碼器部分,與原始U-Net基本保持一致,將編碼器每層的輸出與解碼器經(jīng)過反卷積的結(jié)果拼接,再進(jìn)行卷積操作。為了融合鹽體的多尺度特征,使用了超柱體方法[16],將解碼器每層的輸出進(jìn)行拼接,最后通過1×1 的卷積核和sigmoid 函數(shù)運(yùn)算得到像素級鹽體或非鹽體分類概率。同時,為了減少數(shù)據(jù)集中不包含鹽體的圖片樣例對分割結(jié)果的干擾,受PSPNet 的啟發(fā),在編碼器末端引入輔助的二分類器用來識別圖像中是否包含鹽體[17]。

圖1 USKNet模型架構(gòu)Fig.1 USKNet model architecture

SK unit 結(jié)構(gòu)是USKNet 模型架構(gòu)編碼器的主要組成部分,由一個3×3的卷積核和SK卷積構(gòu)成。SK卷積模塊(圖2)可分為拆分、融合、選擇3 個階段。在拆分階段,特征圖可從多個路徑輸入,路徑數(shù)用M表示,當(dāng)M為2時,分別對應(yīng)3×3和5×5的卷積核,為了保持感受野的大小且減少參數(shù),使用3×3、空洞數(shù)為2 的空洞卷積代替5×5 的卷積核。受ResNeXt 影響[18],在卷積操作時使用了分組卷積,分組數(shù)用G表示,設(shè)定G為32。在融合階段,將每個路徑得到的特征圖相加,之后進(jìn)行全局平均池化,特征圖維度由H×W×C變?yōu)?×C,接著通過維度為C×d的全連接層降維至1×d的輸出向量z,d為一個可調(diào)節(jié)的參數(shù),一般為C/32且最小值為32。在選擇階段,在通道維度上運(yùn)用softmax 函數(shù),通過軟注意力機(jī)制進(jìn)行特征圖選擇,2條路徑的注意力權(quán)重表達(dá)式分別為:

圖2 SK卷積模塊Fig.2 SK convolution module

當(dāng)M=2 時,各通道對應(yīng)特征圖矩陣的表達(dá)式為:

其中:

自注意力機(jī)制是獲得長距離依賴的一種方式,可動態(tài)地生成不同連接的權(quán)重,通常采用查詢、鍵、值模式,其表達(dá)式為:

編碼器和解碼器的中間部分為位置和通道自注意力機(jī)制模塊(圖3)。位置自注意力機(jī)制模塊將輸入的特征圖通過3 個卷積操作分別得到特征圖D,E和F,其中特征圖D和E經(jīng)過維度調(diào)整和soft?max函數(shù)運(yùn)算得到維度為(H×W)×(H×W)的矩陣,此矩陣表示特征圖D和E不同位置的相關(guān)性,2 個位置的特征表示越相似,其相關(guān)性就越大。通道自注意力機(jī)制模塊經(jīng)過維度調(diào)整和softmax 函數(shù)運(yùn)算得到維度為C×C的矩陣,此矩陣表示通道之間的互相影響程度。為了充分利用長距離依賴信息,對這2個自注意力機(jī)制模塊得到的特征圖進(jìn)行聚合。

圖3 位置和通道自注意力機(jī)制模塊Fig.3 Position and channel self-attention mechanism module

2 數(shù)據(jù)準(zhǔn)備

2.1 數(shù)據(jù)集預(yù)處理

TGS 鹽體識別數(shù)據(jù)集由包含標(biāo)簽的4 000 個訓(xùn)練集數(shù)據(jù)和不包含標(biāo)簽的18 000 個測試集數(shù)據(jù)組成,每個數(shù)據(jù)是由地下三維地震數(shù)據(jù)進(jìn)行二維切片得到的單通道灰度圖像,像素為101×101。標(biāo)簽圖像掩碼分為2類,即255(白色)代表鹽體,0(黑色)代表非鹽體。在數(shù)據(jù)集中,由于每張圖像鹽體分布不均衡,在劃分訓(xùn)練集與驗(yàn)證集時,為了數(shù)據(jù)分布的一致性,按鹽體占比為4∶1的比例進(jìn)行分層抽樣,得到3 200 個數(shù)據(jù)的訓(xùn)練集和800 個數(shù)據(jù)的驗(yàn)證集。在預(yù)處理時,先將每張圖像的像素從101×101 調(diào)整至128×128,以便更易使用卷積操作;再使用數(shù)據(jù)增強(qiáng)技術(shù)來擴(kuò)充訓(xùn)練集,考慮到鹽體分布與深度具有一定的關(guān)系,因而避免使用垂直翻轉(zhuǎn)操作。對原始圖像尺寸調(diào)整后,按隨機(jī)概率通過水平翻轉(zhuǎn)、亮度調(diào)整、小角度旋轉(zhuǎn)來數(shù)據(jù)增強(qiáng)(圖4)。

圖4 數(shù)據(jù)增強(qiáng)Fig.4 Data augmentation

2.2 損失函數(shù)優(yōu)選

對于判斷是否包含鹽體的二分類器,其所需要的標(biāo)簽可根據(jù)鹽體占比來獲得,鹽體占比為0 表示不包含鹽體,鹽體占比不為0 表示包含鹽體。二分類器的優(yōu)化運(yùn)用二值交叉熵(BCE)損失函數(shù)計(jì)算,其表達(dá)式為:

對于鹽體的語義分割,由于鹽體與非鹽體占比較不平衡且優(yōu)化的目標(biāo)是交并比(IoU),故二值交叉熵?fù)p失函數(shù)不適用。同時交并比損失函數(shù)是非凸的,不易收斂到最小值,因此選擇lovasz-hinge 損失函數(shù)來優(yōu)化分割效果[19]。鹽體的分割損失和輔助損失總和的表達(dá)式為:

二分類器為輔助損失,在整體損失中占比較小,本模型中α取值為0.05;在數(shù)據(jù)集中,鹽體占比較多的圖像約占50%,本模型中β取值為0.5。

3 模型訓(xùn)練

3.1 評價指標(biāo)

在語義分割中,通常采用像素準(zhǔn)確率(PA)和交并比來衡量真實(shí)值與預(yù)測值的差距,評價指標(biāo)的范圍都為[0,1],數(shù)值越大表示真實(shí)值與預(yù)測值的差距越小。像素準(zhǔn)確率和交并比的表達(dá)式分別為:

3.2 訓(xùn)練過程

為節(jié)省訓(xùn)練時間,結(jié)合遷移學(xué)習(xí)的方法,編碼器使用了在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的SKNet34。由于預(yù)訓(xùn)練模型需要輸入三通道圖像進(jìn)行歸一化,因此將灰度圖像通過Open CV以彩色模式讀取再輸入模型,訓(xùn)練集與驗(yàn)證集比例為4∶1,設(shè)置batchsize為32,優(yōu)化算法為SGD,初始學(xué)習(xí)率為0.01,學(xué)習(xí)率調(diào)整策略采用余弦退火策略[20],其表達(dá)式為:

模型訓(xùn)練了140 個epoch,每2 個epoch 進(jìn)行一次驗(yàn)證并保存IoU最高的模型權(quán)重,得到訓(xùn)練集與驗(yàn)證集的PA及IoU曲線(圖5)。

圖5 訓(xùn)練集與驗(yàn)證集的PA和IoU曲線Fig.5 PA and IoU curves of training set and validation set

4 結(jié)果分析

4.1 不同損失函數(shù)對USKNet的影響

為了探究不同損失函數(shù)對鹽體的語義分割效果,對比了dice 與lovasz-hinge 損失函數(shù)。從USKNet在2種損失函數(shù)下的評價指標(biāo)(表1)可以看出,采用lovasz-hinge損失的IoU和PA比dice損失分別提高2.16%和0.6%。結(jié)果表明,lovasz-hinge 損失函數(shù)更適用于鹽體的語義分割。

表1 不同損失函數(shù)對USKNet的影響Table1 Influence of different loss functions on USKNet %

4.2 SKNet與自注意力機(jī)制對USKNet的影響

為驗(yàn)證SKNet提取鹽體特征的有效性和自注意力機(jī)制的效果,在使用輔助損失函數(shù)和超柱體方法的前提下,SKNet+U-Net 的方法在IoU和PA上比UNet 分別提高了7.18%和2.0%;加入自注意力機(jī)制后,IoU和PA又分別提高了0.95%和0.2%,證明SKNet 與自注意力機(jī)制可有效提高鹽體識別效果(表2)。

表2 SKNet與自注意力機(jī)制對USKNet的影響Table2 Influence of SKNet and self-attention mechanism on USKNet %

4.3 USKNet與其他模型對比

將USKNet與U-Net,PSPNet鹽體的語義分割評價指標(biāo)(表3)進(jìn)行對比,USKNet 在IoU和PA上都具有較大優(yōu)勢。從不同鹽體占比圖像在3種模型下的語義分割效果(圖6)可以看出,USKNet 在邊界處分割的更清晰,在面對小目標(biāo)鹽體和復(fù)雜鹽體形狀時也更具有魯棒性。

表3 不同模型下鹽體的語義分割評價指標(biāo)Table3 Evaluation indexes of semantic segmentation of salt bodies by different models %

圖6 不同模型下鹽體的語義分割效果Fig.6 Results of semantic segmentation of salt bodies by different models

5 結(jié)束語

USKNet 模型可自適應(yīng)地獲取不同大小感受野的鹽體特征,同時通過位置與通道自注意力機(jī)制來增強(qiáng)鹽體特征表示,進(jìn)一步提升了鹽體識別效果,改善了鹽體邊界、狹長處和小目標(biāo)鹽體的語義分割效果。但本文提出的模型只驗(yàn)證了在二維地震圖像上具有較好的鹽體識別效果,對于三維地震數(shù)據(jù),實(shí)際應(yīng)用中更需要準(zhǔn)確地識別出三維鹽體形狀,未來的研究工作聚焦于將該方法推廣到三維地震數(shù)據(jù)以便提高模型在不同地質(zhì)環(huán)境下的泛化能力。

符號解釋

猜你喜歡
編碼器卷積損失
洪澇造成孟加拉損失25.4萬噸大米
基于全卷積神經(jīng)網(wǎng)絡(luò)的豬背膘厚快速準(zhǔn)確測定
基于ResNet18特征編碼器的水稻病蟲害圖像描述生成
WV3650M/WH3650M 絕對值旋轉(zhuǎn)編碼器
WDGP36J / WDGA36J編碼器Wachendorff自動化有限公司
一種基于卷積神經(jīng)網(wǎng)絡(luò)的地磁基準(zhǔn)圖構(gòu)建方法
基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
一種并行不對稱空洞卷積模塊①
基于Beaglebone Black 的絕對式編碼器接口電路設(shè)計(jì)*
兩敗俱傷