程國(guó)建，張福臨

(西安石油大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安 710065)

引 言

巖石是天然產(chǎn)出的具有穩(wěn)定外型的礦物或玻璃集合體,按照一定的方式結(jié)合而成，是構(gòu)成地殼和上地幔的物質(zhì)基礎(chǔ)。大量的勘探開(kāi)發(fā)實(shí)踐表明,儲(chǔ)層的微觀孔隙結(jié)構(gòu)直接影響著儲(chǔ)層的儲(chǔ)集滲流能力,并最終決定著氣藏的產(chǎn)能。因此,研究低滲氣藏的微觀孔隙結(jié)構(gòu)具有重要的現(xiàn)實(shí)意義。巖石薄片分析是地質(zhì)研究中的重要部分。傳統(tǒng)方法是人工用顯微鏡對(duì)巖石薄片圖像進(jìn)行識(shí)別、分析、鑒定,但其存在耗時(shí)長(zhǎng)、人力投入大、準(zhǔn)確度低等問(wèn)題。因此,利用人工智能及深度學(xué)習(xí)對(duì)巖石薄片進(jìn)行超分辨率重建與研究具有重要意義。

近年來(lái),隨著硬件設(shè)備和深度學(xué)習(xí)的快速發(fā)展,諸多學(xué)者在圖像處理方面做了更加深入的研究。2014年,Dong Chao等[1]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于超分辨率重建上,提出基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率(SRCNN)算法,將圖像特征從低分辨率空間非線性映射到高分辨率空間,重建效果優(yōu)于其他傳統(tǒng)算法。2016年,Dong Chao 等[2]改進(jìn)了SRCNN算法,提出了FSRCNN算法,其不需要在網(wǎng)絡(luò)外部進(jìn)行放大圖片尺寸的操作,同時(shí)通過(guò)添加收縮層和擴(kuò)張層,將一個(gè)大層用一些小層來(lái)代替,提升了超分辨率重建速度；Shi等[3]提出了一種直接在低分辨率圖像尺寸上提取特征,計(jì)算得到高分辨率圖像的高效方法(ESPCN)；Kim等[4]加深了卷積層數(shù),提出了一個(gè)20層的深度卷積神經(jīng)網(wǎng)絡(luò)模型(VDSR),提高了圖像的重建質(zhì)量；同年,Kim 等[5]又提出了基于深度循環(huán)神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建(DRCN),加深了網(wǎng)絡(luò)結(jié)構(gòu)(16個(gè)遞歸),增加了網(wǎng)絡(luò)感受野,提升了性能。2017年,Ledig等[6]首次將 GAN 應(yīng)用到超分辨率重建上,提出了基于生成對(duì)抗網(wǎng)絡(luò)的超分辨率重建(SRGAN),視覺(jué)效果逼真。

在巖石圖像研究方面,2016年,程國(guó)建等[7]將深度學(xué)習(xí)應(yīng)用到巖石圖像處理中,證明深度學(xué)習(xí)方法在巖石圖像中應(yīng)用的可行性；隨后,程國(guó)建、郭文惠、范鵬召等[8-9]將卷積神經(jīng)網(wǎng)絡(luò)和深度信念網(wǎng)絡(luò)應(yīng)用于巖石圖像分類,訓(xùn)練的分類模型準(zhǔn)確率分別達(dá)到98.5%和94.75%。2019年,程國(guó)建、魏珺潔[10]將K-Means的顏色量化算法應(yīng)用于巖石圖像預(yù)處理,更好地反映巖石圖像的顏色特征。

本文將單圖像生成式對(duì)抗網(wǎng)絡(luò)應(yīng)用于巖石圖像超分辨率重建中,該模型不需大量的數(shù)據(jù)集,無(wú)需人工提取圖像特征,最終達(dá)到對(duì)單張巖石薄片圖像進(jìn)行超分辨率重建的目的。

1 巖石鑄體薄片圖像

在石油地質(zhì)行業(yè)中,通常使用巖石薄片研究地質(zhì)油氣分布情況。鑄體薄片是將帶色的有機(jī)玻璃或環(huán)氧樹(shù)脂注入巖石的孔隙裂縫中,待樹(shù)脂凝固后,再將巖心切片放在顯微鏡下觀察,用以研究巖心薄片中的面孔率、孔喉類型、連通性、孔喉配位數(shù)以及碎屑組分等。本文實(shí)驗(yàn)使用來(lái)自鄂爾多斯盆地致密砂巖儲(chǔ)層微觀尺度智能化表征項(xiàng)目中偏光顯微鏡下拍攝的巖石鑄體薄片圖像作為數(shù)據(jù)集。

2 相關(guān)理論與方法

2.1 生成式對(duì)抗網(wǎng)絡(luò)

Ian J.Goodfellow等[11]提出了一個(gè)通過(guò)對(duì)抗過(guò)程估計(jì)生成模型的新框架，Generative Adversarial Networks?？蚣苤型瑫r(shí)訓(xùn)練2個(gè)模型：捕獲數(shù)據(jù)分布的生成模型G和估計(jì)樣本來(lái)自訓(xùn)練數(shù)據(jù)的概率的判別模型D。G的訓(xùn)練程序是將D錯(cuò)誤的概率最大化[12]。這個(gè)框架對(duì)應(yīng)一個(gè)最大值集下限的雙方對(duì)抗游戲?？梢宰C明在任意函數(shù)G和D的空間中，存在唯一的解決方案，使得G重現(xiàn)訓(xùn)練數(shù)據(jù)分布，而D=0.5。在G和D由多層感知器定義的情況下，整個(gè)系統(tǒng)可以用反向傳播進(jìn)行訓(xùn)練。在訓(xùn)練或生成樣本期間，不需要任何馬爾科夫鏈或展開(kāi)的近似推理網(wǎng)絡(luò)。實(shí)驗(yàn)通過(guò)對(duì)生成的樣品的定性和定量評(píng)估證明了本框架的潛力。生成式對(duì)抗網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖1所示。

2.2 單圖像生成對(duì)抗網(wǎng)絡(luò)

單圖像生成對(duì)抗網(wǎng)絡(luò)(SinGAN)是Tamar Rott Shaham等[13]在 2019 年提出的一種深度學(xué)習(xí)網(wǎng)絡(luò)模型。一般來(lái)說(shuō)訓(xùn)練GAN來(lái)生成圖像,至少需要有成千上萬(wàn)的訓(xùn)練數(shù)據(jù)才可能有不錯(cuò)的效果。而它能夠從單張自然圖像中學(xué)習(xí),是一種無(wú)監(jiān)督的生成模型,訓(xùn)練后的SinGAN可以接受一個(gè)隨機(jī)噪聲的輸入。SinGAN可以生成新的具有真實(shí)感的圖像樣本,在保留了原始的圖像塊分布的基礎(chǔ)上,創(chuàng)造了新的物體外形和結(jié)構(gòu)。

2.3 單圖像生成對(duì)抗網(wǎng)絡(luò)原理及結(jié)構(gòu)

單圖像生成對(duì)抗網(wǎng)絡(luò)是一個(gè)可以從單張自然圖像學(xué)習(xí)的非條件性生成式模型。這個(gè)模型可以捕捉給定圖像中各個(gè)小塊內(nèi)的內(nèi)在分布,接著就能夠生成帶有和給定圖像中的視覺(jué)內(nèi)容相同的高質(zhì)量且多樣的新圖像。這個(gè)任務(wù)在概念上與傳統(tǒng)的GAN設(shè)定類似,只是這里的訓(xùn)練樣本是單個(gè)圖像的patch,而不是來(lái)自數(shù)據(jù)庫(kù)的整個(gè)圖像樣本。而且在圖像的類別上不局限于一些特定圖片,而是要處理包含復(fù)雜結(jié)構(gòu)和紋理的一般自然圖像,這就需要獲取圖像更多尺度上的內(nèi)部信息。這是通過(guò)一個(gè)由全卷積的輕量級(jí)GANs組成的金字塔來(lái)實(shí)現(xiàn)的,每個(gè)GANs負(fù)責(zé)捕獲不同規(guī)模的patch分布。如圖2所示。

圖2 SinGAN的基本結(jié)構(gòu)Fig.2 The basic structure of SinGAN

SinGAN的結(jié)構(gòu)是多個(gè)全卷積GANs{G0,G1,…,GN}組成的金字塔,這些全卷積GANs都負(fù)責(zé)學(xué)習(xí)圖像{x0,x1,…,xN}中的某個(gè)小塊中的內(nèi)部信息,不同的GANs學(xué)習(xí)的小塊的大小不同,從粗糙到細(xì)致、從低分辨率到高分辨率逐步生成新圖像。這些新圖像在具有給定的訓(xùn)練圖像的全局結(jié)構(gòu)和細(xì)節(jié)紋理的同時(shí),還可以有很高的可變性。在這些全卷積GANs中,每個(gè)生成器GN都會(huì)生成真實(shí)圖像xN的權(quán)重與偏置。圖像樣本從最粗的尺度開(kāi)始,加入噪聲ZN,依次通過(guò)所有生成器GN,得到圖像xN,將圖像xN放大r倍后,加入另外一個(gè)噪聲ZN-1,一并輸入生成器GN-1,生成更多細(xì)節(jié)的圖像xN-1,以此類推,直到最細(xì)的尺度,生成具有豐富細(xì)節(jié)的圖像x0。其基本公式如下：

(1)

(2)

SinGAN超分辨率重建的原理是,在低分辨率圖像上訓(xùn)練模型,重建損失權(quán)重為α= 100,金字塔比例因子為

(3)

由于小型結(jié)構(gòu)往往會(huì)在自然圖像中重復(fù)出現(xiàn),因此將圖像上采樣r倍(見(jiàn)式(2)),并將其(連同噪聲)注入最后一個(gè)生成器G0,學(xué)習(xí)生成圖像樣本,重復(fù)此k次以獲得最終的高分辨率輸出。判別器DN都是基于patch判斷的,從DN直到D0層。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)采用PyTorch深度學(xué)習(xí)框架,使用GPU對(duì)處理過(guò)程加速,實(shí)驗(yàn)所用到的軟硬件環(huán)境見(jiàn)表1。

表1 實(shí)驗(yàn)環(huán)境Tab.1 Experimental environment

3.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)從鄂爾多斯盆地致密砂巖數(shù)據(jù)集中隨機(jī)選取了6幅大小為256×256分辨率的巖石圖像。進(jìn)行兩組實(shí)驗(yàn),第一組以不同碎屑粒徑的砂巖鑄體薄片圖像為數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),第二組以不同孔隙類型的砂巖鑄體薄片圖像為數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。

實(shí)驗(yàn)一，按照砂巖碎屑的粒徑大小將砂巖圖像分為3類：粗粒砂巖、中粒砂巖、細(xì)粒砂巖。粗粒砂巖的碎屑粒徑主要在0.5～2.0 mm之間,巖石碎屑主要呈橢圓狀、棱角狀,碎屑分布稀疏,連通性好。中粒砂巖的碎屑粒徑主要在0.1～0.2 mm之間,巖石碎屑主要呈次棱角狀、棱角狀,分布較稀疏,孔隙清晰可見(jiàn)。細(xì)粒砂巖的碎屑粒徑主要在0.062 5～0.100 0 mm之間。實(shí)驗(yàn)結(jié)果如圖3—圖5所示,這3幅圖的左圖為實(shí)驗(yàn)原圖,中間為實(shí)驗(yàn)原圖標(biāo)記區(qū)域圖,右邊為將實(shí)驗(yàn)原圖超分辨率重建結(jié)果圖，對(duì)應(yīng)原圖標(biāo)記區(qū)域。

圖3 粗粒砂巖圖像重建結(jié)果Fig.3 Image reconstruction result of coarse sandstone

圖4 中粒砂巖圖像重建結(jié)果Fig.4 Image reconstruction result of medium grained sandstone

圖5 細(xì)粒砂巖圖像重建結(jié)果Fig.5 Image reconstruction result of fine sandstone

對(duì)比輸入圖與結(jié)果圖,在輸入圖中,3種類型的巖石圖像較模糊,且紋理信息不明顯,碎屑邊緣部分平滑。經(jīng)過(guò)SinGAN重建之后的圖像,總體質(zhì)量明顯提升,邊緣部分的細(xì)節(jié)更加清晰,碎屑紋理突出。

實(shí)驗(yàn)二，按照砂巖孔隙的類型將砂巖圖像分為3類：粒間孔隙、晶間孔隙、溶蝕孔隙。粒間孔隙是在碎屑顆粒、基質(zhì)及膠結(jié)物之間的孔隙空間,它是碎屑巖中最大量及最主要的儲(chǔ)集空間。晶間孔隙是鹽酸鹽礦物晶體之間的孔隙。溶蝕孔隙指由碎屑顆粒、基質(zhì)、自生礦物膠結(jié)物或交代礦物中的可溶組分被溶解形成的孔隙。實(shí)驗(yàn)結(jié)果如圖6—圖8所示。

對(duì)比輸入圖與結(jié)果圖,在輸入圖中,3種類型的孔隙圖像較模糊,且孔隙的細(xì)節(jié)信息不明顯,孔隙間的物質(zhì)不夠清晰。經(jīng)過(guò)SinGAN重建之后的圖像,總體質(zhì)量明顯提升,孔隙的細(xì)節(jié)信息突出,紋理結(jié)構(gòu)更突出。由上述圖像可以看出,基于單圖像生成式對(duì)抗網(wǎng)絡(luò)的超分辨率重建結(jié)果的圖像質(zhì)量均有明顯的提升,紋理結(jié)構(gòu)更加清晰,細(xì)節(jié)信息更加明顯,有利于研究人員的后續(xù)研究。

圖6 粒間孔隙圖像重建結(jié)果Fig.6 Image reconstruction result of intergranular pores

圖7 晶間孔隙圖像重建結(jié)果Fig.7 Image reconstruction result of intercrystalline pores

圖8 溶蝕孔隙圖像重建結(jié)果Fig.8 Image reconstruction result of dissolution pores

實(shí)驗(yàn)三，利用雙三次插值(Bicubic)、SRCNN、VDSR、DRCN、SRGAN對(duì)巖石薄片圖像進(jìn)行超分辨率重建，將重建結(jié)果與本文方法結(jié)果進(jìn)行對(duì)比。結(jié)果如圖9所示。

圖9 中粒砂巖圖像不同方法重建結(jié)果Fig.9 Image reconstruction results of medium grained sandstone with different methods

3.3 實(shí)驗(yàn)結(jié)果分析

3.3.1 PSNR和SSIM

本實(shí)驗(yàn)采用峰值信噪比PSNR和結(jié)構(gòu)相似性SSIM作為評(píng)價(jià)指標(biāo)。

(4)

(5)

式中：MSE表示當(dāng)前圖像X和圖像Y的均方誤差；H、W分別為圖像的高度和寬度；n為每像素的比特?cái)?shù),一般取8,即像素灰階數(shù)為256。PSNR的數(shù)值越大表示失真越小。

SSIM基于樣本X和Y之間的3個(gè)量(亮度l、對(duì)比度c和結(jié)構(gòu)s)的比較進(jìn)行衡量。

(6)

其中C1=(K1L)2；

(7)

(8)

其中C2=(K2L)2；

(9)

(10)

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)。

(11)

式中：μX為X的均值,μY為Y的均值,σX為X的方差,σY為Y的方差,σXY為X和Y的協(xié)方差；C1、C2、C3是為了防止出現(xiàn)分母為零的情況,其中K1?1，是一個(gè)常數(shù)，具體代碼中的取值為0.01,K2一般在代碼中取0.03,C3取C2的一半,L為灰度的動(dòng)態(tài)范圍，由圖像的數(shù)據(jù)類型決定，如果數(shù)據(jù)為uint8型，則L=255。SSIM取值范圍[0,1], 值越大,表示圖像失真越小。

表2為6張圖像超分辨率重建質(zhì)量評(píng)價(jià)結(jié)果。

表2 圖像超分辨率重建質(zhì)量評(píng)價(jià)結(jié)果Fig.2 Evaluation result of super-resolution reconstruction of rock images

表3為6張圖像使用不同方法超分辨率重建評(píng)平均的質(zhì)量評(píng)價(jià)結(jié)果。

表3 不同方法的質(zhì)量評(píng)價(jià)結(jié)果對(duì)比Tab.3 Comparison of super-resolution quality evaluation results of images using different methods

從PSNR和SSIM數(shù)據(jù)可以看出,SinGAN的重建效果較好,也比較穩(wěn)定。

3.3.2 孔隙率

本實(shí)驗(yàn)利用ImageJ工具對(duì)實(shí)驗(yàn)原始輸入圖、輸出圖分別計(jì)算孔隙率,結(jié)果見(jiàn)表4。

表4 圖像孔隙率對(duì)比Tab.4 Image porosity comparison

可以看出經(jīng)過(guò)SinGAN超分辨率重建后,由于圖像變得更加清晰,紋理更加細(xì)致,細(xì)節(jié)信息更加明顯，巖石圖像的孔隙率都有一定程度的提升。

4 結(jié) 論

將單圖像生成式對(duì)抗網(wǎng)絡(luò)應(yīng)用到巖石薄片圖像超分辨率重建中,該方法直接輸入單張?jiān)紙D像的數(shù)據(jù),由SinGAN網(wǎng)絡(luò)自動(dòng)提取特征,SinGAN特有的金字塔式結(jié)構(gòu),使得每一層網(wǎng)絡(luò)能學(xué)習(xí)到前一層確實(shí)的細(xì)節(jié)。實(shí)驗(yàn)結(jié)果表明在視覺(jué)上和評(píng)價(jià)指標(biāo)上,均具有良好效果。下一步工作,調(diào)整圖像重建部分的函數(shù),使網(wǎng)絡(luò)達(dá)到更好的效果，以及將SinGAN網(wǎng)絡(luò)應(yīng)用于巖石薄片圖像的多狀態(tài)生成。