金 弟,莊錫進,王啟迪,曹曉初,王宗仁

(中國石油杭州地質(zhì)研究院 計算機應(yīng)用研究所,杭州 310023)

在油氣勘探過程中,利用人工地震波激發(fā)采集的地震資料是一種海量數(shù)據(jù)[1].利用高性能計算集群系統(tǒng)與超大規(guī)模并行處理應(yīng)用軟件對地震資料數(shù)據(jù)進行疊前偏移成像處理過程中,負責(zé)地震資料大數(shù)據(jù)讀寫等操作的存儲子系統(tǒng)成為性能瓶頸的核心環(huán)節(jié).

在存儲子系統(tǒng)中,當(dāng)?shù)卣鹳Y料處理系統(tǒng)中的計算節(jié)點客戶端大規(guī)模I/O并行請求地震數(shù)據(jù)寫所形成的高聚合I/O帶寬時,存儲主機集群技術(shù)[2]能避免存儲主機節(jié)點端出現(xiàn)擁堵與單點故障;動態(tài)存儲多路徑技術(shù)[2]能有效解決在存儲主機與存儲控制器之間的數(shù)據(jù)鏈路通道出現(xiàn)擁堵與單點故障;并行文件系統(tǒng)減少在Linux操作系統(tǒng)環(huán)境下的文件系統(tǒng)層出現(xiàn)大量文件讀寫的I/O排隊等待時間[2].但是這些技術(shù)解決的是存儲子系統(tǒng)體系結(jié)構(gòu)中單個文件系統(tǒng)層及以下底層的I/O性能提升.而對于文件系統(tǒng)池中各個文件系統(tǒng)的層面上,存在各個文件系統(tǒng)的地震數(shù)據(jù)寫吞吐量、寫頻率、寫負載以及寫容量等差別較大;各個文件系統(tǒng)的存儲剩余容量、存儲剩余容量百分比值等存在較大差異;地震數(shù)據(jù)文件容量、數(shù)量等在各個文件系統(tǒng)上的存儲不均衡.因此無法實現(xiàn)文件系統(tǒng)池中各個文件系統(tǒng)之間的地震數(shù)據(jù)寫負載均衡與數(shù)據(jù)分布優(yōu)化.本文首先闡述地震資料處理流程,接著分析不同常規(guī)地震數(shù)據(jù)寫策略的優(yōu)缺點,最后提出基于概率的地震數(shù)據(jù)寫策略的優(yōu)越性并進行實驗驗證.

1 地震資料處理流程

1.1 系統(tǒng)典型部署

地震資料處理是典型的數(shù)據(jù)密集型應(yīng)用,其特點是對陸地、海洋采集的原始海量地震數(shù)據(jù)進行常規(guī)處理、偏移成像處理等形成準(zhǔn)確的地下構(gòu)造圖像,以便發(fā)現(xiàn)油氣藏.目前主流的地震資料處理環(huán)境中,普遍采用基于集群的高性能并行計算機系統(tǒng)[3],實現(xiàn)其計算與存儲分離、存儲共享的方式,典型的系統(tǒng)結(jié)構(gòu)如圖1.由圖1知,海量地震數(shù)據(jù)存儲在文件系統(tǒng)池中,計算節(jié)點通過高速網(wǎng)絡(luò)向I/O節(jié)點請求I/O讀寫,多個I/O節(jié)點并行對文件系統(tǒng)池讀寫地震數(shù)據(jù).文件系統(tǒng)池由多個文件系統(tǒng)構(gòu)成,通常采用高性能磁盤陣列、并行文件系統(tǒng)構(gòu)建,各個節(jié)點像訪問多個本地文件系統(tǒng)一樣來讀寫地震數(shù)據(jù).地震資料處理系統(tǒng)的軟件體系結(jié)構(gòu)采用分層模式,如圖2所示.應(yīng)用功能層部署在多個計算節(jié)點上,完成常規(guī)處理、并行偏移處理等.服務(wù)控制層是其核心服務(wù)器,執(zhí)行整個軟件系統(tǒng)的控制與管理等功能.數(shù)據(jù)服務(wù)層部署在I/O節(jié)點上,進行地震數(shù)據(jù)與非地震數(shù)據(jù)的讀寫與管理,直接與數(shù)據(jù)存儲層的文件系統(tǒng)池與關(guān)系數(shù)據(jù)庫進行數(shù)據(jù)交互.

圖1 地震資料處理系統(tǒng)典型結(jié)構(gòu)

圖2 地震資料處理系統(tǒng)的軟件體系結(jié)構(gòu)

作者所在單位從2010年開始采用并行文件系統(tǒng)StorNext[4]部署文件系統(tǒng)池,目前的文件系統(tǒng)池由21個文件系統(tǒng)組成,規(guī)模達到PB級存儲容量.采用StorNext部署的文件系統(tǒng)池能很好的實現(xiàn)單個文件系統(tǒng)內(nèi)地震數(shù)據(jù)的均衡物理分布與多I/O節(jié)點并行高效讀寫.但在一個地震資料處理作業(yè)過程中,對請求寫的地震數(shù)據(jù)必須預(yù)先靜態(tài)的指定向哪個文件系統(tǒng)寫,無法根據(jù)多個文件系統(tǒng)的地震數(shù)據(jù)分布信息變化動態(tài)的進行修改調(diào)整.所以要滿足多個文件系統(tǒng)之間的地震數(shù)據(jù)負載均衡寫,數(shù)據(jù)服務(wù)層與數(shù)據(jù)存儲層不能感知,需要依靠地震資料處理人員的主觀判斷與手工操作干預(yù).

1.2 流程分析

地震資料處理的主要流程如圖3所示.檢波器產(chǎn)生的原始地震數(shù)據(jù)存儲在文件系統(tǒng)池中;地震資料處理軟件通過解編生成特定私有格式地震數(shù)據(jù);讀取解編后的地震數(shù)據(jù),經(jīng)過常規(guī)處理與偏移處理產(chǎn)生若干份中間成果地震數(shù)據(jù);讀取中間成果地震數(shù)據(jù),進行交互分析,產(chǎn)生最終處理后的成果地震數(shù)據(jù).

圖3 地震資料數(shù)據(jù)處理流程

由圖3知,地震資料處理流程主要包括原始地震數(shù)據(jù)解編、常規(guī)處理、偏移處理以及交互分析4個主要階段.原始地震數(shù)據(jù)解編消耗CPU較少,對I/O需求較大.常規(guī)處理包括靜校正、反褶積、噪音壓制等方法,需要多次讀入、計算、刪除和寫大量中間地震數(shù)據(jù),對I/O和CPU需求都比較大.偏移處理包括時間偏移、深度偏移、逆時偏移等復(fù)雜方法,需要多次并行讀入、計算、刪除和寫大量中間地震數(shù)據(jù),對存儲子系統(tǒng)的并行I/O與計算子系統(tǒng)的并行計算要求非常高.交互分析是讀取常規(guī)處理和偏移處理后的相關(guān)地震數(shù)據(jù),做分析修正.對I/O和CPU消耗不多.因此除交互分析外,其它三個階段都有大規(guī)模的讀、寫及刪除大量地震數(shù)據(jù)文件.這種頻繁的大規(guī)模地震數(shù)據(jù)寫、刪除等操作導(dǎo)致文件系統(tǒng)池中各個文件系統(tǒng)之間的地震數(shù)據(jù)寫不平衡與地震數(shù)據(jù)分布不平衡.

2 常規(guī)地震數(shù)據(jù)寫策略與分析

針對文件系統(tǒng)池中各個文件系統(tǒng)之間的地震數(shù)據(jù)寫與分布不平衡,結(jié)合地震資料處理的4個重要階段及其特點,常規(guī)地震數(shù)據(jù)寫策略主要有三種.

2.1 最長時間間隔寫策略

對于文件系統(tǒng)池中所有可用的文件系統(tǒng),根據(jù)文件系統(tǒng)寫操作的時間戳,最近一次被選中寫操作以后的時間間隔值作為選擇某個文件系統(tǒng)進行寫的依據(jù)[5],最長時間間隔值的文件系統(tǒng)優(yōu)先被選中,確保各個文件系統(tǒng)之間地震數(shù)據(jù)寫負載均衡、地震數(shù)據(jù)分布優(yōu)化.

這種寫策略的優(yōu)點是實現(xiàn)方法簡單.缺點是由于沒有考慮文件系統(tǒng)的總?cè)萘颗c可用剩余容量等因素.在文件系統(tǒng)池中,當(dāng)大容量文件系統(tǒng)與小容量文件系統(tǒng)混合、各個文件系統(tǒng)之間的剩余容量差值較大的情況下,大量的地震數(shù)據(jù)寫操作會存在小容量文件系統(tǒng)優(yōu)先寫滿,導(dǎo)致可用文件系統(tǒng)快速減少.同時對于成批大容量地震數(shù)據(jù)文件寫操作時,小容量文件系統(tǒng)容易出現(xiàn)重負載,大容量文件系統(tǒng)容易出現(xiàn)輕負載.因此該策略在地震數(shù)據(jù)寫操作容量規(guī)模不大的情況下效果比較好.數(shù)據(jù)解編是將野外采集的地震數(shù)據(jù)正確加載到地震資料處理軟件系統(tǒng)中,進行觀測系統(tǒng)定義,并對地震數(shù)據(jù)進行編輯和校正的過程;交互分析主要對地震剖面、地震速度譜等進行分析調(diào)整.這二個階段的地震數(shù)據(jù)寫規(guī)模比較小,并且是串行寫操作,比較適合使用該地震數(shù)據(jù)寫策略.而常規(guī)處理、偏移處理會產(chǎn)生大規(guī)模地震數(shù)據(jù)寫現(xiàn)象,不宜使用該地震數(shù)據(jù)寫策略.

2.2 剩余容量最大百分比寫策略

針對最長時間間隔寫策略的缺陷,在可用的文件系統(tǒng)池中,選取可用剩余容量最大百分比的文件系統(tǒng)進行地震數(shù)據(jù)寫操作.單個文件系統(tǒng)剩余容量百分比=((單個文件系統(tǒng)總?cè)萘?單個文件系統(tǒng)已被使用容量)/單個文件系統(tǒng)總?cè)萘?*100.與最長時間間隔寫策略相比,該策略考慮了各個文件系統(tǒng)的使用狀態(tài),即可用剩余容量的信息,能確保文件系統(tǒng)池中,各個文件系統(tǒng)的可用剩余容量的百分比保持均衡.避免小容量文件系統(tǒng)優(yōu)先寫滿,達到地震數(shù)據(jù)寫平衡與優(yōu)化分布.

該策略也存在缺點,當(dāng)文件系統(tǒng)池中一個文件系統(tǒng)的可用剩余容量百分比明顯高于文件系統(tǒng)池中其它所有的文件系統(tǒng)的時候,會產(chǎn)生單個文件系統(tǒng)寫熱點瓶頸問題.例如當(dāng)前文件系統(tǒng)池中有3個文件系統(tǒng)d1、d2、d3,其可用剩余容量的百分比為50%、40%、40%.由于文件系統(tǒng)池擴容,新增一個新的文件系統(tǒng)d4,其可用剩余容量的百分比為99%.在這種情況下,以后所有的數(shù)據(jù)寫操作都選擇文件系統(tǒng)d4,其它的文件系統(tǒng)d1、d2、d3均處于空閑狀態(tài),直到文件系統(tǒng)d4的可用剩余容量的百分比為50%以下.因此該策略比較適合在文件系統(tǒng)池中,各個文件系統(tǒng)的剩余容量最大百分比值在初始狀態(tài)時就比較接近的情況.在地震資料處理環(huán)境中,只要文件系統(tǒng)池的狀態(tài)滿足這個條件,地震資料處理的4個主要階段都可以使用該地震數(shù)據(jù)寫策略.但在實際地震資料處理流程中,由于常規(guī)處理、偏移處理這二個階段存在反復(fù)多次大規(guī)模中間結(jié)果的地震數(shù)據(jù)輸出,而且這二個階段也會存在自身多次執(zhí)行,要滿足該數(shù)據(jù)寫策略的條件比較困難.因此該地震數(shù)據(jù)寫策略對于地震數(shù)據(jù)寫規(guī)模較小的數(shù)據(jù)解編、交互分析可以使用,而對地震數(shù)據(jù)寫規(guī)模比較大的常規(guī)處理、偏移處理不適合.

2.3 基于時間與容量因素的寫策略

2.1 節(jié)的寫策略僅考慮時間因素,存在小容量文件系統(tǒng)優(yōu)先寫滿、文件系統(tǒng)寫操作負載不均衡的缺點,2.2節(jié)的寫策略僅考慮容量因素,存在單個文件系統(tǒng)寫熱點瓶頸問題.基于時間與容量因素的寫策略同時考慮各個文件系統(tǒng)的地震數(shù)據(jù)寫操作最近一次被選中以后的時間間隔值這個時間因素和各個文件系統(tǒng)可用剩余容量值這個容量因素,結(jié)合加權(quán)可調(diào)參數(shù)計算出最終值作為選擇文件系統(tǒng)進行地震數(shù)據(jù)寫操作的判別依據(jù).

在文件系統(tǒng)池中,假設(shè)文件系統(tǒng)的數(shù)量為n,四個可調(diào)參數(shù)為a,b,c,d.文件系統(tǒng)池容量集合Sn={s1,s2,···,sn};文件系統(tǒng)池可用剩余容量的百分比集合Bn={b1,b2,···,bn};文件系統(tǒng)池可用剩余容量集合Vn={v1,v2,···,vn},其中vi=bi×si;文件系統(tǒng)池最近一次被選中以后的時間間隔集合Tn={t1,t2,···,tn};基于時間與容量因素的文件系統(tǒng)池寫策略最終值集合Wn={w1,w2,···,wn},其 中wi={a+b×ti}×(c+d×vi).參數(shù)a,b調(diào)整的是時間因素的權(quán)重,參數(shù)c,d調(diào)整的是容量因素的權(quán)重.通過參數(shù)值調(diào)整,其適應(yīng)性比較強,例如增大參數(shù)c及d的值,同時減少參數(shù)a及b的值,此時該寫策略趨向于基于最長時間間隔寫策略[6].

該寫策略同時考慮了時間因素與容量因素,且通過加權(quán)可調(diào)參數(shù),避免了2.1節(jié)與2.2節(jié)策略的缺點,理論上能適合應(yīng)用于地震資料處理的4個主要階段.但該策略也存在缺陷,由于引入了4個可調(diào)參數(shù),存在需要手工干預(yù)而且調(diào)整起來相對較復(fù)雜,在實現(xiàn)過程中,4個參數(shù)的優(yōu)化組合存在一定的難度與需要有一定的經(jīng)驗,可操作性差.同時該策略在參數(shù)的調(diào)整過程中,時間因素與容量因素的權(quán)值都不高的這些文件系統(tǒng)容易出現(xiàn)饑餓現(xiàn)象,即在這些文件系統(tǒng)上的寫地震數(shù)據(jù)量很小或沒有寫地震數(shù)據(jù).因此在地震資料處理流程中,交互分析階段地震數(shù)據(jù)量寫較小,該策略的4個參數(shù)的選擇相對較易,可以適用.而數(shù)據(jù)解編、常規(guī)處理以及偏移處理這三個階段的地震數(shù)據(jù)量寫逐漸變大,尤其是偏移處理都是并行地震資料處理作業(yè),涉及到多次并行地震數(shù)據(jù)寫操作,該策略的參數(shù)調(diào)整組合優(yōu)化比較困難,不太適合.

3 基于概率的地震數(shù)據(jù)寫策略

該策略運用基于概率的思想、方法,通過計算概率值作為優(yōu)先級別值來判別優(yōu)先選擇哪個文件系統(tǒng).根據(jù)文件系統(tǒng)的寫頻繁程度、文件系統(tǒng)寫操作的動態(tài)容量狀態(tài)信息進行統(tǒng)籌優(yōu)化考慮.采用最長時間間隔、絕對剩余容量及相對剩余容量三個關(guān)鍵變量因素分別計算概率值,然后根據(jù)地震資料處理環(huán)境中4個主要階段的實際需求,通過權(quán)重因子參數(shù)進行調(diào)整這三個變量概率值的權(quán)重,來滿足文件系統(tǒng)池的地震數(shù)據(jù)寫平衡與優(yōu)化分布.該策略實現(xiàn)方法過程如下.

文件系統(tǒng)池中,假設(shè)文件系統(tǒng)的數(shù)量為n;文件系統(tǒng)池可用文件系統(tǒng)集合Dn={d1,d2,···,dn};文件系統(tǒng)池最近一次被選中以后的時間間隔集合Tn={t1,t2,···,tn};文件系統(tǒng)池基于最近一次被選中以后的時間間隔概率集合PTn={pt1,pt2,···,ptn};在文件系統(tǒng)池中,基于最長時間間隔的第i個文件系統(tǒng)概率計算公式為:

文件系統(tǒng)池容量集合Sn={s1,s2,···,sn};文件系統(tǒng)池可用剩余容量百分比集合Bn={b1,b2,···,bn};文件系統(tǒng)池絕對剩余容量概率集合PSn={ps1,ps2,···,psn};在文件系統(tǒng)池中,第i個文件系統(tǒng)絕對剩余容量概率計算公式為:

文件系統(tǒng)池可用剩余容量最小百分比Bmin=MIN{b1,b2,···,bn};文件系統(tǒng)池可用剩余容量最大百分比Bmax=MAX{b1,b2,···,bn};文件系統(tǒng)池可用剩余容量的百分比和如下:

文件系統(tǒng)池可用相對剩余容量概率集合PBn={pb1,pb2,···,pbn};在文件系統(tǒng)池中,第i個文件系統(tǒng)可用相對剩余容量概率計算公式為:

定義概率權(quán)重因子WF,0<=WF<=1;文件系統(tǒng)池內(nèi)選擇文件系統(tǒng)進行地震數(shù)據(jù)寫的概率集合Pn={p1,p2,···,pn};根據(jù)式(1)、(2)、(3),在文件系統(tǒng)池中,第i個文件系統(tǒng)進行地震數(shù)據(jù)寫的概率計算公式如下:

公式(4)由三項構(gòu)成,第一項用時間比例方法計算基于最長時間間隔的文件系統(tǒng)概率值pti,所占的權(quán)重是(1-WF)/2;第二項用剩余容量比例方法計算文件系統(tǒng)絕對剩余容量概率值psi,所占的權(quán)重是(1-WF)/2;第三項用最值差方法計算文件系統(tǒng)可用相對剩余容量概率值pbi,所占的權(quán)重是WF.第i個文件系統(tǒng)進行地震數(shù)據(jù)寫的最終概率值由這三項各自的概率值加權(quán)再相加得到.對于WF取任何0至1之間的值,三項的權(quán)重和為1,各項所占的權(quán)重比值由WF控制與調(diào)整.

該策略考慮文件系統(tǒng)池的最長時間間隔、絕對剩余容量及相對剩余容量分別作為概率變量的分布值,其值為在文件系統(tǒng)池中選擇哪個文件系統(tǒng)進行地震數(shù)據(jù)寫的主要判別依據(jù).在此基礎(chǔ)上,運用調(diào)整概率權(quán)重因子WF這個參數(shù)的值大小,權(quán)衡這三個主控因素的概率變量值權(quán)重,最終達到文件系統(tǒng)池內(nèi)各個文件系統(tǒng)之間地震數(shù)據(jù)寫平衡與優(yōu)化分布.而且該策略僅引進一個概率權(quán)重因子參數(shù)WF,參數(shù)優(yōu)化調(diào)整相對簡單.該策略實現(xiàn)算法流程如圖4.

4 實驗及結(jié)果分析

為了驗證本文提出的基于概率寫策略的效果,對該寫策略進行實驗測試分析.實驗環(huán)境如下,16個IBM HS22刀片計算節(jié)點,4個IBM x3650 I/O節(jié)點,StorNext4.0并行文件系統(tǒng)構(gòu)建的文件系統(tǒng)池,采用地震資料處理軟件GeoVation2015[6]的并行地震數(shù)據(jù)寫軟件子模塊模擬用戶頻繁的大規(guī)模地震數(shù)據(jù)寫操作.選擇國內(nèi)某盆地采集的實際地震數(shù)據(jù)作為實驗數(shù)據(jù),其信息如表1所示.為方便測試,采用4個文件系統(tǒng)fs1、fs2、fs3及fs4組成的文件系統(tǒng)池,4個文件系統(tǒng)的初始狀態(tài)信息如表2;抽取所測試的地震數(shù)據(jù)文件樣本如表3,60個地震數(shù)據(jù)文件共計約1 TB地震數(shù)據(jù)容量.

圖4 基于概率地震數(shù)據(jù)寫策略算法流程

表2 文件系統(tǒng)池初始條件狀態(tài)

表3 地震數(shù)據(jù)文件樣本信息

4.1 文件系統(tǒng)寫地震數(shù)據(jù)對比

圖5給出了在不同概率權(quán)重因子值條件下,1 TB地震數(shù)據(jù)寫操作完成后,4個文件系統(tǒng)被寫地震數(shù)據(jù)的容量分布.文件系統(tǒng)池初始狀態(tài)fs4剩余容量180 GB,fs1與fs2的剩余容量480 GB,fs4與fs1(fs2)剩余容量差值比較大,2倍多.由圖5可知,對于不同的概率權(quán)重因子值,向fs1寫地震數(shù)據(jù)容量分布范圍379.8 GB至390.6 GB;向fs2寫地震數(shù)據(jù)容量分布范圍372.6 GB至386.4 GB;向fs3寫地震數(shù)據(jù)容量分布范圍142.2 GB至156.6 GB;向fs4寫地震數(shù)據(jù)容量分布范圍81.4 GB至128.8 GB.

圖5 寫地震數(shù)據(jù)容量分布

根據(jù)不同文件系統(tǒng)的寫地震數(shù)據(jù)容量分布范圍,可知該策略避免2.1節(jié)所描述的在各個文件系統(tǒng)之間剩余容量差值較大的條件下,小容量文件系統(tǒng)優(yōu)先寫滿情況.也沒有出現(xiàn)小容量文件系統(tǒng)容易出現(xiàn)重負載,而大容量文件系統(tǒng)容易出現(xiàn)輕負載的現(xiàn)象.同時在不同權(quán)重因子值條件下,寫地震數(shù)據(jù)容量最小的文件系統(tǒng)也有81.4 GB數(shù)據(jù)寫入,避免2.3節(jié)所描述某些文件系統(tǒng)可能出現(xiàn)寫地震數(shù)據(jù)容量很小或沒有寫地震數(shù)據(jù)這種饑餓現(xiàn)象.

4.2 文件系統(tǒng)剩余容量百分比對比

文件系統(tǒng)池初始狀態(tài)中,剩余容量百分比最小的fs3值為40%,剩余容量百分比最大的fs4值為90%,其差值較大.圖6顯示1 TB地震數(shù)據(jù)寫操作完成后,4個文件系統(tǒng)的剩余容量百分比分布.

由圖6可知當(dāng)概率權(quán)重因子值小于等于0.6時,fs1、fs2、fs3及fs4的剩余容量百分比區(qū)間分別為14.9%至16.6%、15.6%至17.5%、13.9%至14.4%及37.9%至48.1%.當(dāng)概率權(quán)重因子值大于0.6時,fs1、fs2、fs3及fs4的剩余容量百分比區(qū)間分別為18.2%至18.8%、17.9%至18.1%、16.3%至17.9%及18.4%至25.6%.可以看出當(dāng)概率權(quán)重因子值小于等于0.6時,fs3和fs4的剩余容量百分比值與其初始狀態(tài)一樣仍然保持其較大的差值;當(dāng)概率權(quán)重因子值大于0.6時,fs3和fs4的剩余容量百分比值比較接近,向fs4寫地震數(shù)據(jù)比較頻繁.因此為了解決2.2節(jié)所描述產(chǎn)生單個文件系統(tǒng)熱點寫瓶頸問題,建議調(diào)整概率權(quán)重因子值小于等于0.6.

圖6 文件系統(tǒng)池剩余容量百分比分布

4.3 文件系統(tǒng)剩余容量對比

文件系統(tǒng)池初始狀態(tài)中,最大剩余容量為fs1與fs2,都是480 GB,最小剩余容量fs4為180 GB.圖7顯示1 TB地震數(shù)據(jù)寫操作完成后,4個文件系統(tǒng)在不同概率權(quán)重因子值下的剩余容量分布.在不同概率權(quán)重因子值條件下,fs1與fs2的剩余容量都基本相同,寫數(shù)據(jù)非常均衡.

由圖7可知,當(dāng)概率權(quán)重因子值小于等于0.4時,fs1的剩余容量區(qū)間89.4 GB至98.4 GB,fs4的剩余容量區(qū)間81.5 GB至99.8 GB.當(dāng)概率權(quán)重因子值大于0.4時,fs1的剩余容量區(qū)間99.6 GB至112.8 GB,fs4的剩余容量區(qū)間36.8 GB至75.8 GB.可見當(dāng)概率權(quán)重因子值大于0.4時,fs1與fs4的剩余容量值與初始狀態(tài)一樣仍然保持較大的差值;當(dāng)概率權(quán)重因子值小于等于0.4時,fs1和fs4的剩余容量值比較接近.

因此在文件系統(tǒng)池的初始狀態(tài)為各個文件系統(tǒng)的剩余容量相差很大的情況下,如果需要保持各個文件系統(tǒng)的剩余容量均衡,建議調(diào)整概率權(quán)重因子值小于等于0.4;如果需要保持各個文件系統(tǒng)的寫地震數(shù)據(jù)量均衡,建議調(diào)整概率權(quán)重因子值大于0.4.

圖7 文件系統(tǒng)池剩余容量分布

通過上述實驗結(jié)果數(shù)據(jù)分析,根據(jù)實際需要,通過調(diào)整概率權(quán)重因子,基于概率寫策略能很好的確保文件系統(tǒng)池中各個文件系統(tǒng)之間地震數(shù)據(jù)寫平衡與優(yōu)化分布,滿足地震資料處理流程中的4個主要階段的地震數(shù)據(jù)寫需求.

5 結(jié)論

本文提出基于概率思想的地震數(shù)據(jù)寫策略,設(shè)置不同的概率權(quán)重因子值,對地震數(shù)據(jù)寫平衡與優(yōu)化分布有較大的影響.因此結(jié)合不同的文件系統(tǒng)池狀態(tài)、地震數(shù)據(jù)文件個數(shù)與容量以及地震數(shù)據(jù)寫順序,自動學(xué)習(xí)調(diào)整優(yōu)化概率權(quán)重因子值是后續(xù)需要關(guān)注和研究的問題.

1趙滿.地震數(shù)據(jù)并行訪問策略的研究[碩士學(xué)位論文].大慶:東北石油大學(xué),2013.

2金弟,莊錫進,王啟迪,等.存儲框架模型在地震資料大數(shù)據(jù)中的應(yīng)用.計算機系統(tǒng)應(yīng)用,2016,25(2):45-51.

3張軍華,臧勝濤,單聯(lián)瑜,等.高性能計算的發(fā)展現(xiàn)狀及趨勢.石油地球物理勘探,2010,45(6):918-925.

4Quantum.Stor NextFile System Users Guide.Seattle,USA:Quantum Press,2010.

5Schlumberger.Omega 2015.1 Administration Guide.Houston,TX,USA:Schlumberger,2015.

6CGG.Geovation 2015 Administration Guide.Cedex FRANCE:CGG,2015.