国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

地震資料解釋系統(tǒng)負載均衡策略研究與應(yīng)用

2020-10-09 11:17曹士炳王克斌馬迅飛張紅杰羅剛金慧鑫
計算機時代 2020年9期
關(guān)鍵詞:輪詢內(nèi)存排序

曹士炳 王克斌 馬迅飛 張紅杰 羅剛 金慧鑫

摘要:隨著油氣勘探步伐的不斷加大,地震勘探數(shù)據(jù)量呈現(xiàn)快速增長趨勢,這必然加大對地震資料解釋系統(tǒng)軟硬件資源的需求,同時資源的負載均衡問題也日益凸顯。介紹了常見的負載均衡技術(shù),重點對層次分析法進行探索與研究,并將該方法運用到GeoEast解釋系統(tǒng)的資源分配過程中,取得了令人滿意的效果。文章對未來的負載均衡技術(shù)進行了展望,指出自動化配置與資源池的智能劃分將是其技術(shù)核心。

關(guān)鍵詞:地震資料解釋系統(tǒng);資源池;負載均衡技術(shù);層次分析法;GeoEast解釋系統(tǒng)

中圖分類號:TP399

文獻標(biāo)識碼:A

文章編號:1006-8228(2020)09-20-04

Research and application of resource load balancing strategy in seismicdata interpretation system

Cao Shibing, Wang Kebin, Ma Xunfei, Zhang Hongjie, Luo Gang, Jin Huixin

(BGP. CNPC. Zhuozhou. Hebei 072750. China )

Abstract: With the increasing pace of oil and gas exploration, the amount of seismic exploration data shows a trend of rapidgrowth, which inevitably increases the demand for software and hardware resources of seismic data interpretation system. andthe load balancing problem of resources is increasingly prominent. This paper introduces the common load balancingtechnologies, focuses on the exploration and research of analytic hierarchy process. and applies this method to the resourceallocation process of GeoEast interpretation system, which has achieved satisfactory results. The future load balancingtechnologies are prospected. and it is pointed out that automatic configuration and intelligent division of resource pool wouldbe the key technologies.

Key words: seismic data interpretation system; resource pool; load balancing technology; analytic hierarchy process; GeoEastinterpretation system

0引言

地震資料解釋是把經(jīng)過處理的地震數(shù)據(jù)變成地質(zhì)成果的過程,通過運用波動理論和地質(zhì)知識,綜合地質(zhì)、鉆井、測井等各項資料,做出構(gòu)造解釋、地層解釋、巖性及綜合解釋,對這些資料進行綜合分析、模擬計算、反復(fù)對比,繪出有關(guān)的成果圖件,對探區(qū)作出含油氣評價,提出鉆井位置的過程。

地震資料解釋系統(tǒng)是完成人機交互的過程,解釋專家把地震資料從存儲系統(tǒng)中調(diào)入內(nèi)存,生成相應(yīng)的地質(zhì)模型來進行分析,因此需保證圖形的精度。這就需要對地震資料進行流暢的三維顯示,這對工作站、服務(wù)器硬件中的CPU、內(nèi)存、硬盤、圖卡、顯示器等都有一定的要求。因此,工作站硬件配置與解釋軟件的性能發(fā)揮有著密切的正關(guān)聯(lián)。

為了更好地應(yīng)對地震勘探數(shù)據(jù)量快速增長的問題,地震資料解釋所需的硬件資源規(guī)模不斷擴大,資源運維管理難度越來越大,傳統(tǒng)的人工分配資源,常使多個生產(chǎn)項目相互擠占資源,導(dǎo)致資源失衡和生產(chǎn)效率降低。通過技術(shù)研究及程序開發(fā),對資源實現(xiàn)自動分配、統(tǒng)一監(jiān)控,可以極大提高設(shè)備利用率和生產(chǎn)效率。

1關(guān)鍵技術(shù)

1.1負載均衡算法

負載均衡的實現(xiàn),綜合了評估資源池內(nèi)所有服務(wù)器的CPU使用率、內(nèi)存使用率、顯存使用率和云桌面連接數(shù),根據(jù)軟件資源使用特點設(shè)置優(yōu)先級,將資源最優(yōu)的服務(wù)器分配給用戶,從而達到平衡資源使用率的目標(biāo)。

負載均衡的核心在于算法。傳統(tǒng)模式下,負載均衡的算法已經(jīng)比較成熟,常用的主流算法有:隨機、輪詢、加權(quán)輪詢、動態(tài)輪詢、最快算法、最少連接、觀察算法、預(yù)判算法[1-2]。

隨機:即隨機的把負載分配到各個可用的服務(wù)器上,通過隨機數(shù)生成算法選取一個服務(wù)器,然后把軟件連接請求分配到該服務(wù)器上。

輪詢:按順序把每個新的連接請求分配給下一個服務(wù)器,最終把所有請求平分給所有的服務(wù)器。

加權(quán)輪詢:該算法中,每個機器接受的連接數(shù)量是按權(quán)重比例分配的。這是對普通輪詢算法的改進,如可以設(shè)定第三臺機器的處理能力是第一臺機器的兩倍,那么負載均衡器會把兩倍的連接數(shù)量分配給第三臺機器。

動態(tài)輪詢:類似于加權(quán)輪詢,但權(quán)重值是基于對各個服務(wù)器的持續(xù)監(jiān)控,并且不斷更新。這是一個動態(tài)負載均衡算法,基于對服務(wù)器的實時性能分析分配連接,比如每個節(jié)點的當(dāng)前連接數(shù),或者節(jié)點的最快響應(yīng)時間等。

最快算法:基于所有服務(wù)器中的最快響應(yīng)時間分配連接。該算法在服務(wù)器跨不同網(wǎng)絡(luò)的環(huán)境中特別有用。

最少連接:系統(tǒng)把新連接分配給當(dāng)前連接數(shù)目最少的服務(wù)器。該算法在各個服務(wù)器運算能力基本相似的環(huán)境中非常有效。

觀察算法:該算法同時利用最小連接算法和最快算法來實施負載均衡。服務(wù)器根據(jù)當(dāng)前的連接數(shù)和響應(yīng)時間得到一個分數(shù),分數(shù)較高代表性能較好,會得到更多的連接。

預(yù)判算法:該算法使用觀察算法來計算分數(shù),但是預(yù)判算法會分析分數(shù)的變化趨勢,以此來判斷某臺服務(wù)器的性能是在改善還是降低,具有改善趨勢的服務(wù)器會得到更多的連接。該算法適用于大多數(shù)環(huán)境。

1.2層次分析法

經(jīng)過對負載均衡各種算法的分析與研究,并綜合考慮地震資料解釋軟件的特點,我們創(chuàng)新性地運用了層次分析負載均衡算法。

層次分析法(Analytic Hierarchy Process,AHP)是一種定性分析和定量分析相結(jié)合的評價決策方法。它通過建立層次結(jié)構(gòu)模型、構(gòu)造判斷矩陣、進行層次單排序及一致性檢驗、進行層次總排序及一致性檢驗等步驟,來完成評價指標(biāo)排序。

對于眾多的專業(yè)軟件,其服務(wù)器的CPU、內(nèi)存、顯卡等資源使用權(quán)重不盡相同。使用層次分析法可以科學(xué)有效的確定各因素的相對重要性,并確定權(quán)重?;趯哟畏治龇ǖ呢撦d均衡算法,按影響負載均衡的參數(shù)間的相互關(guān)聯(lián)影響及隸屬關(guān)系,將參數(shù)按不同層次聚集組合,形成一個多層次的分析結(jié)構(gòu)模型,使問題歸結(jié)為最低層相對于高層的相對重要權(quán)值的確定。根據(jù)每臺服務(wù)器的最大處理能力和當(dāng)前負載情況,使處理能力強的節(jié)點獲得處理任務(wù)的數(shù)量相對較多,從而達到負載均衡[3-4]。

1.3AHP分析過程

AHP分析問題過程經(jīng)過以下五個步驟。

(1)建立層次結(jié)構(gòu)模型:將決策目標(biāo)、考慮的因素(決策準(zhǔn)則)和決策對象,按它們之間的相互關(guān)系分為最高層、中間層和最低層,并繪出層次結(jié)構(gòu)圖,如圖1所示。

(2)構(gòu)造判斷矩陣:在確定各層次、各因素之間的權(quán)重時,如果只是定性的結(jié)果,則常常不容易被別人接受,因而提出一致矩陣法,即不把所有因素放在一起比較,而是兩兩相互比較。對比時采用相對尺度,以盡可能減少性質(zhì)不同因素相互比較的困難,以提高準(zhǔn)確度。

準(zhǔn)則層包含四個準(zhǔn)則:連接數(shù)(C1)、CPU使用率(C2)、內(nèi)存使用率(C3)、圖卡使用率(C4),相對于目標(biāo)層選擇設(shè)備,進行兩兩比較打分,如圖2所示。

(3)層次單排序:所謂層次單排序是指,對于上一層某因素而言,本層次各因素的重要性的排序,即方案層對準(zhǔn)則層連接的矩陣構(gòu)造。

(4)矩陣的一致性檢驗:所謂一致性是指判斷思維的邏輯一致性。如當(dāng)甲比丙是非常重要,而乙比丙是稍微重要時,顯然甲一定比乙重要。這就是判斷思維的邏輯一致性,否則判斷就會有矛盾。

(5)層次總排序:確定某層所有因素對于總目標(biāo)相對重要性的排序權(quán)值過程。這一過程是從最高層到最底層依次進行的。對于最高層而言,其層次單排序的結(jié)果也就是總排序的結(jié)果。

1.4配置流程

負載均衡的主要流程:

(1)管理員設(shè)置應(yīng)用負載指標(biāo)及權(quán)重;

(2)系統(tǒng)創(chuàng)建三種資源最優(yōu)隊列,每種隊列按照層次分析法選擇20個資源放入隊列,進入等待狀態(tài);如果同時連接資源數(shù)超過20個,則系統(tǒng)按照層次分析法尋址、分配;

(3)用戶發(fā)送應(yīng)用連接請求;

(4)將最優(yōu)的資源連接給用戶;

(5)系統(tǒng)向選定的資源發(fā)送指令,啟動應(yīng)用。

負載均衡對于各項指標(biāo)參數(shù)判斷的準(zhǔn)確性非常重要。基于平臺基礎(chǔ)架構(gòu)的監(jiān)控系統(tǒng)抓取CPU、內(nèi)存、磁盤10等幾十項指標(biāo),可從中選擇與負載均衡相關(guān)的參數(shù)來計算資源的負載。

2應(yīng)用實例分析

GeoEast云計算管理系統(tǒng),能夠?qū)Υ笮蛿?shù)據(jù)處理中心的可視化服務(wù)器、高性能并行計算集群、海量存儲等硬件資源,進行集中管理和統(tǒng)一調(diào)度,可實現(xiàn)資源在多個處理、解釋軟件間的高效共享[5-6]。

通過在各交互節(jié)點駐有監(jiān)控程序,包括CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤等多項指標(biāo),同時能夠以服務(wù)器、服務(wù)器組或集群等為單位進行查詢、瀏覽和統(tǒng)計分析,為資源量化管理奠定了基礎(chǔ);在對資源使用情況量化的基礎(chǔ)上,結(jié)合負載均衡策略及用戶啟動應(yīng)用軟件的要求,來指派給合適的交互節(jié)點,如圖3所示。

(1)將數(shù)據(jù)中心的所有資源,根據(jù)軟件、用戶、部門或者項目組的使用需求,劃分出對應(yīng)的資源池,并將用戶、軟件與資源池進行綁定與權(quán)限配置。

(2)在不同的資源池配置信息中,填入此資源池的預(yù)置負載均衡策略,如該資源池資源的最大連接數(shù)、使用CPU類型模塊的用戶分配、CPU優(yōu)先的負載策略、使用內(nèi)存類型的用戶分配為內(nèi)存優(yōu)先的負載策略等。

(3)用戶在選擇使用軟件時,負載均衡系統(tǒng)自動為用戶選擇最符合預(yù)定規(guī)則的一臺設(shè)備,打開遠程三維可視化軟件桌面,如圖4所示。

(4)收集用戶在使用過程中的資源占用情況,并定期生成該資源池的歷史使用報表。

(5)對歷史使用報表進行數(shù)據(jù)分析,判定初始設(shè)置的負載均衡策略是否符合實際使用情況,如有必要將自動進行調(diào)整。

(6)對所有受管資源池統(tǒng)一分析,對每個資源池的使用情況分析后,重新分配資源,將空閑率高的資源池中的部分設(shè)備,移至資源占用率高的資源池中。

3未來技術(shù)展望

基于智能化、自動化的配置部署將成為未來技術(shù)發(fā)展的主流趨勢。自動化的部署不僅可以極大提高工作效率,節(jié)約人力成本,更可以通過智能數(shù)據(jù)分析等技術(shù)手段,得到更加符合實際場景的負載策略。

3.1自動化配置

通過負載均衡系統(tǒng)與監(jiān)控系統(tǒng)的配合,得到用戶的使用習(xí)慣、軟件模塊的資源占用歷史記錄、資源池的整體占用情況;再通過運營分析系統(tǒng),獲得對當(dāng)前用戶、軟件、硬件的使用分析數(shù)據(jù);最終依據(jù)分析數(shù)據(jù)判斷出最佳的負載均衡策略,自動為用戶的未來使用,逐漸采取更加符合的負載均衡策略,并自動進行細節(jié)優(yōu)化。

3.2智能劃分資源池

在地震資料解釋系統(tǒng)的硬件資源集群中,針對不同軟件、部門或者用戶,都可能會有著自己完全獨立的資源池。然而在資源池之間,或者每個資源池內(nèi)部,硬件資源的性能、利用率,以及與用戶使用習(xí)慣的適配程度,都可能會對最終的軟件使用效果產(chǎn)生或大或小的影響。

在劃分資源池的過程中,更合理、更符合實際需求的方案,永遠都是問題的關(guān)鍵。未來的技術(shù)發(fā)展,能否智能劃分資源池,將是衡量負載均衡系統(tǒng)能力的一個重要指標(biāo)。通過負載均衡系統(tǒng)得到用戶的使用側(cè)重點,然后在整體的硬件集群中,自動地調(diào)整每個資源池的設(shè)備資源,從而最終達到提高資源利用率的目的。

4結(jié)束語

目前,在大規(guī)模集群服務(wù)器、工作站使用環(huán)境中,負載均衡是一項必要的技術(shù)。而在石油勘探解釋系統(tǒng)環(huán)境下,負載均衡技術(shù)的必要性體現(xiàn)的更加明顯。

隨著油氣勘探業(yè)務(wù)的不斷擴展,用戶會產(chǎn)生大量并發(fā)的需求,如果這些單個用戶面對的還是固定的軟、硬件資源,就會造成資源過多的浪費。如何將有限的計算資源充分利用,使硬件利用率提高,但同時又不會因可能出現(xiàn)的大并發(fā)量,給系統(tǒng)造成壓力而降低系統(tǒng)性能,是今后負載均衡體系設(shè)計中的一個需要長期考慮的問題。

參考文獻(References):

[1]劉梓璇,周建濤,負載均衡的主導(dǎo)資源公平分配算法[J],計算機工程與科學(xué),2019.41(9):1574-1579

[2]張寶祥,何利力,高并發(fā)集群系統(tǒng)下的負載均衡技術(shù)研究[J].工業(yè)控制計算機,2017.30(10):76-77

[3]王宇耕,肖鵬,張力等,基于負載預(yù)測的自適應(yīng)權(quán)值負載均衡算法[J],計算機工程與設(shè)計,2019.40(4):1033-1037

[4]汪佳文,王書培,徐立波等,基于權(quán)重輪詢負載均衡算法的優(yōu)化[J],計算機系統(tǒng)應(yīng)用,2018.27(4):138-144

[5]詹毅,趙波,劉建紅等.GeoEastV3.0地震數(shù)據(jù)處理解釋—體化軟件系統(tǒng)[J],石油科技論壇(增刊),2017:4-7

[6]文佳敏,趙長海,侯紅軍,等.GeoEast海量地震數(shù)據(jù)高效處理技術(shù)[J].石油工業(yè)計算機應(yīng)用,2016.24(3):12-18

收稿日期:2020-04-21

基金項目:中國石油集團東方地球物理勘探有限責(zé)任公司科技信息處“基于PB級地震數(shù)據(jù)的GeoEast云計算架構(gòu)研究及應(yīng)用”科研項目(BGP02-03-2019)

作者簡介:曹士炳(1968-),男,河南信陽人,高級工程師,主要研究方向:計算機技術(shù)綜合應(yīng)用與管理。

猜你喜歡
輪詢內(nèi)存排序
排序不等式
外部高速緩存與非易失內(nèi)存結(jié)合的混合內(nèi)存體系結(jié)構(gòu)特性評測
恐怖排序
“春夏秋冬”的內(nèi)存
基于等概率的ASON業(yè)務(wù)授權(quán)設(shè)計?
節(jié)日排序
依托站點狀態(tài)的兩級輪詢控制系統(tǒng)時延特性分析
利用時間輪詢方式操作DDR3實現(xiàn)多模式下數(shù)據(jù)重排
基于內(nèi)存的地理信息訪問技術(shù)
數(shù)據(jù)鏈輪詢多網(wǎng)優(yōu)化設(shè)計方法研究*
蓬溪县| 广东省| 册亨县| 合川市| 驻马店市| 天津市| 昌乐县| 德惠市| 洱源县| 库车县| 郁南县| 抚宁县| 昌黎县| 敦化市| 玉环县| 余姚市| 滨州市| 永嘉县| 勃利县| 平湖市| 磐安县| 通渭县| 沙坪坝区| 巴彦县| 锡林浩特市| 汝南县| 军事| 陆河县| 静乐县| 新丰县| 石景山区| 宜州市| 桦南县| 夏津县| 防城港市| 景洪市| 略阳县| 平罗县| 乌兰察布市| 兴城市| 大余县|