王茹 劉銳 呂歡歡

摘要：隨著企業(yè)軟硬件產(chǎn)品增多導致服務器忙閑不均，急需通過結構化的方式整合資源，來進行統(tǒng)一調(diào)度。文章調(diào)研并分類企業(yè)專業(yè)應用軟件的資源使用需求，同時構建負載均衡集群系統(tǒng)，探索使用多種調(diào)度方法，實現(xiàn)平衡分配與調(diào)度。

關鍵詞：集群;負載均衡;Linux專業(yè)軟件;LVS;作業(yè)調(diào)度

中圖分類號：TN929.52? ? ?文獻標識碼：A

文章編號：1009-3044（2022）14-0094-03

1 引言

隨著世界各國互聯(lián)網(wǎng)的規(guī)模不斷擴大，信息技術無處不在，各行各業(yè)遠程辦公需求不斷增加，國內(nèi)外企業(yè)信息化建設的穩(wěn)步發(fā)展，軟件需求趨向多樣，用戶規(guī)模不斷擴大，數(shù)據(jù)流量爆發(fā)式增長，計算強度空前提高，導致硬件設備不斷增多，人們對于服務器的響應能力、可擴展性、可用性的需求越來越高，服務器訪問忙閑不均問題日益增大。同時，由于硬件設備和軟件系統(tǒng)的增多，運維人員面對著不同配置的硬件以及不同應用需求的軟件，對于管理的易用性也有了較高的要求。僅是改善單個服務器的配置已不能滿足及時地處理用戶請求、增加網(wǎng)絡吞吐量、提高設備冗余率的要求。只有通過服務器集群系統(tǒng)，將多臺服務器用局域網(wǎng)連成一個整體結構，并使用負載均衡器對用戶提交的應用任務進行統(tǒng)一調(diào)度，才能高速有效地協(xié)同完成各類工作。

本文對各類負載均衡算法進行比較和探討，為企業(yè)系統(tǒng)建設提供有效依據(jù)。

2 企業(yè)軟件對系統(tǒng)負載均衡的需求

石油行業(yè)油氣勘探開發(fā)研究、油氣地質(zhì)開發(fā)評價、非常規(guī)油氣勘探開發(fā)以及油氣田工程設計等等需要使用多種研究方法和技術手段，在計算機應用技術方面，高性能計算、虛擬化、云計算、高精度圖形處理、三維圖像遠程交互等，在計算機硬件方面，機架式服務器、刀片服務器、工作站、并行機、存儲系統(tǒng)，以及近百套專業(yè)應用軟件的配合支持，多人多專業(yè)共同完成復雜的生產(chǎn)任務，為勘探開發(fā)鉆采的綜合研究提供強大支持。而不同的生產(chǎn)任務，對應著不同的應用技術、硬件資源、軟件資源需求，如何進行科學的分配，如何進行有效的調(diào)度，如何利用最少的資源完成最多的應用需求，是企業(yè)在信息化建設方面需要研究的問題。而石油行業(yè)使用的軟件中，Linux系統(tǒng)應用軟件占有極大的比重。因此，本文對基于Linux操作系統(tǒng)的石油專業(yè)應用軟件，對計算資源的使用需求進行分類，研究適用于Linux集群的負載均衡方法。

通過廣泛調(diào)研與業(yè)務分析，根據(jù)專業(yè)軟件在進行作業(yè)分析與計算中，使用到的CPU、內(nèi)存、I/O、網(wǎng)絡、圖形處理等資源情況，將現(xiàn)有基于Linux系統(tǒng)的石油專業(yè)軟件分類為內(nèi)存需求型、CPU需求型和圖形處理需求型三類。下面依次對各類軟件中的典型代表進行介紹：

內(nèi)存需求型：代表軟件為Petrel、Permod等全局分析處理類模塊。這類軟件通常有頻繁的交互需求，為了保證過程的順暢，避免反復讀取存儲數(shù)據(jù)，消耗I/O資源及網(wǎng)絡資源，會預先將大量的數(shù)據(jù)讀入內(nèi)存。這樣從用戶的角度，幾乎感受不到交互操作的卡頓，可以很平滑地完成整個操作流程，但同時導致了服務器的內(nèi)存占用率始終處于較高的水平。

CPU需求型：代表軟件為Eclipse、CMG、Echos、Omega等油藏數(shù)模和地震資料處理類軟件。通常在它們的計算密集型模塊，需要進行邏輯判斷，并且反復迭代，用大部分時間來進行復合函數(shù)運算，將前一次的結果作為下一次的初始值，進行再次計算。這就導致CPU始終處在判斷和運算中，利用率始終處于較高水平。遇到較大的體數(shù)據(jù)時，甚至需要將其預先切割成幾塊數(shù)據(jù)，分別發(fā)送不同的服務器，同時進行作業(yè)任務。才能保證，在研究人員可以接受的時長內(nèi)，得到所需的結果。

圖形處理需求型：代表軟件模塊為Geoprobe、Geoviz、Jason以及Petrel的解釋功能模塊等。此類模塊主要為用戶提供三維可視化的功能，在三維空間內(nèi)對地層的構造樣式、巖性、沉積特點等進行解釋和計算[1]。其中涉及對地震體所包含的海量數(shù)據(jù)模型的三維變換、二維投影以及實時渲染，對計算機圖形處理器GPU的性能要求較高，也面臨著一些CPU資源的消耗。目前，越來越廣泛的遠程辦公需要，也促使三維圖像的遠程交互技術得到了更多的發(fā)展和應用。

從以上的分類可以看出，隨著硬件設備和軟件產(chǎn)品的不斷增多，服務器訪問量增加，而每一類專業(yè)軟件都有它特定的資源需求，長時間下來，必然導致了服務器的忙閑不均。另一方面，使用軟件的用戶對后臺有多少臺服務器可以提供服務、每臺服務器上的應用并發(fā)數(shù)量及資源使用情況并不了解，只能試探著進行登錄和使用。這就導致有的服務器面臨多人擠兌，無法滿足生產(chǎn)需要，而同時，有的服務器卻未被充分使用，甚至被人忽略的情況。急需一個統(tǒng)一的調(diào)度方法，來幫助使用者和運維人員，對資源進行合理的管理和分配。

3 集群負載均衡方法探討

服務器集群系統(tǒng)，是多臺構造相同或不同的設備形成的硬件服務器機群，它們對內(nèi)協(xié)同工作，對外透明，只是提供定向服務[2]。集群系統(tǒng)可以將服務器（刀片式、機架式、塔式等）、工作站、臺式電腦等組成機群，并根據(jù)系統(tǒng)的伸縮需求，隨時在其中增加、刪除硬件，保證高可用。服務器機群結構不要求緊湊，對硬件配置也沒有硬性要求，因此即使使用價格低廉的設備，也可以實現(xiàn)較高的系統(tǒng)性能。對于企業(yè)設備的采購和更新都十分友好，還可以達到降本增效的目的。

我們將服務器上所有請求服務，所需時間的總和，稱為該設備的負載[3]。若系統(tǒng)目前完成所有請求，所需時間較短，則稱該系統(tǒng)負載較低;若系統(tǒng)目前完成所有請求，所需時間較長，則稱系統(tǒng)負載較高。當有新的作業(yè)請求到達時，負載較低的機器可以很快地處理，及時完成并反饋運行結果。反之，負載較高的機器，需要先處理（或同時處理）之前到達的請求，新到的任務，因為需要排隊等待資源，而延長對于該請求運行結果的反饋時間。

負載均衡集群系統(tǒng)，通常按照以下方法搭建：將一個服務器集群系統(tǒng)通過網(wǎng)絡連接到一個專門進行作業(yè)調(diào)度的負載均衡服務器;服務器集群后端可以連接存儲系統(tǒng)，負載均衡服務器前端連接客戶端，具體結構如圖1所示。負載均衡器將客戶端的各類請求分配、調(diào)度到后端的服務器集群中[4]。用戶無須知道提供服務的真實服務器是哪臺，只向負載均衡服務器發(fā)送消息，請求完成提交的任務，負載均衡器來進行后續(xù)的應答和操作。對于用戶來說，整個體驗過程方便。而如果負載均衡算法使用得當，作業(yè)在系統(tǒng)中的分配較平衡，整個集群的處理能力也會非常高效。

通過學習國內(nèi)外現(xiàn)有技術，我們研究了如下的集群系統(tǒng)負載均衡調(diào)度算法。結合企業(yè)專業(yè)軟件的特點，逐步嘗試應用，摸索出了適用于基于石油企業(yè)Linux集群的負載均衡調(diào)度算法。

3.1 轉(zhuǎn)換網(wǎng)絡地址調(diào)度

負載均衡服務器在收到作業(yè)請求時，首先找到需要將該作業(yè)分配給的后臺實際服務器，并重寫原請求的源地址（為負載均衡器）、目標地址（為實際服務器），再將作業(yè)分派給實際服務器。當實際服務器完成請求，需要應答時，負載均衡器再反向重寫報文頭信息，并返回客戶端，完成整個負載調(diào)度，如圖2。

通過實驗發(fā)現(xiàn)，該模式的伸縮能力不強，在服務器節(jié)點數(shù)量較少時，作業(yè)請求較少時，調(diào)度流暢。但隨著加入集群的服務器結點數(shù)和用戶請求的作業(yè)數(shù)上升時，請求和響應報文都需要通過負載均衡調(diào)度器，調(diào)度器及與其相連的網(wǎng)絡成為系統(tǒng)的新瓶頸。如何減輕調(diào)度器的負擔，成為新的問題。因此，我們嘗試使用IP隧道方式來進行作業(yè)分配與調(diào)度。

3.2 IP隧道方式調(diào)度

為降低負載均衡器的工作體量，考慮將作業(yè)申請資源的請求，即“調(diào)度器——實際服務器”一一連接，改為通過IP隧道的方式，建立調(diào)度器對一組處理相同業(yè)務的實際服務器，一對多連接的模式。每次動態(tài)選擇一臺，轉(zhuǎn)發(fā)至實際服務器，同時，將“實際服務器——調(diào)度器——客戶端”連接，優(yōu)化為“實際服務器——客戶端”直接反饋的模式，即實際服務器將響應結果不通過調(diào)度器，直接返回給用戶，如圖3。

在此集群系統(tǒng)中，負載均衡器只是將作業(yè)申請調(diào)度到各后端服務器，應答的信息由后端的實際服務器直接返回至客戶端。這樣，負載均衡服務器降低了一半以上的工作量，可以只處理作業(yè)申請請求，而不會成為系統(tǒng)運行的阻礙[5]。但是這種方法中，IP隧道本身也需要消耗資源，而每一臺真實服務器，如果不支持隧道協(xié)議，就無法完成加入集群的功能。從這方面來說，提高了運維的難度與硬件成本，對于早年購買的設備不夠友好。利用企業(yè)機房設備通過局域網(wǎng)互聯(lián)的優(yōu)勢，我們探索利用更小的資源開銷，來完成集群負載均衡的效果。

3.3 直接路由調(diào)度

考慮到專業(yè)應用軟硬件資源大部分情況屬于企業(yè)內(nèi)部使用資源，不通過互聯(lián)網(wǎng)，只使用內(nèi)部局域網(wǎng)，負載均衡器與實際服務器連接在同一個網(wǎng)段中的特點。當作業(yè)請求到達負載調(diào)度器，可以對照路由表信息，找到實際服務器的物理地址，并改寫請求報文表頭，將請求信息廣播給實際服務器[6]，如圖4。

同IP通道模式一樣，直接路由調(diào)度模式中，負載均衡器只需處理“客戶端——調(diào)度器——實際服務器”間的單向信息流轉(zhuǎn)，應答包由實際服務器直接發(fā)送給客戶端。但與IP通道模式不同的是，直接路由調(diào)度避免了IP通道協(xié)議的要求及開銷，對可加入集群的硬件設備無“門檻”限制，是對企業(yè)最適用的方法。

展望未來，隨著服務器和應用軟件數(shù)量的增加、網(wǎng)絡模式的變化、用戶需求的精細化等情況，我們還可以考慮將轉(zhuǎn)換網(wǎng)絡地址、IP通道、直接路由三種調(diào)度方式進行組合。例如，負載均衡器與實際服務器若在同一物理網(wǎng)段，則使用直接路由調(diào)度的方式，若不在同一物理網(wǎng)段，則采用IP通道協(xié)議;對于網(wǎng)絡安全級別要求高的應用，使用網(wǎng)絡地址轉(zhuǎn)換的方式來調(diào)用，以保證不暴露后端服務器的實際地址等等。根據(jù)不同的應用需求，匹配合適的調(diào)度算法，來進行資源的負載平衡。

4 結論

本文根據(jù)石油企業(yè)的實際應用需求，將基于Linux系統(tǒng)的專業(yè)軟件分類為內(nèi)存需求型、CPU需求型和圖形處理需求型三類。并探索通過構建負載均衡集群系統(tǒng)，解決因軟硬件資源增多、服務器訪問量增加而導致的設備忙閑不均等問題。

通過實踐提出轉(zhuǎn)換網(wǎng)絡地址調(diào)度、IP隧道調(diào)度和直接路由調(diào)度三種方法。本文對比三者的優(yōu)缺點，并結合行業(yè)特點和實際應用需求，提出以直接路由調(diào)度法為基礎的負載均衡方法，以達到提高資源利用率、降低成本的目的。

參考文獻：

[1] 康鯤鵬.時移地震流動單元自動追蹤與解釋成果分析[J].電子設計工程，2010，18（12）：80-84.

[2] 叢慶，沈夏炯.普招網(wǎng)報系統(tǒng)中服務器集群與緩存的研究[J].電腦知識與技術，2009，5（34）：9631-9633.

[3] 路紅霞.基于多網(wǎng)卡綁定的負載均衡技術的研究[D].東營：中國石油大學（華東），2009.

[4] 彭軍，徐燕.Linux服務器負載均衡的研究與實現(xiàn)[J].計算機與數(shù)字工程，2012，40（12）：105-108.

[5] 謝曉勇.智能網(wǎng)絡磁盤（IND）集群存儲系統(tǒng)設計與實現(xiàn)[D].長沙：中南大學，2006.

[6] 馮堅.基于LVS和Openfiler的網(wǎng)絡教學平臺服務器集群系統(tǒng)的設計與實現(xiàn)[J].廣東廣播電視大學學報，2010，19（1）：104-108.

收稿日期：2021-12-26

作者簡介：王茹（1988—），女，山西省絳縣人，中級工程師，碩士，研究方向為計算機應用技術;劉銳（1987—），山東壽光人，中級工程師，碩士，研究方向為計算機應用技術;呂歡歡（1987—），女，廣西玉林人，中級工程師，碩士，研究方向為海洋工程。