王鷗+趙永彬

摘要：為提高遼寧電力企業(yè)基礎(chǔ)平臺的有效集成與綜合利用，進(jìn)而為公司運營決策提供基礎(chǔ)支持，本文結(jié)合企業(yè)門戶系統(tǒng)文件共享穩(wěn)定性的需求，設(shè)計并實現(xiàn)了基于GPFS共享文件系統(tǒng)的遼寧電力企業(yè)門戶系統(tǒng)。實際應(yīng)用情況表明該項技術(shù)的部署滿足遼寧公司企業(yè)門戶的基本要求，為公司業(yè)務(wù)應(yīng)用和數(shù)據(jù)共享提供有力支撐。

關(guān)鍵詞：GPFS；企業(yè)門戶；Weblogic Portal；單點登錄

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2015）10-0015-03

按照國家電網(wǎng)公司“十一五”信息化建設(shè)規(guī)劃的總體目標(biāo)，遼寧省電力有限公司通過3年的時間，建成了以統(tǒng)一目錄為用戶管理以及身份認(rèn)證依據(jù)的一體化平臺體系架構(gòu)，以應(yīng)用集成為數(shù)據(jù)的橫向集成工具、以數(shù)據(jù)中心為數(shù)據(jù)的共享平臺、以數(shù)據(jù)交換為數(shù)據(jù)的縱向貫通手段、以企業(yè)門戶為統(tǒng)一信息的展示方式、為各業(yè)務(wù)系統(tǒng)提供了強有力的基礎(chǔ)平臺，其中，企業(yè)門戶系統(tǒng)是基礎(chǔ)平臺中的基礎(chǔ)。

遼寧省電力有限公司企業(yè)門戶系統(tǒng)覆蓋了本部以及省內(nèi)所有地市級供電公司。該系統(tǒng)的每日點擊量均超過100萬次，目前系統(tǒng)注冊用戶數(shù)為62400人，每日登錄人數(shù)為49000人。

企業(yè)門戶系統(tǒng)所展現(xiàn)出的附件、圖片以及內(nèi)容管理的文章等數(shù)據(jù)，都保存在80或81服務(wù)器掛接的存儲設(shè)備上。所有的web應(yīng)用服務(wù)器都需訪問統(tǒng)一的僅可以掛載在單臺服務(wù)器上文件系統(tǒng)，且無法進(jìn)行并發(fā)的訪問與修改。每日瞬時訪問量過大將導(dǎo)致單臺服務(wù)器資源緊張，進(jìn)而影響該系統(tǒng)的安全穩(wěn)定運行，所以提出在企業(yè)門戶系統(tǒng)中部署GPFS文件共享系統(tǒng)，進(jìn)而解決單點故障的問題。

1 企業(yè)門戶系統(tǒng)架構(gòu)現(xiàn)狀

遼寧省電力公司企業(yè)門戶系統(tǒng)基于Weblogic Portal 平臺軟件開發(fā)， WebLogic集群前端采用兩臺四層交換機F5作為負(fù)載均衡器，后端采用6臺門戶應(yīng)用服務(wù)器構(gòu)成門戶集群，實現(xiàn)高可用性架構(gòu)，數(shù)據(jù)庫采用Oracle10g，組成RAC集群。

其前端的F5四層交換機會定期檢測，當(dāng)某臺門戶服務(wù)器發(fā)生故障時，F(xiàn)5四層交換機會將該故障服務(wù)器隔離，并將后續(xù)發(fā)往該故障服務(wù)器的請求轉(zhuǎn)發(fā)至集群中其它的服務(wù)器，這時其它的服務(wù)器將處理系統(tǒng)。

與此同時，后端的六臺門戶應(yīng)用服務(wù)器搭建了同時提供服務(wù)的兩套相同的高可用性集群架構(gòu)，每套集群架構(gòu)中均由九個受管理服務(wù)和一個管理服務(wù)所組成，這種架構(gòu)方式提升系統(tǒng)負(fù)載容量也能夠?qū)崿F(xiàn)該系統(tǒng)7×24小時的無間斷可靠運行。

企業(yè)門戶數(shù)據(jù)庫采用的是Oracle10g，通過Oracle10g產(chǎn)品的特性實現(xiàn)高可用（RAC）。兩臺服務(wù)器在并行服務(wù)的方式下各自運行一個數(shù)據(jù)庫核心的進(jìn)程，但是共同操作、管理同一個數(shù)據(jù)庫。系統(tǒng)連接到哪個服務(wù)器均可以在數(shù)據(jù)庫中進(jìn)行操作。當(dāng)其中某臺服務(wù)器出現(xiàn)故障時，數(shù)據(jù)庫系統(tǒng)本身并沒有停止工作，連接在另一臺服務(wù)器上的客戶端還可繼續(xù)正常工作。從而實現(xiàn)門戶系統(tǒng)7*24小時的可靠運行。

企業(yè)門戶系統(tǒng)所展現(xiàn)的附件、圖片以及內(nèi)容管理的文章等數(shù)據(jù)，都儲存在80或81服務(wù)器所掛接的存儲設(shè)備上。FTP文件服務(wù)器已經(jīng)進(jìn)行了雙機設(shè)置（如圖2）。

2 基于GPFS并發(fā)文件系統(tǒng)的企業(yè)門戶架構(gòu)

GPFS （General Parallel File System）起源于 IBM 公司SP 系統(tǒng)上所使用的虛擬共享磁盤技術(shù) （ VSD ），是IBM 公司開發(fā)的第一個共享文件系統(tǒng)。

2.1 GPFS共享文件系統(tǒng)工作原理

GPFS允許使用者共享分布在多個節(jié)點與多個磁盤上的文件，將所有物理的資源都視為虛擬文件系統(tǒng)對象。它允許并行的應(yīng)用程序能夠同時從GPFS 節(jié)點組中的任何一個節(jié)點訪問相同或者不同的文件。

GPFS通用并行文件系統(tǒng)設(shè)計的目標(biāo)是允許應(yīng)用程序通過標(biāo)準(zhǔn)UNIX文件系統(tǒng)的接口來訪問數(shù)據(jù)，使數(shù)據(jù)分布于一個集群中的所有的節(jié)點上。GPFS是通過將I/O分布在多個硬盤來提高性能，通過日志與復(fù)制的方式來提高數(shù)據(jù)的可靠性，通過增加節(jié)點與節(jié)點間由SP Switch互聯(lián)來提高系統(tǒng)的可擴展性。GPFS可超越單一節(jié)點與單一文件系統(tǒng)的性能極限，通過將文件分布于多個節(jié)點和磁盤上的方式。GPFS系統(tǒng)資源可以在文件系統(tǒng)掛載狀況下添加或刪除硬盤，從而可以進(jìn)行動態(tài)調(diào)整。當(dāng)GPFS系統(tǒng)相對空閑時，用戶為了能提高其吞吐量，可在已配置的硬盤上重新均衡文件系統(tǒng)，還可在不重新啟動GPFS服務(wù)的情況下添加新的節(jié)點。

GPFS文件系統(tǒng)可通過在SP系統(tǒng)或群集中增加節(jié)點的方式來提高性能。GPFS通用并行文件系統(tǒng)為不同節(jié)點建立各自的獨立日志。日志種能夠記錄Metadata的分布，一旦節(jié)點發(fā)生故障，就可以快速恢復(fù)數(shù)據(jù)。GPFS fail-over的功能通過規(guī)劃，將數(shù)據(jù)分布到不同的failure group內(nèi)，減少單點故障影響，達(dá)到高可用性。GPFS在多個failure group內(nèi)為每個數(shù)據(jù)實例做出備份，即使在創(chuàng)建文件系統(tǒng)時沒有被要求復(fù)制，GPFS也會自動在不同的failure group內(nèi)完成復(fù)制恢復(fù)日志的工作，從而保證數(shù)據(jù)的可用性。

GPFS 文件系統(tǒng)基本上由三層架構(gòu)組成：磁盤，網(wǎng)絡(luò)共享磁盤（NSD）， GPFS 文件設(shè)備，如圖3所示。

磁盤：GPFS 文件系統(tǒng)的最底層是物理磁盤設(shè)備。原則上，可采用系統(tǒng)上任何一塊設(shè)備，包括磁盤，邏輯卷，磁盤分區(qū)。從物理連接上來看，GPFS 能夠支持使用所有方式連接的磁盤。包括本地 SCSI 磁盤，光纖 SAN 磁盤，本地 IDE 磁盤， iSCSI 磁盤，等等。

網(wǎng)絡(luò)共享磁盤（NSD）：NSD 是由磁盤所映射出的虛擬設(shè)備，NSD 與磁盤為一一對應(yīng)的關(guān)系。NSD 被標(biāo)記了不同的屬性來區(qū)分其用途，我們可將磁盤標(biāo)記為 4 種用途：Data Only：只存儲文件系統(tǒng)中的數(shù)據(jù)信息；Desc Only：只存儲 GPFS 文件系統(tǒng)描述信息的磁盤； Meta data only： 只存儲文件系統(tǒng)中的目錄結(jié)構(gòu) inode 信息；Meta and data： 存儲所有信息（默認(rèn)）。

GPFS 文件設(shè)備：GPFS 文件設(shè)備由 NSD 所創(chuàng)建而成，是一個可以被系統(tǒng)掛載的文件設(shè)備，可并行的同時掛載在多個節(jié)點上。

2.2 GPFS共享文件系統(tǒng)的特點

1）高性能：GPFS 允許在同一節(jié)點內(nèi)的應(yīng)用或多進(jìn)程使用標(biāo)準(zhǔn)文件系統(tǒng)調(diào)用，同時訪問同一文件。通過將節(jié)點內(nèi)的讀寫操作分布到多個磁盤上，進(jìn)而大大增加了文件系統(tǒng)的帶寬，通過整個系統(tǒng)的負(fù)載均衡地避免了某個磁盤過大的讀寫。

2）跨平臺設(shè)計：GPFS 支持在一個集群內(nèi)加入異構(gòu)的平臺。

支持異構(gòu)的硬件環(huán)境：System p， System x。

支持異構(gòu)的操作系統(tǒng)：AIX， Linux。

3）數(shù)據(jù)一致性：GPFS 通過一套復(fù)雜的信令管理機制提供數(shù)據(jù)的一致性。通過這套機制而允許任意節(jié)點通過各自的獨立路徑到達(dá)同一文件。即使節(jié)點無法正常的工作， GPFS 也可找到其它路徑。

4）數(shù)據(jù)安全性：GPFS 是一種為不同節(jié)點建立各自獨立日志的日志文件系統(tǒng)。日志中記錄 metadata 的分布，一旦節(jié)點發(fā)生故障，可以快速恢復(fù)數(shù)據(jù)。

5）管理簡單：GPFS 能夠自動在各個節(jié)點間同步配置文件與文件系統(tǒng)信息，且在同一節(jié)點內(nèi)，可以在任一節(jié)點上進(jìn)行對 GPFS 的管理。

6）系統(tǒng)可擴展性：在文件系統(tǒng)掛載狀況下通過 GPFS添加或刪除硬盤，系統(tǒng)資源從而進(jìn)行動態(tài)調(diào)整。

2.3 GPFS系統(tǒng)可用狀態(tài)的仲裁

GPFS文件系統(tǒng)提供3種仲裁方式來確定系統(tǒng)當(dāng)前狀態(tài)是否安全可靠：

1）File Descriptor Quorum、Node Quorum和Tiebreaker Quorum 1File Descriptor Quorum：當(dāng)在磁盤上創(chuàng)建GPFS文件系統(tǒng)時，會將文件系統(tǒng)信息的拷貝復(fù)制到多個磁盤上，達(dá)到數(shù)據(jù)冗余的目的。這種方式是GPFS文件系統(tǒng)默認(rèn)支持的，是不可以配置改變的。File Descriptor Quorum通過判斷包含有文件系統(tǒng)信息的磁盤的在線情況來判斷當(dāng)前系統(tǒng)是否正常。當(dāng)超過一半的包含文件系統(tǒng)信息的磁盤下線時，GPFS文件系統(tǒng)會判斷系統(tǒng)為非正常狀態(tài)，此時會自動關(guān)閉文件系統(tǒng)。

2）Node Quorum： GPFS文件系統(tǒng)集群中，將多個主機節(jié)點設(shè)置成Quorum節(jié)點，當(dāng)有超過一半的Quorum節(jié)點下線時，GPFS文件系統(tǒng)判斷系統(tǒng)為非正常狀態(tài)，會自動關(guān)閉文件系統(tǒng)。

3）Tiebreaker Quorum： GPFS文件系統(tǒng)集群中，可以設(shè)置一些指定的物理磁盤作為Tiebreaker Disk，GPFS文件系統(tǒng)會動態(tài)的監(jiān)視這些磁盤的狀態(tài)。當(dāng)有超過一般的Tiebreaker Disk下線時，則表示系統(tǒng)為非正常狀態(tài)，自動關(guān)閉文件系統(tǒng)。按照文檔上來說，用于監(jiān)視Tiebreaker Disk的Quorum主機數(shù)目最多只能配置兩臺，當(dāng)2臺Quorum主機都故障，則也表示系統(tǒng)故障，此時文件系統(tǒng)也會關(guān)閉。Tibreaker Quorum和Node Quorum仲裁方式只能選擇其中一種，不能兩種同時使用。Tibreakder Quorum仲裁方式主要是用于節(jié)點比較少的親況下，如果整個系統(tǒng)的接入節(jié)點較多，應(yīng)該考慮Node Quorum的仲裁方式。

2.4 GPFS在企業(yè)門戶中的部署及應(yīng)用

首先需要分別在6臺服務(wù)器上安裝GPFS軟件，創(chuàng)建GPFS集群，創(chuàng)建GPFS文件系統(tǒng)。GPFS軟件的安裝部署主要包括如下幾個步驟：1）GPFS軟件的下載安裝；2）創(chuàng)建GPFS集群；3）創(chuàng)建GPFS NSD；4）創(chuàng)建GPFS文件系統(tǒng)。

在GPFS軟件安裝配置完成后，每臺主機的根目錄下均出現(xiàn)/portal文件系統(tǒng)，該文件夾下所存儲的就是門戶系統(tǒng)所使用的業(yè)務(wù)數(shù)據(jù)。GPFS集群建立完成后，每個主機節(jié)點都能夠直接訪問/portal文件系統(tǒng)，在某個主機出現(xiàn)故障時，也不會影響到其它節(jié)點的正常運行，保證了文件系統(tǒng)的可用性。

單獨完成GPFS的配置是不夠的，我們還需要完成門戶系統(tǒng)軟件功能的調(diào)整，通過對軟件源代碼和應(yīng)用配置文件的修改，將原有FTP文件訪問方式轉(zhuǎn)換為本地文件的讀取和寫入方式，通地讀寫方式的修改，不僅提高了文件訪問速度，還降低了80服務(wù)器的訪問壓力。

最后，對新的系統(tǒng)架構(gòu)進(jìn)行測試，包括GPFS文件系統(tǒng)的讀寫測試，多個節(jié)點文件修改的并發(fā)讀寫測試，以及系統(tǒng)集成測試，壓力測試。通過對業(yè)務(wù)系統(tǒng)的測試，保證未來業(yè)務(wù)的穩(wěn)定運行。

最終實現(xiàn)企業(yè)門戶系統(tǒng)基于GPFS的架構(gòu)優(yōu)化，如圖：

3 結(jié)論

通過在企業(yè)門戶中部署GPFS文件共享系統(tǒng)，各臺服務(wù)器都可以通過GPFS來訪問共享的文件系統(tǒng)，當(dāng)單臺web服務(wù)器出現(xiàn)故障時，將不會影響到整個門戶系統(tǒng)的穩(wěn)定運行，從根本上解決了企業(yè)門戶在存儲方面的單點故障問題。通過調(diào)整后，無論在數(shù)據(jù)庫層、網(wǎng)絡(luò)層、web應(yīng)用層以及文件存儲層，都不存在單點的故障，從而提高了系統(tǒng)運行的可靠性和穩(wěn)定性，效果十分明顯。

參考文獻(xiàn)：

[1] 李勝利， 唐維， 石柯， 等. 高可用并行文件系統(tǒng)的分布式元數(shù)據(jù)管理[J]. 應(yīng)用科學(xué)學(xué)報， 2005， 23（3）：297-299.

[2] 陳宏昊. GPFS并行文件系統(tǒng)在地震數(shù)據(jù)處理中的應(yīng)用[J].物探裝備， 2008，18（6）： 393-398.

[3] 何慶兵. SNFS高性能共享文件系統(tǒng)在集群系統(tǒng)中的應(yīng)用[J].石油工業(yè)計算機應(yīng)用，2010（3）：10-12.