劉金霞+李晶+欒永明+王慧瑜+趙威+趙苗

摘要：高性能計(jì)算是氣象業(yè)務(wù)及科研應(yīng)用的重要的基礎(chǔ)平臺，東北區(qū)域氣象中心高性能計(jì)算能力迅速增強(qiáng)，業(yè)務(wù)及科研模式多種多樣，用戶越來越多，尤其是業(yè)務(wù)氣象模式精度提高以后，對系統(tǒng)資源需求加大。這給高性能計(jì)算機(jī)管理以及業(yè)務(wù)應(yīng)用管理提出了更高的要求。以向用戶提供更好的計(jì)算資源和支撐服務(wù)為出發(fā)點(diǎn)，介紹了高性能計(jì)算機(jī)運(yùn)行管理、用戶及模式管理的技術(shù)手段，有助于減少管理和維護(hù)成本，更好的發(fā)揮計(jì)算資源的應(yīng)用效益。

關(guān)鍵詞：高性能計(jì)算機(jī)；系統(tǒng)管理 ；資源；應(yīng)用；模式

中圖分類號：TP315 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2015）30-0186-02

Research on High Performance Computer System Management Technology

LIU Jin-xia1， LI Jing1， LUAN Yong-ming1，WANG Hui-yu，ZHAO Wei1，ZHAO Miao2

（1.Liaoning Provincial Meteorological Information Center， Shenyang 110166，China；2.Liaoning Provincial Meteorological Bureau，Shenyang 110001，China）

Abstract： High performance computing is an important basic platform for meteorological service and scientific research. The high performance computing power of northeast area meteorological center is rapidly enhanced， and the business and scientific research mode is more and more， and the user is more and more， especially in the business meteorological model. This puts forward higher requirements for high performance computer management and business application management. In order to provide better computing resources and support services as a starting point， it introduces the technical methods of high performance computer operation management， users and management. It helps to reduce the cost of management and maintenance.

Key words： high performance computer；system management；resource；applicaton；model

1 概述

高性能計(jì)算機(jī)是氣象業(yè)務(wù)及科研應(yīng)用的重要的基礎(chǔ)平臺，高性能計(jì)算機(jī)技術(shù)在氣象海量資料處理、科學(xué)計(jì)算、產(chǎn)品應(yīng)用等方面發(fā)揮著重要的支撐作用。 東北區(qū)域氣象中心目前擁有IBM Cluster 1600 、IBM IBM Flex System P460 Cluster系統(tǒng)，計(jì)算能力迅速增強(qiáng)，依托于該高性能計(jì)算平臺，東北區(qū)域中尺度數(shù)值預(yù)報(bào)系統(tǒng)，臺風(fēng)模式HWRF、東北區(qū)域空氣質(zhì)量模式預(yù)報(bào)系統(tǒng)CMAQ，天氣數(shù)值模式預(yù)報(bào)檢驗(yàn)等業(yè)務(wù)及科研應(yīng)用順利開展。業(yè)務(wù)及科研模式多種多樣，用戶越來越多，尤其是業(yè)務(wù)氣象模式精度提高以后，對系統(tǒng)資源需求加大。這給高性能計(jì)算機(jī)管理以及業(yè)務(wù)應(yīng)用管理提出了更高的要求。高性能計(jì)算機(jī)系統(tǒng)管理者必須采取一定的技術(shù)手段確保系統(tǒng)穩(wěn)定運(yùn)行，資源有效利用。

2 計(jì)算機(jī)運(yùn)行監(jiān)視

高性能計(jì)算機(jī)采取集群架構(gòu)，由一組相互獨(dú)立的計(jì)算機(jī)利用高速通信網(wǎng)絡(luò)組成一個(gè)單一的計(jì)算機(jī)系統(tǒng)，并以單一系統(tǒng)的模式加以管理。集群內(nèi)包括小型機(jī)、服務(wù)器、存儲、網(wǎng)絡(luò)等設(shè)備近百臺，每天到機(jī)房檢查硬件報(bào)警信息是硬件檢查的常用方法。然而，在例行檢查之后，無法預(yù)測硬件下一次報(bào)警的時(shí)間，也很難保證硬件總是不出故障。通過一些集群管理命令和單機(jī)操作系統(tǒng)命令，可以讀取到一些有用的信息，通過分析這些信息判斷出硬盤、內(nèi)存、cpu等部件以及各個(gè)節(jié)點(diǎn)的運(yùn)行狀態(tài)，通過運(yùn)行監(jiān)視平臺實(shí)時(shí)展示，在故障時(shí)通過文字的顏色和聲音等方式向值班人員報(bào)告系統(tǒng)出現(xiàn)的一些異常情況。

3 高性能計(jì)算機(jī)性能監(jiān)視系統(tǒng)

在IBM Cluster1600高性能計(jì)算系統(tǒng)上，采用Ganglia分布式監(jiān)控技術(shù)建立了高性能計(jì)算機(jī)性能監(jiān)視系統(tǒng)[1]。該系統(tǒng)采用B/S架構(gòu)，實(shí)現(xiàn)了對集群和各個(gè)計(jì)算節(jié)點(diǎn)的CPU利用率、網(wǎng)絡(luò)流量、負(fù)載的運(yùn)行情況、內(nèi)存情況等性能指標(biāo)的監(jiān)視、統(tǒng)計(jì)和圖形顯示等功能。系統(tǒng)管理員通過Web瀏覽器可以實(shí)時(shí)了解IBM 高性能計(jì)算機(jī)運(yùn)行狀況和資源使用情況，還可以通過性能監(jiān)視系統(tǒng)生成的不同時(shí)間尺度下各種度量信息的統(tǒng)計(jì)圖表，了解集群系統(tǒng)在一特定時(shí)間段內(nèi)的資源使用情況；用戶也可以通過訪問網(wǎng)站的方式清楚地了解各個(gè)計(jì)算節(jié)點(diǎn)的資源使用情況，該監(jiān)視系統(tǒng)對于指導(dǎo)用戶提交作業(yè)和監(jiān)視作業(yè)運(yùn)行提供很大幫助。如圖1。

4 資源統(tǒng)計(jì)與分析

反映高性能計(jì)算機(jī)系統(tǒng)運(yùn)行及資源使用最直觀的標(biāo)示就是CPU利用率[2]?；诟鞴?jié)點(diǎn)性能監(jiān)視工具sar的結(jié)果，

在HPC系統(tǒng)計(jì)算節(jié)點(diǎn)獲取單節(jié)點(diǎn)的cpu利用率，在系統(tǒng)管理節(jié)點(diǎn)轉(zhuǎn)換處理為整個(gè)系統(tǒng)的平均cpu利用率，同時(shí)生成每天及每月的系統(tǒng)平均cpu利用率。根據(jù)需求，可以統(tǒng)計(jì)分鐘-小時(shí)-天-月不同時(shí)段的系統(tǒng)cpu利用率，繪制成曲線圖，很容易看出資源利用高峰時(shí)段。

由于用戶提交的作業(yè)較多，還要對用戶的作業(yè)情況進(jìn)行統(tǒng)計(jì)。可從作業(yè)管理軟件提取作業(yè)運(yùn)行的詳細(xì)信息 ，包括用戶信息、資源數(shù)量、所在隊(duì)列、作業(yè)提交、運(yùn)行、結(jié)束的時(shí)間等。這對于存在于不同單位的用戶管理是十分重要的，為資源分配和管理提供了重要依據(jù)。

用戶的模式程序以及模式運(yùn)行的數(shù)據(jù)均存儲在高性能計(jì)算機(jī)上。存儲資源劃分不同的文件系統(tǒng)，用戶及模式信息與模式數(shù)據(jù)分開存儲，增加數(shù)據(jù)的安全性。同時(shí)，各文件系統(tǒng)采用限額對所有用戶的存儲資源進(jìn)行統(tǒng)一分配和管理。

通過資源統(tǒng)計(jì)結(jié)果分析，高性能計(jì)算機(jī)管理員較全面地了解資源的使用情況，分析結(jié)果作為資源分配、回收的重要依據(jù)。

5 用戶及作業(yè)管理

用戶從資源申請到開始應(yīng)用，需要按照規(guī)定經(jīng)過申請、審核、復(fù)核、審批等過程。用戶應(yīng)對擬在高性能計(jì)算機(jī)上運(yùn)算的模式有一定的了解，提出對計(jì)算環(huán)境、編譯環(huán)境、計(jì)算資源使用量、存儲資源使用量等需求。系統(tǒng)管理員對于不了解模式的用戶暫時(shí)分配臨時(shí)資源，便于用戶熟悉高性能計(jì)算機(jī)系統(tǒng)的操作以及對模式部署的規(guī)劃。用戶被分成組，按照一定的規(guī)則為用戶命名。用戶提交的作業(yè)也會根據(jù)業(yè)務(wù)需求被定義不同的優(yōu)先級，分配到不同優(yōu)先級的隊(duì)列中。當(dāng)?shù)蛢?yōu)先級的作業(yè)正在運(yùn)行時(shí)，高優(yōu)先級的作業(yè)將會在資源不夠的情況下?lián)寠Z低優(yōu)先級作業(yè)的資源，確保高優(yōu)先級的業(yè)務(wù)作業(yè)正常進(jìn)行。

6 模式運(yùn)行管理

應(yīng)用SMS（Supervisor Monitor Scheduler）監(jiān)控管理調(diào)度系統(tǒng)技術(shù)架構(gòu)，實(shí)現(xiàn)對東北區(qū)域數(shù)值預(yù)報(bào)模式——WRF V3.5.1模式的監(jiān)控管理調(diào)度。首先按照SMS的技術(shù)規(guī)范將WRF V3.5.1模式作業(yè)的運(yùn)行流程按照功能分成初始化、解碼、插值、變分同化、WRF模式計(jì)算、后處理等十余個(gè)模塊，其次將每個(gè)模塊盡可能的分解成一個(gè)個(gè)簡單獨(dú)立的任務(wù)。作業(yè)通過該監(jiān)控管理調(diào)度系統(tǒng)自動提交后，通過直觀的圖形化界面詳細(xì)監(jiān)視模式的運(yùn)行過程和運(yùn)行狀態(tài)，并可實(shí)現(xiàn)作業(yè)斷點(diǎn)自動重做。這將進(jìn)一步提高模式業(yè)務(wù)運(yùn)行能力，保證模式運(yùn)行的時(shí)效性和可靠性。

7 結(jié)論

要充分利用高性能計(jì)算機(jī)強(qiáng)大的計(jì)算 能力，就必須通過有效的系統(tǒng)管理使其能夠穩(wěn)定的提供服務(wù)，建立資源分配、回收的有效機(jī)制，不斷挖掘可用的系統(tǒng)資源，合理分配資源。高性能計(jì)算機(jī)的系統(tǒng)管理復(fù)雜，本文結(jié)合工作實(shí)際，僅從幾個(gè)方面進(jìn)行了相關(guān)的研究和實(shí)踐，還應(yīng)不斷總結(jié)出理論和經(jīng)驗(yàn)，進(jìn)一步提高高性能計(jì)算機(jī)系統(tǒng)管理水平。

參考文獻(xiàn)：

[1] 李晶，王恕，劉金霞，等. 東北區(qū)域氣象中心高性能計(jì)算機(jī)性能監(jiān)視系統(tǒng)[J]. 計(jì)算技術(shù)與自動化，2013，32（3）：187-191.

[2] 沈瑜，李娟，常飚，等. 高性能計(jì)算機(jī)統(tǒng)一資源管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算技術(shù)與自動化，2014，33（1）：84.