苑 野， 于永澔

(哈爾濱工業(yè)大學(xué))

?

基于異構(gòu)網(wǎng)絡(luò)機群環(huán)境下NPB性能分析*

苑 野， 于永澔

(哈爾濱工業(yè)大學(xué))

在異構(gòu)網(wǎng)絡(luò)機群環(huán)境下，使用NPB基準測試程序?qū)Σ⑿邢到y(tǒng)的性能進行了評測與分析.實驗表明, 在64個處理器Class D規(guī)模下，NPB程序在TCP/IP協(xié)議下的整體性能優(yōu)于在Infiniband協(xié)議下的整體性能.隨著處理器數(shù)目的提高，其可擴展性在TCP/IP協(xié)議和Infiniband協(xié)議中表現(xiàn)的各不相同，并行系統(tǒng)的可擴展性和應(yīng)用程序的硬件性能利用率還需進一步提高.

NPB;性能評測;并行基準測試程序

0 引言

并行計算機系統(tǒng)性能評測是指通過并行基準測試程序[1-2]對并行計算機系統(tǒng)運行一定量并行程序集時獲得的性能特征，其性能分析結(jié)果可以發(fā)現(xiàn)系統(tǒng)瓶頸，并做出相關(guān)的系統(tǒng)設(shè)計和改進.在科學(xué)與工程計算領(lǐng)域, Linpack測試和NPB基準測試是兩種最重要的測試方法，其測試結(jié)果通常用于評價并行計算機系統(tǒng)的性能優(yōu)劣.Linpack測試是衡量計算機系統(tǒng)性能的重要指標，用于測試并行計算機系統(tǒng)的整體浮點計算性能.一般情況下，用戶在實際應(yīng)用并不能得到計算機系統(tǒng)硬件的理論峰值計算能力.而NPB測試主要用于評價CFD應(yīng)用的實際計算性能.該文使用NPB程序集對本單位面向科學(xué)計算與海量數(shù)據(jù)處理計算平臺進行了性能評測與分析.

1 測試環(huán)境

該文的硬件測試環(huán)境為2套IBM面向科學(xué)計算和海量數(shù)據(jù)處理的高性能計算平臺.IBM C1000并行機群系統(tǒng)和IBM C2000并行機群系統(tǒng)均是64位系統(tǒng)，NPB版本為NPB3.3，GPFS共享文件系統(tǒng)，其優(yōu)化選項均為-O3、隨機數(shù)發(fā)生器為randi8.

1.1 NPB簡介

NPB[3-7]是一套用于評估并行計算機系統(tǒng)性能的程序集.該程序集算法主要來源于計算流體力學(xué)(CFD)應(yīng)用，它包括5個核心程序和3個模擬應(yīng)用程序.主要特點見表1所示.

1.2 IBM C1000機群系統(tǒng)

IBM C1000并行機群系統(tǒng)由200個計算節(jié)點組成，10G高速以太網(wǎng)互聯(lián)，每個計算節(jié)點配有1顆Intel Xeon 2.5G處理器，6M Cache, 16G內(nèi)存，1T SAS磁盤，軟件環(huán)境是64位Red hat Linux 6.2操作系統(tǒng)、MPI版本為MPICH2、編譯器為GNU g77.

表1

1.3 IBM C2000機群系統(tǒng)

IBM C2000并行機群系統(tǒng)由50個計算節(jié)點組成，Infiniband高速網(wǎng)絡(luò)互聯(lián)，每個計算節(jié)點配有1顆Intel Xeon 2.4G處理器，12M Cache, 32G內(nèi)存，1T SAS磁盤，軟件環(huán)境是64位Red hat Linux 6.2操作系統(tǒng)、MPI版本為Intel MPI 4.1、編譯器為Intel C/C++/Fortran 13.0.

2 性能分析

2.1 性能測試

單節(jié)點的計算能力和節(jié)點間的通訊能力是決定機群系統(tǒng)整體性能的主要因素.CPU的速度和內(nèi)存儲器的大小決定單節(jié)點的計算性能.節(jié)點間的通信性能影響整個機群系統(tǒng)的計算性能，并且節(jié)點間的網(wǎng)絡(luò)通信協(xié)議類型也對機群系統(tǒng)的計算性能有一定程度的影響.在2套基于相同處理器和不同通信網(wǎng)絡(luò)協(xié)議的IBM并行機群系統(tǒng)上，在Class D規(guī)模上用64個處理器對NPB測試程序集中的IS測試程序、EP測試程序、CG測試程序、MG測試程序、FT測試程序、BT測試程序、SP測試程序、LU測試程序，進行了系統(tǒng)性能評測[8-10]，具體結(jié)果如圖1所示.

圖1 兩套機群上64個處理器Class D性能測試對比

具體數(shù)據(jù)比較結(jié)果見表2.

機群C2000的CPU緩存大小、內(nèi)存大小及交換機的點對點交換性能指標均高于機群C1000，但是從表2中的兩套機群系統(tǒng)的比值可以看出，所有測試程序的Mflop/s/processor比值都大于1，這說明C1000系統(tǒng)的整體性能優(yōu)于C2000.也就是說NPB測試程序在TCP/IP協(xié)議下的運算性能優(yōu)于在Infiniband協(xié)議下的運算性能.

CG、MG和FT主要測試通信性能，CG、MG和FT的Mflop/s/processor測試值基本相同，這說明C1000可以比較均衡的處理不規(guī)則通信、長距離通信和內(nèi)存密集訪問型通信.EP是密集型并行計算，幾乎沒有節(jié)點間處理器通信，主要用于評估硬件系統(tǒng)的上限浮點計算性能.EP測試的比值是2.77，這說明Intel Xeon 2.5GHz處理器比Intel Xeon 2.4GHz處理器發(fā)揮了更好的浮點計算性能.通過對處理的主頻和Cache容量的比較，可以得出在EP測試中Cache的大小對處理器的浮點計算性能影響較小.

BT、SP和LU主要測試點到點的消息傳遞.BT測試的比值、SP測試的比值和LU測試的比值均大于1，這說明C1000在處理點到點的消息傳遞上，其性能幾乎是C2000的1.5倍到2.5倍.

IS主要測試整數(shù)運算性能和聚集通信性能.IS的Mflop/s/processor測試值基本相等，這說明兩套機群系統(tǒng)在處理需要大量通信的二維大整數(shù)桶排序方面的運算性能相差不大.

2.2 可擴展性測試

研究NPB中不同類型基準測試程序的可擴展性對并行算法優(yōu)化與機群系統(tǒng)結(jié)構(gòu)改進具有重要意義.在理想情況下，并行計算機的系統(tǒng)性能隨著處理機數(shù)量的增加而逐漸變好.

在2套基于相同處理器和不同通信網(wǎng)絡(luò)協(xié)議的IBM并行機群系統(tǒng)上，對NPB測試程序集中的IS測試程序、EP測試程序、CG測試程序、MG測試程序、FT測試程序、BT測試程序、SP測試程序、LU測試程序，進行了可擴展性測試比較.具體結(jié)果如圖2所示.

圖2 TCP/IP和Infiniband協(xié)議下可擴展性比較

由圖2可知，IS程序的Mflop/s/processor測試值在TCP/IP協(xié)議和Infiniband協(xié)議下均表現(xiàn)為隨著處理器數(shù)量的快速增加而變小，可擴展性變差.在TCP/IP協(xié)議下，EP程序的Mflop/s/processor測試值隨著處理器數(shù)量的增加無明顯變化，可擴展性較好，但在Infiniband協(xié)議下隨著處理器數(shù)量的增加，可擴展性很差.

CG和MG程序的Mflop/s/processor測試值在TCP/IP協(xié)議和Infiniband協(xié)議下均表現(xiàn)為隨著處理器數(shù)量的增加逐漸減小，可擴展性很差，主要原因是隨著計算節(jié)點數(shù)目的增加，系統(tǒng)整體通信能力變?nèi)?CG程序在Infiniband協(xié)議下的可擴展性優(yōu)于其在TCP/IP協(xié)議下的可擴展性，而MG程序在TCP/IP協(xié)議下的可擴展性優(yōu)于其在Infiniband協(xié)議下的可擴展性.FT程序的Mflop/s/processor測試值在兩個環(huán)境下表現(xiàn)的各異，在TCP/IP協(xié)議下隨著處理器數(shù)量的增加線性增加，可擴展性非常好，而在Infiniband協(xié)議下隨著處理器數(shù)量的增加逐漸減小，可擴展性很差.

BT、SP和LU程序主要用于測試計算能力和通信能力之間的動態(tài)變化，在TCP/IP協(xié)議和Infiniband協(xié)議下，BT和SP程序的Mflop/s/processor測試值均表現(xiàn)為隨著處理器數(shù)量的增加逐漸減小，擴展性比較差.而LU程序的Mflop/s/processor測試值在兩個協(xié)議下差異較大，在TCP/IP協(xié)議下隨著處理器數(shù)量的增加線性變大，可擴展性非常好.而在Infiniband協(xié)議下隨著處理器數(shù)量的增加迅速變小，可擴展性非常差.

3 結(jié)論

通過上述NPB評測結(jié)果分析可知，測試的兩套并行機群系統(tǒng)，NPB程序在TCP/IP協(xié)議下的整體性能優(yōu)于在Infiniband協(xié)議下的整體性能.可擴展性在兩套環(huán)境中表現(xiàn)的各不相同，隨著處理器數(shù)量的增加，IS、MG、CG、BT和SP程序在TCP/IP協(xié)議和Infiniband協(xié)議下均表現(xiàn)為可擴展性逐漸變差.EP程序可擴展性在TCP/IP協(xié)議下表現(xiàn)為幾乎恒定不變，而在Infiniband協(xié)議下卻表現(xiàn)為逐漸變差.FT和LU程序均呈現(xiàn)在TCP/IP協(xié)議下可擴展性逐漸變好，在Infiniband協(xié)議下可擴展性變差.

[1] 張亞棣. 計算機性能評測[J]. 航空計算技術(shù),1996(4)：38-45

[2] 呂超，戴晨，張為華. 計算機體系結(jié)構(gòu)基準測試程序集的研究[J]. 計算機應(yīng)用與軟件,2013,30(10):189-194.

[3] NAS Parallel Benchmarks, Available on-line from: http://science.nas.nasa.gov/Software/NPB.

[4] 張國路，王銳，錢德沛. 計算流體力學(xué)并行程序在多核處理器環(huán)境的Cache性能分析[J]. 高性能計算機發(fā)展與應(yīng)用,2013，42(1):26-33.

[5] Sunderam V S, Geist G A. Heterogeneous parallel and distributed computing[J]. Parallel Computing. 1999, 25:1699-1721.

[6] Bailey D H,et al. The NAS parallel benchmarks[J]. International Journal of Supercomputer Application, 1991, 5(3):63-73.

[7] 苑野，于永澔. 基于NPB的并行機群系統(tǒng)可擴展性研究[J]. 哈爾濱商業(yè)大學(xué)學(xué)報：自然科學(xué)版, 2016，32(1):60-63.

[8] 袁偉，張云泉，孫家昶. 國產(chǎn)萬億次機群系統(tǒng)NPB性能測試分析[J]. 計算機研究與發(fā)展,2005，42(6):1079-1084.

[9] 李春艷，張學(xué)杰. 基于高性能計算的開源云平臺性能評估[J]. 計算機應(yīng)用,2013, 33(12):3580-3585.

[10] 唐淵，孫家昶，張云泉. 集群網(wǎng)絡(luò)評測模型的新探索[J]. 軟件學(xué)報,2005, 16(6):1131-1139.

(責任編輯：李家云)

Performance Analysis of NPB Based on Heterogeneous Network Cluster Environment

Yuan Ye, Yu Yonghao

(Harbin Institute of Technology)

Using NPB benchmark test program, the performance of parallel system is evaluated and analyzed in heterogeneous network cluster. The experiment shows that the performance of the NPB program is better than the performance of the Infiniband protocol under the D Class protocol in the TCP/IP protocol. With the increase of the number of processors, it can be extended differently in the TCP/IP protocol and infiniband protocol. The parallel scalability and application program of hardware performance of the application need to be further expanded.

NPB; Performance evaluation; Parallel benchmark

2016-02-11

*國家自然科學(xué)基金項目(51201051)

TP311

A

1000-5617(2016)02-0075-04