摘? 要：為支持國(guó)家重大科技專(zhuān)項(xiàng)大型先進(jìn)壓水堆核電站等非能動(dòng)核電的研發(fā)與設(shè)計(jì)，設(shè)計(jì)實(shí)現(xiàn)大型非能動(dòng)核電軟件計(jì)算平臺(tái)是比較緊迫的任務(wù)。本文結(jié)合非能動(dòng)核電燃料和堆芯設(shè)計(jì)軟件系統(tǒng)平臺(tái)的現(xiàn)狀，利用LSF集群計(jì)算技術(shù)，設(shè)計(jì)了一套高性能計(jì)算平臺(tái)，實(shí)現(xiàn)了統(tǒng)一入口、統(tǒng)一賬戶(hù)、統(tǒng)一數(shù)據(jù)存儲(chǔ)，達(dá)到了硬件資源、軟件資源和數(shù)據(jù)資源的高效使用。與商業(yè)計(jì)算機(jī)軟件集成不同的是，其需集成的軟件數(shù)量眾多，遠(yuǎn)遠(yuǎn)超過(guò)一般國(guó)家級(jí)高性能計(jì)算中心的應(yīng)用軟件數(shù)量，且該軟件為非能動(dòng)核電專(zhuān)有軟件，軟件開(kāi)發(fā)方?jīng)]有為軟件的分布式計(jì)算提供開(kāi)放透明的接口，需要逐個(gè)探索評(píng)測(cè)改進(jìn)軟件的集成開(kāi)發(fā)工作，該課題組完成主要軟件的集成開(kāi)發(fā)工作，有力地支撐了AP1000依托項(xiàng)目設(shè)計(jì)分包項(xiàng)目、CAP1000、CAP1400等非能動(dòng)核電的研發(fā)與設(shè)計(jì)工作。

關(guān)鍵詞：非能動(dòng)核電;計(jì)算集群;LSF

中圖分類(lèi)號(hào)：TP311;TP338.8? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）07-0001-05

Abstract：In order to support the development and design of large-scale advanced pressurized water reactor （PWR） nuclear power plants and other passive nuclear power plants，it is an urgent task to design and implement a large-scale passive nuclear power software computing platform. In this paper，a high performance computing platform is designed based on LSF cluster computing technology，which combines the status of the software platform for passive nuclear fuel and core design. It realizes unified access，unified account and unified data storage，and achieves the efficient use of hardware resources，software resources and data resources. Different from the integration of commercial computer software，the number of software it needs to integrate is large，far exceeding the number of applications in general national high performance computing centers，and the software is proprietary software for passive nuclear power. The software developer does not provide an open and transparent interface for distributed computing of software，so it is necessary to explore and evaluate the integrated development of improved software one by one. Complete the integrated development of main software，strongly support AP1000 relying on project design subcontracting project，CAP1000，CAP1400 and other passive nuclear power research and development and design work.

Keywords：passive nuclear power;computing cluster;LSF

0? 引? 言

國(guó)家重大科技專(zhuān)項(xiàng)大型先進(jìn)壓水堆核電站等非能動(dòng)核電的研發(fā)與設(shè)計(jì)的計(jì)算任務(wù)量和核電仿真軟件精細(xì)度不斷提高，當(dāng)前核電燃料和堆芯設(shè)計(jì)軟件平臺(tái)面臨諸多問(wèn)題[1，2]。上海核工程研究設(shè)計(jì)院有限公司（以下簡(jiǎn)稱(chēng)“上海核工院”）作為承擔(dān)第三代核電技術(shù)引進(jìn)消化吸收和再創(chuàng)新重任的國(guó)家核電技術(shù)公司的核心單位，通過(guò)對(duì)AP1000技術(shù)的消化和吸收，在核電燃料和堆芯設(shè)計(jì)軟件平臺(tái)方面積累了寶貴經(jīng)驗(yàn)，并積極探索非能動(dòng)核電燃料和堆芯設(shè)計(jì)軟件平臺(tái)的技術(shù)方案[3-7]。筆者認(rèn)為需亟待研究的課題至少有以下三個(gè)：第一，將軟件系統(tǒng)升級(jí)為高性能并行計(jì)算集群系統(tǒng);第二，AP1000軟件與現(xiàn)有軟件的有效整合問(wèn)題;第三，軟件運(yùn)行的安全問(wèn)題[8]。此論文為第一個(gè)課題的研究成果。

1? 核電燃料和堆芯設(shè)計(jì)軟件系統(tǒng)介紹及其面臨的問(wèn)題

核電燃料和堆芯設(shè)計(jì)是AP1000技術(shù)的關(guān)鍵領(lǐng)域，也是AP1000技術(shù)密集度較高和技術(shù)更新最快的領(lǐng)域。從2007年起，西屋電氣公司逐步向國(guó)家核電技術(shù)公司交付AP1000軟件，燃料和堆芯設(shè)計(jì)軟件是由西屋電氣公司核燃料和堆芯設(shè)計(jì)事業(yè)部開(kāi)發(fā)和維護(hù)的，運(yùn)行在一套獨(dú)立的軟件系統(tǒng)平臺(tái)之上。上海核工院有多套軟件系統(tǒng)，每套系統(tǒng)都是獨(dú)立運(yùn)行的。其面臨的主要問(wèn)題如下：第一，硬件資源利用率低。硬件資源的使用處于分散狀態(tài)，在部門(mén)及項(xiàng)目團(tuán)隊(duì)之間難以建立合理機(jī)制進(jìn)行協(xié)調(diào)工作，大量計(jì)算任務(wù)基本靠用戶(hù)個(gè)體之間協(xié)調(diào)，應(yīng)用效率低下。第二，高負(fù)載軟件運(yùn)行“撞車(chē)”問(wèn)題。關(guān)鍵軟件屬于典型的CAE計(jì)算軟件，在運(yùn)行時(shí)占用非常高的負(fù)載，不同用戶(hù)的作業(yè)同時(shí)運(yùn)行，降低了作業(yè)的執(zhí)行效率，例如當(dāng)一個(gè)用戶(hù)的ANC作業(yè)在一臺(tái)機(jī)器上運(yùn)行的時(shí)候，另一個(gè)用戶(hù)在不知情的情況下使該機(jī)啟動(dòng)了ANC或NEXUS等計(jì)算量很大的作業(yè)，兩個(gè)作業(yè)會(huì)因?yàn)椤白曹?chē)”而導(dǎo)致作業(yè)執(zhí)行速度下降，運(yùn)行時(shí)間過(guò)長(zhǎng)。第三，平臺(tái)對(duì)較舊版本的兼容問(wèn)題。由于軟件升級(jí)頻繁，平臺(tái)對(duì)很多舊版軟件兼容性不好，用戶(hù)調(diào)用較舊版本的軟件往往會(huì)出現(xiàn)問(wèn)題。

另外，AP1000核電燃料和堆芯設(shè)計(jì)平臺(tái)的軟件集成工作的工作量和技術(shù)難度非常大。這主要體現(xiàn)在以下三個(gè)方面：第一，數(shù)量眾多，包含輔助軟件總計(jì)達(dá)近百個(gè)（不計(jì)軟件重復(fù)版本）。第二，該平臺(tái)的技術(shù)領(lǐng)域進(jìn)步很快，大約每4個(gè)月更新一個(gè)版次關(guān)鍵軟件，平均大約15個(gè)月升級(jí)一次平臺(tái)的操作系統(tǒng)版本，這遠(yuǎn)遠(yuǎn)超過(guò)一般商業(yè)計(jì)算仿真軟件更新迭代的速度。第三，集成接口不透明，與ANSYS等商用軟件開(kāi)放集群分布式計(jì)算的接口不同，軟件開(kāi)發(fā)方?jīng)]有為軟件的分布式設(shè)計(jì)提供開(kāi)放透明的接口，需要逐個(gè)不斷地探索、評(píng)測(cè)，不斷改進(jìn)軟件的集成開(kāi)發(fā)工作。

2? 基于LSF集群系統(tǒng)的分布式計(jì)算平臺(tái)設(shè)計(jì)

2.1? 基于LSF集群系統(tǒng)

基于集群的分布式計(jì)算，由高速網(wǎng)絡(luò)將同一或不同地理位置的計(jì)算機(jī)和應(yīng)用軟件連接起來(lái)，使用并行計(jì)算管理軟件形成一個(gè)松散耦合的并行計(jì)算系統(tǒng)，統(tǒng)一協(xié)調(diào)地解決計(jì)算問(wèn)題[9]。LSF（全稱(chēng)“Load Sharing Facility”）原是加拿大Platform Computing公司（現(xiàn)被IBM公司收購(gòu)）基于Toronto大學(xué)的Utopia系統(tǒng)研制和開(kāi)發(fā)的一個(gè)用來(lái)管理分布式資源的工具[10]，被很多大型分布式及計(jì)算使用，例如，上海超級(jí)計(jì)算中心的“魔方”高性能計(jì)算平臺(tái)[11]（運(yùn)算能力達(dá)230萬(wàn)億次，在2008年11月公布的TOP500全球超級(jí)計(jì)算排名中名列世界第十一、亞洲第一）和國(guó)家超級(jí)計(jì)算深圳中心（深圳云計(jì)算中心）的“星云”高性能計(jì)算平臺(tái)[12]（運(yùn)算能力達(dá)3000萬(wàn)億次，在2010年11月公布的TOP500全球超級(jí)計(jì)算排名中名列世界第三）就采用了LSF的技術(shù)方案。

LSF集群系統(tǒng)的分布式計(jì)算結(jié)構(gòu)如圖1所示，此結(jié)構(gòu)包含3類(lèi)節(jié)點(diǎn)，分別為提交節(jié)點(diǎn)（submission host）、管理節(jié)點(diǎn)（master host）和處理節(jié)點(diǎn)（execution host，也稱(chēng)計(jì)算節(jié)點(diǎn)）。一個(gè)作業(yè)在LSF集群系統(tǒng)中的完整調(diào)度過(guò)程分為：提交作業(yè)、調(diào)度作業(yè)、分發(fā)作業(yè)、運(yùn)行作業(yè)、返回輸出和返回結(jié)果到提交節(jié)點(diǎn)等6個(gè)過(guò)程[13]。

2.2? 總體設(shè)計(jì)

在總體設(shè)計(jì)中，由于目前擁有超過(guò)20個(gè)計(jì)算節(jié)點(diǎn)，為降低管理節(jié)點(diǎn)的負(fù)載，將管理節(jié)點(diǎn)設(shè)置為用戶(hù)登錄節(jié)點(diǎn)（即平臺(tái)訪(fǎng)問(wèn)入口）和平臺(tái)管理節(jié)點(diǎn)（用于管理員軟件安裝調(diào)試、Master Host等）;根據(jù)軟件版本的不同，將計(jì)算節(jié)點(diǎn)進(jìn)行分組;計(jì)算平臺(tái)的管理網(wǎng)絡(luò)與計(jì)算網(wǎng)絡(luò)相分離，計(jì)算網(wǎng)絡(luò)一般采用高速I(mǎi)nfiniBand網(wǎng)絡(luò)，以提高整個(gè)系統(tǒng)IO效率。將存儲(chǔ)設(shè)置為高性能存儲(chǔ)和普通存儲(chǔ)，其中，高性能存儲(chǔ)可為L(zhǎng)ustre[14]，在開(kāi)展計(jì)算量很大的任務(wù)時(shí)極大地提高了計(jì)算效率。Lustre與GPFS[15]均為并行文件系統(tǒng)的解決方案，被著名超算中心使用，例如，Titan[16]采用Lustre管理數(shù)據(jù)和存儲(chǔ)資源，天河系列超級(jí)計(jì)算機(jī)[17]在Lustre的基礎(chǔ)上輔以H2FS實(shí)現(xiàn)異構(gòu)存儲(chǔ)資源的管理。平臺(tái)總體設(shè)計(jì)架結(jié)構(gòu)如圖2所示。

2.3? 設(shè)計(jì)評(píng)估

此平臺(tái)的設(shè)計(jì)評(píng)估如下：

（1）LSF統(tǒng)一管理調(diào)度所有作業(yè)，解決了硬件資源利用無(wú)序、低效和應(yīng)用程序相互沖突的問(wèn)題;

（2）LSF作業(yè)優(yōu)先管理方案解決了資源調(diào)度與項(xiàng)目匹配脫節(jié)的問(wèn)題;

（3）按軟件版本將計(jì)算節(jié)點(diǎn)進(jìn)行分組，用戶(hù)在使用軟件時(shí)，將調(diào)用支持相關(guān)版本的計(jì)算節(jié)點(diǎn)。

因此，該平臺(tái)的設(shè)計(jì)基本解決了該論文第1部分提出的主要問(wèn)題。

3? 平臺(tái)的實(shí)現(xiàn)與應(yīng)用效果模擬分析

平臺(tái)采用了6臺(tái)惠普HP BL406Gen7設(shè)備的計(jì)算環(huán)境、系統(tǒng)配置等內(nèi)容如表1，其中計(jì)算節(jié)點(diǎn)運(yùn)行軟件ANC版本9.4.0和VIPRE-W版本7.11.1。

與ANSYS等商用軟件開(kāi)放集群分布式計(jì)算的接口不同，核電燃料和堆芯設(shè)計(jì)軟件需深入研究和不斷探索與LSF等軟件的集成工作。在配置完成后，運(yùn)行LSF命令bhosts顯示集群狀況，如圖3所示。

4? 應(yīng)用效果模擬分析

為簡(jiǎn)化模擬分析的復(fù)雜度，忽略平臺(tái)分配作業(yè)等系統(tǒng)時(shí)間和舊平臺(tái)作業(yè)撞車(chē)導(dǎo)致作業(yè)運(yùn)行時(shí)間過(guò)長(zhǎng)等因素，現(xiàn)使用ANC版本940的一個(gè)算例進(jìn)行模擬分析。其具體方法如下：

（1）編制一個(gè)將該算例運(yùn)行960次的程序腳本;

（2）使用EXCEL函數(shù)RANDBETWEEN產(chǎn)生1至4的隨機(jī)整數(shù)，隨機(jī)分配到4個(gè)計(jì)算節(jié)點(diǎn);

（3）將上述腳本運(yùn)行5遍，產(chǎn)生模擬實(shí)驗(yàn)數(shù)據(jù)。

而LSF將960次作業(yè)平均分配到4個(gè)計(jì)算節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)可同時(shí)運(yùn)行12個(gè)作業(yè)，一個(gè)算例運(yùn)行時(shí)間為66秒，共運(yùn)行1320秒。該模擬實(shí)驗(yàn)結(jié)果詳見(jiàn)表2，LSF的作業(yè)調(diào)度系統(tǒng)將提高平臺(tái)的計(jì)算效率。

5? 軟件的集成開(kāi)發(fā)工作

AP1000核電燃料和堆芯設(shè)計(jì)平臺(tái)的軟件集成工作工作量和技術(shù)難度非常大。這主要體現(xiàn)在以下三個(gè)方面：第一，數(shù)量眾多，包含含輔助軟件總計(jì)達(dá)近百個(gè)（不計(jì)軟件重復(fù)版本）。第二，該平臺(tái)的技術(shù)領(lǐng)域進(jìn)步很快，大約每4個(gè)月更新一個(gè)版次關(guān)鍵軟件，平均大約15個(gè)月升級(jí)一次平臺(tái)的操作系統(tǒng)版本，這遠(yuǎn)遠(yuǎn)超過(guò)一般商業(yè)計(jì)算仿真軟件更新迭代的速度。第三，集成接口不透明，與ANSYS等商用軟件開(kāi)放集群分布式計(jì)算的接口不同，軟件開(kāi)發(fā)方?jīng)]有為軟件的分布式設(shè)計(jì)提供開(kāi)放透明的接口，需要逐個(gè)不斷地探索、評(píng)測(cè)，以改進(jìn)軟件的集成開(kāi)發(fā)工作。

軟件集成開(kāi)發(fā)主要將軟件用戶(hù)和系統(tǒng)管理人員從Linux Shell命令行里解脫出來(lái)，通過(guò)Web界面與系統(tǒng)交互。IBM Platform Application Center（簡(jiǎn)稱(chēng)“PAC”）是一個(gè)為L(zhǎng)SF集群而設(shè)計(jì)Web Portal門(mén)戶(hù)，它主要包含作業(yè)及其數(shù)據(jù)管理、應(yīng)用集成模板、用戶(hù)與安全管理、遠(yuǎn)程可視化和集群狀態(tài)監(jiān)控、用戶(hù)定制化開(kāi)發(fā)等功能。由于篇幅限制，下面僅介紹應(yīng)用模板的集成工作。

5.1? 軟件模板集成開(kāi)發(fā)步驟

在Web Portal創(chuàng)建軟件應(yīng)用模板主要包括以下幾個(gè)步驟：

（1）創(chuàng)建應(yīng)用軟件的應(yīng)用模板;

（2）定義應(yīng)用模板內(nèi)域元素的依賴(lài)關(guān)系;

（3）自動(dòng)探測(cè)和上傳輸入文件、數(shù)據(jù)文件等;

（4）在應(yīng)用表單里增加使用介紹頁(yè)面。

5.2? 圖形交互軟件的集成開(kāi)發(fā)

近來(lái)富客戶(hù)端技術(shù)的發(fā)展，尤其是WebSocket技術(shù)的開(kāi)發(fā)，Web程序的交互能力和表現(xiàn)效果逐漸增強(qiáng)，越來(lái)越多的應(yīng)用逐漸從C/S模式轉(zhuǎn)變?yōu)锽/S模式。在評(píng)測(cè)了VNC、TurboVNC、NICE Desktop Cloud Visualization（DCV）、HP Romote Graphics Software（RGS）和Exceed onDemand（EoD）后選擇了Exceed onDemand（EoD）實(shí)現(xiàn)對(duì)遠(yuǎn)程2D/3D圖形進(jìn)行交互的技術(shù)方案，其原因如下：

（1）在Linux平臺(tái)其安全性、便利性、高效性表現(xiàn)出眾;

（2）可同時(shí)支持OpenGL圖形和GPU共享的應(yīng)用程序接口;

（3）實(shí)現(xiàn)對(duì)向用戶(hù)直接推送交互的應(yīng)用界面，而不是通過(guò)推送桌面間接實(shí)現(xiàn)。

PAC和Exceed onDemand的融合可以實(shí)現(xiàn)2D/3D任務(wù)的圖形化集中管理和調(diào)度，從PAC上可以實(shí)現(xiàn)2D/3D任務(wù)的建立、提交、運(yùn)行、暫停、終止、查看等全程監(jiān)控及管理。通過(guò)這種方式可以共享計(jì)算資源和應(yīng)用許可證，提高資源的利用率和減少硬件和軟件的支出。圖5為PAC和Exceed onDemand的集成架構(gòu)。

BEACON是堆芯在線(xiàn)監(jiān)測(cè)分析程序，利用中子學(xué)模型和堆芯實(shí)時(shí)數(shù)據(jù)進(jìn)行堆芯的監(jiān)測(cè)、分析和預(yù)測(cè)，可提供堆芯實(shí)時(shí)3D功率分布，是一款典型的可視化交互式軟件，其集成開(kāi)發(fā)的效果見(jiàn)圖6所示。

6? 結(jié)? 論

本文通過(guò)分析核電燃料和堆芯設(shè)計(jì)軟件平臺(tái)的不足，提出了非能動(dòng)核電燃料和堆芯設(shè)計(jì)軟件系統(tǒng)平臺(tái)的設(shè)計(jì)方案，并實(shí)現(xiàn)了平臺(tái)與部分軟件的初步集成。這將為非能動(dòng)核電燃料和堆芯設(shè)計(jì)剩余軟件的集成工作提供重要參考，也為核電研發(fā)設(shè)計(jì)行業(yè)、設(shè)備制造行業(yè)、政府監(jiān)管部門(mén)的AP1000設(shè)計(jì)軟件的用戶(hù)提供有益借鑒。下一步將研究如何為非能動(dòng)核電燃料和堆芯設(shè)計(jì)軟件構(gòu)建高性能并行計(jì)算集群平臺(tái)監(jiān)控和統(tǒng)計(jì)分析及后續(xù)課題內(nèi)容。

參考文獻(xiàn)：

[1] 葉成，鄭明光，王勇，等.AP1000非能動(dòng)安全殼冷卻水WGOTHIC分析 [J].原子能科學(xué)技術(shù)，2013，12（47）：2225-2230.

[2] 王國(guó)棟，王喆，扈本學(xué)，等.應(yīng)用DAKOTA程序耦合WGOTHIC程序進(jìn)行安全殼壓力響應(yīng)敏感性分析 [J].原子能科學(xué)技術(shù)，2015，49（12）：2176-2180.

[3] 鄭明光，葉成，韓旭.新能源中的核電發(fā)展 [J].核技術(shù)，2010，33（2）：81-86.

[4] 吳劍鳴.核電技術(shù)和產(chǎn)業(yè)發(fā)展的動(dòng)向 [J].自動(dòng)化儀表，2010，31（8）：1-5.

[5] 繆鴻興.AP1000先進(jìn)核電技術(shù) [J].自動(dòng)化博覽，2009（8）：32-35.

[6] 歐陽(yáng)予.核能和平利用的發(fā)展歷程與前景展望 [J].電氣技術(shù)，2009（8）：16-21.

[7] 鄭明光.從AP1000到CAP1400，我國(guó)先進(jìn)三代非能動(dòng)核電技術(shù)自主化歷程 [J].中國(guó)核電，2018，11（1）：41-45.

[8] 劉海永.第三代核電燃料和堆芯設(shè)計(jì)軟件系統(tǒng)的研究 [J].計(jì)算機(jī)光盤(pán)軟件與應(yīng)用，2012（14）：198+200.

[9] 何軍.PowerScript語(yǔ)言·事件·函數(shù) [M].北京：電子工業(yè)出版社，2004.

[10] GJB 2634-96，飛機(jī)電網(wǎng)設(shè)計(jì)通用要求 [S].北京：國(guó)防科技大學(xué)工業(yè)委員會(huì)，1996.

[11] TOP500.org. Shanghai Supercomputer Center [EB/OL].https：//www.top500.org/site/49697，2008-11-02.

[12] TOP500.org. National Supercomputing Centre in Shenzhen（NSCSE） [EB/OL].https：//www.top500.org/system/176819，2010-11-01.

[13] Platform Computing Inc. Administering PlatformTM LSFTM [OL].http：//www.ccs.miani.edu/hpc/lsf/7.0.6/admin/terms.html，2009-08-31.

[14] 莊園.基于Lustre文件系統(tǒng)MPI-I/O優(yōu)化的改進(jìn)與實(shí)現(xiàn) [D].濟(jì)南：山東大學(xué)，2017.

[15] 張新諾，王彬.GPFS文件系統(tǒng)的安裝配置與維護(hù) [J].計(jì)算機(jī)技術(shù)與發(fā)展，2018，5：174-178.

[16] Cluster File System，Inc. Lustre：A scalable，high-performance file system [R].New York：Cluster File System，Inc，2012.

[17] 周恩強(qiáng)，張偉，董勇，等.面向分層混合存儲(chǔ)架構(gòu)的協(xié)同式突發(fā)緩沖技術(shù) [J].國(guó)防科技大學(xué)學(xué)報(bào)，2015，1（37）：47-52.

作者簡(jiǎn)介：劉海永（1981-），男，漢族，河南柘城人，工程師，碩士，研究方向：信息系統(tǒng)、高性能計(jì)算和云計(jì)算。