高金金

(山西財(cái)經(jīng)大學(xué) 實(shí)驗(yàn)中心，山西 太原 030006)

隨著數(shù)據(jù)信息爆炸式地發(fā)展，科學(xué)研究越來(lái)越倚重于高性能計(jì)算資源。高性能計(jì)算的發(fā)展也支撐著大數(shù)據(jù)與人工智能行業(yè)。高校作為科研的主力機(jī)構(gòu)之一，有必要加強(qiáng)高性能計(jì)算平臺(tái)的建設(shè)。同時(shí)依據(jù)《教育信息化十年發(fā)展規(guī)劃(2011-2020 年)》和《教育部社會(huì)科學(xué)司2020年工作要點(diǎn)》中有關(guān)重點(diǎn)支持“文科實(shí)驗(yàn)室”建設(shè)導(dǎo)性意見(jiàn)，山西省教育廳頒布的高校信息化建設(shè)要求以及山西省1331工程等重要文件的精神，從加快建設(shè)高水平大學(xué)和加強(qiáng)學(xué)?！半p一流”建設(shè)的目標(biāo)出發(fā)，適應(yīng)師生對(duì)高性能計(jì)算云的強(qiáng)烈需求，實(shí)現(xiàn)高校信息化發(fā)展，提高科研競(jìng)爭(zhēng)力和綜合實(shí)力，學(xué)校積極籌備建設(shè)高性能計(jì)算平臺(tái)。

“高性能計(jì)算云”將為學(xué)校各科研實(shí)驗(yàn)室進(jìn)行科學(xué)研究提供強(qiáng)大的高性能計(jì)算資源，特別是高時(shí)間復(fù)雜度和高空間復(fù)雜度的算法研究、大數(shù)據(jù)并行計(jì)算處理研究不出學(xué)校就可進(jìn)行。該平臺(tái)的優(yōu)勢(shì)如下：1) 性能高；2) 建設(shè)成本低；3) 易于維護(hù)；4) 擴(kuò)展性強(qiáng)；5) 資源調(diào)度能力高，資源利用率高；6) 軟件生態(tài)環(huán)境好；7) 兼容性強(qiáng)。

山西財(cái)經(jīng)大學(xué)“實(shí)驗(yàn)云”平臺(tái)建設(shè)由“桌面云”、“高性能計(jì)算云”、“實(shí)驗(yàn)云基礎(chǔ)設(shè)施”三部分組成。本文在研究總結(jié)高性能計(jì)算平臺(tái)建設(shè)相關(guān)問(wèn)題的主流解決方法的基礎(chǔ)上，給出了山西財(cái)經(jīng)大學(xué)高性能計(jì)算平臺(tái)的具體方案，并對(duì)高性能計(jì)算平臺(tái)的管理運(yùn)維模式進(jìn)行詳細(xì)探討。

圖1 山西財(cái)經(jīng)大學(xué)實(shí)驗(yàn)云總體規(guī)劃

1 山西財(cái)經(jīng)大學(xué)高性能計(jì)算平臺(tái)建設(shè)方案

目前，全國(guó)大部分985、211重點(diǎn)高校都建有校級(jí)高性能計(jì)算平臺(tái)，其中規(guī)模最大的是南京大學(xué)校級(jí)高性能計(jì)算平臺(tái)，除此之外，北京大學(xué)計(jì)算中心也在進(jìn)行高性能計(jì)算平臺(tái)更新?lián)Q代工作，新的高性能集群在2017年建成[1,2]。山西高校中比較大的超算平臺(tái)是山西大學(xué)校級(jí)高性能計(jì)算平臺(tái)。我們深入研究了國(guó)內(nèi)外大量商業(yè)化超算中心與教育科研機(jī)構(gòu)自建的高性能計(jì)算平臺(tái)，對(duì)它們的建設(shè)方案進(jìn)行了分析研究，并深入了解了目前最先進(jìn)的平臺(tái)軟硬件體系結(jié)構(gòu)，掌握了現(xiàn)在高性能計(jì)算平臺(tái)的主流技術(shù)路線。在此基礎(chǔ)上，結(jié)合山西財(cái)經(jīng)大學(xué)實(shí)際需求，給出山西財(cái)經(jīng)大學(xué)高性能計(jì)算平臺(tái)的具體建設(shè)方案。該方案以高性能計(jì)算集群作為基礎(chǔ)架構(gòu)，以適當(dāng)?shù)挠?jì)算節(jié)點(diǎn)資源為核心，搭配大容量高性能的存儲(chǔ)設(shè)施與大吞吐量的網(wǎng)絡(luò)設(shè)施共同構(gòu)建。

1.1 體系架構(gòu)的設(shè)計(jì)與選型

現(xiàn)在主流的高性能計(jì)算平臺(tái)大多采用了計(jì)算機(jī)集群的方式作為計(jì)算系統(tǒng)。計(jì)算機(jī)集群通過(guò)高性能網(wǎng)絡(luò)整合異構(gòu)且松散的計(jì)算資源于一體，將各種節(jié)點(diǎn)的邏輯地組合成一臺(tái)超級(jí)計(jì)算機(jī)。所以，財(cái)經(jīng)大學(xué)高性能云平臺(tái)建設(shè)方案以高性能計(jì)算集群作為基礎(chǔ)架構(gòu)。

1.2 計(jì)算資源與設(shè)備的設(shè)計(jì)選型

1.2.1 通用計(jì)算資源

主流的高性能通用計(jì)算架構(gòu)依然以X86架構(gòu)為基礎(chǔ)。在X86架構(gòu)之外，ARM架構(gòu)也有了長(zhǎng)足的進(jìn)步， ARM的高級(jí)架構(gòu)授權(quán)，對(duì)于發(fā)展我國(guó)基于ARM安全可控的自主CPU有很大的幫助。

方案中通用計(jì)算節(jié)點(diǎn)主要以高性能的X86架構(gòu)的CPU與大容量?jī)?nèi)存為核心基礎(chǔ)，考慮到近年來(lái)我國(guó)大力推廣安全可控的硬件產(chǎn)品，CPU方面選取了國(guó)產(chǎn)的海光C86 7185。單個(gè)CPU擁有32個(gè)物理核心，單個(gè)節(jié)點(diǎn)采用2路CPU。內(nèi)存方面，單個(gè)節(jié)點(diǎn)配備256G內(nèi)存。通用計(jì)算節(jié)點(diǎn)共備3臺(tái)。

1.2.2 浮點(diǎn)計(jì)算資源

浮點(diǎn)計(jì)算對(duì)于GPU的需求非常高，而GPU必須搭配專(zhuān)用的顯存作為浮點(diǎn)計(jì)算內(nèi)存使用，方案選擇了NVIDIA專(zhuān)業(yè)計(jì)算GPU Tesla V100作為浮點(diǎn)計(jì)算器，該型號(hào)GPU支持高性能雙精度浮點(diǎn)計(jì)算能力與GPU虛擬化技術(shù)，且顯存容量高達(dá)32G，單個(gè)節(jié)點(diǎn)安裝兩路GPU。相對(duì)于通用計(jì)算節(jié)點(diǎn)，浮點(diǎn)計(jì)算節(jié)點(diǎn)對(duì)于CPU的需求不算太高，但考慮到浮點(diǎn)計(jì)算節(jié)點(diǎn)往往也會(huì)參與部分?jǐn)?shù)據(jù)處理計(jì)算，方案選取了Intel 至強(qiáng)黃金5115，單個(gè)CPU擁有10個(gè)物理核心，單個(gè)節(jié)點(diǎn)配備2路CPU和256G內(nèi)存。浮點(diǎn)計(jì)算節(jié)點(diǎn)共配備3臺(tái)。

1.3 存儲(chǔ)設(shè)備的設(shè)計(jì)與選型

存儲(chǔ)系統(tǒng)應(yīng)當(dāng)具備超高的并發(fā)性能與較高的吞吐速率和一定的穩(wěn)定性與可維護(hù)性[3]。FC-SAN磁盤(pán)陣列系統(tǒng)在吞吐能力方面能夠滿足計(jì)算的IO需求，并且IO性能方面也有著一定的擴(kuò)展性。

本方案存儲(chǔ)設(shè)備方面選擇了曙光DS600系列磁盤(pán)陣列系統(tǒng)。該系統(tǒng)配備的4個(gè)8Gb SFP光纖模塊能夠提供足夠的計(jì)算需求吞吐量。除了FC-SAN通信能力之外，還支持多種通信方式，且通信模塊還可以擴(kuò)展一倍以支持后期更大的吞吐需求。單臺(tái)設(shè)備可安裝12個(gè)3.5寸SAS硬盤(pán)。

1.4 網(wǎng)絡(luò)設(shè)施的設(shè)計(jì)與選型

主流網(wǎng)絡(luò)設(shè)施以InfiniBand為核心，外圍輔助以太網(wǎng)。交換機(jī)選用專(zhuān)用的InfiniBand交換設(shè)備。管理網(wǎng)絡(luò)方面以千兆以太網(wǎng)絡(luò)為主?？紤]到計(jì)算節(jié)點(diǎn)的異構(gòu)性和兼容性，網(wǎng)絡(luò)設(shè)施不適合使用高度定制化的產(chǎn)品。萬(wàn)兆以太網(wǎng)絡(luò)可以滿足部分低吞吐需求的集群或者集群的邊緣業(yè)務(wù)部分，且具有成本低、用戶基礎(chǔ)廣、技術(shù)成熟度高等優(yōu)點(diǎn)。InfiniBand在超大吞吐量計(jì)算需求的集群中有著廣泛的應(yīng)用，其速率可達(dá)到40Gbps～100Gbps，穩(wěn)定性高、延遲低。Intel Omni-Path是一種與Intel CPU集成的超高速網(wǎng)絡(luò)方案，但是對(duì)非Intel的產(chǎn)品兼容性不佳。

1.5 操作系統(tǒng)與管理系統(tǒng)的選型

Linux是一類(lèi)由開(kāi)源社區(qū)維護(hù)的操作系統(tǒng)。非常適合用作于超算的操作系統(tǒng)基礎(chǔ)設(shè)施。

本方案的操作系統(tǒng)選取了Linux系的主流發(fā)行版之一的Cent OS 64位版。

集群調(diào)度管理與運(yùn)維方面，以曙光Gridview系列配套軟件為基礎(chǔ)。

1.6 高校高性能計(jì)算平臺(tái)環(huán)境準(zhǔn)備與基礎(chǔ)設(shè)施

為保證高性能計(jì)算平臺(tái)持續(xù)穩(wěn)定運(yùn)行，平臺(tái)硬件所處的環(huán)境在溫度、濕度、供配電等多個(gè)方面提供必要的保障。本方案基礎(chǔ)設(shè)施采用模塊化數(shù)據(jù)中心模式，構(gòu)建承載HPC高性能計(jì)算和實(shí)驗(yàn)室教學(xué)及實(shí)驗(yàn)所需的環(huán)境基礎(chǔ)設(shè)施，包括UPS不間斷電源、蓄電池、供配電、制冷系統(tǒng)、動(dòng)力環(huán)境系統(tǒng)等。

2 高校高性能計(jì)算平臺(tái)運(yùn)維模式

高性能計(jì)算平臺(tái)建設(shè)投入大、運(yùn)行和維護(hù)費(fèi)用高，因此運(yùn)維體系十分重要[4]，需要從管理、技術(shù)、人員等多方面去考慮，堅(jiān)持“以人為本”的原則，建立科學(xué)的平臺(tái)管理運(yùn)維體系，保持平臺(tái)良好運(yùn)行生態(tài)。

2.1 運(yùn)維管理制度

制定嚴(yán)格的制度管理。高性能計(jì)算平臺(tái)的硬件設(shè)施必須能夠提供除必要維護(hù)外的不間斷服務(wù)，嚴(yán)格的制度管理是設(shè)備安全運(yùn)行的保證。平臺(tái)必須有嚴(yán)格的設(shè)備檢查制度，消除配電、空調(diào)等設(shè)備方面帶來(lái)的安全隱患。計(jì)算集群應(yīng)有全面完善的專(zhuān)業(yè)化監(jiān)控運(yùn)維設(shè)施，實(shí)現(xiàn)客戶HPC資產(chǎn)全生命周期管理服務(wù)及自動(dòng)化運(yùn)維，實(shí)現(xiàn)基于“互聯(lián)網(wǎng)+”模式下的HPC生態(tài)圈。

2.2 用戶技術(shù)支持

運(yùn)維中心要制定高性能平臺(tái)發(fā)展戰(zhàn)略以及相關(guān)的技術(shù)咨詢服務(wù)方案。建立完備的用戶申請(qǐng)流程，提供相應(yīng)的技術(shù)服務(wù)，比如協(xié)助用戶安裝軟件、配置實(shí)驗(yàn)環(huán)境，向用戶收集反饋信息等，解決用戶在具體應(yīng)用中遇到的各類(lèi)問(wèn)題。通過(guò)在高性能平臺(tái)門(mén)戶網(wǎng)站上進(jìn)行相關(guān)內(nèi)容的更新發(fā)布來(lái)給予用戶及時(shí)全面的平臺(tái)信息。邀請(qǐng)高性能計(jì)算專(zhuān)家來(lái)校訪問(wèn)，舉辦高性能計(jì)算應(yīng)用系列講座進(jìn)行短期培訓(xùn)，去兄弟院校相關(guān)部門(mén)進(jìn)行交流，通過(guò)多渠道提高技術(shù)服務(wù)的質(zhì)量。

2.3 運(yùn)維人員管理

平臺(tái)必須有專(zhuān)門(mén)的人員進(jìn)行管理維護(hù)。高校高性能計(jì)算平臺(tái)的運(yùn)維工作與計(jì)算資源銷(xiāo)售服務(wù)行業(yè)有著很大的相似度，增強(qiáng)服務(wù)意識(shí)能夠有效地為用戶提供充足的便利性，如建立完善的訴求通道，并積極進(jìn)行回應(yīng)。所以要調(diào)動(dòng)平臺(tái)技術(shù)人員的積極性和主動(dòng)性，提高平臺(tái)技術(shù)人員的業(yè)務(wù)水平和敬業(yè)精神。

另外，平臺(tái)的管理人員需要同時(shí)由熟悉軟硬件基礎(chǔ)設(shè)施與熟悉計(jì)算業(yè)務(wù)的人員參與組成。第一類(lèi)人員對(duì)集群使用的各個(gè)環(huán)節(jié)有比較好的認(rèn)識(shí)，可以促進(jìn)集群更利于終端用戶的使用; 第二類(lèi)人員對(duì)計(jì)算機(jī)體系架構(gòu)較熟悉，可以更容易地參與到集群的調(diào)優(yōu)、定制化，以及一些相關(guān)的研究項(xiàng)目中去，建立起跨學(xué)科專(zhuān)業(yè)的科研模式[4]。同時(shí)在云計(jì)算服務(wù)平臺(tái)中，人人都是生態(tài)的需求者也是貢獻(xiàn)者。使用者可以方便地申請(qǐng)到配置好的系統(tǒng)環(huán)境甚至是搭建好的應(yīng)用環(huán)境，同時(shí)可以向平臺(tái)貢獻(xiàn)鏡像、數(shù)據(jù)等，與平臺(tái)建設(shè)單位一同打造高校計(jì)算應(yīng)用生態(tài)圈。

3 結(jié)語(yǔ)

高性能計(jì)算平臺(tái)建設(shè)是“雙一流”建設(shè)戰(zhàn)略中提供科研支撐環(huán)境和科研平臺(tái)基礎(chǔ)的重要手段，因此各高校都開(kāi)展了高性能計(jì)算平臺(tái)的建設(shè)。接下來(lái)，我們將不斷地實(shí)踐探索，將山西財(cái)經(jīng)大學(xué)的高性能計(jì)算平臺(tái)的后期建設(shè)與具體運(yùn)維管理更加完善，促進(jìn)學(xué)校高性能計(jì)算科研實(shí)踐應(yīng)用與教學(xué)水平發(fā)展。