孫凝暉 譚光明

1 超算發(fā)展的趨勢是既要“頂天”又要“立地”

1964年，有“超算之父”之稱的Seymour Cray研制的CDC 6600問世，并安裝到美國Livermore和Los Alamos國家實(shí)驗(yàn)室，開啟了高性能計算技術(shù)和產(chǎn)業(yè)60年的持續(xù)發(fā)展與繁榮。超算的宏觀發(fā)展趨勢是既要“頂天”，又要“立地”?！绊斕臁钡暮x是性能高、算得快，人類對計算速度的需求是永無止境的，所以追求性能的巔峰是第一動力?！傲⒌亍钡暮x是應(yīng)用廣、臺數(shù)多，超算的本質(zhì)還是一臺高端的計算裝備，是裝備就要被用得越多、越廣，越能體現(xiàn)出它的價值，所以進(jìn)入各行各業(yè)、形成產(chǎn)業(yè)規(guī)模是超算發(fā)展雙輪驅(qū)動的另一個輪子。

高性能計算60年的演變路線可簡單地分為2個階段：Cray時代和多計算機(jī)時代。① Cray時代。從20世紀(jì)60—90年代初期的30年被稱為“Cray時代”，以單一內(nèi)存向量機(jī)的技術(shù)革新為主導(dǎo)，Cray定義和引領(lǐng)了前30年的高性能計算市場。第一個30年研制以“頂天”為主，僅服務(wù)于國家戰(zhàn)略部門。② 多計算機(jī)時代。從 20世紀(jì) 90年代迄今的后30年被稱為“多計算機(jī)時代”，由于微處理器的出現(xiàn)，以及大量工業(yè)標(biāo)準(zhǔn)硬件的普及，以大規(guī)?；ミB多個通用乃至商用的計算部件的可擴(kuò)展系統(tǒng)結(jié)構(gòu)的技術(shù)創(chuàng)新主導(dǎo)了迄今為止的高性能計算發(fā)展。后30年的高性能計算機(jī)在滿足國家戰(zhàn)略應(yīng)用對性能巔峰需求的同時，“立地”成為發(fā)展的主要目標(biāo)，市場驅(qū)動、高性能計算應(yīng)用普及成為第二階段的顯著特點(diǎn)。

美國的Jack Dongrra教授等于1993年發(fā)起了全球超級計算機(jī)排名TOP500，其成為高性能計算機(jī)發(fā)展的風(fēng)向標(biāo)。世界上浮點(diǎn)運(yùn)算速度最快的機(jī)器從1988年的2 Gflops增長到2018年11月份143 Pflops，提高了760億倍。高性能計算機(jī)被視為世界各國競相爭奪的科技戰(zhàn)略制高點(diǎn)，是國之重器。西方國家對中國實(shí)施了長期的技術(shù)封鎖和市場壟斷，歷史上巴統(tǒng)對中國進(jìn)口計算機(jī)在性能指標(biāo)上的限制、進(jìn)口的計算機(jī)要關(guān)在玻璃房子里被外國員工監(jiān)管使用，都是曾經(jīng)發(fā)生過的事件。

目前，中國高性能計算機(jī)領(lǐng)域存在的沒得用、不適用、用不起的嚴(yán)重問題制約著國家的可持續(xù)發(fā)展。① 沒得用。正如李國杰院士當(dāng)年在給國家科委的報告中指出，“盡管我國也研制了一兩臺上億次的計算機(jī)，但從總體來看，我國的計算機(jī)水平比國外落后十幾年”。在計算資源嚴(yán)重不足的形勢下，國家全力研制的有限的幾臺高性能計算機(jī)系統(tǒng)僅能滿足少數(shù)國家重要戰(zhàn)略部門的需求，其他用戶能得到的機(jī)器的性能與國外相比差10年以上。② 不適用。可用的系統(tǒng)主要是大型機(jī)和大規(guī)模并行計算機(jī)（MPP）等“專用”系統(tǒng)。這里的專用并不是說它們只能運(yùn)行某種應(yīng)用，而是指組成部件是專門設(shè)計的，如CPU板、內(nèi)存板、I/O板和操作系統(tǒng)，都是不能在其他系統(tǒng)中使用的。因而導(dǎo)致用戶群窄小，只應(yīng)用在科學(xué)計算類的“象牙塔”中，對各行各業(yè)的迫切需求的適配性很差，計算效率很差。③ 用不起。由于高性能計算機(jī)一直被視為國之重器，國內(nèi)市場被IBM等國外企業(yè)壟斷，價格昂貴，國產(chǎn)品牌的市場基本為零。國內(nèi)科研單位研制的有限的幾臺高性能計算機(jī)系統(tǒng)由于技術(shù)架構(gòu)的原因價格性能比很高，沒法大面積推廣，更沒法形成產(chǎn)業(yè)。

作為中國高性能計算機(jī)研制的重要力量，中國科學(xué)院計算技術(shù)研究所、國防科技大學(xué)和江南計算所等國內(nèi)企事業(yè)單位從20世紀(jì)90年代開始，堅持不懈地開展了追趕與超越美、日等西方國家高性能計算機(jī)的研制工作。中國科學(xué)院計算技術(shù)研究所在“863”計劃306主題支持下成立了國家智能計算機(jī)研究開發(fā)中心（以下簡稱“智能中心”），著力發(fā)展既要“頂天”更要“立地”的高性能計算機(jī)。尤其要攻克應(yīng)用廣、臺數(shù)多，以及形成高性能計算機(jī)產(chǎn)業(yè)的難點(diǎn)。重點(diǎn)發(fā)展低費(fèi)效比的架構(gòu)與并行處理技術(shù)，從共享存儲對稱多處理器結(jié)構(gòu)（SMP）開始，到海量并行處理結(jié)構(gòu)（MPP），最后發(fā)展機(jī)群系統(tǒng)（Cluster）架構(gòu)，有效踐行了“863”計劃提出的“頂天立地”戰(zhàn)略。在基礎(chǔ)理論創(chuàng)新、關(guān)鍵技術(shù)突破、應(yīng)用推廣和產(chǎn)業(yè)化推進(jìn)上作出系統(tǒng)性的貢獻(xiàn)。

2 “曙光”之路的“三叉戟”

智能中心啟動研制“曙光”高性能計算機(jī)（以下簡稱“曙光機(jī)”）時，正趕上國際高性能計算發(fā)展的技術(shù)轉(zhuǎn)折時期。智能中心經(jīng)過深入反復(fù)調(diào)研確立了2個基本點(diǎn)：① 計算機(jī)技術(shù)發(fā)展雖然日新月異，但已經(jīng)形成了一系列的國際工業(yè)標(biāo)準(zhǔn)，要研制滿足市場需要能“頂天立地”的高性能計算機(jī)，絕不能脫離工業(yè)標(biāo)準(zhǔn)；② 計算機(jī)產(chǎn)業(yè)發(fā)展趨勢是從垂直型到水平型，要在增值鏈上選擇對中國來說最佳的創(chuàng)新增值環(huán)節(jié)，把低費(fèi)效比、縮短研制周期、機(jī)器推出時具有市場競爭力，作為優(yōu)先考慮因素。

在統(tǒng)一認(rèn)識的基礎(chǔ)上，智能中心明確提出堅定不移地按照“863”計劃“發(fā)展高技術(shù)、實(shí)現(xiàn)產(chǎn)業(yè)化”的宗旨來發(fā)展曙光機(jī)，其內(nèi)涵是：系統(tǒng)地發(fā)展機(jī)群架構(gòu)技術(shù)體系，使得曙光機(jī)的計算速度不斷提高、適用的應(yīng)用領(lǐng)域不斷擴(kuò)大、機(jī)器臺數(shù)不斷增多，即“曙光”之路的“三叉戟”——性能、應(yīng)用和產(chǎn)業(yè)?！笆锕狻眻F(tuán)隊(duì)的科研人員，歷經(jīng)30年始終堅持這一發(fā)展戰(zhàn)略，成功研制了一代又一代曙光高性能計算機(jī)：計算速度提升了1.2億倍，趕上國際最高水平；應(yīng)用領(lǐng)域覆蓋46個行業(yè)，在石油勘探等國家關(guān)鍵行業(yè)打破國外廠商壟斷；國產(chǎn)品牌高性能計算機(jī)由市場占有率為0到實(shí)現(xiàn)領(lǐng)先。中國品牌在TOP100排名中，連續(xù)8年份額第1，超過IBM和HP等國際巨頭；中國在TOP500排名中的臺數(shù)份額也超過了美國。曙光機(jī)作為大國重器，部署在國家互聯(lián)網(wǎng)應(yīng)急中心，以及上海、深圳、中國科學(xué)院3個國家級超算中心。

曙光機(jī)通過突破低費(fèi)效比的機(jī)群架構(gòu)的關(guān)鍵技術(shù)，發(fā)展了機(jī)群訪存技術(shù)體系，同時兼顧了計算速度、應(yīng)用廣度和產(chǎn)業(yè)規(guī)模。

（1）速度提升 1.2億倍。曙光機(jī)計算速度趕上并超過國際最高水平的道路具有自己的特色。一方面，發(fā)展國際主流技術(shù)，果斷選擇并行處理技術(shù)為基礎(chǔ)研制對稱多處理器結(jié)構(gòu)、海量并行處理結(jié)構(gòu)，再轉(zhuǎn)化到采用通用處理部件的機(jī)群，以國際主流技術(shù)趕上世界最高水平。另一方面，在增值鏈上發(fā)展自己的“撒手锏”核心技術(shù)，如高速互連網(wǎng)絡(luò)、機(jī)群操作系統(tǒng)等，解決了高性能計算機(jī)用低成本的通用部件來構(gòu)建高性能整機(jī)的世界難題。支持可擴(kuò)展設(shè)計的機(jī)群訪存技術(shù)體系，成功將機(jī)群規(guī)模從數(shù)十臺擴(kuò)展到千、萬級別。這一體系不斷豐富，沿用至今，為我國高性能計算機(jī)研制開辟了機(jī)群架構(gòu)這一新的技術(shù)道路。

（2）應(yīng)用覆蓋46個行業(yè)。和歷代國產(chǎn)系統(tǒng)一樣，曙光機(jī)的研制過程中也遇到了應(yīng)用推廣上的難關(guān)：國外購買的應(yīng)用軟件不能在曙光機(jī)上運(yùn)行。本著“有所為，有所不為”的原則，曙光機(jī)在國際上機(jī)群操作系統(tǒng)尚未形成工業(yè)標(biāo)準(zhǔn)的時候，率先實(shí)現(xiàn)出微內(nèi)核單一映像機(jī)制的機(jī)群操作系統(tǒng)，一舉突破在用戶空間實(shí)現(xiàn)操作系統(tǒng)核心功能的關(guān)鍵技術(shù)，讓跑在國外高性能機(jī)上的行業(yè)應(yīng)用很容易遷移到國產(chǎn)機(jī)上，從而成功移植大量石油勘探行業(yè)的核心軟件。同時，以網(wǎng)絡(luò)、生物數(shù)據(jù)為代表的行業(yè)應(yīng)用，大多屬于數(shù)據(jù)密集型，數(shù)據(jù)量大，應(yīng)用之間計算特征差異大，要求算得快且功耗低。因此，光靠擴(kuò)展系統(tǒng)的規(guī)模效率很低，將遇到功耗天花板。智能中心通過突破基于計算-訪存模式的負(fù)載加速技術(shù)，研制的高效能機(jī)群加快了曙光機(jī)進(jìn)入眾多行業(yè)的進(jìn)程，使曙光機(jī)成為國家互聯(lián)網(wǎng)應(yīng)急中心等國家戰(zhàn)略部門的核心裝備，并部署到了20多個國內(nèi)和海外的城市云計算中心，成為我國公共計算基礎(chǔ)設(shè)施的主力機(jī)型。

（3）中國TOP100排名份額第1。曙光機(jī)堅持不盲目攀比計算速度，始終以既要“頂天”更要“立地”。以占領(lǐng)市場為目標(biāo)，曙光團(tuán)隊(duì)提出了SUMA的系統(tǒng)設(shè)計理念，即可擴(kuò)展性（scalability）、好用性（usability）、可管理性（manageability）和可用性（availability）；堅持聚焦機(jī)群系統(tǒng)中增值最高的技術(shù)，如在不知道節(jié)點(diǎn)操作系統(tǒng)源碼的約束條件下開發(fā)與其密切聯(lián)系的可擴(kuò)展文件系統(tǒng)、零拷貝用戶空間消息傳遞、單一IP登陸點(diǎn)等關(guān)鍵技術(shù)，實(shí)現(xiàn)對整個機(jī)群幾百個處理單元的單一映像的系統(tǒng)管理、資源管理、作業(yè)管理和文件管理等。曙光機(jī)既能向上擴(kuò)展規(guī)模，保證性能接近線性增長；同時又保證向下縮小規(guī)模時，成本上有競爭力，將機(jī)群的6個主要子系統(tǒng)實(shí)現(xiàn)了工作標(biāo)準(zhǔn)化，支撐了規(guī)模產(chǎn)業(yè)化。除了曙光公司成為國內(nèi)第一個以高性能計算機(jī)為主業(yè)的上市公司外，通過人員轉(zhuǎn)移、技術(shù)輻射也幫助到聯(lián)想、華為等公司，支撐了中國高性能計算機(jī)產(chǎn)業(yè)的形成和壯大。

3 翻越中國高性能計算發(fā)展道路上的“三座大山”

縱觀中國高性能計算的發(fā)展，是中國科研人員艱苦奮斗、開拓進(jìn)取的歷程，翻越了打破封鎖（1956—1995年）、打破壟斷（1996—2015年）和引領(lǐng)創(chuàng)新（2016年至今）的“三座大山”，逐步縮小了與國外研制水平的差距，并最終在整機(jī)系統(tǒng)設(shè)計和關(guān)鍵技術(shù)上取得了世界領(lǐng)先的成就。

3.1 打破封鎖

這一階段，我國在國外封鎖的條件下，研制專門的高性能計算機(jī)為“兩彈一星”等國家重大戰(zhàn)略需求提供支撐。研制機(jī)器的主要應(yīng)用在國防軍事領(lǐng)域，以及傳統(tǒng)科學(xué)計算領(lǐng)域。代表性的系統(tǒng)包括電子管計算機(jī)（如103機(jī)、104機(jī)、119機(jī)）、晶體管計算機(jī)（如109乙機(jī)、109丙機(jī)）、基于中小規(guī)模集成電路的計算機(jī)（如DJS系列、757機(jī)、“銀河-I”），以及基于超大規(guī)模集成電路的計算機(jī)（如“銀河-II”“曙光一號”“曙光1000”）。由于國內(nèi)發(fā)展電子計算機(jī)技術(shù)本身起步比國際上晚，再加上西方國家的封鎖和禁運(yùn)，這些機(jī)器的研制只能采取“全部采用國產(chǎn)器材，依靠自己的技術(shù)力量”的技術(shù)路線，大都耗費(fèi)了較長的研制周期，研制成果也不可能實(shí)現(xiàn)商品化、產(chǎn)業(yè)化，但對打破國外的封鎖都具有里程碑式的意義?！笆锕庖惶枴闭Q生后僅3天，西方國家便宣布解除10億次計算機(jī)對中國的禁運(yùn)。

3.2 打破壟斷

隨著國內(nèi)各行各業(yè)對高性能計算的需求急劇增加并呈多樣化，以及改革開放的浪潮，很多國外高性能計算機(jī)品牌（如IBM、HP、SGI、SUN等）涌入中國市場，這些國際巨頭在民用市場形成了壟斷地位。根據(jù)國家“863”計劃的部署，智能中心承擔(dān)起探索在改革開放條件下研制高性能計算機(jī)的新路的重任，做到“既要頂天，又要立地”。曙光機(jī)群高性能計算機(jī)在市場上的強(qiáng)力競爭，徹底改變了由國際大廠商制定的游戲規(guī)則，迫使國外大公司采取“跳樓價”。曾經(jīng)在一段時間內(nèi)，IBM 服務(wù)器在中國市場上的平均折扣已大到不可思議的 94%，即標(biāo)價100萬美元的服務(wù)器平均只賣6萬美元。正是因?yàn)樵诩夹g(shù)和市場兩方面都具備了能與國際巨頭媲美的實(shí)力，對很多行業(yè)應(yīng)用性能更高、價格更便宜、功耗更低，中科曙光成為國內(nèi)第一家以高性能計算機(jī)為主業(yè)的上市公司?！吧裢薄疤旌印毕盗谐売嬎銠C(jī)通過建設(shè)國家超算中心，也服務(wù)了大量的高性能計算的用戶。目前，高性能計算在我國科研單位、大學(xué)基本實(shí)現(xiàn)了普及。

3.3 引領(lǐng)創(chuàng)新

由于高性能計算機(jī)的“國之重器”的特殊屬性，當(dāng)中國的高性能計算機(jī)技術(shù)和產(chǎn)業(yè)水平發(fā)展起來后，西方國家開始從產(chǎn)業(yè)鏈條和技術(shù)層面進(jìn)行遏制。一方面，在核心部件上“卡脖子”，如高性能處理器、高性能加速器、高性能互聯(lián)芯片；另一方面，加快發(fā)展顛覆性的架構(gòu)與核心技術(shù)。我國高性能計算的科技人員已經(jīng)意識到這一嚴(yán)峻局勢，決心走上引領(lǐng)創(chuàng)新之路?！笆锕狻薄吧裢薄疤旌印倍奸_始自主研制高性能處理器和加速器，用自己的核心部件構(gòu)建世界上最快的計算機(jī)。2010年6月，“曙光6000”系統(tǒng)排名世界第2，從此開啟中國高性能計算機(jī)持續(xù)占據(jù)超算排名前三甲的序幕?；贗ntel MIC異構(gòu)眾核的“天河一”“天河二”系統(tǒng)和申威片內(nèi)異構(gòu)眾核處理器的“神威·太湖之光”系統(tǒng)分別排名世界第1?；凇吧裢ぬ狻背阆到y(tǒng)上的應(yīng)用獲得了Gordon Bell獎。基于海光處理芯片的“曙光7000”（Nebula-AI）的多個負(fù)載的實(shí)測性能也超過了排名世界第1的Summit。

在面向數(shù)據(jù)密集、人工智能、生物基因測序等新型應(yīng)用上，智能中心發(fā)展了突破性的架構(gòu)和關(guān)鍵技術(shù)。智能中心早在研制“曙光 4000”系統(tǒng)的時候就開始把數(shù)據(jù)密集型應(yīng)用作為重要的負(fù)載，針對應(yīng)用負(fù)載呈現(xiàn)的訪存空間不規(guī)則、訪存時間也不規(guī)則、計算-訪存比低的科學(xué)問題，發(fā)展了高通量計算的基礎(chǔ)理論、關(guān)鍵技術(shù)、核心芯片與整機(jī)系統(tǒng)。針對人工智能應(yīng)用，發(fā)展了基于“寒武紀(jì)”神經(jīng)網(wǎng)絡(luò)處理器的智能超算系統(tǒng)，性能預(yù)計將沖擊世界最高指標(biāo)。

4 挑戰(zhàn)

高性能計算機(jī)發(fā)展的挑戰(zhàn)可以分為在摩爾定律失效前如何可持續(xù)地構(gòu)建 E級系統(tǒng)，和后摩爾定律時代的革命性技術(shù)。

（1）可持續(xù)地構(gòu)建E級系統(tǒng)。高性能計算正處于向E級（1018）邁進(jìn)的時代，中美兩國都相繼宣布了 E級超級計算機(jī)的研制計劃。盡管突破 E級計算關(guān)口的相關(guān)技術(shù)路線基本明確，但如何構(gòu)建可持續(xù)的E級超算系統(tǒng)，如數(shù)百Eflops系統(tǒng)的技術(shù)路線尚不明確。在未來新型器件真正成熟之前，最大的挑戰(zhàn)是如何在高性能計算機(jī)體系結(jié)構(gòu)和系統(tǒng)技術(shù)上的創(chuàng)新，應(yīng)對整個系統(tǒng)的部件復(fù)雜度和能耗難以承受的問題，持續(xù)發(fā)展數(shù)百Eflops的系統(tǒng)。

（2）后摩爾定律時代的超算系統(tǒng)。隨著集成電路的發(fā)展進(jìn)入后摩爾時代，器件特征尺寸已趨于物理極限，當(dāng)前器件的原理和結(jié)構(gòu)已經(jīng)難以滿足未來Z級（1021）乃至更高性能Y級（1024）超級計算機(jī)的要求。如何利用新型器件是構(gòu)建后 E級時代超算系統(tǒng)的首要挑戰(zhàn)，包括：基于光學(xué)計算原理和超導(dǎo)計算原理的新型器件、基于硅光技術(shù)的新型互連和量子計算機(jī)等。

5 政策建議

作為科技戰(zhàn)略的制高點(diǎn)，高性能計算機(jī)是“三個面向”的典型代表。因此，以下圍繞“面向世界科技前沿，面向國家重大需求，面向國民經(jīng)濟(jì)主戰(zhàn)場”闡述關(guān)于我國高性能計算機(jī)發(fā)展的政策建議。

（1）面向世界科技前沿。高性能計算機(jī)的研制代表了電子信息技術(shù)的發(fā)展前沿，建議在面向 Z級計算的光學(xué)計算機(jī)、超導(dǎo)計算機(jī)、硅光集成技術(shù)、存算一體器件等，在面向Y級計算的量子計算機(jī)、非圖靈計算模型等方面加強(qiáng)基礎(chǔ)前沿技術(shù)的顛覆性突破。

（2）面向國家重大需求。高性能計算機(jī)始終在服務(wù)國家重大需求，如核武器、航空航天、高能物理和氣候模擬等應(yīng)用，高性能計算機(jī)已經(jīng)成為這些戰(zhàn)略部門的基礎(chǔ)設(shè)施。除了這些以科學(xué)計算為核心的應(yīng)用，當(dāng)前，圍繞數(shù)據(jù)科學(xué)和智能計算發(fā)展起來的應(yīng)用已經(jīng)成為新的國家重大需求，對高性能計算提出了更高、更新的挑戰(zhàn)。特別地，急需建設(shè)面向大數(shù)據(jù)科學(xué)和面向人工智能的高性能計算基礎(chǔ)設(shè)施。同時，需要在高性能計算機(jī)系統(tǒng)的評價指標(biāo)上做出相應(yīng)調(diào)整，不能單純以 Linpack指標(biāo)作為衡量高性能計算機(jī)的唯一指標(biāo)，而是既要算得快又要算得多，要研究出多維度衡量體系，以引導(dǎo)高性能計算機(jī)健康、全面發(fā)展。

（3）面向國民經(jīng)濟(jì)主戰(zhàn)場?；仡欀袊咝阅苡嬎惆l(fā)展歷史，相比計算機(jī)的研制，高性能計算機(jī)推廣應(yīng)用的歷程更加艱辛。20世紀(jì)80年代，錢學(xué)森就指出研制巨型機(jī)首先要解決并行計算問題，包括機(jī)器軟件和算題軟件等。他嚴(yán)肅批評過去忙于制造機(jī)器，至于怎么用不大重視，他曾在署名文章中大聲疾呼：“這個問題必須提到議事日程上來，這樣才能充分發(fā)揮巨型機(jī)的作用。”本文認(rèn)為，要解決這一嚴(yán)峻問題，一方面要充分重視應(yīng)用軟件的攻關(guān)，另一方面要重視促使高性能計算普及的技術(shù)，如云超算、云化并行編程等?！?/p>