国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

建設(shè)FAST數(shù)據(jù)國際開放云平臺

2021-08-04 01:47謝曉堯
大眾科學(xué) 2021年5期
關(guān)鍵詞:算力數(shù)據(jù)中心節(jié)點(diǎn)

謝曉堯

2021年2月5日,習(xí)近平總書記在貴州接見FAST相關(guān)人員時(shí)曾說過: “中國天眼,這是國之重器,黨中央一直都是關(guān)心的,支持推動的,我在前一段時(shí)間就此也做了批示,我一直關(guān)注天眼建設(shè)運(yùn)行和你們持續(xù)做的這些科研工作。FAST要向國際開放,進(jìn)行國際合作?!?/p>

按照習(xí)近平總書記的指示,F(xiàn)AST建設(shè)工作組步步為營,一件事接著一件事地落實(shí)走到今天,交出了一份完美的答卷。高質(zhì)量建設(shè)國家大數(shù)據(jù)綜合試驗(yàn)區(qū),大力發(fā)展數(shù)字經(jīng)濟(jì),加快數(shù)字產(chǎn)業(yè)化、產(chǎn)業(yè)數(shù)字化,積極開發(fā)及數(shù)據(jù)流通交易市場,建成全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系樞紐節(jié)點(diǎn),形成超大型數(shù)據(jù)中心集成,提升數(shù)據(jù)化治理水平,打造中國數(shù)谷……

本次數(shù)博會,有一個(gè)重要的事件,這是本次數(shù)博會最大的亮點(diǎn)之一,也是貴州大數(shù)據(jù)發(fā)展的重大節(jié)點(diǎn),那就是國家發(fā)改委宣布貴州是全國一體化大數(shù)據(jù)中心的八大樞紐節(jié)點(diǎn)之一。

“天演·創(chuàng)變·啟新——天文論壇”是中共貴州省委、貴州省人民政府關(guān)于《實(shí)施數(shù)字經(jīng)濟(jì)戰(zhàn)略搶新機(jī)》的體現(xiàn),更是落實(shí)習(xí)近平總書記在貴州的講話精神。正如習(xí)近平總書記所言:“推進(jìn)FAST為代表的創(chuàng)新基礎(chǔ)設(shè)施建設(shè),圍繞‘中國天眼這一‘國之重器,建設(shè)FAST數(shù)據(jù)國際開放云平臺和公共算力平臺,建設(shè)FAST科學(xué)研究與數(shù)據(jù)處理中心和FAST射電觀測陣列,開展天文數(shù)據(jù)存儲、處理研究,構(gòu)建集觀測、科研、存算于一體的FAST數(shù)據(jù)服務(wù)生態(tài)?!?/p>

在2016年9月25日FAST竣工之前,貴州省就建立了國家天文學(xué)貴州師范大學(xué)FAST早期科學(xué)數(shù)據(jù)中心,同時(shí)開展數(shù)據(jù)處理技術(shù)的驗(yàn)證實(shí)驗(yàn)。首先是處理FAST巡天數(shù)據(jù)。一路走來,貴師大FAST科學(xué)數(shù)據(jù)中心和國家天文臺合作得非常好。2021年4月9日,數(shù)據(jù)中心和國家天文臺共同成立了“中國天眼聯(lián)合研究中心”,利用貴州師范大學(xué)參加的國家未來網(wǎng)絡(luò)重大科技基礎(chǔ)設(shè)施優(yōu)勢,國家天文臺為貴州師范大學(xué)建設(shè)天文數(shù)據(jù)國際共享云平臺提供幫助。

同時(shí),貴師大FAST科學(xué)數(shù)據(jù)中心與中科院南美天文中心簽署了南美天文數(shù)據(jù)貴師大鏡像中心協(xié)議,雙方同意南美天文研究中心ALMA亞毫米波觀測數(shù)據(jù)國內(nèi)鏡像落戶貴州。

全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實(shí)施方案,一共是8個(gè)節(jié)點(diǎn),成渝地區(qū)、京津冀地區(qū)、長三角地區(qū)、粵港澳大灣區(qū),還有貴州、甘肅、寧夏、內(nèi)蒙古。這對于貴州省意義非凡,這次強(qiáng)調(diào)的是東數(shù)西算,什么意思?就是在實(shí)時(shí)性要求不高的數(shù)據(jù),最好利用西部的資源進(jìn)行東數(shù)西算。

目前,F(xiàn)AST數(shù)據(jù)國際開放云平臺架構(gòu)正在實(shí)施中,要給全世界和國內(nèi)的高等院校、科研院所提供用戶服務(wù),通過網(wǎng)絡(luò)、公有云、私有云,也就是提供存儲計(jì)算資源,來實(shí)現(xiàn)FAST數(shù)據(jù)的國際和國內(nèi)開放。

在國際、國內(nèi)開放里面,云計(jì)算的架構(gòu),在IAAS就是基礎(chǔ)設(shè)施及服務(wù)這塊上,已經(jīng)提供了服務(wù)器存儲,在PAAS及服務(wù)這一端,直接提供了搜索計(jì)算,數(shù)據(jù)中臺里面智能識別和綜合查詢,在SAAS提供可視化計(jì)算和任務(wù)調(diào)度與監(jiān)控。

首先,F(xiàn)AST數(shù)據(jù)國際開放云平臺的IAAS建設(shè),實(shí)際上就是算力的建設(shè)、生產(chǎn)力的建設(shè)。生產(chǎn)力的建設(shè)就是提供各種不同的計(jì)算資源,需要節(jié)點(diǎn)運(yùn)算很高的情況下,提供一臺服務(wù)器,加8塊GPU卡,現(xiàn)在有20臺這種節(jié)點(diǎn),為這個(gè)云平臺進(jìn)行服務(wù),算力可以達(dá)到1Pb以上。

有些用戶要求要少一點(diǎn),就采用一臺工作站,一個(gè)CPU+兩塊GPU,這樣的算力有60個(gè)計(jì)算節(jié)點(diǎn)提供給用戶服務(wù),算力達(dá)到了1Pb。還可以提供2個(gè)GPU+一個(gè)CPU的服務(wù)器,這個(gè)有14個(gè)計(jì)算節(jié)點(diǎn)的算力提供給用戶。還有60臺單節(jié)點(diǎn)單機(jī)的一塊CPU+一塊GPU卡,這樣有60個(gè)計(jì)算節(jié)點(diǎn)可以給用戶提供云平臺的算力要求,這叫低價(jià)格結(jié)構(gòu),是我們知識產(chǎn)權(quán)的混合計(jì)算節(jié)點(diǎn)。

超算中心的專家介紹到,超算中心現(xiàn)在的投入都是幾億、幾十億,現(xiàn)在這一套下來154個(gè)節(jié)點(diǎn),投入大概就是一千多萬?,F(xiàn)在154個(gè)節(jié)點(diǎn)理論峰值可以到2.8PFlops(單精度浮點(diǎn)運(yùn)算),2019年6月世界超算五百名的排名最后一名是2.1PFlops,這樣對比,我們現(xiàn)在算力已經(jīng)到世界五百強(qiáng),但我們用最低投入實(shí)現(xiàn)了這個(gè)目標(biāo)。

第二,F(xiàn)AST數(shù)據(jù)國際開放云平臺建設(shè),還是IAAS,只是它是生產(chǎn)資料的建設(shè),是存儲的建設(shè)。在黑洞事件里面,一個(gè)黑洞事件一共是10個(gè)Pb的內(nèi)容,10個(gè)Pb的數(shù)據(jù),最后計(jì)算生成黑洞的圖片。從FAST數(shù)據(jù)可以看,19個(gè)波束,每秒38個(gè)Gb,一年96Pb,數(shù)據(jù)量非常大。所以,F(xiàn)AST的數(shù)據(jù)壓力是非常大的。

最早的時(shí)候,國家天文臺共同建設(shè)的早期科學(xué)數(shù)據(jù)中心存儲只有2個(gè)Pb,數(shù)據(jù)基本上可以溝通,但是現(xiàn)在顯然不夠了,最近新增加了20個(gè)Pb作為FAST數(shù)據(jù)的存儲。

同時(shí),F(xiàn)AST這么多數(shù)據(jù)計(jì)算完以后,把它叫做冷數(shù)據(jù),剩下的計(jì)算完的數(shù)據(jù)可以放到物理池里面,這樣就可以節(jié)約很多經(jīng)費(fèi),這些數(shù)據(jù)就沒有放硬盤,不需要消耗電力,需要的時(shí)候再調(diào)用出來。

FAST的接收頻段是分米波這塊,70M到3個(gè)G,低頻段的,我們把南美天文中心的數(shù)據(jù)引進(jìn)過來,最主要就是在高頻段,這個(gè)頻段對于國內(nèi)天文學(xué)家的研究非常重要。

FAST國際數(shù)據(jù)開放云平臺IAAS的建設(shè),是網(wǎng)絡(luò)的建設(shè)。FAST到我們實(shí)驗(yàn)室,原來竣工的時(shí)候是2Gb的專線到我們學(xué)校實(shí)驗(yàn)室。由于數(shù)據(jù)量很大,所以最近升成10Gb,也不夠了,費(fèi)用也很高。很快,因?yàn)镕AST要往北京傳數(shù)據(jù),國家有一個(gè)項(xiàng)目,是國家未來網(wǎng)絡(luò)工程,是國家在通信與信息領(lǐng)域建設(shè)的第一個(gè),也是唯一一項(xiàng)國家的重大科學(xué)基礎(chǔ)設(shè)施項(xiàng)目。該項(xiàng)目是2013年立項(xiàng),2019年開始建設(shè)。這個(gè)項(xiàng)目涉及到國家下一步很多在通信上的建設(shè),這是目前整個(gè)網(wǎng)絡(luò)的架構(gòu),除了拉薩沒有通以外,基本上全部通了。到了北京以后,整個(gè)網(wǎng)絡(luò)連接聯(lián)通、電信、廣電、教育科研網(wǎng)、移動網(wǎng)、中國科技網(wǎng),全部可以四通八達(dá)。這樣的話,國家未來網(wǎng)絡(luò)貴州主節(jié)點(diǎn),因?yàn)槲覀儌靼l(fā)數(shù)據(jù),所以主節(jié)點(diǎn)就落戶在我們實(shí)驗(yàn)室,到北京是100Gb,這個(gè)資源貴州應(yīng)該把它用好。

2020年5月15日,國家未來網(wǎng)絡(luò)工程實(shí)現(xiàn)北京節(jié)點(diǎn)中科院數(shù)據(jù)中心——貴州主節(jié)點(diǎn)貴州師范大學(xué)FAST早期數(shù)據(jù)中心的互聯(lián)互通,并實(shí)時(shí)從貴陽向北京傳送了FAST數(shù)據(jù)文件。

隨著國家的國力強(qiáng)大以后,海下光纜可以做到的。這是目前FAST陣列先導(dǎo)陣,在貴州要選五個(gè)點(diǎn),和FAST連起來,到北京是通的,到上海是通的,現(xiàn)在就缺新疆和云南,新疆110米、云南120米的望遠(yuǎn)鏡上來以后完全可以和我們連起來,就形成一個(gè)非常大的陣列,這個(gè)前景是非常好的。

FAST國際數(shù)據(jù)開放云平臺的PAAS建設(shè),就是平臺建設(shè),就是剛才講的數(shù)據(jù)中臺,在數(shù)據(jù)中臺必須要提供軟件、計(jì)算、分析、查詢等流程。計(jì)算完以后,要識別,這就是我們自主知識產(chǎn)權(quán)用人工智能開發(fā)的脈沖星候選體的識別軟件系統(tǒng)。在這個(gè)基礎(chǔ)上,大家都要來用,作為一個(gè)開放的平臺,還有一個(gè)數(shù)據(jù)庫檢索的問題,所以我們也構(gòu)建了剛才提到的脈沖星及侯選體數(shù)據(jù)庫平臺,這也是正在做的世界上第一個(gè)這種數(shù)據(jù)庫平臺。

下一步,主要是在脈沖星方面,F(xiàn)AST數(shù)據(jù)國際開放云平臺的SAAS建設(shè),也就是它的軟件及服務(wù)。這個(gè)是在整個(gè)任務(wù)上各個(gè)節(jié)點(diǎn)計(jì)算,任務(wù)的軟件監(jiān)測。試想,把這個(gè)平臺要給全世界科學(xué)家開放,必須要做到各個(gè)節(jié)點(diǎn)計(jì)算任務(wù)的監(jiān)測。我們專門有一個(gè)可視化的平臺,目前一共有162個(gè)的計(jì)算節(jié)點(diǎn)正常工作,兩個(gè)節(jié)點(diǎn)處于低效率的運(yùn)行狀態(tài),本次計(jì)算任務(wù)已經(jīng)耗時(shí)3324個(gè)小時(shí),這是剩下要完成的任務(wù),差不多要完成了,整個(gè)CPU占用率達(dá)到88.3%,綜合的負(fù)載達(dá)到42.95%。

總結(jié)一下,共享平臺數(shù)據(jù)量的計(jì)算問題,CRAFTS項(xiàng)目2020年共進(jìn)行了73次觀測,時(shí)長589.5小時(shí),2020年一年我們實(shí)驗(yàn)室共計(jì)算了三次觀測,一共72.5小時(shí),計(jì)算量為1.4PB,為總時(shí)長的12.3%,計(jì)算用時(shí)65天。目前的算力還可以應(yīng)付國際開放以后需要占用的時(shí)間,這是從時(shí)間上分析得到的。最后,這個(gè)云平臺既然對國際開放,那安全是非常重要的。沒有網(wǎng)絡(luò)安全就沒有國家安全,所以安全是必須考慮范圍。恰好我們有一個(gè)很好的安全團(tuán)隊(duì),對于FAST數(shù)據(jù)傳輸和傳輸安全里面的一個(gè)考慮。同時(shí),現(xiàn)在正在投資150萬在FAST的樓上正在做態(tài)勢感知,F(xiàn)AST數(shù)據(jù)國際開放云平臺的安全系統(tǒng),大概兩個(gè)月就可以結(jié)束了,所以整個(gè)網(wǎng)絡(luò)安全全部在可控范圍內(nèi),是可以放心。

FAST及天文數(shù)據(jù)向國際國內(nèi)開放,2021年4月FAST數(shù)據(jù)正式向國際開放,進(jìn)行國際合作,建設(shè)FAST數(shù)據(jù)國際開放云平臺,支撐FAST國際開放,提升貴州整體基礎(chǔ)研究的水平和能見度,帶動貴州相關(guān)高科技產(chǎn)業(yè)發(fā)展。這個(gè)很重要,強(qiáng)調(diào)是帶動貴州整體基礎(chǔ)研究的水平和能見度,因?yàn)橛辛舜髷?shù)據(jù),才有了今天一體化數(shù)據(jù)中心的國家樞紐?,F(xiàn)在一提到貴州,不光是有茅臺,還有FAST,這個(gè)東西非常重要,這就是能見度。

猜你喜歡
算力數(shù)據(jù)中心節(jié)點(diǎn)
關(guān)于間接蒸發(fā)冷機(jī)組在數(shù)據(jù)中心中應(yīng)用的節(jié)能分析
杭州“算力小鎮(zhèn)”
智能計(jì)算浪潮迭起
邊緣計(jì)算與算力網(wǎng)絡(luò)專題導(dǎo)讀
基于移動匯聚節(jié)點(diǎn)和分簇的改進(jìn)節(jié)能路由算法
計(jì)算萬物 算力之下要有堅(jiān)實(shí)的地基
CAE軟件操作小百科(48)
基于點(diǎn)權(quán)的混合K-shell關(guān)鍵節(jié)點(diǎn)識別方法
2018年數(shù)據(jù)中心支出創(chuàng)新高
2017第十屆中國數(shù)據(jù)中心大會榜單
榆社县| 宁陵县| 广安市| 石嘴山市| 泰宁县| 罗源县| 稷山县| 祁门县| 镇安县| 兰西县| 灌南县| 莱西市| 常德市| 江油市| 泾川县| 阳泉市| 巴林左旗| 蕲春县| 宁乡县| 岱山县| 来凤县| 涟水县| 广灵县| 古蔺县| 肇州县| 九龙县| 枝江市| 抚顺市| 昆明市| 牡丹江市| 清水河县| 六盘水市| 娄烦县| 石台县| 什邡市| 沿河| 民县| 深水埗区| 新巴尔虎左旗| 浦城县| 辽宁省|