如何處理FAST天文大數(shù)據(jù)

2019-08-26 05:43

大眾科學(xué) 2019年5期

今天演講的內(nèi)容包括三方面：FAST早期科學(xué)數(shù)據(jù)中心、網(wǎng)絡(luò)傳輸?shù)膯栴}、我們自主知識產(chǎn)權(quán)FAST分布式計算軟件架構(gòu)和具體處理的問題。最后還有一些天文普及。

2014年9月中國科學(xué)院國家天文臺與貴州師范大學(xué)共同簽署了FAST早期科學(xué)數(shù)據(jù)中心，耗費1年半的時間建立，我們早期科學(xué)數(shù)據(jù)中心是在FAST運行階段探索FAST數(shù)據(jù)的創(chuàng)術(shù)、存儲、計算、安全和管理的最高效、最穩(wěn)定、最經(jīng)濟(jì)的方法。

數(shù)據(jù)的網(wǎng)絡(luò)傳輸

數(shù)據(jù)的網(wǎng)絡(luò)傳輸非常重要，F(xiàn)AST建好以后，就有大量的數(shù)據(jù)要來，首先要解決的就是傳輸?shù)膯栴}。FAST數(shù)據(jù)傳輸?shù)耐ㄓ嵔Y(jié)構(gòu)并不簡單，從貴陽到FAST現(xiàn)場一共是300公里，這300公里，要跨省，要跨州、跨縣，一共有21個周轉(zhuǎn)節(jié)點，當(dāng)時是2個G的專線直接拉到我們實驗室。傳輸結(jié)構(gòu)主要包括兩條線，一旦出現(xiàn)問題，數(shù)據(jù)保證不會中斷，這是我們通訊的結(jié)構(gòu)。

FAST脈沖性搜索分布式超算硬件機(jī)構(gòu)，我們走的路還是有借鑒意義的。在FAST計算里面，我們有四種計算節(jié)點，A計算節(jié)點在每一臺服務(wù)器里面加8塊GPU卡，其中2個CPU，一共有10臺，這個計算節(jié)點我們的理論峰值可以到664T浮點預(yù)算。

第二種計算節(jié)點B，每一臺PC級加2塊GPU卡，一個CPU，一共有60臺，峰值我們可以達(dá)到1.02的浮點計算。

第三種計算節(jié)點，我們是每一臺服務(wù)器我們兩塊GPU再加一個CPU，一共是14臺，總的計算結(jié)果是235P浮點預(yù)算。

第四種可以看得更簡單，很一般的PC機(jī)，每一臺PC機(jī)只有一塊GPU加一個CPU，最高峰值是378的浮點預(yù)算。所有144個節(jié)點的理論峰值2.16P浮點預(yù)算，就是每秒2000萬億次浮點預(yù)算。

CPU+GPU的計算節(jié)點是有自主知識產(chǎn)權(quán)設(shè)置定制的，從這個角度來說，我們這個還是非常經(jīng)濟(jì)和低成本的運轉(zhuǎn)，我們覺得非常非常合適貴州的實際情況。

FAST分布式計算軟件架構(gòu)

我們數(shù)量級的提高了脈沖星的搜索速度，原來一臺計算機(jī)單線程要用6004秒，但是我們用自主設(shè)定的設(shè)備計算只需36秒，計算速度提高了200倍。在搜索速度方面，F(xiàn)AST要求我們的計算要求壓力越來越大，但是我們只要再增加設(shè)備把架構(gòu)一擴(kuò)充，還可以上百倍增加這個速度。

數(shù)據(jù)計算出來以后，得到一些侯選題，從這些候選題里就可以找到我們需要的東西。以前用人的眼睛來找，現(xiàn)在利用計算機(jī)能不能找出來，這關(guān)系到人工智能深度學(xué)習(xí)的問題。

FAST脈沖星搜索

計算處理是怎樣一個過程呢？從FAST下線以后到現(xiàn)在，我們一共收到的數(shù)據(jù)是1.436PB，也就是10的15次方?，F(xiàn)在大概收到2個PB不到，數(shù)據(jù)量很大，而且這些數(shù)據(jù)越往后面會越多。

拿到數(shù)據(jù)，我們第一件事兒就是要消除觀測數(shù)據(jù)中的干擾信號。搜索脈沖星形，必須消除觀測數(shù)據(jù)中的干擾信號。第二就是消色散，脈沖星發(fā)出的射電信號在星際介質(zhì)中會產(chǎn)生色散，就像陽光通過棱鏡會散開成彩色光帶，這是因為不同的頻率的信號在介質(zhì)中傳播速度不同而導(dǎo)致的。從脈沖星發(fā)出脈沖信號，經(jīng)過漫長的時間，再通過復(fù)雜而遙遠(yuǎn)的星際介質(zhì)，頻率高的先到達(dá)FAST的接收天線，頻率低的后到，整個信號波長就會被拉開了，我要消色散就是要解決這一問題。

消色散以后，我們在通過快速傅里葉變換計算消色散信號中包含的周期信號，從而得到一個正確投射。

最后就是折疊的問題，為了增加信號，我們需要將消色散后的信號按周期疊加，在這些周期信號里面信號很弱，但是疊加能讓它們增強(qiáng)。這其中有很大的工作量，人工去做要花很長的時間，所以現(xiàn)在人工智能很火，深度機(jī)器學(xué)習(xí)很火，我們用深度機(jī)器學(xué)習(xí)來找，效果很不錯。目前我們中心的19個波束接收機(jī)已經(jīng)全部投入使用，產(chǎn)生的觀測數(shù)據(jù)量每天至少19TB，搜索計算任務(wù)艱巨。

FAST找到脈沖星開啟了中國重大的科學(xué)基礎(chǔ)設(shè)備系統(tǒng)研創(chuàng)性的脈沖星，這是中國天眼首先發(fā)現(xiàn)兩顆脈沖星，第一顆脈沖星距我們地球是1.6萬光年，我記得周期是1.83秒，第二顆距我們地球是4.1萬光年，周期是590毫秒。最近我們協(xié)助國家天文臺發(fā)現(xiàn)90多顆新脈沖星候選體，證實了65個新脈沖星，其中包含了FAST發(fā)現(xiàn)的首個毫秒脈沖星，是至今發(fā)現(xiàn)的射電流量最弱的高能毫秒脈沖星之一。如果我們能夠找到毫秒級以上的脈沖星，那就是諾貝爾成就。

FAST的科學(xué)普及

剛才在休息的時候，我問了歐陽院士，我說你怎么看流浪地球，歐陽院士說那是胡扯。為啥呢？太陽是恒星，它是有壽命的。當(dāng)太陽已經(jīng)走到主星系的這個地方，再過50億年，我們太陽要變成紅際星，最后消亡。時間應(yīng)該是50億年的嘛，怎么就是70年了呢？太陽最后變成超紅際星，有可能變成中繼星，還有另一種可能變成黑洞。

我們做了脈沖星及候選體數(shù)據(jù)庫平臺，我們?yōu)殛P(guān)心脈沖星的天文學(xué)家和天文愛好者提供脈沖星的候選體等等有關(guān)方面的信息。我們建設(shè)天文網(wǎng)絡(luò)社區(qū)，非常歡迎天文學(xué)家或者同學(xué)們來訪問，這個社區(qū)里面有很多新的東西。

天文大數(shù)據(jù)的挑戰(zhàn)及應(yīng)用

根據(jù)我們最近的了解，我們使用19個波束接收機(jī)接收數(shù)據(jù)，已是原來單波束的4倍，隨著調(diào)試順利進(jìn)行，觀測時間在逐步增多，數(shù)據(jù)量至少是單波束數(shù)據(jù)量的19乘4倍，也就是19個波束接收的數(shù)據(jù)每秒是38G，一年要接收19個PB，經(jīng)過處理至少要存儲10到15個PB，就我們現(xiàn)在的計算處理能力，要滿足這么大的數(shù)據(jù)量，我們理論上的2.16PF的峰值預(yù)算還不夠，所以我們還在擴(kuò)大。但是未來發(fā)射的數(shù)據(jù)量可以到多少，如果是1ZB，那么數(shù)據(jù)量就非常非常驚人了。所以既然這么大的數(shù)據(jù)量，將來從FAST現(xiàn)場到貴陽，就不是100G光纖解決問題，而是400G光纖。

我們要大力支持FAST的科學(xué)研究，所以我們早期科學(xué)數(shù)據(jù)中心大力支持天文臺做這個工作，我覺得有以下幾條意義。

第一，它符合全省大數(shù)據(jù)戰(zhàn)略及大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃。

第二，天文科學(xué)將是展示貴州文化旅游形象的珍貴名片。

第三，這有助于幫助我省科研大數(shù)據(jù)方面取得突破和樹立典型。

第四，它有助于幫助我國、世界科學(xué)家通過數(shù)據(jù)中心的計算資源和數(shù)據(jù)資源獲得諾貝爾獎級發(fā)現(xiàn)。