馬福利，石濤，陳玲，鄭巖，熊森林

1. 中國科學(xué)院國家空間科學(xué)中心，北京 100190；2. 中國科學(xué)院空天信息創(chuàng)新研究院，北京 100094

1 引言

空間科學(xué)是一門前沿交叉性學(xué)科，聚焦于宇宙和生命起源、太陽系與人類起源等基礎(chǔ)前沿主題，致力于解決暗物質(zhì)與暗能量、引力波、太陽活動與空間天氣響應(yīng)等重大科學(xué)問題?？臻g科學(xué)是典型的“數(shù)據(jù)驅(qū)動”型學(xué)科。以航天器平臺為主要手段獲取的科學(xué)數(shù)據(jù)對于學(xué)科的發(fā)展具有舉足輕重的作用。一套優(yōu)良的衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)需要保障科學(xué)衛(wèi)星數(shù)據(jù)的正確性、完整性、可用性、易用性和時效性，最大限度地發(fā)揮出衛(wèi)星探測數(shù)據(jù)的研究價值。

國內(nèi)外就衛(wèi)星地面處理系統(tǒng)開展了大量的研制工作，形成了較穩(wěn)定的科學(xué)衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)框架。國內(nèi)方面，遙感衛(wèi)星形成了面向單衛(wèi)星的基于分布式云存儲技術(shù)的地面實(shí)時處理系統(tǒng)[1]以及具有一定任務(wù)調(diào)度能力的多衛(wèi)星地面處理系統(tǒng)模式[2-3]；風(fēng)云氣象衛(wèi)星數(shù)據(jù)存檔與服務(wù)系統(tǒng)基于高性能計(jì)算機(jī)集群建立了可支持風(fēng)云系列衛(wèi)星的存儲與服務(wù)[4-5]；基于面向服務(wù)架構(gòu)（service-oriented architecture，SOA）研制的天宮二號地面數(shù)據(jù)處理與服務(wù)系統(tǒng)實(shí)現(xiàn)了多領(lǐng)域、多載荷、海量數(shù)據(jù)的集中處理和管理[6]。國外方面，歐洲空間天文中心（European Space Astronomy Centre，ESAC）與日本宇宙航空研究開發(fā)機(jī)構(gòu)（Japan Aerospace Exploration Agency，JAXA）采用Docker技術(shù)研制的衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)可支持不同載荷數(shù)據(jù)處理算法的快速交換和部署[7-8]，很好地執(zhí)行了水星探測任務(wù)BepiColombo。

空間科學(xué)研究具有很強(qiáng)的競爭性，只有大膽創(chuàng)新才能孕育出顛覆性的結(jié)果，這種學(xué)科內(nèi)稟屬性決定了每項(xiàng)空間科學(xué)任務(wù)在探測空間布局、探測內(nèi)容設(shè)計(jì)、有效載荷探測精度/分辨率方面與已有的衛(wèi)星任務(wù)有著巨大的差異。隨之而來的是衛(wèi)星任務(wù)對地面數(shù)據(jù)處理系統(tǒng)提出的新挑戰(zhàn)。例如，空間天文警報(bào)信息的識別和發(fā)布要求是秒級響應(yīng)，處理時效性極高；先進(jìn)天基太陽天文臺（advanced space-based solar observatory，ASO-S）衛(wèi)星單日產(chǎn)生約500 GB的原始觀測數(shù)據(jù)，處理數(shù)據(jù)量巨大；暗物質(zhì)粒子探測衛(wèi)星（dark matter particle explorer，DAMPE）要求星上探測數(shù)據(jù)不丟失一個源包，質(zhì)量要求嚴(yán)苛。空間科學(xué)衛(wèi)星數(shù)據(jù)的獨(dú)特性質(zhì)給衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)提出了更多的個性化需求。

當(dāng)前，我國空間科學(xué)衛(wèi)星任務(wù)呈現(xiàn)體系發(fā)展態(tài)勢，要求配套建設(shè)的地面數(shù)據(jù)處理系統(tǒng)可滿足多星多任務(wù)地面數(shù)據(jù)處理與管理需求。傳統(tǒng)的衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)難以滿足大數(shù)據(jù)場景下的多領(lǐng)域、多種類、大體量、高時效性、高質(zhì)量等數(shù)據(jù)處理要求?；诖?，本文在細(xì)致分析空間科學(xué)衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)需求與面臨的技術(shù)挑戰(zhàn)的基礎(chǔ)上，設(shè)計(jì)了一套可滿足多星多任務(wù)的空間科學(xué)衛(wèi)星大數(shù)據(jù)地面數(shù)據(jù)處理系統(tǒng)框架，系統(tǒng)地實(shí)現(xiàn)了衛(wèi)星下行數(shù)據(jù)的快速處理，對特定的天文警報(bào)數(shù)據(jù)實(shí)現(xiàn)了秒級快速處理。

2 空間科學(xué)衛(wèi)星大數(shù)據(jù)特性分析

空間科學(xué)衛(wèi)星的數(shù)據(jù)處理過程需根據(jù)學(xué)科進(jìn)行差異化流程設(shè)計(jì)，主要依據(jù)衛(wèi)星的數(shù)據(jù)產(chǎn)品分級定義劃分。從衛(wèi)星下行的原始數(shù)據(jù)到用于發(fā)布的2級或3級數(shù)據(jù)產(chǎn)品，每級數(shù)據(jù)產(chǎn)品的組織形態(tài)根據(jù)學(xué)科慣例以及衛(wèi)星任務(wù)數(shù)據(jù)處理和管理需求進(jìn)行自定義。本文以引力波暴高能電磁對應(yīng)體全天監(jiān)測器（gravitational wave highenergy electromagnetic counterpart all-sky monitor，GECAM）衛(wèi)星為例介紹衛(wèi)星數(shù)據(jù)處理流程和數(shù)據(jù)產(chǎn)品組織過程的特點(diǎn)。GECAM衛(wèi)星是我國首顆具有警報(bào)數(shù)據(jù)實(shí)時下行能力的空間天文科學(xué)衛(wèi)星，星上下行的數(shù)據(jù)包括事例數(shù)據(jù)、并道數(shù)據(jù)、工程數(shù)據(jù)以及天文警報(bào)數(shù)據(jù)，其各級數(shù)據(jù)處理步驟以及數(shù)據(jù)產(chǎn)品組織過程具有典型的大數(shù)據(jù)量、密集型計(jì)算以及多源數(shù)據(jù)融合處理等特征。

2.1 依據(jù)數(shù)據(jù)產(chǎn)品分級而定義的數(shù)據(jù)處理流程

由于星上計(jì)算資源和存儲資源非常有限以及載荷部分自身設(shè)計(jì)的原因，很多科學(xué)探測數(shù)據(jù)需要經(jīng)過解壓、解算以及融合等處理后才能成為可供科學(xué)家進(jìn)行科學(xué)分析的數(shù)據(jù)產(chǎn)品，下行處理過程中的輸出數(shù)據(jù)會根據(jù)平臺、載荷以及輔助數(shù)據(jù)的類型進(jìn)行分類處理，通常也會根據(jù)處理的程度進(jìn)行不同的數(shù)據(jù)產(chǎn)品格式定義。因此，衛(wèi)星數(shù)據(jù)處理流程的規(guī)劃往往與數(shù)據(jù)產(chǎn)品的分級定義有直接的關(guān)聯(lián)。

圖1展示了依據(jù)產(chǎn)品分級定義的GECAM衛(wèi)星0級產(chǎn)品處理流程。GECAM衛(wèi)星通過遙測信道、數(shù)傳信道和北斗信道下行星上原始觀測數(shù)據(jù)。根據(jù)數(shù)據(jù)處理程度的不同，預(yù)處理數(shù)據(jù)產(chǎn)品主要劃分為0A、0B、0C、0D和0Q等級別。GECAM衛(wèi)星數(shù)據(jù)處理首先需要按照不同的下行信道類型進(jìn)行區(qū)分處理，在每類處理中需根據(jù)產(chǎn)品子級定義不同的處理流程。

圖1 GECAM衛(wèi)星0級產(chǎn)品處理流程

2.2 多源融合的數(shù)據(jù)產(chǎn)品組織結(jié)構(gòu)

從多源異構(gòu)數(shù)據(jù)中抽取相關(guān)信息并支持高效數(shù)據(jù)融合組織，按照產(chǎn)品格式要求輸出時間和內(nèi)容完整的數(shù)據(jù)產(chǎn)品是科學(xué)衛(wèi)星大數(shù)據(jù)處理的又一特點(diǎn)。由于科學(xué)衛(wèi)星探測任務(wù)的類型不同以及科學(xué)數(shù)據(jù)處理與研究分析的需求不同，數(shù)據(jù)產(chǎn)品組織的定義往往差異較大。為了實(shí)現(xiàn)數(shù)據(jù)產(chǎn)品的可用性和易用性，通常會根據(jù)使用需求在產(chǎn)品中加入其他多源、異構(gòu)的輔助數(shù)據(jù)信息，產(chǎn)品組織和生產(chǎn)中存在對多源數(shù)據(jù)的提取、組織拼接需求。

常規(guī)觀測類的衛(wèi)星一般根據(jù)數(shù)據(jù)的生產(chǎn)時間或軌道圈次進(jìn)行固定時間段的數(shù)據(jù)內(nèi)容切分，比如按小時、按天、按軌道號進(jìn)行數(shù)據(jù)產(chǎn)品的組織；試驗(yàn)類或者提案類的科學(xué)衛(wèi)星需要針對一次試驗(yàn)或一次提案覆蓋的時間段進(jìn)行數(shù)據(jù)產(chǎn)品的組織，將一次試驗(yàn)或與提案相關(guān)的數(shù)據(jù)進(jìn)行融合組織。

GECAM衛(wèi)星將觸發(fā)時刻產(chǎn)生的觸發(fā)信息組織成約31條短報(bào)文數(shù)據(jù)，并通過北斗系統(tǒng)實(shí)時下行至地面，同時將觸發(fā)時刻對應(yīng)的約300 s數(shù)據(jù)通過X波段優(yōu)先下行。由于觸發(fā)時段內(nèi)的數(shù)據(jù)對于科學(xué)分析工作至關(guān)重要，為了方便科學(xué)家開展數(shù)據(jù)產(chǎn)品分析，呈現(xiàn)觸發(fā)時間段內(nèi)完整的數(shù)據(jù)內(nèi)容，在數(shù)據(jù)處理過程中為該類產(chǎn)品設(shè)計(jì)了特有的產(chǎn)品組織模型，如圖2所示。觸發(fā)數(shù)據(jù)產(chǎn)品組織中包括觸發(fā)數(shù)據(jù)、姿態(tài)數(shù)據(jù)、軌道數(shù)據(jù)、載荷工作狀態(tài)以及日月地空間信息等數(shù)據(jù)，這些數(shù)據(jù)分別來自載荷工程數(shù)據(jù)信道、爆發(fā)科學(xué)數(shù)據(jù)信道以及北斗短報(bào)文，在地面經(jīng)過多源融合處理后，按照觸發(fā)編號組織成特定的觸發(fā)數(shù)據(jù)產(chǎn)品。

圖2 GECAM衛(wèi)星觸發(fā)數(shù)據(jù)產(chǎn)品組織模型

2.3 處理數(shù)據(jù)體量大、種類廣

空間科學(xué)衛(wèi)星數(shù)據(jù)的最大特點(diǎn)是種類多、來源廣、體量大。地面數(shù)據(jù)處理系統(tǒng)需要同時支持多個空間科學(xué)在軌衛(wèi)星下行數(shù)據(jù)處理任務(wù)。衛(wèi)星開展7×24小時不間斷的探測，源源不斷地產(chǎn)生新的科學(xué)數(shù)據(jù)并下行至地面，系統(tǒng)需對接收的多源、多信使原始數(shù)據(jù)（數(shù)傳信道數(shù)據(jù)、遙測信道數(shù)據(jù)、北斗短報(bào)文、甚高頻（very high frequency，VHF）數(shù)據(jù)）開展虛擬信道分離、解幀、源包提取、解包、排序、重組、物理量解析轉(zhuǎn)換、載荷粗略標(biāo)定、產(chǎn)品格式化等處理，按產(chǎn)品內(nèi)容和處理程度組織成不同級別的編輯級數(shù)據(jù)產(chǎn)品。

空間科學(xué)衛(wèi)星在軌單日探測數(shù)據(jù)量逐漸增長，硬X射線調(diào)制望遠(yuǎn)鏡（hard x-ray modulation telescope，HXMT）衛(wèi)星每日通過數(shù)傳X波段下行的原始數(shù)據(jù)約27.9 GB，暗物質(zhì)粒子探測衛(wèi)星每日下行的原始數(shù)據(jù)約26.69 GB，太極一號衛(wèi)星每日下行的原始數(shù)據(jù)約8.05 GB，墨子號量子科學(xué)實(shí)驗(yàn)衛(wèi)星每日下行的原始數(shù)據(jù)約0.41 GB，ASO-S衛(wèi)星每日下行的原始數(shù)據(jù)約500 GB。此外，還有中法天文衛(wèi)星SVOM（space variable objects monitor）、愛因斯坦探針（Einstein probe，EP）衛(wèi)星以及中歐微笑衛(wèi)星SMILE（solar wind magnetosphere ionosphere link explorer）等待發(fā)射的科學(xué)衛(wèi)星，后續(xù)在軌科學(xué)衛(wèi)星單日下行的原始數(shù)據(jù)峰值量預(yù)計(jì)將達(dá)到800 GB，系統(tǒng)單日需生產(chǎn)數(shù)千類編輯級數(shù)據(jù)產(chǎn)品以及數(shù)十類星地時差、軌道根數(shù)、精密星歷、衛(wèi)星指向夾角等輔助數(shù)據(jù)產(chǎn)品，單日輸出的數(shù)據(jù)產(chǎn)品預(yù)計(jì)約2 TB。

2.4 數(shù)據(jù)時效性要求高

為了盡快拿到衛(wèi)星下行的第一手資料，并在第一時間發(fā)現(xiàn)重大的科學(xué)事件，各衛(wèi)星科學(xué)應(yīng)用系統(tǒng)往往會對數(shù)據(jù)處理的時效性提出較高的要求。在下行數(shù)據(jù)量非常大的情況下，往往會對數(shù)據(jù)設(shè)置處理優(yōu)先級，將有科學(xué)事件警報(bào)意義的數(shù)據(jù)以最高優(yōu)先級進(jìn)行處理。尤其是針對空間天文類的衛(wèi)星探測任務(wù)，天體爆發(fā)事件轉(zhuǎn)瞬即逝，如果不能快速發(fā)現(xiàn)并處理事件，就會錯失很多重要的發(fā)現(xiàn)。因此，為了滿足多源、多信使手段對已發(fā)現(xiàn)天體源/爆發(fā)源的觀測，空間天文數(shù)據(jù)對處理時效性提出了秒級或分鐘級的要求。

特別地，空間天文警報(bào)數(shù)據(jù)產(chǎn)品的時效性要求達(dá)到了秒級。星上原始數(shù)據(jù)采用將所有數(shù)據(jù)混合的組織方式，設(shè)計(jì)高效的處理模式和資源調(diào)度框架以保證滿足秒級的處理時效性要求是地面數(shù)據(jù)處理系統(tǒng)面臨的一大挑戰(zhàn)。

2.5 數(shù)據(jù)產(chǎn)品質(zhì)量控制要求嚴(yán)格

空間科學(xué)衛(wèi)星數(shù)據(jù)處理的另一大特質(zhì)是需要從數(shù)據(jù)規(guī)范性、一致性和完整性等角度保障數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)可讀、可用、易用和好用。數(shù)據(jù)質(zhì)量控制要求意味著系統(tǒng)每進(jìn)行一次（級別）產(chǎn)品生產(chǎn)或數(shù)據(jù)傳輸，均需對數(shù)據(jù)產(chǎn)品質(zhì)量進(jìn)行審核和校驗(yàn)，確保數(shù)據(jù)在地面處理或傳輸中不引入錯誤。遇到因星地傳輸導(dǎo)致的數(shù)據(jù)缺失或時間不連續(xù)時，為了保障數(shù)據(jù)完整性，系統(tǒng)需對備份數(shù)據(jù)或歷史數(shù)據(jù)進(jìn)行重新生產(chǎn)，這為系統(tǒng)中的產(chǎn)品版本識別與控制、產(chǎn)品組織和管理帶來了挑戰(zhàn)。

2.6 數(shù)據(jù)計(jì)算任務(wù)類型多

各空間科學(xué)衛(wèi)星的數(shù)據(jù)處理需求和目標(biāo)不同，因此各個數(shù)據(jù)處理環(huán)節(jié)中的計(jì)算需求也會根據(jù)處理目標(biāo)的不同而變化。例如在GECAM衛(wèi)星0D級數(shù)據(jù)處理中，需對大量事例數(shù)據(jù)（時間分辨率優(yōu)于1 s）中的時間碼進(jìn)行解算，解算算法包括3次擬合，計(jì)算復(fù)雜度高，屬于計(jì)算密集型處理任務(wù)，對CPU資源具有較高的需求；在0B級數(shù)據(jù)處理過程中需要頻繁調(diào)度地面系統(tǒng)公共信息庫提供的WebService接口，以獲取處理過程中需要的信息，這種跨服務(wù)器的頻繁I/O查詢屬于I/O密集型處理任務(wù)，該類型的任務(wù)對CPU的消耗通常比較高；ASO-S衛(wèi)星單次過境下行的原始數(shù)據(jù)約110 GB，開展百GB量級的數(shù)據(jù)處理屬于典型的數(shù)據(jù)密集型處理任務(wù)，對于CPU計(jì)算資源、存儲資源都是巨大的挑戰(zhàn)。

3 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

3.1 系統(tǒng)框架設(shè)計(jì)

作為空間科學(xué)衛(wèi)星的地面共性基礎(chǔ)設(shè)施，科學(xué)衛(wèi)星大數(shù)據(jù)處理系統(tǒng)需要統(tǒng)籌考慮衛(wèi)星數(shù)據(jù)產(chǎn)品的特性、數(shù)據(jù)處理過程的特征，以及工程任務(wù)的數(shù)據(jù)時效性和可靠性要求。從可擴(kuò)展的角度考慮，如果繼續(xù)采用傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)，在每次擴(kuò)展新增衛(wèi)星及其有效載荷的數(shù)據(jù)處理功能時，都需改變原始處理程序的編碼，進(jìn)行重新編譯和發(fā)布，不僅耗費(fèi)時間與人力成本，還可能引起軟件兼容性問題。因此，亟須研制一套具有可擴(kuò)展、高性能的數(shù)據(jù)處理系統(tǒng)，保證系統(tǒng)能夠靈活地對處理流程進(jìn)行動態(tài)擴(kuò)展，實(shí)現(xiàn)科學(xué)衛(wèi)星大數(shù)據(jù)的快速處理與質(zhì)量控制要求。

本文基于“共性+衛(wèi)星專用插件”的設(shè)計(jì)理念，設(shè)計(jì)統(tǒng)一的任務(wù)調(diào)度與資源管理平臺，為各衛(wèi)星任務(wù)的專用插件提供統(tǒng)一的任務(wù)調(diào)度接口和資源調(diào)度接口，實(shí)現(xiàn)衛(wèi)星專用插件的動態(tài)配置，如圖3所示。系統(tǒng)接收科學(xué)衛(wèi)星通過各個信道下行的原始數(shù)據(jù)，采用統(tǒng)一的處理計(jì)算調(diào)度系統(tǒng)、統(tǒng)一的計(jì)算資源任務(wù)管理機(jī)制以及標(biāo)準(zhǔn)的任務(wù)調(diào)用接口和信息反饋機(jī)制，基于數(shù)據(jù)驅(qū)動的方式對各個科學(xué)衛(wèi)星的數(shù)據(jù)處理插件進(jìn)行任務(wù)調(diào)度，并將生成的數(shù)據(jù)產(chǎn)品發(fā)送至相應(yīng)的科學(xué)應(yīng)用系統(tǒng)。

圖3 空間科學(xué)衛(wèi)星大數(shù)據(jù)處理系統(tǒng)框架

3.1.1 大數(shù)據(jù)處理系統(tǒng)基礎(chǔ)軟件架構(gòu)

針對科學(xué)衛(wèi)星載荷數(shù)據(jù)處理方法多樣化、衛(wèi)星數(shù)據(jù)產(chǎn)品組織多源性、衛(wèi)星數(shù)據(jù)處理流程步驟環(huán)環(huán)相扣等特點(diǎn)，設(shè)計(jì)基于高性能計(jì)算集群以及超融合計(jì)算環(huán)境的大數(shù)據(jù)處理系統(tǒng)，采用統(tǒng)一任務(wù)與資源調(diào)度+專用業(yè)務(wù)插件擴(kuò)展的架構(gòu)形式；針對計(jì)算任務(wù)調(diào)度的實(shí)時性要求，采用Kafka分布式消息系統(tǒng)進(jìn)行消息和日志的傳遞；針對信息查詢類的接口，設(shè)計(jì)標(biāo)準(zhǔn)的WebService服務(wù)?；A(chǔ)軟件架構(gòu)如圖4所示。

圖4 空間科學(xué)大數(shù)據(jù)處理系統(tǒng)架構(gòu)

大數(shù)據(jù)處理系統(tǒng)最核心的功能是開展各科學(xué)衛(wèi)星的數(shù)據(jù)處理與質(zhì)量分析工作，對于各類不同的衛(wèi)星專用數(shù)據(jù)處理插件以及專用衛(wèi)星數(shù)據(jù)質(zhì)量分析與控制插件，各插件封裝統(tǒng)一標(biāo)準(zhǔn)的任務(wù)訂單接口以及UDP日志上報(bào)接口。

設(shè)計(jì)統(tǒng)一的數(shù)據(jù)接入接口，通過文件實(shí)體驗(yàn)證機(jī)制保證數(shù)據(jù)傳輸過程的安全性和正確性?；跀?shù)據(jù)驅(qū)動的方式啟動自動數(shù)據(jù)處理流程，根據(jù)輸入的原始數(shù)據(jù)的類型調(diào)度對應(yīng)的衛(wèi)星專用數(shù)據(jù)處理插件以及衛(wèi)星專用數(shù)據(jù)質(zhì)量分析與控制插件，實(shí)現(xiàn)科學(xué)衛(wèi)星的各級數(shù)據(jù)產(chǎn)品處理、標(biāo)準(zhǔn)化產(chǎn)品生成、數(shù)據(jù)快視、數(shù)據(jù)質(zhì)量分析以及質(zhì)量控制等功能。

統(tǒng)一任務(wù)調(diào)度引擎負(fù)責(zé)對輸入數(shù)據(jù)的類型進(jìn)行識別，并針對數(shù)據(jù)類型及其對應(yīng)的數(shù)據(jù)處理流程發(fā)送計(jì)算任務(wù)請求，實(shí)現(xiàn)計(jì)算任務(wù)的集中式調(diào)度以及分布式并行處理。在任務(wù)調(diào)度過程中，該引擎需要統(tǒng)籌考慮各科學(xué)衛(wèi)星的數(shù)據(jù)質(zhì)量信息以及過站計(jì)劃信息，并將這些動態(tài)信息作為任務(wù)調(diào)度的依據(jù)。主要原因包括以下兩點(diǎn)。

● 由于空間科學(xué)研究對數(shù)據(jù)產(chǎn)品的完整性要求非常高，地面接收站往往會進(jìn)行多備份數(shù)據(jù)接收。此外，當(dāng)在地面數(shù)據(jù)質(zhì)量控制過程中發(fā)現(xiàn)數(shù)據(jù)存在缺失時，往往會通過點(diǎn)播的方式進(jìn)行星上數(shù)據(jù)的回放，因此會有大量的冗余數(shù)據(jù)流入處理系統(tǒng)。依靠存儲在科學(xué)衛(wèi)星數(shù)據(jù)質(zhì)量信息庫中的內(nèi)容，統(tǒng)一任務(wù)調(diào)度引擎可以提前識別冗余數(shù)據(jù)，在生成任務(wù)的入口處進(jìn)行截流，避免冗余數(shù)據(jù)觸發(fā)處理任務(wù)進(jìn)而占用不必要的計(jì)算和存儲資源。

● 通常衛(wèi)星每日的過站計(jì)劃會提前幾天制定，并通過數(shù)傳星歷表上傳至衛(wèi)星，為了保證計(jì)算資源的實(shí)時可獲取性，當(dāng)衛(wèi)星下行數(shù)據(jù)達(dá)到系統(tǒng)時能夠有足夠的資源開展數(shù)據(jù)處理任務(wù)，系統(tǒng)采用資源預(yù)約機(jī)制，基于科學(xué)衛(wèi)星過站計(jì)劃信息進(jìn)行資源的提前預(yù)訂。

在數(shù)據(jù)存儲方面，為了提升緩存數(shù)據(jù)的讀寫效率以及系統(tǒng)的穩(wěn)定性，采用分布式文件系統(tǒng)實(shí)現(xiàn)多集群統(tǒng)一共享存儲。針對科學(xué)衛(wèi)星數(shù)據(jù)的組織特征建立基于標(biāo)準(zhǔn)元數(shù)據(jù)信息的高效數(shù)據(jù)存儲模型，從而提高各個插件的數(shù)據(jù)讀寫訪問速度。

3.1.2 大數(shù)據(jù)處理系統(tǒng)硬件基礎(chǔ)架構(gòu)

衛(wèi)星大數(shù)據(jù)高性能處理系統(tǒng)硬件架構(gòu)包括高性能計(jì)算集群、超融合計(jì)算環(huán)境以及分布式存儲環(huán)境3個部分，各個部分之間通過高速互聯(lián)交換機(jī)進(jìn)行數(shù)據(jù)的傳輸與交換，硬件基礎(chǔ)架構(gòu)如圖5所示。

圖5 大數(shù)據(jù)處理系統(tǒng)硬件基礎(chǔ)架構(gòu)

高性能計(jì)算集群由資源調(diào)度管理節(jié)點(diǎn)和資源處理計(jì)算節(jié)點(diǎn)組成，其中資源調(diào)度管理節(jié)點(diǎn)采用雙路機(jī)架式服務(wù)器，以主/備（active/standby）方式運(yùn)行；資源處理計(jì)算節(jié)點(diǎn)采用四路機(jī)架式服務(wù)器，根據(jù)業(yè)務(wù)應(yīng)用需求通過調(diào)度管理算法實(shí)現(xiàn)硬件資源的分配管理。

超融合計(jì)算環(huán)境采用四路高性能服務(wù)器，通過部署FusionSphere虛擬化軟件對物理服務(wù)器的CPU、內(nèi)存、設(shè)備I/O進(jìn)行硬件解耦，從而實(shí)現(xiàn)在單一物理服務(wù)器上同時運(yùn)行多個虛擬機(jī)且相互之間互不影響。

分布式存儲環(huán)境采用冗余網(wǎng)絡(luò)架構(gòu)和N+M糾刪碼保護(hù)機(jī)制充分保證系統(tǒng)無單點(diǎn)故障，確保數(shù)據(jù)存儲的長期安全；在不同存儲節(jié)點(diǎn)間使用條帶化技術(shù)，將讀寫操作均勻分散到多個節(jié)點(diǎn)，為應(yīng)用訪問提供多個并行傳輸通道，從而有效地提高了系統(tǒng)的讀寫帶寬和每秒的輸入輸出量（input/output per second，IOPS）。

3.1.3 任務(wù)類型感知的統(tǒng)一資源調(diào)度系統(tǒng)

在傳統(tǒng)的空間科學(xué)衛(wèi)星數(shù)據(jù)地面處理系統(tǒng)中，資源調(diào)度系統(tǒng)負(fù)責(zé)將數(shù)據(jù)處理子節(jié)點(diǎn)的CPU、內(nèi)存、硬盤、I/O等資源抽象成資源池，維護(hù)管理資源池，并將資源分配給相應(yīng)的數(shù)據(jù)處理任務(wù)，這種架構(gòu)在空間科學(xué)大數(shù)據(jù)場景下面對多類型的衛(wèi)星數(shù)據(jù)處理任務(wù)時無法做出相應(yīng)的處理，無法最大化發(fā)揮資源節(jié)點(diǎn)的性能，而且會影響數(shù)據(jù)處理的時效性。本文提出一種基于任務(wù)類型感知的統(tǒng)一資源調(diào)度系統(tǒng)，實(shí)現(xiàn)對上層數(shù)據(jù)處理任務(wù)的統(tǒng)一編排與管理，根據(jù)科學(xué)衛(wèi)星的數(shù)據(jù)處理任務(wù)需求場景，提供統(tǒng)一可配置的資源管理和分配策略，支持根據(jù)衛(wèi)星、數(shù)據(jù)類型設(shè)定優(yōu)先級，支持預(yù)約類型和實(shí)時類型的計(jì)算任務(wù)請求，提供松耦合和靈活的計(jì)算任務(wù)與資源的關(guān)聯(lián)關(guān)系，支持底層資源池的動態(tài)擴(kuò)展，真正依據(jù)計(jì)算資源的特點(diǎn)做到物盡其用。任務(wù)類型感知的資源調(diào)度系統(tǒng)的架構(gòu)如圖6所示，主要分為資源預(yù)約與請求接口、任務(wù)隊(duì)列、任務(wù)與資源的智能關(guān)聯(lián)匹配以及資源節(jié)點(diǎn)管理4個部分。

圖6 任務(wù)類型感知的資源調(diào)度系統(tǒng)架構(gòu)

資源預(yù)約與請求接口主要負(fù)責(zé)向上為統(tǒng)一任務(wù)調(diào)度引擎提供資源調(diào)度接口，對申請的任務(wù)類型進(jìn)行解析，并將任務(wù)發(fā)送至不同的任務(wù)隊(duì)列中，任務(wù)在隊(duì)列中等待匹配合適的計(jì)算資源。

任務(wù)隊(duì)列采用消息隊(duì)列的方式進(jìn)行任務(wù)請求的解析與保存，除了配置傳統(tǒng)的計(jì)算任務(wù)隊(duì)列，還專門設(shè)計(jì)了用于保存資源預(yù)約的任務(wù)隊(duì)列，以提升重要任務(wù)響應(yīng)的及時性。

任務(wù)與資源的智能關(guān)聯(lián)匹配主要負(fù)責(zé)基于請求任務(wù)類型標(biāo)識和資源節(jié)點(diǎn)類型標(biāo)識分別建立任務(wù)索引和資源節(jié)點(diǎn)索引，通過監(jiān)控任務(wù)隊(duì)列和資源隊(duì)列進(jìn)行全局任務(wù)和資源的動態(tài)編排和調(diào)度。

資源節(jié)點(diǎn)管理主要負(fù)責(zé)向下管理集群資源節(jié)點(diǎn)，將資源節(jié)點(diǎn)匯聚成資源池，同時對資源節(jié)點(diǎn)的類型進(jìn)行標(biāo)注，針對不同的資源節(jié)點(diǎn)類型，將節(jié)點(diǎn)分為數(shù)據(jù)密集型節(jié)點(diǎn)、計(jì)算密集型節(jié)點(diǎn)、I/O密集型節(jié)點(diǎn)等不同類型的任務(wù)節(jié)點(diǎn)。

資源調(diào)度算法處理流程如下。

/*初始化*/

AppointmentQueue<>,IOTaskQueue<>,DataTaskQueue<>,CPUTaskQueue<>,

Resources

輸入：數(shù)據(jù)處理任務(wù) NewTaskOrder

/*接收并解析數(shù)據(jù)處理任務(wù)*/

taskType = NewTaskOrder.type();

if (taskType == appointment) then /*預(yù)約任務(wù)*/

InsertAppintQueue(NewTaskOrd er)

else if(taskType == IOtype) then

InsertIOQueue(NewTaskOrder)

else if (taskType == DataType) then

InsertDataQueue(NewTaskOrder)

else

InsertCPUQueue(NewTaskOrder)

end if

/**預(yù)約資源**/

MakeAppoint(AppointmentQueue<>, Resources<>)

/*更新資源狀態(tài)，并獲取可用計(jì)算資源*/

AvailableResource<> = Update (Resources<>)

/**分配資源**/

fori=0 toi< AvailableResource. size()-1 do:

node = AvailableResource (i); /*獲取可用資源*/

/*將各種類型的資源匹配到對應(yīng)的任務(wù)隊(duì)列上 */

if (node.type == IOtype && ! IOTaskQueue.empty())

node.execute(IOTaskQueue.getTask())

if(node.type == DataType && ! DataTaskQueue.empty())

node.execute(DataTaskQueue.getTask())

if (node.type == CPUType && !CPUTaskQueue.empty())

node.executre(CPUTaskQueue.getTask())

else

/*如果各類任務(wù)和資源沒有完全匹配，則將可用資源分配給其他類型的任務(wù)*/

unmatchTask = FindWaiting-Task (IOTaskQueue, CPUTaskQueue, DataTaskQueue)

node.execute(unmatchTask)

end for

3.2 系統(tǒng)實(shí)現(xiàn)

基于高性能服務(wù)器集群和超融合計(jì)算環(huán)境建設(shè)的可擴(kuò)展高性能地面數(shù)據(jù)處理系統(tǒng)成功地支持了中國科學(xué)院空間科學(xué)先導(dǎo)專項(xiàng)多顆空間科學(xué)衛(wèi)星的海量原始數(shù)據(jù)的集中處理，系統(tǒng)的數(shù)據(jù)處理效率能夠滿足各科學(xué)工程的性能指標(biāo)要求。作為空間科學(xué)衛(wèi)星地面共性基礎(chǔ)設(shè)施，該系統(tǒng)支持動態(tài)擴(kuò)展，可基于大數(shù)據(jù)共性基礎(chǔ)平臺滿足后續(xù)空間科學(xué)衛(wèi)星的數(shù)據(jù)產(chǎn)品處理及產(chǎn)品組織需求。目前該系統(tǒng)通過Apache+Tomcat搭建系統(tǒng)整體業(yè)務(wù)監(jiān)管界面，通過Kafka消息隊(duì)列實(shí)現(xiàn)處理類、數(shù)據(jù)管理類以及數(shù)據(jù)服務(wù)類的狀態(tài)消息實(shí)時上報(bào)，對系統(tǒng)內(nèi)開展的各類數(shù)據(jù)處理、數(shù)據(jù)管理和分發(fā)等活動進(jìn)行實(shí)時監(jiān)視，依據(jù)輸入數(shù)據(jù)為運(yùn)行流程設(shè)計(jì)唯一標(biāo)識符，從而可以對從輸入開始一直到生產(chǎn)各類數(shù)據(jù)產(chǎn)品并對外提供服務(wù)的整個過程進(jìn)行跟蹤，如圖7所示。

圖7 系統(tǒng)綜合業(yè)務(wù)展示

該系統(tǒng)通過標(biāo)準(zhǔn)的任務(wù)訂單接口和任務(wù)調(diào)度調(diào)度接口，集成了多顆科學(xué)衛(wèi)星的數(shù)據(jù)處理與產(chǎn)品生產(chǎn)、數(shù)據(jù)質(zhì)量分析與評估等幾十類算法模塊，采用標(biāo)準(zhǔn)WebService接口實(shí)現(xiàn)了對外接口服務(wù)，任務(wù)調(diào)度時延小于1 s。多星多任務(wù)調(diào)度平臺如圖8所示。

圖8 多星多任務(wù)調(diào)度平臺

目前系統(tǒng)運(yùn)行穩(wěn)定，支撐著5顆在軌科學(xué)衛(wèi)星的數(shù)據(jù)處理。系統(tǒng)每日處理的數(shù)據(jù)量約103 GB，輸出的數(shù)據(jù)產(chǎn)品數(shù)量約364 GB。系統(tǒng)將每次數(shù)傳下行處理的數(shù)據(jù)產(chǎn)品自動準(zhǔn)實(shí)時地發(fā)送至各衛(wèi)星科學(xué)應(yīng)用系統(tǒng)，有效地支持了HXMT衛(wèi)星、暗物質(zhì)粒子探測衛(wèi)星以及墨子號量子科學(xué)實(shí)驗(yàn)衛(wèi)星科學(xué)成果的發(fā)現(xiàn)[9-13]。

4 結(jié)束語

面對空間科學(xué)后續(xù)衛(wèi)星探測數(shù)據(jù)量大幅增加，數(shù)據(jù)處理過程更加復(fù)雜，處理耗時增加與天文警報(bào)數(shù)據(jù)超高時效性要求的趨勢，有待在系統(tǒng)自動化的基礎(chǔ)上進(jìn)一步研究智能化技術(shù)和流式數(shù)據(jù)處理技術(shù)，以大幅改善系統(tǒng)的多任務(wù)并行處理能力。針對多類型任務(wù)調(diào)度引擎的兼容性和可擴(kuò)展性，需進(jìn)一步優(yōu)化資源統(tǒng)一調(diào)度接口，采用輕量化容器技術(shù)增強(qiáng)代碼遷移的能力。未來還將開展共性數(shù)據(jù)處理算法的抽象工作，增加共性數(shù)據(jù)處理工具集，降低擴(kuò)展新衛(wèi)星任務(wù)帶來的成本。