宋晶晶 (北京空間科技信息研究所)
衛(wèi)星遙感是采集地球數據信息的重要技術手段,幾十年來,對地觀測數據的質量和采集速度不斷提高,超過了數據分發(fā)、處理和管理領域的創(chuàng)新,這導致衛(wèi)星數據商業(yè)應用的速度大大低于預期。隨著應對氣候變化和人口增長等挑戰(zhàn)的衛(wèi)星數據需求的快速增長,未來10年將發(fā)射的大量新型對地觀測衛(wèi)星將為科學家提供更詳細的信息,同時也會產生海量數據,因此非常需要一種真正有效的方式為全球數百萬新用戶提供滿足其需求的對地觀測產品。
近年來,美國和歐洲的主要航天大國正大力發(fā)展基于遙感衛(wèi)星數據的數字云平臺,利用云計算、大數據、人工智能等創(chuàng)新技術,使工程師和科學家在云端能夠處理、存儲和分析所有數字信息,實現對衛(wèi)星數據的大規(guī)模自動處理和智能信息提取,從而更充分地挖掘海量遙感數據的價值。而近3年的全球新冠疫情更是加速了航空航天以及許多其他行業(yè)的數字化轉型,云計算的發(fā)展速度比以往任何時候都要快,推動了大規(guī)模的協(xié)作和通信。全球天基對地觀測數據處理技術進入了一個顛覆性的創(chuàng)新時代。
美國國家航空航天局(NASA)是全球處理和提供最多對地觀測數據的機構,管理這些數據是一項艱巨的任務。多年來,NASA一直在“地球科學數據系統(tǒng)”(ESDS)計劃框架下致力于解決信息量的挑戰(zhàn),將數據和數據處理系統(tǒng)從本地服務器轉移到云端,通過部署支持云的數據和工具以實現最有效利用,通過改進和簡化運營來進一步鼓勵對數據的自由和開放訪問,投資開源工具,提高數據訪問和管理能力,以及與戰(zhàn)略合作伙伴和開源社區(qū)互動,從而使用戶受益。迄今為止,NASA已經建立了多個數據中心,配置了超級計算機,開發(fā)了一系列云計算、可視化和大數據分析軟件系統(tǒng)。
目前,對地觀測衛(wèi)星將數據發(fā)送回地面站,工程師在那里將原始信息從1和0轉換為人們可以使用和理解的測量值,然后將測量結果發(fā)送到服務器上進行存檔。一般來說,當研究人員想要使用數據集時,他們會登錄網站,下載想要的數據,然后在個人機器上使用。隨著未來對地觀測任務產生數據的指數級增長,現有的數據下載和存儲能力將跟不上數據采集的速度,同時,將所有數據都從航天器處傳回并存儲到本地會帶來極其高昂的成本。因此,有效存檔和處理更大數據量的需求將需要新的數據管理技術和體系結構。NASA將在下一代對地觀測任務中普遍采用云平臺,以更具成本效益、最靈活和可擴展的數據管理架構和技術,發(fā)展有效獲取、處理和歸檔海量數據的能力,衛(wèi)星遙感數據處理將進入一個全新時代。
美國和歐洲聯合開發(fā)的哨兵-6/杰森-服務連續(xù)性(Sentinel-6/Jason-CS)任務下的哨兵-6衛(wèi)星是NASA第一顆利用ESDS計劃云系統(tǒng)的衛(wèi)星。未來,由NASA和法國國家空間研究中心(CNES)聯合開發(fā),計劃于2023年發(fā)射的“地表水和海洋地形”(SWOT)衛(wèi)星,以及計劃于2023年發(fā)射的NASA-印度空間研究組織合成孔徑雷達(NISAR)衛(wèi)星,都將使用基于雷達的儀器來采集信息,二者每天將產生大約100TB的數據(SWOT衛(wèi)星約20TB,NISAR衛(wèi)星約80TB)。其中NISAR衛(wèi)星將用于監(jiān)測地球表面和采集環(huán)境特征數據,SWOT衛(wèi)星將用于監(jiān)測地球表面水的高度。
NASA噴氣推進實驗室(JPL)物理海洋學分發(fā)式主動存檔中心(PODAAC)是ESDS計劃下的幾個數據中心之一,負責處理、存檔、記錄和分發(fā)來自該機構的對地觀測衛(wèi)星數據。來自SWOT衛(wèi)星的數據將在該中心存檔,而來自NISAR衛(wèi)星的數據將由阿拉斯加衛(wèi)星設施分發(fā)式主動存檔中心處理。在傳統(tǒng)的數據處理模式下,如果研究人員想從SWOT衛(wèi)星上下載一天的數據大概需要20臺電腦,每臺電腦存儲數據量1TB。如果想從NISAR衛(wèi)星下載4天的數據,在普通家庭互聯網連接上執(zhí)行大約需要一年時間。而在云中處理和存儲這些數據將為他們提供一種經濟高效的方法,既無需支付存儲大量數據或為所有這些硬盤驅動器維護物理空間的費用,不必擔心受基礎設施限制,也不用等待數月將大量文件下載到他們的本地系統(tǒng)。盡管如此,云計算不會取代研究人員處理科學數據集的所有方式,但會有助于在地球科學領域取得進展。
NASA工程師為了對云計算處理大數據的優(yōu)勢進行概念驗證,使用了來自歐洲“哥白尼”(Copernicus)計劃下的哨兵-1(Sentinel-1)衛(wèi)星數據。工程師使用云中的Sentinel-1衛(wèi)星數據花費一周時間制作了一張彩色地圖,顯示了地球表面從植被區(qū)到沙漠的變化。如果要在云之外做這件事,則需要數千臺機器。
NASA的另一個數據中心——對地觀測系統(tǒng)數據和信息系統(tǒng)(EOSDIS)存檔的數據量約為60PB,根據ESDS計劃,預計到2025年,該中心將保存超過250PB的數據。到21世紀末,EOSDIS中心存檔的數據量預計將超過320PB。隨著存檔數據量的持續(xù)增長,EOSDIS中心存檔的數據攝取速率預計將隨之大幅提高。而ESDS計劃的一項戰(zhàn)略愿景就是在商業(yè)云環(huán)境中開發(fā)和運行EOSDIS系統(tǒng)的多個組件。
歐洲航天局(ESA)在歐盟委員會(EC)的領導下,正在與主要歐洲國家一起開發(fā)高精度的地球數字模型,以監(jiān)測和模擬自然和人類活動,從而實現可持續(xù)發(fā)展并支持歐洲環(huán)境政策。在2021年10月的ESA理事會上,成員國批準了一項“貢獻協(xié)議”,為在歐盟數字議程的背景下與歐洲委員會就“目的地地球”(DestinE)倡議開展合作鋪平了道路。2022年3月30日,歐盟委員會與執(zhí)行實體、歐洲中期天氣預報中心(ECMWF)、ESA和歐洲氣象衛(wèi)星組織(Eumetsat)一起,組織了一次公開的在線活動,啟動了DestinE倡議。
DestinE相當于各方面信息的一個數字孿生體,可以全面監(jiān)測、分析、預測和保護陸地,包括氣候動態(tài)、自然災害、糧食和水安全、海洋循環(huán)和生物多樣性。該平臺將面向從專家、科學家和決策者到個人的所有利益相關方。DestinE將通過ESA開發(fā)的一個用戶友好且安全的基于云的數字建模和模擬平臺進行訪問,該平臺將采用新型數字技術,如:基于云的超級計算和人工智能,為用戶提供超大規(guī)模的數據分析、地球系統(tǒng)監(jiān)測、模擬和預測能力。同時,它將允許用戶定制平臺,整合自己的數據,開發(fā)自己的應用程序。
具體而言,DestinE將用于:支持高精度預測自然災害和人為環(huán)境破壞;通過關注氣候變化的影響,例如對海洋、水、地球冰蓋、土地使用等的影響,實現對地球健康的持續(xù)和準確監(jiān)測;更好地了解氣候變化的社會經濟影響和極端自然災害的發(fā)生。這些模型將幫助科學家、政治家和公眾理解環(huán)境和人類在塑造地球未來中的復雜互動。DestinE還將成為歐洲適應“數字化戰(zhàn)略”的有效基準,以支持綠色轉型,幫助歐盟實現2050年“碳中和”的目標。
DestinE將在未來5~6年內逐步實施,歐盟委員會將領導和協(xié)調歐洲主要組織核心小組之間的實施工作,該小組將負責制定該倡議的主要內容,小組成員 包 括ESA、ECMWF和Eumetsat。ESA將 負 責開發(fā)DestinE開放核心服務平臺,該平臺將采用最全面、最先進的天基觀測數據,包括ESA的“地球探索者”(EE)、Sentinel衛(wèi)星系列、氣象衛(wèi)星等。EUMETSAT將負責建立數據湖——一個基于分布式數據源的數據池。ECMWF將負責開發(fā)DestinE倡議下的2個初始數字孿生項目:氣象和地球物理極端事件以及氣候變化適應,計劃于2024年完成。到2027年進一步增強DestinE系統(tǒng),并集成其他數字孿生體和相關服務。到2030年完成地球的完整數字孿生體。
“氣象和地球物理極端事件數字孿生”項目將為評估和預測環(huán)境極端事件提供能力與服務,決策者能夠更加準確地預測洪水和森林火災等極端自然事件的發(fā)生和影響;“氣候變化適應數字孿生”項目將幫助分析見解和測試預測情景,以支持區(qū)域和國家10年內的氣候適應和緩解政策。這2個項目將在2030年12月推出。未來,更多數字孿生體還將會出現,可能涉及海洋、生物多樣性和城市環(huán)境等領域。
美國海洋與大氣管理局(NOAA)目前也在探索數字孿生技術的潛力,隨著該機構逐漸轉向依賴低地球軌道(LEO)上的小型衛(wèi)星和更多的商業(yè)數據源,氣象數據的量預計將激增。NOAA計劃融合包括海洋、大氣、冰凍圈,以及空間天氣等要素的所有數據并將其放入一個地球環(huán)境的數字副本中,建立一個一站式服務云平臺,用戶可在通用界面中選擇感興趣的數據。
NASA不僅在其機構內部開展工作以促進對通用云基礎設施的高效訪問,還在科學界訪問、分析和使用這些數據。NASA目前正在與ESA合作開發(fā)一個革命性的開源科學工具,用于分析云中的地球科學數據,稱為“多任務算法和分析平臺”(MAAP)。MAAP提供了對NASA和ESA地球科學數據的無縫訪問,是開源科學合作和分析的典范。MAAP是全球首個統(tǒng)一的地上碳評估的主平臺,對于管理全球氣候變化至關重要。
利用MAAP平臺創(chuàng)建的開源科學數據產品,利用來自NASA的冰衛(wèi)星-2(ICESat-2)、NASA/美國地質調查局(USGS)的陸地衛(wèi)星-8(LandSat-8)和ESA的“哥白尼數字高程模型”(Copernicus DEM)數據,以30m分辨率繪制了“環(huán)北方森林生物量密度圖”。
MAAP經歷了2年的研制,目前已全面投入運營,并將在未來一段時間逐步擴大用戶群體。2022年6月發(fā)布的MAAP第二版中增加了額外的數據來源,幫助解決更多的地球科學問題。
MAAP使科學家能夠合作開發(fā)算法和代碼,并對來自衛(wèi)星遙感儀器、“國際空間站”(ISS)以及空基和地基等來源獲得的大型數據集進行分析及可視化。MAAP所需的大數據和高性能計算,以及共享的代碼存儲庫和目錄,都在云中存儲并進行管理。NASA和ESA支持并共享MAAP的能力。通過遵循開源科學原則,包括對數據的完全和開放訪問、開源代碼的使用以及數據用戶的無限制訪問,MAAP消除了參與科學調查的障礙,提升了平臺的多樣性和包容性。
MAAP的初步應用側重于測量地表生物量,獲得一部分地球森林面積和碳含量的相關資料。這些數據對于我們了解氣候變化和預測其影響至關重要,并將支持政府間氣候變化專門委員會(IPCC)定期更新信息。地表生物量是MAAP的第一個應用,NASA、ESA和類似的研究機構可以利用其獲得廣泛的科學數據,并進行更多科學探索。
目 前,MAAP支 持 的 數 據 包 括NASA的“全球生態(tài)系統(tǒng)動態(tài)調查”(GEDI)和NASA/ESA的聯合項目“非洲搜索救援運動”(AfriSAR campaign),并將最終支持來自NASA和ESA后續(xù)任務的數據,如:ESA的“生物量”(Biomass)任務和NISAR任務。同時,該平臺還將與NASA位于加利福尼亞州硅谷的艾姆斯研究中心的超級計算設施進行連接,將能夠高效處理極其龐大的MAAP全球數據集,包括來自NISAR任務的海量數據集。
2020年環(huán)北方森林生物量密度圖
隨著對地觀測衛(wèi)星提供的數據量和復雜性的快速增長,移動數據產生巨大成本和延遲,給提供商和用戶帶來了巨大的挑戰(zhàn),這種需求只能通過將本地存儲和內部處理轉向基于云的分布式解決方案來滿足,用戶可以在這種解決方案中,將數據輕松地與先進的計算和分析功能放在一起。因此近年來,包括傳統(tǒng)對地觀測機構、云服務提供商以及一些初創(chuàng)企業(yè)都在考慮如何利用云計算,在開放式數據平臺上提供對數據、存儲、計算和分析工具的在線訪問,從而涌現出多種服務模式。
歐盟的旗艦對地觀測計劃Copernicus框架內所有Sentinel衛(wèi)星都運行時,每年將交付10PB以上的數據。加上來自其他衛(wèi)星的數據以及來自Copernicus現場組件的信息,增加了由Copernicus計劃生成或提供的地理空間數據總量。技術的發(fā)展,特別是在可用性和可訪問性方面,使Copernicus成為世界上最大的空間數據提供商,目前每天產生12TB數據,因此用戶群正在迅速增長,以延伸到全球的企業(yè)、企業(yè)家和公民等新的利益相關者。
Copernicus和更早的“全球環(huán)境與安全監(jiān)測”(GMES)數據和信息的大規(guī)模共享和使用始于一系列混合平臺,而用戶卻承擔了下載、處理和存儲的重任。為了促進數據訪問并使其標準化,歐盟委員會于2017年啟動“哥白尼數據和信息訪問服務”(DIAS)計劃,出資部署了5個基于云計算的一站式服務平臺即CREODIAS、Sobloo、Mundi Web Services、ONDA-DIAS和WEKEO,每個平臺都是由對地觀測衛(wèi)星運營商、增值服務提供商和云提供商組成的聯合體共同構建的。這些平臺是競爭關系,都提供對Copernicus對地觀測計劃內的所有數據、信息以及處理工具的集中訪問,該項目是Copernicus計劃的重要里程碑,為啟動歐洲數據訪問和云平臺服務奠定了基礎。
空客公司(Airbus)通過自己的數字平臺“一個地圖集”(OneAtlas),利用大數據云技術可實現靈活、可擴展的存儲,以及結合不同源數據融合技術開展分析。OneAtlas云平臺允許用戶訪問衛(wèi)星圖像、全球數據集、高程數據和3D模型。通過采用流式傳輸、下載和應用程序接口等靈活的訪問模式,可輕松集成到地理信息系統(tǒng)工作流中。
5個DIAS云平臺
美國綠色科技初創(chuàng)公司地球脈搏公司(TerraPulse)將人工智能技術應用于ESA公開的全球衛(wèi)星圖像檔案,開發(fā)了監(jiān)測從地方到全球范圍內生態(tài)系統(tǒng)變化的“地球視圖”(TerraView)云平臺,并于2022年2月推出世界上首張展示2017年至今的全球樹木冠層覆蓋、地表水和城市化變化的衛(wèi)星地圖(10m分辨率),這張地圖再次打破了全球地圖分辨率的記錄,在空間尺度上設立了新的標準,具有里程碑式意義。
英國領先太空技術初創(chuàng)公司“開放宇宙”(Open Cosmos)部門于2022年6月發(fā)布了一個多衛(wèi)星數據平臺——“數據宇宙”(DataCosmos),該平臺將提供高級可視化和數據使用工具,以解決關鍵的生態(tài)和可持續(xù)性氣候挑戰(zhàn)。DataCosmos與其他平臺的不同之處在于其界面結合了來自衛(wèi)星、無人機、傳感器等多種數據類型,用戶可以在幾秒鐘內訪問、下載、可視化和處理高分辨率圖像。
DataCosmos平臺界面
除了麥克薩技術公司(Maxar Technology)和空客公司這樣的傳統(tǒng)衛(wèi)星運營商之外,美國谷歌公司(Google)、亞馬遜公司(Amazon)和微軟公司(Microsoft)等云服務提供商紛紛推出云服務,讓衛(wèi)星通信網絡連入云基礎設施,幫助客戶把數據從衛(wèi)星直接送入云計算網絡進行處理和存儲。隨著云服務提供商與傳統(tǒng)衛(wèi)星運營商,以及新興數據服務提供商等多方積極發(fā)展各種創(chuàng)新戰(zhàn)略合作伙伴關系,對地觀測增值服務市場高度分散并進一步成熟。
NASA利用云計算為科學界帶來的好處包括與亞馬遜、谷歌和微軟在內的云服務提供商合作開展項目或技術合作。例如:利用亞馬遜公司的亞馬遜云服務(AWS)、微軟公司的天藍地圖(Azure Maps),以及谷歌公司的谷歌地球引擎(Google Earth Engine)這些云平臺改善NASA科學數據集的發(fā)現、訪問和使用,并對云平臺的利用價值進行研究,不斷提高NASA的人工智能能力。
微軟公司與空客公司合作以提升微軟Azure Maps的空間服務能力,Azure Maps是在微軟Azure云中的服務、平臺和應用生態(tài)系統(tǒng)的默認位置服務之一,空客公司的“斯波特”(SPOT)、“昴宿星”(Pleiades)、“新一代昴宿星”(Pleiades Neo)衛(wèi)星圖像和“全球數字高程正射校正”(WorldDEM4Ortho)模型的高程數據可以在微軟公司的Azure Maps服務中全面使用。
美國卡佩拉空間公司(Capella)通過“國際移動衛(wèi)星”(Inmarsat)網絡實時訪問其“合成孔徑雷達”(SAR)衛(wèi)星,發(fā)送命令并收集數據后通過AWS云平臺,在30min內將數據發(fā)送至客戶。阿根廷衛(wèi)星邏輯公司(Satellogic)使用亞馬遜地面站服務(AWS GroundStation)來控制其衛(wèi)星和下載星上數據。亞馬遜地面站是一項托管服務,允許衛(wèi)星運營和接收衛(wèi)星數據,并將其與應用程序和AWS云平臺上的其他數據集成,而運營商只需為AWS 云平臺使用的容量付費。美國烏爾薩空間系統(tǒng)公司(Ursa Space Systems)與亞馬遜公司就AWS云平臺的數據交換(ADX)系統(tǒng)進行合作,使衛(wèi)星數據和分析業(yè)務易于在云中查找、訂閱和共享。烏爾薩空間系統(tǒng)公司將在AWS云平臺的ADX系統(tǒng)上列出其圖像服務目錄和數據分析服務,利用其平臺上的數百顆射頻和成像衛(wèi)星提供的數據,為用戶實現快速響應、決策和分析。德國實時對地觀測公司(LiveEO)于2022年3月成為AWS云平臺“合作伙伴網絡”(APN)的認證獨立軟件供應商(ISV)合作伙伴,利用AWS云平臺的可靠性和可擴展性來分析基礎設施。美國Maxar公司越來越多地采用其基于云平臺的天氣預報服務。來自Maxar公司和AWS云平臺的數據科學家和工程師團隊合作創(chuàng)建了一個自動化工作流,利用AWS云平臺的高性能計算(HPC)能力為NOAA服務,實現更快地開發(fā)、測試和發(fā)布新版本的天氣模型,最終將加速改善氣象部門的業(yè)務天氣和氣候預測任務,以拯救生命、保護財產和加強美國經濟。
云計算實現了通過互聯網而不是內部基礎設施訪問共享和可配置的資源,還使服務提供商能夠提供基于網絡的低成本服務,為數據分發(fā)和分析開辟了創(chuàng)新模式。天基對地觀測快速增長的海量數據給供應商和用戶帶來愈發(fā)嚴峻的挑戰(zhàn),用戶需要強大的訪問能力、強大的計算能力和創(chuàng)新的處理方法以釋放這些前所未有的海量數據所提供的洞察力。因此,包括政府部門和新興衛(wèi)星公司在內,越來越多的組織機構均積極開發(fā)基于大數據的云平臺,許多對地觀測衛(wèi)星數據提供商正在或已經轉向云環(huán)境來創(chuàng)建數字運營中心,或將其現有運營模式向數字運營中心過渡。
就服務提供商來說,云服務通過集中的資源確保了更大的靈活性和可擴展性,縮短了入市時間,且更加關注客戶滿意度,能夠應對不斷變化的用戶需求。利用下一代超級計算機功能和云計算技術,用戶能夠在最需要的時間和地點訪問其數據并產生近乎實時的分析結果,以提供信息集成的變革能力。
積極的公私部門合作是新航天生態(tài)系統(tǒng)的基石之一,發(fā)展創(chuàng)新與戰(zhàn)略合作伙伴關系,有利于培育基于云環(huán)境的新對地觀測產品組合,同時為投資者提供了機遇。由對地觀測衛(wèi)星運營商、增值服務提供商和云提供商組成的合作伙伴關系不僅提高了數據系統(tǒng)運營的效率,還進一步推動了對數據的自由和開放訪問,使科學界和更廣泛的公眾能夠公開共享數據、信息和知識,從而加速科學研究和理解。
未來的太空是由數據驅動的,隨著基于云計算和大數據分析技術的新型遙感數據增值服務的快速涌現,全球對地觀測市場的需求將從發(fā)射衛(wèi)星向購買衛(wèi)星服務轉變。未來,對地觀測行業(yè)將更加以用戶需求為導向,衛(wèi)星數據的商業(yè)應用在很大程度上將受到云技術的推動,對地觀測行業(yè)服務的內容和市場將進一步得到拓展。