· 文|北京空間科技信息研究所 劉嘉寧
大數(shù)據(jù)時(shí)代對(duì)地觀測(cè)衛(wèi)星的發(fā)展現(xiàn)狀與趨勢(shì)
· 文|北京空間科技信息研究所 劉嘉寧
本文圍繞對(duì)地觀測(cè)這一核心衛(wèi)星應(yīng)用產(chǎn)業(yè),通過對(duì)國(guó)內(nèi)外優(yōu)秀企業(yè)利用大數(shù)據(jù)技術(shù)和思維從衛(wèi)星應(yīng)用層面改變傳統(tǒng)產(chǎn)業(yè)格局和提升數(shù)據(jù)處理效率典型案例的調(diào)研分析,把握大數(shù)據(jù)技術(shù)與對(duì)地觀測(cè)產(chǎn)業(yè)的共通點(diǎn)、交匯點(diǎn),結(jié)合國(guó)家軍民融合政策,從市場(chǎng)需求角度促進(jìn)兩者融合,進(jìn)而優(yōu)化整個(gè)衛(wèi)星應(yīng)用產(chǎn)業(yè)布局,擴(kuò)寬航天技術(shù)應(yīng)用產(chǎn)業(yè)的發(fā)展路線。探討了大數(shù)據(jù)研究面臨的科學(xué)問題和技術(shù)挑戰(zhàn),為研究機(jī)構(gòu)和人員提供參考指南。
對(duì)地觀測(cè)衛(wèi)星 遙感圖像 眾包 大數(shù)據(jù)處理
對(duì)地觀測(cè)是人類利用衛(wèi)星、飛船、航天飛機(jī)、飛機(jī)以及近空間飛行器等空間平臺(tái)和地面、地下的各種傳感器設(shè)備獲取觀測(cè)數(shù)據(jù),結(jié)合各個(gè)學(xué)科的專業(yè)知識(shí),對(duì)地面物體和地理過程進(jìn)行監(jiān)測(cè)和預(yù)測(cè)的科學(xué)活動(dòng),其目的是更加深刻和科學(xué)地揭示人類社會(huì)活動(dòng)所依賴的地球環(huán)境和人地環(huán)境的規(guī)律和變化,增強(qiáng)人類對(duì)地球的利用和適應(yīng)能力。對(duì)地觀測(cè)研究工作具有非常明顯的信息學(xué)特征。因此,除了地球科學(xué)方法論外,信息科學(xué)方法論也對(duì)對(duì)地觀測(cè)科學(xué)活動(dòng)有非常重要的指導(dǎo)意義。對(duì)地觀測(cè)研究很大程度上是圍繞著“信號(hào)—數(shù)據(jù)—信息—知識(shí)”的數(shù)字化信息過程來展開的,并構(gòu)成了“信息獲取—信息傳輸—信息存儲(chǔ)—信息加工—信息挖掘—信息呈現(xiàn)”的數(shù)據(jù)全生命周期。
從信息科學(xué)的角度來看,對(duì)地觀測(cè)領(lǐng)域知識(shí)發(fā)現(xiàn)的方法主要是確定模型分析方法。在遙感技術(shù)的發(fā)展初期,觀測(cè)數(shù)據(jù)量較小,用于數(shù)據(jù)挖掘分析的理論和模型也不夠成熟,因此更多是依靠專業(yè)人員的目視判讀進(jìn)行信息解譯和勾繪制圖,然后再利用其他學(xué)科的知識(shí)對(duì)獲得的信息進(jìn)行修正。這種方法顯然不能滿足日益增大的觀測(cè)數(shù)據(jù)量和日益復(fù)雜的應(yīng)用模式需求。在數(shù)據(jù)量不斷增大、信息提取精度不斷提高的情況下,依賴于計(jì)算機(jī)處理的數(shù)據(jù)分析新模式出現(xiàn)了。遙感信息反演的定量化成為對(duì)地觀測(cè)信息深度應(yīng)用的趨勢(shì),這種能力也隨著計(jì)算機(jī)處理能力的提升不斷提高,逐步滿足了MB(220字節(jié))、GB(230字節(jié))、TB(240字節(jié))甚至部分PB(250字節(jié))量級(jí)的數(shù)據(jù)分析和信息挖掘工作,從應(yīng)用上解決了較大地理尺度上的復(fù)雜地學(xué)問題。提升計(jì)算機(jī)的處理速度和存儲(chǔ)設(shè)備的規(guī)模已經(jīng)成為解決觀測(cè)數(shù)據(jù)量增大和信息模型復(fù)雜化所帶來的問題的一個(gè)很好的途徑。進(jìn)入21世紀(jì)以后,對(duì)地觀測(cè)技術(shù)又呈現(xiàn)出很多新的發(fā)展趨勢(shì),其中大數(shù)據(jù)的出現(xiàn)給對(duì)地觀測(cè)的研究帶來了全新的挑戰(zhàn)和發(fā)展機(jī)遇。近年來,隨著對(duì)地觀測(cè)需求的增加和技術(shù)的進(jìn)步,各種類型傳感器獲取數(shù)據(jù)的能力不斷提高,使得國(guó)內(nèi)外以專業(yè)化、行業(yè)化為特征的各類數(shù)據(jù)中心迅速崛起,對(duì)地觀測(cè)領(lǐng)域成為數(shù)據(jù)密集型計(jì)算的一個(gè)典型應(yīng)用。整個(gè)對(duì)地觀測(cè)系統(tǒng)流程突出體現(xiàn)了“需求牽引—知識(shí)驅(qū)動(dòng)”的概念和原則,形成了以社會(huì)需求為先導(dǎo)來發(fā)展對(duì)地觀測(cè)衛(wèi)星、傳感器、平臺(tái)、數(shù)據(jù)傳輸、信息處理、應(yīng)用模型及相應(yīng)科學(xué)理論的發(fā)展模式。
在對(duì)地觀測(cè)領(lǐng)域,各類分辨率的衛(wèi)星產(chǎn)生的遙感信息無疑屬于大數(shù)據(jù)。以我國(guó)遙感衛(wèi)星為例,2008年發(fā)射的風(fēng)云三號(hào)A星搭載著20通道的中分辨率光譜成像儀和10通道的可見光近紅外掃描輻射計(jì),實(shí)現(xiàn)了對(duì)整個(gè)地球進(jìn)行連續(xù)觀測(cè),隨后與2010年和2013年發(fā)射的風(fēng)云三號(hào)B星和C星組網(wǎng),對(duì)地球開展每天6次的觀測(cè)。衛(wèi)星觀測(cè)數(shù)據(jù)切割成5分鐘段的數(shù)據(jù)文件,又將250m和1000m中分辨率光譜成像儀的數(shù)據(jù)分別存放,每天產(chǎn)生的數(shù)據(jù)文件和數(shù)據(jù)量均非常巨大。要管理、處理和分發(fā)這些全球數(shù)據(jù)需要運(yùn)用“大數(shù)據(jù)”的方式,而且需要大量的數(shù)據(jù)科學(xué)家開展基礎(chǔ)研究工作,研究算法,從數(shù)據(jù)中實(shí)時(shí)提取地球參數(shù)信息,進(jìn)而為科研、業(yè)務(wù)的數(shù)據(jù)信息需求服務(wù)。這一事實(shí)充分說明了從海量遙感數(shù)據(jù)的獲取、存儲(chǔ)、提取與分發(fā)、數(shù)值處理,到數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn),對(duì)地觀測(cè)活動(dòng)的整個(gè)生命周期體現(xiàn)了大數(shù)據(jù)的“4V”特性:數(shù)據(jù)體量大(volume)、數(shù)據(jù)來源和類型繁多(variety)、數(shù)據(jù)的真實(shí)性難以保證(veracity)、數(shù)據(jù)增加和變化的速度快(velocity)。
國(guó)際上,美國(guó)和歐洲處理和分發(fā)中分辨率數(shù)據(jù)較中國(guó)稍早幾年,美國(guó)處理MODIS數(shù)據(jù)和產(chǎn)品的方式、歐洲處理ENVISAT/MERIS數(shù)據(jù)和產(chǎn)品的方式可為我們借鑒。由于美國(guó)沒有MODIS的后續(xù)衛(wèi)星計(jì)劃,數(shù)據(jù)的供給將隨著傳感器的失效而終止。歐洲的ENVISAT/ MERIS于2012年失效,只能提供2002-2012年間的數(shù)據(jù)。中國(guó)風(fēng)云氣象衛(wèi)星規(guī)劃已持續(xù)到2020年,因而,在未來幾年,中國(guó)的風(fēng)云衛(wèi)星中分辨率遙感數(shù)據(jù)在國(guó)際上將是重要的數(shù)據(jù)源,向全球用戶提供優(yōu)質(zhì)的數(shù)據(jù)和產(chǎn)品,將是中國(guó)數(shù)據(jù)科學(xué)家肩上的重任。
1. 觀測(cè)平臺(tái)和傳感器的數(shù)據(jù)獲取
遙感數(shù)據(jù)獲取是由載有成像傳感器的遙感飛行平臺(tái)來完成的。遙感飛行平臺(tái)的發(fā)展體現(xiàn)在:①先進(jìn)的衛(wèi)星對(duì)地觀測(cè)系統(tǒng),包括大型的綜合衛(wèi)星平臺(tái)與小衛(wèi)星星座;②先進(jìn)的集成高—中—低空飛行作業(yè)的航空遙感平臺(tái);③全面一體化的對(duì)地觀測(cè)綜合系統(tǒng)。未來的傳感器搭載平臺(tái)將是由相輔相成的高中低軌道上的大小衛(wèi)星平臺(tái)和高中低航空平臺(tái)組成的,天地一體化、全球性、立體和多維的觀測(cè)體系[1]。與此同時(shí),對(duì)地觀測(cè)傳感器的數(shù)據(jù)獲取能力將向著“三高”(高空間分辨率、高光譜分辨率和高時(shí)相分辨率)和全天候方向發(fā)展[2,4]。遙感平臺(tái)和傳感器的技術(shù)進(jìn)步使得獲取的數(shù)據(jù)量大幅度增大。比如剛剛退役的Landsat -5衛(wèi)星在其29年的在軌工作期間,平均每年獲取8.6萬(wàn)景影像,每天獲取67GB的觀測(cè)數(shù)據(jù)。而2012年發(fā)射的資源3號(hào)衛(wèi)星,每天的觀測(cè)數(shù)據(jù)獲取量可以達(dá)到10TB以上。類似的傳感器現(xiàn)在已經(jīng)大量部署在衛(wèi)星、飛機(jī)等飛行平臺(tái)上,未來10年全球天、空、地空間中部署的百萬(wàn)計(jì)傳感器每天獲取的觀測(cè)數(shù)據(jù)將超過10PB。
2.天-空-地一體化的對(duì)地觀測(cè)數(shù)據(jù)網(wǎng)絡(luò)傳輸
巨大的觀測(cè)能力需要通過覆蓋天-空-地的高速數(shù)據(jù)傳輸網(wǎng)來實(shí)現(xiàn)對(duì)地觀測(cè)平臺(tái)和全球地面接收站網(wǎng)絡(luò)之間的數(shù)據(jù)傳遞。這種傳輸能力要通過一個(gè)由光纜、地面微波、蜂窩移動(dòng)通信和低、中以及靜止軌道的衛(wèi)星通信系統(tǒng)組成的、服務(wù)于全球的、無縫隙覆蓋的、全球一體化的高速天-空-地對(duì)地觀測(cè)數(shù)據(jù)傳輸網(wǎng)絡(luò)實(shí)現(xiàn)[3,4]?,F(xiàn)在,單個(gè)傳感器的信號(hào)下傳速率已經(jīng)突破了Gbit/s。
3.海量數(shù)據(jù)的快速處理
標(biāo)準(zhǔn)遙感產(chǎn)品的快速生成需要高吞吐量、高精度及自動(dòng)化的分布式數(shù)據(jù)處理能力,以滿足規(guī)?;I(yè)務(wù)化的標(biāo)準(zhǔn)產(chǎn)品生產(chǎn)的要求。標(biāo)準(zhǔn)產(chǎn)品快速處理的突出特點(diǎn)是即時(shí)性和大吞吐量,兼有數(shù)據(jù)密集、計(jì)算密集的性質(zhì)。海量遙感數(shù)據(jù)的處理需要利用龐大的網(wǎng)絡(luò)計(jì)算資源,通過并行計(jì)算、分布式處理以及集群計(jì)算技術(shù)來實(shí)現(xiàn)網(wǎng)絡(luò)化大數(shù)據(jù)量處理及多機(jī)分布式并行處理,以滿足應(yīng)用的需求。我們可以利用網(wǎng)格技術(shù)把分散在不同地理位置的計(jì)算機(jī)組織成一個(gè)“虛擬的超級(jí)計(jì)算機(jī)”,來提供高性能和高吞吐量的計(jì)算環(huán)境,為完成計(jì)算密集型任務(wù)提供有力的手段;同時(shí)充分利用網(wǎng)絡(luò)上多種閑置計(jì)算設(shè)備的處理能力,完成傳統(tǒng)計(jì)算模式下不能完成的各種大數(shù)據(jù)量的計(jì)算任務(wù),從而保證標(biāo)準(zhǔn)產(chǎn)品的快速處理和生成[5]。
4.下一代空間數(shù)據(jù)設(shè)施
下一代空間數(shù)據(jù)設(shè)施建設(shè)將以全球尺度問題求解和多樣化實(shí)體數(shù)據(jù)設(shè)施建設(shè)為前提,基于傳統(tǒng)空間數(shù)據(jù)設(shè)施和聯(lián)邦數(shù)據(jù)設(shè)施,通過松耦合形式建立一種非中心化、虛擬化、按需服務(wù)化和全球化的數(shù)據(jù)服務(wù)體系。分布在世界各地的各種對(duì)地觀測(cè)數(shù)據(jù)中心,將在下一代空間數(shù)據(jù)設(shè)施的連接下,面向特定專題,與高性能的信息化設(shè)施結(jié)合,動(dòng)態(tài)形成大量專業(yè)化的虛擬數(shù)據(jù)設(shè)施。這些設(shè)施不僅可以匯聚和提供超大規(guī)模的數(shù)據(jù),還具備對(duì)數(shù)據(jù)進(jìn)行深度加工和挖掘的計(jì)算能力。地球觀測(cè)組織(GEO)所推動(dòng)建立的全球綜合地球觀測(cè)系統(tǒng)(GEOSS)就是一種下一代空間數(shù)據(jù)設(shè)施,這種設(shè)施管理和處理的都是超大規(guī)模的對(duì)地觀測(cè)數(shù)據(jù)和空間數(shù)據(jù)。
5.熱點(diǎn)信息實(shí)時(shí)挖掘
災(zāi)害信息、軍事信息和應(yīng)急信息等熱點(diǎn)信息實(shí)時(shí)挖掘是對(duì)地觀測(cè)應(yīng)用中非常重要的方面。我們可以充分利用現(xiàn)代對(duì)地觀測(cè)系統(tǒng)靈活、及時(shí)的特點(diǎn),綜合其中豐富的電磁波信息進(jìn)行數(shù)據(jù)分析和挖掘。在傳統(tǒng)遙感應(yīng)用中,在特定數(shù)據(jù)范圍內(nèi)進(jìn)行熱點(diǎn)信息發(fā)現(xiàn)和過濾,一般都需要比較精確的模式、較大的運(yùn)算量和較長(zhǎng)的處理時(shí)間?,F(xiàn)在,在面向事件驅(qū)動(dòng)的應(yīng)用方式下,熱點(diǎn)信息的發(fā)現(xiàn)技術(shù)呈現(xiàn)前置的趨勢(shì),不再僅局限在對(duì)數(shù)據(jù)中心的特定產(chǎn)品數(shù)據(jù)進(jìn)行分析,而是要在盡量靠前的環(huán)節(jié)去挖掘,這樣可以更加準(zhǔn)確和及時(shí)地發(fā)現(xiàn)和預(yù)警。在數(shù)據(jù)流計(jì)算中,可以通過設(shè)計(jì)合適的匹配濾波器或者模式識(shí)別算法來對(duì)輸入數(shù)據(jù)流進(jìn)行動(dòng)態(tài)過濾,以捕捉所需要的熱點(diǎn)數(shù)據(jù),并對(duì)熱點(diǎn)進(jìn)行自動(dòng)檢測(cè)。在軌數(shù)據(jù)熱點(diǎn)檢測(cè)主要應(yīng)用于災(zāi)害識(shí)別與檢測(cè)領(lǐng)域,例如颶風(fēng)、野火、火山爆發(fā)等的自動(dòng)識(shí)別以及整個(gè)傳感網(wǎng)網(wǎng)絡(luò)異常檢測(cè)等[6]。
6.多中心協(xié)同的信息反演
全球環(huán)境變化使得全球的科學(xué)家開始就全球性效應(yīng)和全球尺度問題進(jìn)行聯(lián)合工作,對(duì)地觀測(cè)數(shù)據(jù)作為極其重要的數(shù)據(jù)源在這些研究中發(fā)揮了巨大作用。但是每個(gè)觀測(cè)計(jì)劃都有其在波譜、時(shí)間和空間上的特定性和局限性。一方面體現(xiàn)為數(shù)據(jù)來源于遍布全球的多個(gè)數(shù)據(jù)中心,數(shù)據(jù)量巨大頻繁大量的網(wǎng)絡(luò)傳輸將大大影響科學(xué)家研究工作的效率;另一方面計(jì)算工作本身需要在分布的環(huán)境下進(jìn)行,因?yàn)閷?duì)地觀測(cè)數(shù)據(jù)的處理和分析方法在很多情況下無法由某個(gè)單位單獨(dú)掌握和使用。因此全球性問題的研究需要多個(gè)互補(bǔ)觀測(cè)系統(tǒng)之間的合作,具體而言就是多個(gè)數(shù)據(jù)中心之間協(xié)同合作。對(duì)于這種全球規(guī)模數(shù)據(jù)的處理,各個(gè)存檔數(shù)據(jù)中心分頭進(jìn)行統(tǒng)一參數(shù)下的計(jì)算,顯然比將如此巨大的數(shù)據(jù)量進(jìn)行全球移動(dòng)要更合理,也更為可行。
7.災(zāi)害和響應(yīng)
對(duì)地觀測(cè)技術(shù)通過衛(wèi)星等遠(yuǎn)程儀器獲取關(guān)于地球表面的信息,可以準(zhǔn)確、頻繁和實(shí)時(shí)地提供全球任何地方大片區(qū)域的數(shù)據(jù)。許多傳感器用于災(zāi)害監(jiān)測(cè),例如熱傳感器可以發(fā)現(xiàn)活動(dòng)的火源,紅外傳感器可以發(fā)現(xiàn)洪水,而微波傳感器(能穿透云和煙)可以用于測(cè)量在地震前和地震中或火山噴發(fā)時(shí)地球的變形。對(duì)地觀測(cè)領(lǐng)域的災(zāi)害監(jiān)測(cè)有兩個(gè)難點(diǎn):實(shí)現(xiàn)影像數(shù)據(jù)在軌實(shí)時(shí)處理和高頻率大數(shù)據(jù)量數(shù)據(jù)的快速傳輸。傳感器的高精度定位是實(shí)現(xiàn)影像數(shù)據(jù)在軌實(shí)時(shí)處理的基礎(chǔ)。為了保證變化檢測(cè)、目標(biāo)提取、幾何糾正等增值數(shù)據(jù)產(chǎn)品在軌處理的準(zhǔn)確性,傳感器必須有高精度的定位參數(shù)[7]。
8.數(shù)字地球與未來地球
作為和對(duì)地觀測(cè)銜接的科學(xué)框架,數(shù)字地球是一個(gè)廣泛的以信息高速公路和空間基礎(chǔ)設(shè)施為依托的概念,其核心思想是用數(shù)字化手段整體性解決地球的各種科學(xué)問題,并最大限度地利用信息資源。未來的數(shù)字地球不再局限于進(jìn)行地學(xué)數(shù)據(jù)的表達(dá)和呈現(xiàn),而將成為一種對(duì)地球的各種學(xué)科的數(shù)據(jù)和模型進(jìn)行綜合分析的平臺(tái)。同時(shí),由國(guó)際科學(xué)理事會(huì)(ICSU)和國(guó)際社會(huì)科學(xué)理事會(huì)(ISSC) 共同發(fā)起的“未來地球”計(jì)劃將多學(xué)科交叉研究推向更加重要的位置。不論數(shù)字地球還是未來地球,其多學(xué)科的高度數(shù)據(jù)復(fù)雜性是非常顯著的信息特征。和常規(guī)的單學(xué)科研究不同,在這種綜合研究場(chǎng)景中,信息技術(shù)要面對(duì)的是多學(xué)科復(fù)雜數(shù)據(jù)類型之間的數(shù)據(jù)建模、數(shù)據(jù)發(fā)現(xiàn)和數(shù)據(jù)整合問題。
大數(shù)據(jù)時(shí)代的對(duì)地觀測(cè)技術(shù)為發(fā)展空間地球信息科學(xué)奠定了基礎(chǔ),從對(duì)地觀測(cè)過程的信息學(xué)特征可以清晰地看到此領(lǐng)域大數(shù)據(jù)的發(fā)展趨勢(shì)。但目前大數(shù)據(jù)研究普遍存在著“只有數(shù)據(jù)、沒有利用”的問題,導(dǎo)致搜集數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)付出的成本被浪費(fèi)。據(jù)報(bào)道,通過遙感衛(wèi)星獲得的影像數(shù)據(jù)中,目前得到應(yīng)用的不到5%,多半數(shù)企業(yè)不知如何從數(shù)據(jù)中獲得價(jià)值,因此這個(gè)問題急需解決,下面將介紹一些國(guó)內(nèi)外創(chuàng)新企業(yè)利用大數(shù)據(jù)技術(shù)為遙感圖像應(yīng)用找出路的典型案例,希望能夠擴(kuò)寬我們的視野并從中得到有價(jià)值的借鑒。
1.Digital Globle:遙感圖像+大數(shù)據(jù)分析助力尋找馬航MH370迷蹤
馬航失聯(lián)客機(jī)MH370去哪兒的問題,牽動(dòng)著全世界的心。為了找出謎題的答案,尋回239名乘客的信息,各方為此動(dòng)用了許多手段,包括直接分析飛機(jī)上設(shè)備發(fā)出的各種信號(hào),衛(wèi)星和雷達(dá)的天羅地網(wǎng)等先進(jìn)的科技方式,調(diào)遣各類船只前往可能事故區(qū)域搜網(wǎng)式調(diào)查,可惜都無果而終,就在失聯(lián)事件發(fā)生的12天后,澳大利亞宣布從衛(wèi)星影像中找到了疑似馬航MH370失聯(lián)航班殘骸,廣袤的洋面找一架飛機(jī)如同大海撈針實(shí)屬不易,雖然還未能確定殘骸是否來自于MH370,但在短短幾天內(nèi)在能夠通過海量的衛(wèi)星圖片發(fā)現(xiàn)如此重要的線索可見其背后的數(shù)據(jù)分析能力之強(qiáng)大,支撐這一能力的正是大數(shù)據(jù)技術(shù),快速定位殘骸坐標(biāo)體現(xiàn)了大數(shù)據(jù)技術(shù)在處理海量高分遙感圖像上的速度優(yōu)勢(shì),展示了大數(shù)據(jù)與遙感技術(shù)的融合將在災(zāi)難救援方面的關(guān)鍵作用。
這次提供高性能計(jì)算解決方案和云方案的Adaptive Computing公司和著名的商業(yè)遙感公司DigitalGlobe。
(1)大數(shù)據(jù)解決方案提供商Adaptive Computing
位于美國(guó)猶他州普羅沃的Adaptive Computing。其Moab數(shù)據(jù)中心平臺(tái)正在被如橡樹嶺國(guó)家實(shí)驗(yàn)室、劍橋大學(xué)和The Weather Channel天氣手機(jī)應(yīng)用等全球不同類型的企業(yè)所使用。
Moab是Adaptive Computing公司的Big Workflow數(shù)據(jù)中心軟件包的組成部分,它聲稱能夠統(tǒng)合所有數(shù)據(jù)中心資源、優(yōu)化分析過程并且保證服務(wù)質(zhì)量。顧名思義,Big Workflow能夠簡(jiǎn)化工作流程解決大數(shù)據(jù)問題,還可以將對(duì)大量數(shù)據(jù)的分析傳遞到多個(gè)平臺(tái)、環(huán)境和位置中去。
(2)遙感圖像提供商DigitalGlobe
DigitalGlobe是全球商業(yè)地球成像和地理空間信息市場(chǎng)的領(lǐng)先企業(yè),公司使用DigitalGlobe圖像對(duì)各種行業(yè)都具有極其重要的意義,包括能源勘探,地區(qū)規(guī)劃,環(huán)境監(jiān)控,緊急響應(yīng)規(guī)劃,情報(bào)和3D仿真。其客戶和合作伙伴包括Google以及眾多的國(guó)際公司,政府機(jī)構(gòu)和新聞媒體。
DigitalGlobe操縱多顆高分辨率成像遙感衛(wèi)星,代表著商用遙感成像領(lǐng)域的最前沿,較現(xiàn)有的其他任何商業(yè)化衛(wèi)星圖像而言,它能提供最大尺寸、最大星載儲(chǔ)存容量和高分辨率的圖像。
參與本次搜索行動(dòng)的衛(wèi)星數(shù)據(jù)來自以下5顆衛(wèi)星:Worldview-1(拍攝精度0.5m),Worldview-2(拍攝精度0.46m),GeoeEye-1(拍攝精度0.41m,681km軌道高度),QuickBird(拍攝精度0.61m,450km軌道高度)和IKONOS(拍攝精度0.82m)。
2.Skybox Imaging:邁向大數(shù)據(jù)時(shí)代的商業(yè)遙感成像公司
Skybox成像公司成立于2009年,目前員工不到60人,是名副其實(shí)的“小”公司,但卻在多輪融資中備受風(fēng)投的青睞,麻省理工學(xué)院技術(shù)評(píng)論將其評(píng)為2012年最具“摧毀性”的50家公司之一。
Skybox成像公司認(rèn)為,衛(wèi)星成像具有革新現(xiàn)有產(chǎn)業(yè)和催生新產(chǎn)業(yè)的潛質(zhì),但目前商業(yè)衛(wèi)星成像時(shí)效性差、價(jià)格高昂,衛(wèi)星圖像及其衍生產(chǎn)品卻不是滯后(如谷歌地圖展示的圖像是幾年前的),就是太貴(商業(yè)情報(bào)的每單任務(wù)要價(jià)高達(dá)2000~3000美元);而且經(jīng)常還要給政府的優(yōu)先獲取權(quán)讓路,導(dǎo)致許多需求受到壓抑,許多潛在用途無法實(shí)現(xiàn)。在這些方面,Skybox成像公司認(rèn)為現(xiàn)在的衛(wèi)星圖像與1998年的GPS是很像的。Skybox成像公司要做的就是在衛(wèi)星圖像應(yīng)用領(lǐng)域掀起一場(chǎng)類似GPS的大變革。
首先,在地球成像的特性上,針對(duì)目前商業(yè)衛(wèi)星成像時(shí)效性差、價(jià)格高昂等缺陷,Skybox成像公司將目標(biāo)設(shè)定為近實(shí)時(shí)、低成本和高分辨率,以獲得后來者居上的競(jìng)爭(zhēng)優(yōu)勢(shì)。該公司對(duì)成像數(shù)據(jù)的來源—衛(wèi)星進(jìn)行了精心設(shè)計(jì):由12~24顆成像小衛(wèi)星組成衛(wèi)星星座。衛(wèi)星的設(shè)計(jì),特別是對(duì)衛(wèi)星制造成本的控制,是Skybox成像公司戰(zhàn)略上非常關(guān)鍵的一環(huán)。
按照Skybox成像公司的計(jì)劃,其星座每顆衛(wèi)星能夠不用5000萬(wàn)美元就能建造和發(fā)射,耗資僅為數(shù)字地球(DigitalGlobal)和地球眼(GeoEye)這些傳統(tǒng)成像公司運(yùn)營(yíng)的成像衛(wèi)星的1/10;用省下來的錢來進(jìn)行更大的在軌衛(wèi)星組網(wǎng),從而能夠?qū)崿F(xiàn)一天3~4次對(duì)地球上任一點(diǎn)進(jìn)行拍攝,以滿足客戶對(duì)時(shí)效性的要求。
截至2013年5月,Skybox共獲得融資9100萬(wàn)美金。Skybox募集的資金將主要用于完成兩個(gè)目標(biāo):Skysat-1、Skysat-2的研發(fā)與發(fā)射,招募軟件工程師和數(shù)據(jù)科學(xué)家,而后者,才是Skybox的秘密武器。
圖片和視頻的拍攝結(jié)合基于數(shù)據(jù)挖掘的強(qiáng)大的趨勢(shì)分析能力,將為各行業(yè)的信息決策提供前所未有的信息支持。目前已經(jīng)有大量的實(shí)際應(yīng)用,領(lǐng)域涵蓋從商業(yè)智能和金融貿(mào)易到災(zāi)難救援和人道救援。
為了達(dá)成這一目標(biāo),Skybox正在建設(shè)一套基于Hadoop的大數(shù)據(jù)分析系統(tǒng),用于處理并分析圖像等數(shù)據(jù),從中發(fā)現(xiàn)趨勢(shì)。大量招募數(shù)據(jù)科學(xué)家,尤其是那些在Skybox目標(biāo)市場(chǎng)有從業(yè)經(jīng)驗(yàn)的專家將非常關(guān)鍵。這些專家肩負(fù)著從圖像數(shù)據(jù)中發(fā)現(xiàn)特定領(lǐng)域價(jià)值信息的任務(wù)。
在這些原始衛(wèi)星圖像經(jīng)過大數(shù)據(jù)分析平臺(tái)的處理后,用開發(fā)的基于云的數(shù)據(jù)分發(fā)系統(tǒng),便捷地分發(fā)到客戶手中。用戶隨時(shí)登錄其云服務(wù)平臺(tái),完成身份認(rèn)證,就能抓拍到地球上任一點(diǎn)的最新照片。Skybox成像公司計(jì)劃每8h就更新一次,在一個(gè)用戶界面友好的網(wǎng)頁(yè)平臺(tái)有效地按日程收集、下載和處理圖像產(chǎn)品。
3.禾訊科技:商業(yè)化衛(wèi)星遙感服務(wù)現(xiàn)代化農(nóng)業(yè)生產(chǎn)
農(nóng)業(yè)是生命之源、發(fā)展之基。由于農(nóng)業(yè)資源、環(huán)境及多樣化的生產(chǎn)經(jīng)營(yíng)方式,農(nóng)業(yè)大數(shù)據(jù)涉及到水、土、光、熱、氣候資源,作物育種、種植、施肥、植保、過程管理、收獲、加工、存儲(chǔ)、機(jī)械化等環(huán)節(jié)會(huì)產(chǎn)生大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),而且隨著農(nóng)業(yè)科技創(chuàng)新發(fā)展和物聯(lián)網(wǎng)的應(yīng)用,非結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)快速增長(zhǎng)的勢(shì)頭,其數(shù)量將大大超過結(jié)構(gòu)化數(shù)據(jù),為保障“舌尖上的安全”,利用大數(shù)據(jù)技術(shù)對(duì)不斷產(chǎn)生的大批非結(jié)構(gòu)化數(shù)據(jù)的信息獲取、挖掘、存貯、處理與智慧應(yīng)用是農(nóng)業(yè)現(xiàn)代化不可或缺的手段。
目前公司主營(yíng)業(yè)務(wù)為在全球范圍主產(chǎn)區(qū)內(nèi)監(jiān)測(cè)農(nóng)作物的長(zhǎng)勢(shì)并準(zhǔn)確預(yù)估產(chǎn)量,定量評(píng)估災(zāi)害后農(nóng)業(yè)生產(chǎn)受損程度從而幫助期貨或者現(xiàn)貨從業(yè)者更好的把握基本面情況,預(yù)測(cè)價(jià)格走勢(shì),幫助保險(xiǎn)公司快速對(duì)災(zāi)害進(jìn)行準(zhǔn)確響應(yīng)。服務(wù)對(duì)象包括政府、農(nóng)產(chǎn)品期貨公司、農(nóng)產(chǎn)品貿(mào)易公司、財(cái)產(chǎn)保險(xiǎn)公司等。
美國(guó)農(nóng)業(yè)部是目前市場(chǎng)上唯一的權(quán)威信息壟斷發(fā)布機(jī)構(gòu),禾訊公司成立之初就已“打破美國(guó)農(nóng)業(yè)部農(nóng)業(yè)信息領(lǐng)域壟斷,讓中國(guó)也能夠發(fā)出自己的全球糧食生產(chǎn)情況的聲音”為目標(biāo),近幾個(gè)月公開發(fā)布的信息也證明了其實(shí)力:近期連續(xù)發(fā)布出來的大宗作物估產(chǎn)信息比美國(guó)農(nóng)業(yè)部提前半個(gè)月時(shí)間,信息準(zhǔn)確度也保持在97%到99%之間。
創(chuàng)始人向濤將禾訊定義為一家衛(wèi)星大數(shù)據(jù)應(yīng)用的公司,其運(yùn)作模式的本質(zhì)就是通過整合各種衛(wèi)星數(shù)據(jù),搭建出一個(gè)開放的數(shù)據(jù)平臺(tái)為社會(huì)提供服務(wù),將遙感衛(wèi)星技術(shù)和人們的真實(shí)需求結(jié)合起來,從而建成一個(gè)公開的信息服務(wù)平臺(tái),利用衛(wèi)星提供全球范圍內(nèi)最新的、最客觀的動(dòng)態(tài)信息監(jiān)測(cè)服務(wù),讓所有對(duì)此類信息感興趣的個(gè)人或機(jī)構(gòu)都可以通過該平臺(tái)進(jìn)行查閱。形式上就如同一個(gè)網(wǎng)上商店,將數(shù)據(jù)在平臺(tái)上開放,一些機(jī)構(gòu)或個(gè)人就能夠基于我們的開放數(shù)據(jù)做各種分析,經(jīng)過分析形成的模塊就可以為用戶提供有價(jià)值的服務(wù)。
隨著未來形勢(shì)的變化,衛(wèi)星數(shù)量會(huì)越來越多,經(jīng)由衛(wèi)星產(chǎn)生的數(shù)據(jù)也將出現(xiàn)爆炸式增長(zhǎng)。同時(shí),隨著全球化的迅猛發(fā)展,人們的生活會(huì)被各種看不見、摸不著、甚至很遙遠(yuǎn)地方發(fā)生的事情所影響,蝴蝶效應(yīng)愈發(fā)明顯,人們對(duì)世界范圍內(nèi)的信息需求也會(huì)越來越大。農(nóng)業(yè)乃我國(guó)立國(guó)之本,禾訊利用大數(shù)據(jù)技術(shù)輔佐商業(yè)遙感成像為關(guān)系到國(guó)民生活基本保障的農(nóng)業(yè)保駕護(hù)航可謂好鋼用在刀刃上,必將大有作為。
1.從量變到質(zhì)變
對(duì)地觀測(cè)領(lǐng)域的大數(shù)據(jù)現(xiàn)象,在不同尺度上對(duì)現(xiàn)有的技術(shù)水平提出了挑戰(zhàn)。對(duì)地觀測(cè)領(lǐng)域的大數(shù)據(jù)現(xiàn)象包括4個(gè)方面:①數(shù)據(jù)量劇增,已經(jīng)達(dá)到PB量級(jí);②數(shù)據(jù)類型多樣,來自空基、天基的各種不同成像機(jī)理及數(shù)據(jù)獲取方式、不同時(shí)空分辨率和光譜特性的傳感器數(shù)據(jù)和地面臺(tái)站的觀測(cè)數(shù)據(jù)及實(shí)驗(yàn)?zāi)M數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)等構(gòu)成了紛繁復(fù)雜的數(shù)據(jù)類型;③應(yīng)用場(chǎng)景眾多,目前對(duì)地觀測(cè)數(shù)據(jù)在氣象、水文、能源、農(nóng)林種植、工礦開發(fā)及災(zāi)害應(yīng)急等諸多領(lǐng)域體現(xiàn)了其應(yīng)用價(jià)值;④應(yīng)用服務(wù)時(shí)間尺度多種多樣,天氣預(yù)報(bào)、災(zāi)害應(yīng)急等需要實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的數(shù)據(jù)分發(fā)反饋,而地圖測(cè)繪、土地變化等則需要中長(zhǎng)期的對(duì)地觀測(cè)數(shù)據(jù),不需要高時(shí)效性[9]。
2.多數(shù)據(jù)中心協(xié)同處理
傳統(tǒng)的對(duì)地觀測(cè)知識(shí)發(fā)現(xiàn)的科研模式在大數(shù)據(jù)情境下已經(jīng)不再適用,原因是傳統(tǒng)的科研模型不具有普適性且支持的數(shù)據(jù)量受限,受到數(shù)據(jù)傳輸、存儲(chǔ)及時(shí)效性需求的制約等。因此,新知識(shí)正更多來自于大數(shù)據(jù)的使用,數(shù)據(jù)生命周期中信息學(xué)流程的變化正引發(fā)傳統(tǒng)科研模式的變化。以“用戶需求”為導(dǎo)向的對(duì)地觀測(cè)活動(dòng),需要為有不同應(yīng)用需求的用戶提供恰當(dāng)?shù)臄?shù)據(jù)產(chǎn)品及信息資源,要求對(duì)地觀測(cè)數(shù)據(jù)實(shí)時(shí)處理及快速分發(fā)。實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵是多中心協(xié)同計(jì)算,通過構(gòu)建分布式多中心計(jì)算環(huán)境,將大量松散綁定或獨(dú)立的數(shù)據(jù)處理任務(wù)動(dòng)態(tài)分配給閑置計(jì)算資源,實(shí)現(xiàn)資源動(dòng)態(tài)調(diào)度及任務(wù)分配。目前需要解決的問題是如何實(shí)現(xiàn)有效地調(diào)度計(jì)算資源及跨異構(gòu)系統(tǒng)計(jì)算時(shí)如何維持系統(tǒng)的高性能等。
3.模型驅(qū)動(dòng)到數(shù)據(jù)中的知識(shí)發(fā)現(xiàn)模式
傳統(tǒng)的數(shù)據(jù)生命周期信息學(xué)流程是從數(shù)據(jù)到信息,再通過模型進(jìn)行知識(shí)發(fā)現(xiàn)。而隨著數(shù)據(jù)量的爆炸式增長(zhǎng),可用模型已不能對(duì)海量數(shù)據(jù)進(jìn)行模擬推演,因此由模型發(fā)現(xiàn)知識(shí)的傳統(tǒng)方法已經(jīng)不能適應(yīng)大數(shù)據(jù)時(shí)代的需求。
4.多學(xué)科交叉的科學(xué)研究
全球性的資源、環(huán)境問題日益凸顯,使得全球變化問題和可持續(xù)發(fā)展成為全世界科學(xué)家關(guān)注的焦點(diǎn)和研究的重點(diǎn)。全球變化的研究對(duì)象包括大氣圈、水圈、生物圈、人文圈并涉及外層空間,需要理解并掌握這些圈層中各個(gè)要素之間的物理、化學(xué)、生物、人文的影響過程和規(guī)律,需要自然科學(xué)、社會(huì)科學(xué)和工程科學(xué)相融合的面向大數(shù)據(jù)的新科學(xué)研究方法,也需要科學(xué)數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)之間的全新耦合和整合方法。
[1] 李德仁.地球空間信息學(xué)的機(jī)遇.武漢大學(xué)學(xué)報(bào),2004;29(9):753~758.
[2] 王毅.國(guó)際新一代對(duì)地觀測(cè)系統(tǒng)的發(fā)展.地球科學(xué)進(jìn)展,2005;20(9):980~989.
[3] 承繼成.數(shù)字地球?qū)д?科學(xué)出版社,2006.
[4] 國(guó)家遙感中心.地球空間科技信息科學(xué)技術(shù)進(jìn)展,2009;1.
[5] 李盛陽(yáng),張愛軍,朱重光,等.基于網(wǎng)絡(luò)的遙感圖像快速處理.計(jì)算機(jī)工程,2007;33(6):35~37.
[6] Hampapuran Ramapriyan,G.M.,Stephen Morse,et al.Intelligent systems technologies to assist in utilization of earth observation data. Earth Observing Systems IX,2004;5542.
[7] 李德仁,沈欣.論智能化對(duì)地觀測(cè)系統(tǒng),2005;30(4):9~12.
[8] Chen,N,et al.Geo-processing workflow driven wildfire hot pixel detection under sensor web environment,Computers &Geosciences,2010;36(3):362~372.
[9] 李國(guó)慶,鄔延群.大數(shù)據(jù)時(shí)代的對(duì)地觀測(cè)科學(xué)研究.中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊,2013;第九卷,第九期.