国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

多源遙感資源協(xié)同調(diào)度系統(tǒng)架構(gòu)技術(shù)研究

2013-11-01 07:17:54曲海成張鈞萍陳雨時
關(guān)鍵詞:異構(gòu)數(shù)據(jù)中心分布式

曲海成,張鈞萍,陳雨時

(1.哈爾濱工業(yè)大學(xué) 信息工程系,哈爾濱 150001;2.遼寧工程技術(shù)大學(xué) 軟件學(xué)院,遼寧 葫蘆島 125105)

0 引 言

隨著中國空間技術(shù)的快速發(fā)展,我國已經(jīng)具備了強大的對地觀測數(shù)據(jù)區(qū)長獲取能力,如何對這些海量遙感影像數(shù)據(jù)進行有效管理,進一步發(fā)揮遙感衛(wèi)星在國民經(jīng)濟發(fā)展、災(zāi)害預(yù)報與評估、科學(xué)研究領(lǐng)域的作用,一直是遙感衛(wèi)星數(shù)據(jù)應(yīng)用領(lǐng)域的熱點問題[1-2]。多源遙感資源協(xié)同調(diào)度服務(wù)系統(tǒng)也是在這一背景下提出的。目前遙感衛(wèi)星數(shù)據(jù)應(yīng)用系統(tǒng)多基于C/S結(jié)構(gòu),應(yīng)用于特定的遙感數(shù)據(jù)領(lǐng)域,系統(tǒng)可移植性和靈活性不高,關(guān)鍵數(shù)據(jù)保密性處理級別不夠高,達不到快速響應(yīng)和處理軍民共享遙感數(shù)據(jù)的實際需求[3-4]。為此,提出了集群環(huán)境下,基于JEE6框架、引入 Web服務(wù)和柔性分布式工作流技術(shù)的多源遙感協(xié)同調(diào)度軟件系統(tǒng)架構(gòu),來解決快速共享海量遙感數(shù)據(jù)服務(wù)過程中存在的軟件系統(tǒng)架構(gòu)缺陷問題[5-7]。下面就按照軟件工程中的模型驅(qū)動體系架構(gòu)理論,分業(yè)務(wù)需求、體系結(jié)構(gòu)、軟件設(shè)計和軟件實現(xiàn)幾部分來闡述多層次遙感資源協(xié)同調(diào)度軟件架構(gòu)的設(shè)計與實現(xiàn)。

1 系統(tǒng)需求

1.1 系統(tǒng)功能需求

目前,衛(wèi)星遙感技術(shù)與地面勘測、航空遙感一起,形成了全方位、立體化的對地觀測體系,具有多頻率、全天候、高精度、高效、快速的特點[2]。然而,在實際遙感數(shù)據(jù)應(yīng)用處理過程中仍面臨以下問題。

1.1.1 海量遙感數(shù)據(jù)的快速組織與查詢[8]

系統(tǒng)處理的數(shù)據(jù)有這么幾個特點:要處理的遙感資源數(shù)據(jù)量大,達到PB量級;數(shù)據(jù)中心分布在不同區(qū)域,數(shù)據(jù)格式不統(tǒng)一,且這些數(shù)據(jù)由不同體系結(jié)構(gòu)的管理系統(tǒng)管理;客戶端請求數(shù)據(jù)量大,很難滿足在客戶端瀏覽器下進行三維顯示的需求。這些特點都給目前遙感數(shù)據(jù)處理提出了新的問題,即在現(xiàn)有硬件和網(wǎng)絡(luò)環(huán)境下,如何解決分布式異構(gòu)海量遙感數(shù)據(jù)的存儲和快速檢索問題。

1.1.2 要處理的業(yè)務(wù)流程越來越復(fù)雜

原有系統(tǒng)業(yè)務(wù)流程處理一般都是固定流程設(shè)計,很難隨著應(yīng)用需求的變化進行調(diào)整。當(dāng)前軟件系統(tǒng)需要滿足客戶、調(diào)度中心、規(guī)劃中心和數(shù)據(jù)資源中心之間的實時數(shù)據(jù)交互功能??蛻粢詾g覽器模式提交的數(shù)據(jù)請求,然后經(jīng)過數(shù)據(jù)加密和過濾技術(shù)到達調(diào)度中心,進行數(shù)據(jù)請求分析和負載均衡處理,再進行快速數(shù)據(jù)檢索,對檢索結(jié)果進行安全后處理再通過瀏覽器返回給客戶;當(dāng)已有數(shù)據(jù)不滿足用戶需求時,調(diào)度中心需要將數(shù)據(jù)請求發(fā)送到數(shù)據(jù)規(guī)劃中心,然后自動協(xié)調(diào)客戶、規(guī)劃中心和數(shù)據(jù)資源中心3者之間的數(shù)據(jù)和請求交互;當(dāng)出現(xiàn)緊急任務(wù)時,監(jiān)控中心能夠?qū)崟r改變系統(tǒng)運行狀態(tài),協(xié)調(diào)規(guī)劃中心和數(shù)據(jù)中心對用戶的數(shù)據(jù)請求快速做出反應(yīng)。上述復(fù)雜業(yè)務(wù)流程僅靠狀態(tài)控制和一般工作流技術(shù)解決不了。

上述問題是軟件系統(tǒng)必須解決的關(guān)鍵問題,還有其他一些問題如系統(tǒng)運行在基于Unix系統(tǒng)的集群環(huán)境下和監(jiān)控端實時顯示調(diào)度信息、數(shù)據(jù)交互的安全性等[9-10],這些問題都給系統(tǒng)軟件架構(gòu)提出了新的要求。

1.2 系統(tǒng)功能結(jié)構(gòu)

經(jīng)過大量實地考察和專家論證,結(jié)合目前先進的軟件開發(fā)及管理經(jīng)驗,給出了軍民共享多源遙感資源協(xié)同調(diào)度服務(wù)系統(tǒng)主要功能實現(xiàn)框圖,如圖1所示。

圖1 系統(tǒng)功能框圖

系統(tǒng)主要通過調(diào)度中心實現(xiàn)客戶與不同遙感資源中心之間的信息交互,即:客戶通過門戶網(wǎng)站提交數(shù)據(jù)訂單請求到調(diào)度中心,調(diào)度中心根據(jù)數(shù)據(jù)請求的狀態(tài)和資源服務(wù)器的負載情況進行調(diào)度。如果有客戶請求的數(shù)據(jù),則對授權(quán)用戶提供數(shù)據(jù)下載服務(wù);如果沒有數(shù)據(jù)需要生產(chǎn),則將請求提交給任務(wù)規(guī)劃部門進行規(guī)劃,然后將規(guī)劃方案提交數(shù)據(jù)生產(chǎn)部門進行生產(chǎn),最后將生產(chǎn)好的數(shù)據(jù)提交給調(diào)度中心,調(diào)度中心通知用戶下載。系統(tǒng)涉及客戶、調(diào)度中心、規(guī)劃中心、第三方資源數(shù)據(jù)中心之間的復(fù)雜數(shù)據(jù)交互過程。

新的軟件系統(tǒng)架構(gòu)要求具有開放性和靈活性,能與其他異構(gòu)系統(tǒng)進行無縫數(shù)據(jù)交互,且能夠?qū)崿F(xiàn)并行處理大規(guī)模數(shù)據(jù)的能力。為此,軟件系統(tǒng)中引入面向服務(wù)架構(gòu)和分布式工作流技術(shù),來解決上述問題。

2 Web服務(wù)與協(xié)同工作流技術(shù)

2.1 Web服務(wù)技術(shù)

Web服務(wù)技術(shù)是一項獨立于應(yīng)用程序開發(fā)平臺、具有松耦合特性并且滿足一系列Web協(xié)議標準的計算機技術(shù)[11]。Web服務(wù)技術(shù)為基于Internet/Intranet分布式系統(tǒng)的資源共享和功能集成提供靈活解決方案。它通過精確定義的接口來提供相關(guān)服務(wù),屏蔽了實現(xiàn)服務(wù)具體的開發(fā)平臺和程序設(shè)計語言,使得客戶不用關(guān)心服務(wù)內(nèi)部實現(xiàn)細節(jié),只需要提供相應(yīng)的參數(shù),就能夠獲得需要的數(shù)據(jù);另外Web服務(wù)采用開放的標準進行數(shù)據(jù)描述、傳輸和交換,對關(guān)鍵數(shù)據(jù),方便加入第三方組件進行加密和過濾處理。對本系統(tǒng)而言,采用Web服務(wù)技術(shù)無疑是最佳選擇。因為調(diào)度系統(tǒng)與網(wǎng)站、規(guī)劃中心和數(shù)據(jù)中心之間都是異構(gòu)系統(tǒng)平臺,且物理上分別部署在不同區(qū)域,采用基于SOA架構(gòu)的軟件系統(tǒng),統(tǒng)一了交互數(shù)據(jù)的格式,便于異構(gòu)系統(tǒng)之間數(shù)據(jù)交互。

2.2 面向服務(wù)的分布式協(xié)同工作流技術(shù)

傳統(tǒng)的工作流技術(shù)不能在不同的系統(tǒng)之間進行有效地集成,或者使得集成后的業(yè)務(wù)流程變得非常復(fù)雜。而面向服務(wù)架構(gòu)則可以很好地解決業(yè)務(wù)流程無法集成的問題,它可以根據(jù)系統(tǒng)的需求,通過網(wǎng)絡(luò)對松散耦合的粗粒度應(yīng)用組件服務(wù)進行分布式部署、組合和使用。因此,根據(jù)分布式工作流技術(shù)的特點以及面向服務(wù)的特性,將分布式工作流技術(shù)與面向服務(wù)相結(jié)合,提出基于SOA架構(gòu)的分布式工作流模型,以適應(yīng)開放、分布、異構(gòu)、動態(tài)的遙感數(shù)據(jù)處理的復(fù)雜應(yīng)用需求[12-13]。

3 多源遙感資源協(xié)同調(diào)度系統(tǒng)架構(gòu)設(shè)計

3.1 四層架構(gòu)理論模型

圖2 四層架構(gòu)設(shè)計方案

目前,處理海量遙感數(shù)據(jù)的系統(tǒng)多采用3層結(jié)構(gòu),即應(yīng)用層、邏輯層和數(shù)據(jù)層。這種結(jié)構(gòu)特點是系統(tǒng)結(jié)構(gòu)相對簡單,實現(xiàn)起來相對容易,各層間耦合度較大,一般用于局域網(wǎng)范圍內(nèi),適合處理集中式數(shù)據(jù)?,F(xiàn)系統(tǒng)要求:1)本地數(shù)據(jù)中心實時獲取異地數(shù)據(jù)中心的數(shù)據(jù),滿足客戶通過瀏覽器和其他客戶端獲取空間數(shù)據(jù);2)同時要求調(diào)度系統(tǒng)支持異地異構(gòu)數(shù)據(jù)交互,并進行數(shù)據(jù)安全驗證;3)通過客戶端實時監(jiān)控系統(tǒng)運行狀態(tài)和任務(wù)交互情況。上述要求在三層結(jié)構(gòu)下無法同時滿足,基于此,提出四層架構(gòu)設(shè)計方案(如圖2所示),即在三層方案基礎(chǔ)上,增加支撐層。支撐層主要是框架和組件層,通過采用第三方成熟框架和組件,進一步劃分邏輯層和數(shù)據(jù)層之間的界限,邏輯層不直接與數(shù)據(jù)交互,通過支撐層獲得數(shù)據(jù)。這樣設(shè)計可降低邏輯層和數(shù)據(jù)層之間的耦合度,便于對異構(gòu)海量數(shù)據(jù)的存取,同時,采用框架組件設(shè)計,便于系統(tǒng)更新和移植。

3.2 四層架構(gòu)方案實施

針對于上節(jié)的四層設(shè)計模式,在系統(tǒng)中四層架構(gòu)具體描述如圖3所示。

圖3 四層設(shè)計的具體功能部署

這4個層次具體實現(xiàn)描述如下:

1)應(yīng)用層以前臺網(wǎng)站應(yīng)用為主,主要實現(xiàn)遙感數(shù)據(jù)訂單請求、查詢、和修改;任務(wù)規(guī)劃請求的查詢和修改;歷史數(shù)據(jù)查詢和快速視圖數(shù)據(jù)檢索等任務(wù)。

2)中間層主要是業(yè)務(wù)邏輯接口層。將各具體任務(wù)封裝成Web服務(wù),同時構(gòu)建與第三方軟件系統(tǒng)數(shù)據(jù)交互的Web服務(wù)接口。

3)支撐系統(tǒng)運行的框架和組件層。主要包括JEE6框架、分布式工作流組件、空間數(shù)據(jù)訪問組件、集群管理組件和數(shù)據(jù)加密與過濾組件等。

4)基礎(chǔ)數(shù)據(jù)層。這一層主要完成本地數(shù)據(jù)中心與其他分散數(shù)據(jù)中心之間的數(shù)據(jù)同步以及對支撐系統(tǒng)運行的關(guān)系數(shù)據(jù)和其他類型數(shù)據(jù)的管理。

以上4個層次的具體軟件系統(tǒng)部署情況[13]如下圖4所示。

圖4 大系統(tǒng)軟件部署圖

整個大系統(tǒng)主要涉及6個子軟件系統(tǒng),其中系統(tǒng)1為前臺網(wǎng)站系統(tǒng),2為采用基于MFC的搭建三維數(shù)據(jù)顯示系統(tǒng),3為采用C#語言搭建的任務(wù)規(guī)劃系統(tǒng),5為本地數(shù)據(jù)中心采用Java GUI技術(shù)搭建,4和6分別是調(diào)度中心的服務(wù)器端和客戶端軟件系統(tǒng)。

由于規(guī)劃中心、三維顯示和各數(shù)據(jù)中心的系統(tǒng)為已有系統(tǒng),且采用不同技術(shù)搭建,給系統(tǒng)集成帶來困難。調(diào)度中心是整個系統(tǒng)核心部分,調(diào)度中心的實現(xiàn)技術(shù)關(guān)系著整個系統(tǒng)的成敗。為此,調(diào)度中心服務(wù)器端采用基于JEE6框架搭建,部署Web Service服務(wù)和工作流引擎,運行到Unix服務(wù)器中;監(jiān)控端采用Java GUI設(shè)計,通過Socket接口與服務(wù)器端實時通信,監(jiān)控系統(tǒng)的運行狀態(tài);前臺網(wǎng)站主要采用JSP和Ajax技術(shù)搭建,后臺支持Web服務(wù)器為Weblogic和GeoServer。

3.3 系統(tǒng)架構(gòu)分析

整個大軟件系統(tǒng)比較復(fù)雜,由調(diào)度系統(tǒng)將前臺網(wǎng)站、規(guī)劃中心和數(shù)據(jù)中心等系統(tǒng)統(tǒng)一成一個有機整體。這一軟件系統(tǒng)架構(gòu)設(shè)計,有效地實現(xiàn)了海量異構(gòu)遙感數(shù)據(jù)的共享和快速數(shù)據(jù)服務(wù),尤其適用于對數(shù)據(jù)安全要求較高的軍民共享遙感數(shù)據(jù)管理系統(tǒng)。這一架構(gòu)先進性主要體現(xiàn)在以下幾個方面[14]:

1)基于應(yīng)用層、功能邏輯層、功能組件支撐層和基礎(chǔ)數(shù)據(jù)層的多層次軟件體系結(jié)構(gòu)設(shè)計,使得整體軟件結(jié)構(gòu)層次清晰、功能劃分明確,系統(tǒng)結(jié)構(gòu)穩(wěn)定,易于系統(tǒng)升級和擴展。

2)基于混合結(jié)構(gòu)的調(diào)度系統(tǒng),既實現(xiàn)了異構(gòu)軟件系統(tǒng)之間的數(shù)據(jù)交互,又實現(xiàn)了對交互數(shù)據(jù)的實時監(jiān)控。

3)面向服務(wù)的協(xié)同分布式工作流設(shè)計,有效利用集群資源,實現(xiàn)對復(fù)雜業(yè)務(wù)流程的動態(tài)管理,增加了系統(tǒng)的靈活性,給異構(gòu)環(huán)境下復(fù)雜數(shù)據(jù)流處理提供了可行方案。

但是系統(tǒng)整體比較復(fù)雜,配置管理起來技術(shù)難度較大;另外基于第3方組件的數(shù)據(jù)加密與過濾技術(shù),對系統(tǒng)性能影響較大。

4 結(jié) 語

經(jīng)過實驗室模擬仿真運行和真實環(huán)境試運行結(jié)果來看,本軟件系統(tǒng)架構(gòu)能夠滿足多用戶對多源異構(gòu)遙感數(shù)據(jù)服務(wù)的需求,有效地實現(xiàn)了對多源異構(gòu)遙感數(shù)據(jù)的綜合處理(包括存儲、傳輸與顯示等),提高了系統(tǒng)數(shù)據(jù)訪問的安全性。系統(tǒng)在實時數(shù)據(jù)監(jiān)控、并行數(shù)據(jù)訪問能力、多模式多狀態(tài)任務(wù)流轉(zhuǎn)流程處理方面也都有不錯表現(xiàn)。

本文提出的軟件結(jié)構(gòu)模式,可應(yīng)用到面向各個應(yīng)用部門用戶,管理和組織所有衛(wèi)星下傳的圖像數(shù)據(jù),廣泛服務(wù)于特殊情況的減災(zāi)救災(zāi)、應(yīng)急指揮以及常規(guī)的農(nóng)、林、城市規(guī)劃等關(guān)系國計民生的各個領(lǐng)域,具有一定的推廣示范應(yīng)用價值。

[1]閆秀英,傅俏燕.國產(chǎn)遙感衛(wèi)星數(shù)據(jù)應(yīng)用現(xiàn)狀及特點分析[J].衛(wèi)星應(yīng)用,2010(3):48-49.

[2]周成虎,歐陽,李增元.我國遙感數(shù)據(jù)的集成與共享研究[J].中國工程科學(xué),2008,10(6):51-55.

[3]馮鐘葵,張洪群,王萬玉,等.遙感衛(wèi)星數(shù)據(jù)獲取與處理關(guān)鍵技術(shù)概述[J].遙感信息,2008,8(4):91-97.

[4]戴芹,劉建波,劉士斌.海量衛(wèi)星遙感數(shù)據(jù)共享的關(guān)鍵技術(shù)[J].計算機工程,2008,34(6):283-285.

[5]徐地保,趙小祥.海量遙感影像數(shù)據(jù)共享服務(wù)系統(tǒng)的工作流程[J].現(xiàn)代測繪,2010,33(5):13-15.

[6]賀春林,騰云,彭仁明.一種基于ECA規(guī)則的 Web Service工作流模型的研究[J].計算機科學(xué),2009,36(8):112-115.

[7]鐘九生,江南,胡斌,等.面向城市應(yīng)用的多源遙感影像服務(wù)平臺設(shè)計與實現(xiàn)[J].地球信息科學(xué)學(xué)報,2012,14(1):116-122.

[8]ZAMBOULIS L,MARTIN N,POULOVASSILIS A.Query performance evaluation of an architecture for finegrained integration of heterogeneous grid data sources[J].Future Generation Computer Systems,2010,26:1073-1091.

[9]許勝禮,王世卿,畢戰(zhàn)科.基于GIS技術(shù)的物流信息系統(tǒng)設(shè)計架構(gòu)[J].計算機工程與設(shè)計,2010,31(6):1259-1263.

[10]章小衛(wèi),顧夢遠,李斌.一種基于工作流自適應(yīng)軟件系統(tǒng)的監(jiān)控模型[J].微電子學(xué)與計算機,2012,29(11):25-28.

[11]李晉,杜慶東,穆寶良.基于SOA的數(shù)據(jù)挖掘服務(wù)整合研究與設(shè)計[J].沈陽師范大學(xué)學(xué)報:自然科學(xué)版,2010,28(2):218-220

[12]LI Fan,ZHANG Xu,WANG Hongrong.A Study of Distributed Remote Sensing Data Sharing Platforms Based on Web Services[C]∥2010International Symposium on Computational Intelligence and Design.2010:72-75.

[13]FRITZ S,MACCALLUM I,SCHILL S,et al.Geo-Wiki:An online platform for improving global land cover[J].Environmental Modelling & Software,2012,31:110-123.

[14]FENG Yuhong,F(xiàn)ENG Shengzhong,ZHAO Zhongying,et al.A comparison study between distributed and centralized Job workflow execution models[J].Bulletin of Advanced Technology Research,2009,3(8):18-23.

猜你喜歡
異構(gòu)數(shù)據(jù)中心分布式
酒泉云計算大數(shù)據(jù)中心
試論同課異構(gòu)之“同”與“異”
民航綠色云數(shù)據(jù)中心PUE控制
電子測試(2018年11期)2018-06-26 05:56:24
分布式光伏熱錢洶涌
能源(2017年10期)2017-12-20 05:54:07
分布式光伏:爆發(fā)還是徘徊
能源(2017年5期)2017-07-06 09:25:54
overlay SDN實現(xiàn)異構(gòu)兼容的關(guān)鍵技術(shù)
LTE異構(gòu)網(wǎng)技術(shù)與組網(wǎng)研究
基于DDS的分布式三維協(xié)同仿真研究
雷達與對抗(2015年3期)2015-12-09 02:38:50
基于云計算的交通運輸數(shù)據(jù)中心實現(xiàn)與應(yīng)用
在新興異構(gòu)SoCs上集成多種系統(tǒng)
昆山市| 汶川县| 巴彦县| 高邮市| 怀仁县| 贵阳市| 平度市| 邯郸县| 田阳县| 安平县| 文昌市| 乌鲁木齐县| 和田县| 论坛| 安义县| 富顺县| 平安县| 左云县| 大兴区| 焉耆| 镶黄旗| 尚义县| 海城市| 乌鲁木齐县| 贡嘎县| 阳西县| 汾阳市| 若羌县| 金阳县| 江源县| 松桃| 博白县| 磐石市| 云安县| 藁城市| 高要市| 三江| 邢台县| 石家庄市| 封开县| 丰顺县|