孟祥輝+李浩川+姚璐+王少坤
隨著計算機信息技術(shù)的不斷發(fā)展和進(jìn)步,地理監(jiān)測以及遙感數(shù)據(jù)處理工作也受到其相應(yīng)的影響,如何依托分布式并行計算技術(shù)依托下的高分遙感處理各種電子政務(wù)受到有關(guān)部門和專家學(xué)者的重視,本文就對遙感影響數(shù)據(jù)并行處理計算模型、結(jié)構(gòu)層次、同步通信等問題來對遙感影像進(jìn)行線性拉伸并行處理,從而保證其有效性和實用性不受到影響。
【關(guān)鍵詞】遙感處理 電子政務(wù) 分布式并行計算技術(shù)
1 項目背景以及要求
1.1 項目背景
高分遙感在電子政務(wù)地理空間基礎(chǔ)信息庫建設(shè)與服務(wù)中的應(yīng)用示范項目,是高分重要的應(yīng)用示范項目,依托“國家自然資源和地理空間基礎(chǔ)信息庫”一期工作,重點解決高分辨率遙感衛(wèi)星數(shù)據(jù)與國家自然資源和地理空間基礎(chǔ)信息庫的融合,推進(jìn)高分?jǐn)?shù)據(jù)在電子政務(wù)地理空間基礎(chǔ)信息庫的綜合應(yīng)用示范,形成高分?jǐn)?shù)據(jù)及其電子政務(wù)應(yīng)用產(chǎn)品通過共享平臺進(jìn)行分發(fā)和共享的機制和格局,為國家宏觀綜合決策服務(wù),包括資源環(huán)境綜合監(jiān)測評價、災(zāi)后重建規(guī)劃實施效果監(jiān)測、區(qū)域發(fā)展戰(zhàn)略研究和區(qū)域規(guī)劃、資源環(huán)境領(lǐng)域規(guī)劃和重大基本建設(shè)項目跟蹤及效益監(jiān)測以及海洋資源開發(fā)和經(jīng)濟發(fā)展的監(jiān)測工作等,以及為政府綜合部門、業(yè)務(wù)服務(wù)和電子政務(wù)業(yè)務(wù)部門及社會公眾服務(wù)。
1.2 要求
為滿足海量遙感數(shù)據(jù)的需要,建設(shè)了高分遙感數(shù)據(jù)集群式生產(chǎn)系統(tǒng),該系統(tǒng)具有高效、自動、智能的技術(shù)特性,遙感影像處理的基礎(chǔ)支撐平臺,提供統(tǒng)一的數(shù)據(jù)模型、業(yè)務(wù)模型接口,能夠支撐起大規(guī)模遙感影像的集群式并行自動化處理。
2 遙感影像處理結(jié)構(gòu)層次
遙感影像操作可以劃分為三個不同的層次或者類別,下面就對其進(jìn)行一一分析。首先為像素級操作,這是通過一副像素影像產(chǎn)生另外的像素影像,包括鄰域、括點、幾何操作等,很多數(shù)據(jù)都是有規(guī)則、幾何、局部。而這種幾何操作在進(jìn)行遙感影像處理時表現(xiàn)為幾何校正,因為裝載在飛機、衛(wèi)星的成像傳感器受到飛機姿態(tài)、衛(wèi)星、時間、運動、氣候等不同因素的影響,其攝取的圖像可能出現(xiàn)幾何畸變的現(xiàn)象,因此,要能夠完成旋轉(zhuǎn)、重新定位、任意彎曲等操作;其次,其具有特征性操作的特征,這也是相關(guān)影像產(chǎn)生的特征,包括區(qū)域和線,常規(guī)性的特征包括紋理、形狀、三維特征、梯度特征,一般選擇一致的測度,包括方差、均值來進(jìn)行處理和描述,其顯示特征區(qū)域進(jìn)行的可行性,而且,還具有非局部、象征意義的特性,在局部區(qū)域并行的同時,還要能夠?qū)φw加以處理;再者具有目標(biāo)級操作的特征,這是由一系列特征誘發(fā)的目標(biāo),并且其信息具有復(fù)雜性、象征意義,一般都是通過相關(guān)知識來處理,從而對影像進(jìn)行理解、描述、解釋。
3 通信和同步
在并行計算期間,因為不同進(jìn)程之間需要傳輸以及調(diào)度數(shù)據(jù),因此,其具有相應(yīng)的通信開銷,并且這種開銷表現(xiàn)為以下不同的方面,首先為傳輸?shù)冗M(jìn)程之間的數(shù)據(jù),主進(jìn)程從進(jìn)程調(diào)度、數(shù)據(jù)傳輸、任務(wù)分配入手。在處理遙感影像時,需要能夠劃分影像,并且將其映射給進(jìn)程加以處理和計算,其主要依據(jù)就是被劃分部門的數(shù)據(jù)通信量,三種圖像數(shù)據(jù)劃分方式,如圖所示,其中圖1表示水平條帶、圖2為豎直條帶、圖3為矩形塊,不同劃分的條帶邊界表現(xiàn)為所要進(jìn)行的通信數(shù)據(jù)。在處理不同影像時,要能夠選擇不同的劃分方式,像素級的處理并行化分支較小,進(jìn)行數(shù)據(jù)劃分時較為簡單,可以結(jié)合實際狀況來選任何劃分方法,特征處理如線條所示,按照豎直條帶和水平條帶來劃分,在目標(biāo)級、特征級處理期間,需要結(jié)合相應(yīng)的問題、并行計算支撐環(huán)境來選擇具體的劃分方式。從一定角度來分析,要想能夠達(dá)到并行化的要求,從而讓被劃分的數(shù)據(jù)通信量達(dá)到最小的要求。
在并行系統(tǒng)執(zhí)行給定算法期間,可能會出現(xiàn)個別進(jìn)程計算需要在其他進(jìn)程完成之后才能開展,這時候同步是需要的,所謂的同步就是在這種狀況下順利使用通信協(xié)調(diào)技術(shù)不受到影響。同步也存在以下兩種不同的開銷,包括同步需要所有處理機能夠進(jìn)行相應(yīng)的檢驗,但是,需要花費相應(yīng)的時間;其次個別處理器可能為閑置,等待準(zhǔn)許繼續(xù)續(xù)需要計算相應(yīng)消息。
4 結(jié)語
高分遙感在電子政務(wù)地理空間基礎(chǔ)信息庫建設(shè)與服務(wù)中的應(yīng)用示范項目,是高分重要的應(yīng)用示范項目,依托“國家自然資源和地理空間基礎(chǔ)信息庫”一期工作,重點解決高分辨率遙感衛(wèi)星數(shù)據(jù)與國家自然資源和地理空間基礎(chǔ)信息庫的融合。通過實驗不難發(fā)現(xiàn),PC機群上所具有的分布式并行算法優(yōu)勢較為明顯,但是,其通信開銷依然是算法中需要解決的主要問題,在集群逐漸擴展的影響下,通信開銷開始增長,這就讓并行化程度遭到制約,選擇直接少通信量、通信次的方法則能夠降低實際的通信開銷,從而為實現(xiàn)遙感衛(wèi)星數(shù)據(jù)和國家自然資源信息庫融合奠定堅實的基礎(chǔ)。
參考文獻(xiàn)
[1]楊海平,沈占鋒,駱劍承,吳煒.海量遙感數(shù)據(jù)的高性能地學(xué)計算應(yīng)用與發(fā)展分析[J].地球信息科學(xué)學(xué)報,2013(01):128-136.
[2]王竹曉,胡宏,陳立民,史忠植.動態(tài)描述邏輯推理的并行計算技術(shù)[J].計算機研究與發(fā)展,2011(12):2317-2325.
[3]馬偉鋒,李偉.遙感影像數(shù)據(jù)并行計算中數(shù)據(jù)分配策略研究[J].浙江工業(yè)大學(xué)學(xué)報,2016(03):270-274.
[4]潘巍,李戰(zhàn)懷.大數(shù)據(jù)環(huán)境下并行計算模型的研究進(jìn)展[J].華東師范大學(xué)學(xué)報(自然科學(xué)版),2014(05):43-54.
作者單位
1.中國電子科技集團(tuán)公司第五十四研究所 河北省石家莊市 050081
2.國家信息中心 北京市 100070
3.北京金水信息技術(shù)發(fā)展有限公司 北京市 100070