摘要：我國(guó)高分三號(hào)形成三星陸海雷達(dá)衛(wèi)星星座。為了提升PolSARpro極化SAR圖像處理的開(kāi)源軟件在高分三號(hào)數(shù)據(jù)轉(zhuǎn)換環(huán)節(jié)的處理能力，提出了基于OpenMP、MapReduce和MPI并按照PolSARpro軟件的數(shù)據(jù)格式要求進(jìn)行分布式并行轉(zhuǎn)換處理算法，將不同成像模式下的多極化數(shù)據(jù)實(shí)現(xiàn)快速定標(biāo)和格式轉(zhuǎn)換，并且通過(guò)KingMapV10.0GIS平臺(tái)實(shí)現(xiàn)了算法并在實(shí)際數(shù)據(jù)中進(jìn)行測(cè)試，驗(yàn)證了算法的高效性、可靠性、易擴(kuò)展性和正確性。

關(guān)鍵詞：高分三號(hào)合成孔徑雷達(dá)定標(biāo)消息傳遞接口分布式并行計(jì)算

中圖法分類(lèi)號(hào)：P237

DistributedParallelConversionAlgorithmofGF-3Multi-ModeDataBasedonMPIandMapReduceHybridProgramming

ZHANGRuming1*CAIJianying2WANGXihang1LIUZili2OUYANGBo2

1.HulunbeirBigDataCenter，Hulunbeir，InnerMongoliaAutonomousRegion，021000China;2.HulunbeirSmartCityDevelopmentResearchInstitute，Hulunbeir，InnerMongoliaAutonomousRegion，021000China

Abstract：China’sGF-3isformedaland-searadarsatelliteconstellationof3satellites.InordertoimprovetheprocessingcapabilityofPolSARproopensourcesoftwareforpolarimetricSARimageinthedataconversionstageofGF-3，thispaperproposesadistributedparallelconversionalgorithmaccordingtothedataformatrequirementsofitssoftwarebasedonOpenMP，MapReduceandMPI，whichcanquicklycalibrateandconvertGF-3muti-polarizationofdifferentimagingmodesdataintobinformat.ThealgorithmisimplementedonGISplatformofKingMapV10.0andtestedinrealdata，whichverifiestheefficiency，feasibility，extendibilityandcorrectnessofthealgorithm.

KeyWords：GF-3;SAR;Calibration;Messagepassinginterface;DistributedandParallelComputing

2022年4月7日，中國(guó)陸海監(jiān)測(cè)監(jiān)視迎來(lái)“三星組網(wǎng)”時(shí)代[1]，支撐合成孔徑雷達(dá)衛(wèi)星的多極化數(shù)據(jù)進(jìn)行業(yè)務(wù)化應(yīng)用。高分三號(hào)具有12種工作模式，能夠?qū)崿F(xiàn)全天時(shí)、全天候的陸地和海洋監(jiān)視監(jiān)測(cè)，有力支撐我國(guó)防災(zāi)減災(zāi)應(yīng)急、海洋資源開(kāi)發(fā)和陸地環(huán)境監(jiān)測(cè)[2-4]。PolSARpro是一款著名的開(kāi)源軟件[5]，已經(jīng)具備高分三號(hào)數(shù)據(jù)的導(dǎo)入及處理能力，然而轉(zhuǎn)換效率比較低。為了提升該軟件處理高分三號(hào)數(shù)據(jù)格式轉(zhuǎn)換能力，陳云等人[6-8]給出了較高效的分布式并行轉(zhuǎn)換算法，但并未給出多種成像模式下的定標(biāo)轉(zhuǎn)換。另外，陳云[9]采用QTConcurrent并行框架實(shí)現(xiàn)，雖有更好的性能表現(xiàn)，但未實(shí)現(xiàn)分布式并行計(jì)算。遙感事微信公眾號(hào)[10]給出了多種成像模式下的全極化、雙極化數(shù)據(jù)等定標(biāo)處理，但未實(shí)現(xiàn)更高效的分布式并行轉(zhuǎn)換。因此，本文提出了針對(duì)高分三號(hào)多模數(shù)據(jù)的分布式并行轉(zhuǎn)換處理方法，先通過(guò)推導(dǎo)簡(jiǎn)化得到中間參數(shù)，接著給出分布式混合編程并行計(jì)算過(guò)程，再通過(guò)全極化條帶I數(shù)據(jù)和精細(xì)條帶II等實(shí)際數(shù)據(jù)，驗(yàn)證算法的高效性、可靠性、易擴(kuò)展性和正確性，最后通過(guò)性能對(duì)比分析，表明本文方法可以高效的處理多模式多極化高分三號(hào)數(shù)據(jù)。

1算法原理

本文主要針對(duì)高分三號(hào)L1A產(chǎn)品數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換處理。由GF-3衛(wèi)星SARL1A級(jí)數(shù)據(jù)獲取后向散射系數(shù)的定標(biāo)公式[11]如下。

公式（1）中：是單位為dB的后向散射系數(shù)；在L1A影像中，，是1A級(jí)產(chǎn)品實(shí)部，是1A級(jí)產(chǎn)品虛部，是影像量化前的最大值，在元數(shù)據(jù)文件中字段獲取。CalibrationConst是影像的雷達(dá)散射的定標(biāo)系數(shù)，在元數(shù)據(jù)文件中CalibrationConst字段獲取。

按PolSARpro軟件的數(shù)據(jù)格式要求，以及根據(jù)陳云等人[6]的簡(jiǎn)化推導(dǎo)過(guò)程，記：

記linear形式的實(shí)部后向散射系數(shù)：，其中是單位為dB的實(shí)部后向散射系數(shù)。

記linear形式的虛部后向散射系數(shù)：，其中是單位為dB的虛部后向散射系數(shù)。

那么得到如下2個(gè)中間轉(zhuǎn)換公式。

具體算法流程設(shè)計(jì)詳情見(jiàn)下文所述。

2算法設(shè)計(jì)

本文算法內(nèi)層并行處理過(guò)程將采用OpenMP，中間層并行處理過(guò)程利用QtConcurrent并行計(jì)算框架，外層分布式并行處理過(guò)程依托MPI協(xié)議來(lái)混合編程實(shí)現(xiàn)。具體分布式并行處理流程如下。

（1）首先初始化MPI環(huán)境，在MPI進(jìn)程內(nèi)利用MPI_Comm_size函數(shù)來(lái)生成分布式并行計(jì)算環(huán)境的通信域的進(jìn)程總數(shù)M。

（2）每個(gè)MPI進(jìn)程采用MPI_Comm_rank函數(shù)獲取通信域中的ID序號(hào)。將使用該序號(hào)來(lái)給其分配待處理的高分三號(hào)數(shù)據(jù)集。

（3）MPI調(diào)度進(jìn)程獲取所有待處理高分三號(hào)GF3_TaskList數(shù)據(jù)任務(wù)列表。

（4）MPI調(diào)度進(jìn)程從GF3_TaskList列表中獲取高分三號(hào)GF3_DataList數(shù)據(jù)集，利用MPI通信協(xié)議，調(diào)用MPI_Isend函數(shù)把該數(shù)據(jù)列表發(fā)送給對(duì)應(yīng)的MPI處理進(jìn)程。

（5）對(duì)應(yīng)的MPI處理進(jìn)程通過(guò)調(diào)用MPI_Irecv函數(shù)接收到高分三號(hào)GF3_DataList數(shù)據(jù)集后，中間層采用QtConcurrent并行框架來(lái)實(shí)現(xiàn)多景高分三號(hào)影像數(shù)據(jù)的處理，而輸入?yún)?shù)則是高分三號(hào)GF3_DataList數(shù)據(jù)列表，以及每景高分三號(hào)數(shù)據(jù)的多模多極化Convert并行轉(zhuǎn)換函數(shù)。

（6）在Convert并行轉(zhuǎn)換函數(shù)中，最內(nèi)層擴(kuò)展對(duì)不同成像模式的數(shù)據(jù)處理，對(duì)多極化數(shù)據(jù)采用OpenMP并行處理機(jī)制，如雙極化或全極化數(shù)據(jù)等。

（7）最后調(diào)用QFuture的waitForFinished函數(shù)等待方法，直到每個(gè)MPI進(jìn)程都處理完成該進(jìn)程中所有高分三號(hào)數(shù)據(jù)為止。

（8）MPI處理進(jìn)程每當(dāng)處理完成后，進(jìn)行調(diào)用MPI_Isend函數(shù)時(shí)把處理結(jié)束后的信息返回到MPI調(diào)度進(jìn)程。

（9）重復(fù)上述由步驟（4）到步驟（8）的過(guò)程，每個(gè)循環(huán)并行處理至多M景高分三號(hào)數(shù)據(jù)，直到處理完成所有高分三號(hào)數(shù)據(jù)。

特別需要注意：全極化方式數(shù)據(jù)轉(zhuǎn)換輸出結(jié)果為PolSARpro的S2矩陣格式，而雙極化方式數(shù)據(jù)轉(zhuǎn)換輸出結(jié)果為PolSARpro的RawBinary格式。

3算法實(shí)例

基于KingMapV10.0GIS平臺(tái)進(jìn)行驗(yàn)證，通過(guò)C/C++語(yǔ)言來(lái)編程實(shí)現(xiàn)。平臺(tái)運(yùn)行真實(shí)環(huán)境如下。

電腦配置如下：操作系統(tǒng)為Win11專(zhuān)業(yè)版；LPDDR4x內(nèi)存大小為16.0GB，3733MHz；CPU型號(hào)為11代英特爾酷睿i5-11300H@3.10GHz，四核，8線程；內(nèi)置M.2接口固態(tài)硬盤(pán)，大小為512GB；外置Type-C接口移動(dòng)固態(tài)硬盤(pán)，大小為2TB；英特爾Iris（R）Xe集成顯卡，顯存為128M。

為了便于對(duì)比測(cè)試，不妨在上述電腦上虛擬出兩臺(tái)基本相同配置的虛擬機(jī)，每臺(tái)虛擬機(jī)具體參數(shù)如下：操作系統(tǒng)為Win7旗艦版；LPDDR4x內(nèi)存大小為6.0GB；CPU型號(hào)為11thGenIntel（R）Core（TM）i5-11300H@3.10GHz，3核；硬盤(pán)存儲(chǔ)容量為150GB；集成顯卡。

算法程序以2景高分三號(hào)全極化條帶I數(shù)據(jù)和2景精細(xì)條帶II數(shù)據(jù)（數(shù)據(jù)清單如表1所示）進(jìn)行轉(zhuǎn)換，經(jīng)驗(yàn)證本文算法轉(zhuǎn)換后的全極化條帶I數(shù)據(jù)結(jié)果與PolSARpro軟件生成的結(jié)果一致，精細(xì)條帶II運(yùn)行結(jié)果與《高分三號(hào)衛(wèi)星地面系統(tǒng)用戶手冊(cè)》中結(jié)果一致，表明算法真實(shí)可靠。本文算法針對(duì)不同成像模式下的多極化方式數(shù)據(jù)定標(biāo)轉(zhuǎn)換性能結(jié)果如表2所示。

運(yùn)行效率分析：采用同樣配置的雙機(jī)環(huán)境下，本文基于MS-MPI、MapReduce和OpenMP混合編程方法處理4景高分三號(hào)數(shù)據(jù)，虛擬機(jī)1處理2景精細(xì)條帶II雙極化方式數(shù)據(jù)共耗時(shí)約183.51s；虛擬機(jī)2處理2景全極化條帶I全極化方式數(shù)據(jù)共耗時(shí)約9.641s。從中可以看出，本文算法對(duì)不同成像模式下的多種極化方式高分三號(hào)數(shù)據(jù)進(jìn)行了支持；同時(shí)，不同成像模式下的數(shù)據(jù)大小不同，轉(zhuǎn)換時(shí)間差異較大，性能相差約為19.0倍。隨著高分?jǐn)?shù)據(jù)量大小的增長(zhǎng)，定標(biāo)轉(zhuǎn)換預(yù)處理時(shí)間也隨著明顯增長(zhǎng)。因此，針對(duì)數(shù)據(jù)存在偏斜問(wèn)題，有待進(jìn)一步實(shí)現(xiàn)分布式環(huán)境下每臺(tái)服務(wù)器的負(fù)載均衡。

本文算法對(duì)于分布式環(huán)境下多種成像模式下的并行式處理高分三號(hào)多時(shí)相影像數(shù)據(jù)集時(shí)將更有優(yōu)勢(shì)。

4結(jié)語(yǔ)

本文利用高分三號(hào)簡(jiǎn)化推導(dǎo)公式進(jìn)行計(jì)算，并提出了基于OpenMP、MapReduce和MPI高分三號(hào)多成像模式多極化方式數(shù)據(jù)分布式并行轉(zhuǎn)換算法。該算法基于KingMapV10.0GIS平臺(tái)上采用C/C++編程實(shí)現(xiàn)并進(jìn)行了實(shí)際數(shù)據(jù)測(cè)試，驗(yàn)證了算法的高效性、可靠性、易擴(kuò)展性和正確性。當(dāng)然，本文還有不足的地方，即存在數(shù)據(jù)偏斜問(wèn)題，有待均衡化處理，留待后續(xù)解決。

參考文獻(xiàn)

[1]張蕾.數(shù)說(shuō)“太空全能神探”[EB/OL].（2022-04-08）[2024-03-05].https：//news.gmw.cn/2022-04/08/content_35642673.htm.

[2]張慶君.高分三號(hào)衛(wèi)星總體設(shè)計(jì)與關(guān)鍵技術(shù)[J].測(cè)繪學(xué)報(bào)，2017，46（3）：269-277.

[3]國(guó)家國(guó)防科技工業(yè)局重大專(zhuān)項(xiàng)工程中心，國(guó)家航天局對(duì)地觀測(cè)與數(shù)據(jù)中心.2018中國(guó)高分衛(wèi)星應(yīng)用國(guó)家報(bào)告（標(biāo)準(zhǔn)規(guī)范卷）[M].北京：國(guó)防科工局重大專(zhuān)項(xiàng)工程中心，2018.

[4]國(guó)家國(guó)防科技工業(yè)局重大專(zhuān)項(xiàng)工程中心，國(guó)家航天局對(duì)地觀測(cè)與數(shù)據(jù)中心.2018中國(guó)高分衛(wèi)星應(yīng)用國(guó)家報(bào)告（共性產(chǎn)品卷）[M].北京：國(guó)防科工局重大專(zhuān)項(xiàng)工程中心，2018.

[5]ESA.PolSARpro[EB/OL].（2024-03-05）[2024-03-05].https：//earth.esa.int/web/polsarpro/home.

[6]陳云，鞠佳衡，林偉木，等.一種高分三號(hào)復(fù)數(shù)散射矩陣數(shù)據(jù)快速轉(zhuǎn)換算法[J].測(cè)繪與空間地理信息，2022，45（3）：50-52.

[7]陳云.基于OpenMP的高分三號(hào)數(shù)據(jù)并行轉(zhuǎn)換算法[J].測(cè)繪與空間地理信息，2022，45（6）：85-86，91，95.

[8]陳云.基于MPI和OpenMP混合編程的高分三號(hào)數(shù)據(jù)分布式并行轉(zhuǎn)換算法[J].測(cè)繪與空間地理信息，2024，47（2）：43-45，49.

[9]陳云.基于MapReduce的VCT3.0多圖層面間接線并行構(gòu)建算法[J].測(cè)繪地理信息，2022，47（3）：157-160.

[10]遙感事微信公眾號(hào).高分3號(hào)數(shù)據(jù)處理之PolSARpro[EB/OL].（2017-05-02）[2024-03-06].https：//mp.weixin.qq.com/s/zQH3lWOCUyuXSwwQ5_wWBA.

[11]國(guó)防科工局重大專(zhuān)項(xiàng)工程中心，中國(guó)資源衛(wèi)星應(yīng)用中心.高分三號(hào)衛(wèi)星地面系統(tǒng)用戶手冊(cè)[Z].北京：中國(guó)資源衛(wèi)星應(yīng)用中心，2017：1-39.