杜 巍，牛 沛，黃偉建

（河北工程大學(xué) 信息與電氣工程學(xué)院，河北 邯鄲056038）

0 引 言

目前的水質(zhì)預(yù)報(bào)系統(tǒng)多來(lái)自于海洋研究模型。由于這些模式大部分是串行代碼編寫(xiě)，在業(yè)務(wù)化應(yīng)用過(guò)程中，計(jì)算效率較低，具有一定的局限性。尤其是短期預(yù)報(bào)系統(tǒng)，力爭(zhēng)在短的時(shí)間內(nèi)完成運(yùn)算任務(wù)是其基本需求。本文以膠州灣水質(zhì)預(yù)報(bào)系統(tǒng)為例，將MPI并行技術(shù)應(yīng)用于水質(zhì)模型，并且分別采用組通信模式和非阻塞通信模式，將水質(zhì)模塊的問(wèn)題分解為多個(gè)子任務(wù)，并在基于MPI消息傳遞模式的集群系統(tǒng)中進(jìn)行運(yùn)算。

1 程序設(shè)計(jì)

1.1 膠州灣水質(zhì)預(yù)報(bào)模式簡(jiǎn)介

在挖掘和整理歷史觀測(cè)數(shù)據(jù)的基礎(chǔ)上，利用現(xiàn)有的浮標(biāo)，海洋站資料，對(duì)膠州灣及鄰近海域進(jìn)行春季或夏季穩(wěn)定天氣條件下多參數(shù)的走航與連續(xù)觀測(cè)。具體的系統(tǒng)模型所劃分的模塊如圖1所示。

圖1 水質(zhì)預(yù)報(bào)模型

由圖1可知，區(qū)域大氣模式是整個(gè)系統(tǒng)的啟動(dòng)模塊，其分別為流域面源模式提供降水等，為黃海大區(qū)水動(dòng)力模式和膠州灣小區(qū)水動(dòng)力模式提高動(dòng)量和熱量強(qiáng)迫，為水質(zhì)模型提供海表光強(qiáng)；而流域面源模式是研究膠州灣流域?qū)车臓I(yíng)養(yǎng)物質(zhì)輸送通量等，他具體的作用是為膠州灣水動(dòng)力模型提供河流淡水輸入量，為水質(zhì)模型提供陸源營(yíng)養(yǎng)物質(zhì)的通量；黃海大區(qū)水動(dòng)力模式是為膠州灣小區(qū)水動(dòng)力模式提供一個(gè)開(kāi)邊界，膠州灣小區(qū)水動(dòng)力模式為水質(zhì)模型提供了海流和擴(kuò)散系數(shù)等。經(jīng)過(guò)各個(gè)模塊的耦合，最終監(jiān)測(cè)的數(shù)據(jù)經(jīng)過(guò)水質(zhì)模塊的計(jì)算，并在水質(zhì)模塊部分輸出。

水質(zhì)模型的網(wǎng)格設(shè)置與水動(dòng)力模型小區(qū)一致。模型包括氮、磷、硅、溶解氧、COD、浮游植物、浮游動(dòng)物、水體碎屑等變量，考慮逕流、流域面源輸入、大氣沉降、沉積物－水界面物質(zhì)通量、與外海物質(zhì)交換等外部過(guò)程，以及浮游植物光合作用、呼吸代謝、浮游動(dòng)物攝食等內(nèi)部過(guò)程。具體直觀的水質(zhì)模式概念圖如圖2所示。

圖2 水質(zhì)模式概念

由圖2可以看到，水質(zhì)預(yù)報(bào)可以通過(guò)一級(jí)，二級(jí)，三級(jí)，四級(jí)物質(zhì)變化過(guò)程分別對(duì)氮、磷、硅、溶解氧、COD、浮游植物、浮游動(dòng)物、水體碎屑等等各個(gè)物質(zhì)進(jìn)行監(jiān)測(cè)衡量。

1.2 組通信和非阻塞通信

1.2.1 MPI簡(jiǎn)介

MPI全稱(chēng)消息傳遞接口是 Message－Passing Interface的縮寫(xiě)。它由全球的政府，科研以及工業(yè)部門(mén)聯(lián)合建立的一種標(biāo)準(zhǔn)，提供了一個(gè)可移植、高效、靈活的消息傳遞接口庫(kù)。它是目前為止最為通用的一種并行編程方式，同時(shí)也是分布式并行系統(tǒng)中的一個(gè)主要編程環(huán)境。各大計(jì)算機(jī)廠商和科研部門(mén)定義了MPI標(biāo)準(zhǔn)中的一組函數(shù)接口，用于進(jìn)程間的消息傳遞。另外，除各個(gè)廠商提供的系統(tǒng)外，一些有能力的高校、科研部門(mén)也正在開(kāi)發(fā)一些免費(fèi)的通用的MPI系統(tǒng)。

頭文件、相應(yīng)的運(yùn)行調(diào)試環(huán)境和一組庫(kù)，構(gòu)成一個(gè)完整的MPI系統(tǒng)。其中MPI并行程序通過(guò)調(diào)用其自身庫(kù)中的函數(shù)完成消息的傳遞，并在編譯時(shí)與MPI庫(kù)相連接。而一個(gè)MPI并行程序的啟動(dòng)、退出、調(diào)試和跟蹤等方面的支持則由其系統(tǒng)提供的運(yùn)行環(huán)境所負(fù)責(zé)。MPI程序的框架結(jié)構(gòu)圖如圖3所示。

圖3 MPI程序的框架結(jié)構(gòu)

圖3中的第一部分是MPI函數(shù)庫(kù)的頭文件形式，F(xiàn)ortran語(yǔ)言中應(yīng)用mpif.h；第二部分定義整個(gè)程序中所用到的與MPI相關(guān)的變量；第三部分是有關(guān)MPI程序的初始化，使用的函數(shù)是MPI＿INTT （IERR）；第四部分是程序體的計(jì)算與通信，其中進(jìn)行通信的函數(shù)由MPI消息傳遞接口提供；第五部分問(wèn)MPI程序的結(jié)束，使用的函數(shù)是MPI＿FINALIZE （IERR）。

MPI既有一致性好、功能強(qiáng)大、效率高等多項(xiàng)優(yōu)點(diǎn)，而且在對(duì)于處理海洋環(huán)境模型的應(yīng)用更為普遍。文中是以MPICH2為測(cè)試環(huán)境，運(yùn)行于Linux服務(wù)器版操作系統(tǒng)的集群上，編譯環(huán)境為Intel Fortran 90編譯器。

1.2.2 組通信的基本思想及其特征

組通信調(diào)用的通信域即限定了該組通信是由哪些進(jìn)程參加以及該組通信的上下文，而該通信域是可以和點(diǎn)對(duì)點(diǎn)通信共用的，MPI可以保證由這兩者調(diào)用產(chǎn)生的消息不會(huì)發(fā)生相混淆。組通信實(shí)現(xiàn)的功能一般有3個(gè)即：通信，同步和計(jì)算。

其中，通信的主要功能是完成組內(nèi)數(shù)據(jù)的傳輸；同步功能則完成的是在組內(nèi)特定地點(diǎn)使所有進(jìn)程保持一致；計(jì)算功能相對(duì)比較復(fù)雜，主要是對(duì)一些特定的數(shù)據(jù)進(jìn)行處理。

1.2.3 非阻塞通信的基本思想及其特征

由于通信需要的時(shí)間較長(zhǎng)，在阻塞通信還沒(méi)有完成時(shí)，處理機(jī)就只有等待，這樣就造成了處理機(jī)計(jì)算資源的浪費(fèi)。而非阻塞通信可以使計(jì)算和通信重疊，通信操作不必執(zhí)行完就可以返回，而此時(shí)處理機(jī)可以同時(shí)進(jìn)行有關(guān)計(jì)算的操作，從而提高整個(gè)程序的執(zhí)行效率。

對(duì)于非阻塞通信，通信調(diào)用的返回并不意味著整個(gè)通信過(guò)程的完成，因此，還需要引入新的方法或語(yǔ)句用來(lái)檢查該消息是否已成功接收或發(fā)送。

1.3 并行程序算法

1.3.1 組通信在水質(zhì)預(yù)報(bào)模塊的實(shí)現(xiàn)

膠州灣水質(zhì)預(yù)報(bào)系統(tǒng)中的水質(zhì)部分的計(jì)算占整體系統(tǒng)部分的一半左右，所以，對(duì)這部分程序進(jìn)行并行的過(guò)程中，并行效率是有限的。

膠州灣水質(zhì)預(yù)報(bào)系統(tǒng)中采用的是C網(wǎng)格的形式，在三維坐標(biāo) （i，j，k）下，分別對(duì)水質(zhì)中的氮，磷，浮游動(dòng)物，浮游植物，硝酸鹽，亞硝酸鹽，銨鹽，磷酸鹽，硅酸鹽，碎屑，化學(xué)需氧量進(jìn)行物質(zhì)的監(jiān)測(cè)。在對(duì)水質(zhì)中物質(zhì)的擴(kuò)散分為水平擴(kuò)散和垂向兩種，其中，垂向擴(kuò)散的值的計(jì)算不需要數(shù)據(jù)的傳遞，但是，水平擴(kuò)散方向的計(jì)算需要相鄰網(wǎng)格點(diǎn)的計(jì)算結(jié)果，所以就涉及到MPI消息傳遞函數(shù)。

本系統(tǒng)組通信的設(shè)計(jì)思想是把網(wǎng)格點(diǎn)進(jìn)行劃分，即總網(wǎng)格數(shù)位i＊j＊k個(gè)，在對(duì)任務(wù)區(qū)域進(jìn)行劃分的時(shí)候有多種方法，可以3個(gè)方向i，j，k同時(shí)劃分，也可以部分進(jìn)行劃分，由于本系統(tǒng)采用的是Fortran語(yǔ)言，其數(shù)據(jù)的存儲(chǔ)遵循列優(yōu)先存儲(chǔ)的，所以，對(duì)j方向上進(jìn)行劃分時(shí)在對(duì)各個(gè)進(jìn)程進(jìn)行數(shù)據(jù)傳遞時(shí)的傳遞量相對(duì)要少一些，這樣有利用減少消息傳遞時(shí)間。假設(shè)有p個(gè)CPU，則將網(wǎng)格區(qū)域劃分為p塊，前p－1個(gè)CPU執(zhí)行j／p個(gè)行整數(shù)網(wǎng)格點(diǎn)，第p個(gè)CPU執(zhí)行j－·（p－1）個(gè)網(wǎng)格點(diǎn)，由于進(jìn)程在計(jì)算臨界點(diǎn)的值時(shí)需要相鄰的進(jìn)程的數(shù)據(jù)值，因此，每個(gè)進(jìn)程的網(wǎng)格點(diǎn)數(shù)將多劃分2＊i＊j個(gè)，若將其劃分寫(xiě)成代碼的形式，如下：

其中，jbegin＿col和jend＿col代表每個(gè)進(jìn)程中j方向的起始值和結(jié)束值，myid表示進(jìn)程號(hào)，size表示整個(gè)系統(tǒng)中的進(jìn)程總數(shù)。jm指j的總網(wǎng)格數(shù)。

劃分完需要計(jì)算的網(wǎng)格區(qū)域后，就是對(duì)水質(zhì)中各個(gè)物質(zhì)計(jì)算的水平擴(kuò)散所需的數(shù)值進(jìn)行傳遞，在此，由于每個(gè)進(jìn)程之間所要傳遞的數(shù)據(jù)有氮，磷，浮游動(dòng)物，浮游植物，硝酸鹽，亞硝酸鹽，銨鹽，磷酸鹽，硅酸鹽，碎屑，化學(xué)需氧量，所以，每個(gè)量都在一個(gè)數(shù)組中，在此首先需要數(shù)據(jù)的打包，把每個(gè)進(jìn)程中需要傳遞的數(shù)據(jù)打包在一個(gè)緩沖區(qū)中，然后再通過(guò)組通信函數(shù)進(jìn)行傳播即可。打包函數(shù)如下所示：

其中，INBUF指準(zhǔn)備打在包中的輸入緩沖區(qū)，INCOUNT指輸入元素的個(gè)數(shù)，DATATYPE指數(shù)據(jù)類(lèi)型，OUTBUF指打包緩沖區(qū)，OUTSIZE指用字節(jié)數(shù)定義的打包緩沖區(qū)的大小，POSITION指打包緩沖區(qū)的當(dāng)前位置，COMM指打包消息的通信子。把所有的數(shù)據(jù)打包完成后，就需要數(shù)據(jù)的傳遞，在此應(yīng)用到組通信函數(shù)中的廣播函數(shù)，即如下所示：

其中，BUFFER指緩沖區(qū)的首地址，COUNT指緩沖區(qū)中元素的個(gè)數(shù)，DATATYPE指緩沖區(qū)的數(shù)據(jù)類(lèi)型，ROOT指以它為源進(jìn)行廣播的進(jìn)程編號(hào)，COMM指通信子。通過(guò)這個(gè)函數(shù)，就把每個(gè)進(jìn)程中需要其他進(jìn)程的數(shù)據(jù)通過(guò)消息傳遞得到。最后，還需要對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的處理，就是拆包，拆包函數(shù)如下所示：

MPI＿UNPACK （INBUF，INSIZE，POSITION，OUTBUF，OUTCOUNT，DATATYPE，COMM，IERROR）

其中，INBUF指拆包緩沖區(qū)，INSIZE指用字節(jié)數(shù)定義的拆包緩沖區(qū)的大小，POSITION指打包緩沖區(qū)的當(dāng)前位置，OUTBUF指輸出數(shù)據(jù)緩沖區(qū)，OUTCOUNT指輸出數(shù)據(jù)緩沖區(qū)元素的個(gè)數(shù)，DATATYPE指數(shù)據(jù)類(lèi)型，COMM指通信子。

通過(guò)以上方法，即可實(shí)現(xiàn)水質(zhì)預(yù)報(bào)系統(tǒng)的組通信數(shù)據(jù)傳遞的實(shí)現(xiàn)。

1.3.2 非阻塞通信在水質(zhì)預(yù)報(bào)模塊的實(shí)現(xiàn)

組通信在水質(zhì)預(yù)報(bào)模塊中的實(shí)現(xiàn)，雖然在通信上比點(diǎn)到點(diǎn)的通信盡量縮短了通信時(shí)間，但是沒(méi)有達(dá)到通信時(shí)間與計(jì)算時(shí)間的同步，而非阻塞通信可以實(shí)現(xiàn)以上目的，使得系統(tǒng)在運(yùn)行的過(guò)程當(dāng)中效率更高。由于水質(zhì)模塊代碼部分運(yùn)行時(shí)間占整個(gè)編程模塊的一半左右，所以，可以通過(guò)非阻塞通信的方式把需要傳遞的數(shù)據(jù)在水動(dòng)力計(jì)算的時(shí)候進(jìn)行傳遞，這樣，就可以使得通信基本不占用運(yùn)行時(shí)間。非阻塞的函數(shù)傳遞采用的函數(shù)如下所示：

MPI＿ISEND（BUF，COUNT，DATATYPE，DEST，TAG，COMM，REQUEST，IERROR）

MPI ＿IRECV （BUF， COUNT， DATATYPE，SOURCE，TAG，COMM，REQUEST，IERROR）

以上分別表示非阻塞數(shù)據(jù)的發(fā)送和接收，其中，BUF指所要發(fā)送或接收消息數(shù)據(jù)的首地址，COUNT指發(fā)送或接收消息數(shù)組元素的個(gè)數(shù)，DATATYPE指發(fā)送或接收消息的數(shù)據(jù)類(lèi)型，DEST指發(fā)送消息的進(jìn)程標(biāo)號(hào)，SOURCE指接收消息的進(jìn)程編號(hào)，TAG指消息標(biāo)簽，COMM指通信子，REQUEST指請(qǐng)求句柄以備將來(lái)查詢(xún)。MPI＿ISEND和MPI＿IRECV不需要等待發(fā)送或接收消息完成就可執(zhí)行其余的任務(wù)，看發(fā)送或接收過(guò)程是否結(jié)束，通過(guò)以下函數(shù)即可：

其中COUNT指請(qǐng)求句柄的個(gè)數(shù)，ARRAY＿OF＿REQUESTS指請(qǐng)求句柄數(shù)組，INDEX指已經(jīng)完成通信操作的句柄指標(biāo)，STATUS指消息的狀態(tài)。

通過(guò)以上函數(shù)，將消息傳遞的任務(wù)放在水動(dòng)力模塊進(jìn)行，這樣，使得在計(jì)算水動(dòng)力的同時(shí)，又對(duì)水質(zhì)部分需要消息傳遞的函數(shù)進(jìn)行通信，達(dá)到了通信與計(jì)算的同步。

2 結(jié)果與討論

將系統(tǒng)進(jìn)行并行進(jìn)行運(yùn)行，如圖4所示分別為組通信，非阻塞通信，串行運(yùn)算結(jié)果在某一時(shí)刻的溶解氧的值的變化。結(jié)果顯示，無(wú)論是組通信還是非阻塞通信，都與串行運(yùn)算結(jié)果一致。因此，說(shuō)明無(wú)論是組通信還是非阻塞通信對(duì)于水質(zhì)預(yù)報(bào)系統(tǒng)的并行都是可行的。

圖4 溶解氧的某時(shí)刻輸出值

首先，對(duì)比此系統(tǒng)的串行程序在集群系統(tǒng)上面的運(yùn)行速度，改進(jìn)后的組通信傳遞的并行程序在集群系統(tǒng)上面的運(yùn)行速度，改進(jìn)后的非阻塞傳遞的并行程序在集群系統(tǒng)上面的運(yùn)行速度，繪制出如5圖所示。

圖5 運(yùn)行時(shí)間

圖5表示預(yù)報(bào)系統(tǒng)預(yù)報(bào)多少天以后的實(shí)驗(yàn)數(shù)值所需要花費(fèi)的時(shí)間。其中，串行程序在集群上是以1CPU的形式提交任務(wù)的，組通信的并行程序和非阻塞的并行程序都是2CPU并行的，即把計(jì)算任務(wù)劃分為兩部分。從圖中可以看到，并行的計(jì)算時(shí)間遠(yuǎn)遠(yuǎn)小于串行程序計(jì)算的時(shí)間，并且隨著預(yù)報(bào)時(shí)間的增長(zhǎng)持更明顯的趨勢(shì)。由于通訊時(shí)間和計(jì)算時(shí)間不能夠保持同步。所以，通過(guò)以上實(shí)驗(yàn)數(shù)據(jù)可知，組通信的運(yùn)行時(shí)間比非阻塞通信稍微長(zhǎng)了一些。因此，在此水質(zhì)預(yù)報(bào)系統(tǒng)中，非阻塞通信的并行效果要稍好一些，但此結(jié)論僅僅只針對(duì)目前這種對(duì)系統(tǒng)的一部分代碼進(jìn)行并行的情況之下。

其次，對(duì)非阻塞通信下的劃分區(qū)域數(shù)不同對(duì)程序進(jìn)行性能測(cè)試，為了更能說(shuō)明并行劃分對(duì)系統(tǒng)的運(yùn)算的影響，此時(shí)，只測(cè)試系統(tǒng)在水質(zhì)部分的運(yùn)行時(shí)間，所繪制結(jié)果見(jiàn)表1。

表1中的性能測(cè)試結(jié)果表明，當(dāng)進(jìn)程數(shù)目不超過(guò)8個(gè)，非阻塞的并行效率基本在80%以上，當(dāng)進(jìn)程數(shù)不斷的增加，雖然并行程序仍然保持加速，但不再保持現(xiàn)行加速比，這與測(cè)試問(wèn)題的規(guī)模有關(guān)，導(dǎo)致這種現(xiàn)象的最大因素就在于劃分塊數(shù)的增加導(dǎo)致的消息傳遞所需要傳遞的數(shù)據(jù)量數(shù)也隨之增加，如果測(cè)試的數(shù)據(jù)計(jì)算量相當(dāng)大的話(huà)，并行效率還是會(huì)增加的。所以，在對(duì)程序進(jìn)行并行的過(guò)程中要進(jìn)行大量數(shù)據(jù)的測(cè)試后，才能得到程序運(yùn)行并行化的相對(duì)效率比較高的方法。

表1 性能測(cè)試結(jié)果

3 結(jié)束語(yǔ)

本研究取得預(yù)想的結(jié)果，效率達(dá)到了顯著提高。通過(guò)組通信與非阻塞通信在系統(tǒng)中的應(yīng)用的比較發(fā)現(xiàn)，非阻塞通信的消息傳遞方式對(duì)膠州灣水質(zhì)預(yù)報(bào)系統(tǒng)的部分模塊的并行有很大的效果。所以，任何系統(tǒng)的高效率化都需要與實(shí)際相結(jié)合，采取最適合的方法進(jìn)行。本研究的局限性是沒(méi)有考慮到I／O的問(wèn)題，如果考慮到I／O的問(wèn)題，則運(yùn)算效率將會(huì)有更可觀的提高，下一步研究將會(huì)考慮更加深入的把并行技術(shù)應(yīng)用到膠州灣水質(zhì)預(yù)報(bào)模式當(dāng)中。

：

［1］CHEN Dazhi，ZHAO Rongcai，YAO Yuan，et al.Messagepassing code generation algorithm in the MPI automatic parallelizing compilation system ［J］.Computer Science，2012，39（6）：301－304 （in Chinese）. ［陳達(dá)智，趙榮彩，姚遠(yuǎn)，等.MPI自動(dòng)并行化編譯系統(tǒng)中消息傳遞代碼生成算法 ［J］.計(jì)算機(jī)科學(xué)，2012，39 （6）：301－304.］

［2］LIU Z，WEI H，BAI J，et al.Nutrients seasonal variation and budget in Jiaozhou bay，China：A 3－dimensional physicalbiologicalcoupled model study ［J］.Water，Air and Soil Pollution：Focus，2007，7 （6）：607－623.

［3］George L Mellor.Users guide for a three－dimensional，primitive equation，numerical ocean model，program in atmospheric and oceanic sciences ［J］.Princeton，NJ：Princeton University，2008，5：44－071.

［4］WANG Min，WANG Ming，YANG Ming.Parallel computing research of Xiaolangdi reservoir three－dimensional mathematical model［J］.Yellow River，2012 （5）：25－27 （in Chinese）.［王敏，王明，楊明.小浪底水庫(kù)三維數(shù)學(xué)模型并行計(jì)算研究［J］.人民黃河，2012 （5）：25－27.］

［5］http：／／www.aos.princeton.edu／WWWPUBLIC／htdocs.pom／.

［6］ZUO Yiming，CUI Guangbai.Parallel computation for 2Dflow model［J］.Advances in Water Sciences，2008，19 （6）：846－850（in Chinese）.［左一鳴，崔廣柏.二維水動(dòng)力模型的并行計(jì)算研究 ［J］.水科學(xué)進(jìn)展，2008，19 （6）：846－850.］

［7］YI Junhan.Parallel programming model based on multicore processor［J］.Computer Engineering，2009，35 （8）：62－64.

［8］XIONG Yuqing.The point－to－point communication obstruction of local clogging point－to－point communication simulation ［J］.Microelectronics and Computer，2009 （10）：144－146. （in Chinese）.［熊玉慶.非阻塞點(diǎn)到點(diǎn)通信對(duì)局部阻塞點(diǎn)到點(diǎn)通信的模擬 ［J］.微電子與計(jì)算機(jī)，2009 （10）：144－146.］

［9］WANG Lei，TIAN Fuqiang，HU Heping.Physically based hydro logical model using finite volumemethodsbased on a triangulated irregular network ［J］.Advances in Water Sciences，2011，21 （6）：734－741 （in Chinese）. ［王蕾，田富強(qiáng)，胡和平.基于不規(guī)則三角形網(wǎng)格和有限體積法的物理性流域水文模型 ［J］.江蘇：水科學(xué)進(jìn)展，2010，21 （6）：734－741.］

［10］Daz Mart n J C，Rico Gallego J A.An MPI－1com－pliant.thread－based implementation ［C］／／Berlin，Heidelberg：Proceedings of the EuroPVM／MPI，2009：327－328.