李 海 程新宇 尚金雷

(中國(guó)民航大學(xué) 天津 300300)

0 引言

我國(guó)廣闊的疆土導(dǎo)致了多種多樣的氣候條件，而復(fù)雜的氣候條件易形成繁多的氣象災(zāi)害進(jìn)而對(duì)交通運(yùn)輸，生產(chǎn)資料，財(cái)產(chǎn)安全等造成損害。雙偏振氣象雷達(dá)作為新型氣象雷達(dá)，能夠獲取到降水粒子的大小、相態(tài)、空間位置等信息，因此利用雙偏振氣象雷達(dá)對(duì)降水粒子的精準(zhǔn)分類對(duì)于災(zāi)害預(yù)警、雨量估計(jì)、氣象預(yù)報(bào)等方面具有十分重要的意義。

1973年由Ecclesand Atlas提出利用雙偏振雷達(dá)進(jìn)行云層中的粒子探測(cè)。在此之后Straka and Zrnic(1996年)首次在降水粒子分類領(lǐng)域應(yīng)用了模糊邏輯算法。此后，大部分專家學(xué)者研究了不同權(quán)重系數(shù)、雷達(dá)偏振參量的選取以及差異性隸屬度函數(shù)等問(wèn)題對(duì)模糊邏輯算法性能的影響。但是其隸屬度函數(shù)的選取，權(quán)重系數(shù)的大小等均需要依靠專家經(jīng)驗(yàn)值，具有很強(qiáng)的局限性。隨著機(jī)器學(xué)習(xí)理論的興起，其相關(guān)方法也逐漸被應(yīng)用到降水粒子分類領(lǐng)域，如：監(jiān)督學(xué)習(xí)方向的布爾決策樹方法，非監(jiān)督學(xué)習(xí)方向的聚類方法等。布爾決策樹方法雖然原理簡(jiǎn)單，但是在多分類類別較多時(shí)，其分類錯(cuò)誤率會(huì)快速增加。聚類算法雖然不需要訓(xùn)練樣本和標(biāo)簽，但在面對(duì)非規(guī)則形狀的降水粒子(如：冰晶等)時(shí)表現(xiàn)欠佳。在降水粒子分類領(lǐng)域，監(jiān)督學(xué)習(xí)方法以其算法多樣，分類準(zhǔn)確性高的特點(diǎn)得到更多專家學(xué)者的青睞，但是其要求使用數(shù)量大、質(zhì)量高的有標(biāo)簽訓(xùn)練樣本，而獲取有標(biāo)簽數(shù)據(jù)最可靠的方法是使用帶有粒子檢測(cè)系統(tǒng)的探測(cè)器深入到云層中進(jìn)行采集，造成數(shù)據(jù)獲取成本高、數(shù)量少的缺點(diǎn)。因此提高對(duì)無(wú)標(biāo)簽數(shù)據(jù)的應(yīng)用以達(dá)到增加有標(biāo)簽訓(xùn)練樣本的目的具有重要的研究?jī)r(jià)值。

在半監(jiān)督學(xué)習(xí)方法中，協(xié)同訓(xùn)練算法能夠利用無(wú)標(biāo)簽數(shù)據(jù)擴(kuò)充訓(xùn)練樣本集，進(jìn)而提高分類器的性能。1998年，Blum等人在具有充分冗余的視圖條件下，通過(guò)利用無(wú)標(biāo)簽樣本優(yōu)化分類器，并將這種算法命名為協(xié)同訓(xùn)練，然而具有充分冗余視圖這一條件很難實(shí)現(xiàn)；2000年，S.Goldman 和 Y.Zhou提出一種擺脫該條件限制的協(xié)同訓(xùn)練方法，但是增加了運(yùn)行時(shí)間，并且分類器的種類也有局限性；2007年W.Wang等人經(jīng)過(guò)進(jìn)一步分析指出，只要使用的分類器差別明顯，就可以在不受該條件限制的情況下使用協(xié)同訓(xùn)練算法，即：使用單視圖的數(shù)據(jù)依然可以得到良好的分類性能。然而在降水粒子分類領(lǐng)域，對(duì)協(xié)同訓(xùn)練方法的研究尚為空白，但是針對(duì)有標(biāo)簽訓(xùn)練數(shù)據(jù)樣本不足的問(wèn)題協(xié)同訓(xùn)練算法具有十分重要的意義。

因此本文提出了一種基于DTSVMs-BNT協(xié)同訓(xùn)練的雙偏振氣象雷達(dá)降水粒子分類方法。由于決策樹支持向量機(jī)(Decision Tree Support Vector Machines，DTSVMs)分類器和貝葉斯網(wǎng)絡(luò)(Bayesian Network，BNT)分類器的作用原理、區(qū)分降水粒子的方式不相同，因此可以作為差異性分類器進(jìn)行協(xié)同訓(xùn)練。該方法使用有標(biāo)簽的訓(xùn)練數(shù)據(jù)集，利用第一個(gè)SVM分類器判斷第一種降水粒子類別，第二個(gè)SVM分類器區(qū)分第二種降水粒子，以此類推分類完所有降水粒子的方法構(gòu)造DTSVMs，之后通過(guò)計(jì)算確定貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)，并且通過(guò)確定的網(wǎng)絡(luò)結(jié)構(gòu)獲得條件概率表來(lái)構(gòu)造BNT。然后使用兩個(gè)分類器分批次對(duì)無(wú)標(biāo)簽數(shù)據(jù)分類，并且選取分類結(jié)果中置信度符合門限條件的數(shù)據(jù)加入到有標(biāo)簽訓(xùn)練數(shù)據(jù)集中，之后利用兩個(gè)分類器對(duì)新的有標(biāo)簽樣本重新學(xué)習(xí)直到所有無(wú)標(biāo)簽數(shù)據(jù)都被打上標(biāo)簽完成協(xié)同訓(xùn)練過(guò)程，最后利用分類器進(jìn)行降水粒子分類。

1 基于DTSVMs-BNT協(xié)同訓(xùn)練降水粒子分類算法

協(xié)同訓(xùn)練兩個(gè)分類器的方法是利用一個(gè)分類器分類無(wú)標(biāo)簽樣本，選擇結(jié)果中符合條件的數(shù)據(jù)加入訓(xùn)練樣本集，隨后訓(xùn)練另一個(gè)分類器，兩個(gè)分類器輪流重復(fù)上述過(guò)程。本文協(xié)同訓(xùn)練采用的兩個(gè)分類器分別是DTSVMs和BNT。DTSVMs的實(shí)現(xiàn)方法是結(jié)合決策樹算法的思想使用SVM分類器實(shí)現(xiàn)多種降水粒子的分類。BNT分類器的實(shí)現(xiàn)方法是先進(jìn)行結(jié)構(gòu)學(xué)習(xí)獲得網(wǎng)絡(luò)結(jié)構(gòu)，再進(jìn)行參數(shù)學(xué)習(xí)獲得條件概率表。

1.1 DTSVMs降水粒子分類算法

DTSVMs是SVM算法的改進(jìn)，通過(guò)組合多個(gè)二分類的SVM算法實(shí)現(xiàn)多分類的任務(wù)。DTSVMs的基本思路是使用一個(gè)SVM分類器進(jìn)行一次二分類，區(qū)分出一種降水粒子后剩下的數(shù)據(jù)由下一個(gè)SVM分類器再次二分類，直到完全實(shí)現(xiàn)多種降水粒子分類。分類所得的降水類型為九類(視地雜波為一種降水類型)，如表1所示。在降水粒子分類算法中使用到的屬性條件分別是水平反射率因子、差分反射率因子、互相關(guān)系數(shù)和差分相移率，分別簡(jiǎn)記為,，，。

表1 降水粒子輸出結(jié)果

DTSVMs分類算法示意圖如圖1所示，由于有9種降水粒子種類需要區(qū)分，因此需要8個(gè)SVM分類器，分類器的順序根據(jù)降水粒子類別之間的歐氏距離從大到小排序。

圖1 DTSVMs示意圖

使用SVM進(jìn)行降水粒子分類的具體算法如下：

(1)

引入Lagrange因子，可將式(1)轉(zhuǎn)換為式(2)問(wèn)題為

(2)

(3)

(4)

用SVM區(qū)分第1種降水粒子，SVM區(qū)分第2種降水粒子，以此類推。利用DTSVMs分類器進(jìn)行降水粒子分類的具體方法為：當(dāng)輸入測(cè)試數(shù)據(jù)到SVM中時(shí)，判斷()的值，若值為-1則輸出結(jié)果=1，表示第1種降水粒子；若值為+1則將輸入SVM中繼續(xù)判斷()的值，重復(fù)這一過(guò)程，直到()=-1，由此實(shí)現(xiàn)降水粒子多分類。

1.2 BNT降水粒子分類算法

BNT分類器是根據(jù)貝葉斯方法擴(kuò)展出的概率模型，能夠結(jié)合圖形與貝葉斯公式有效的描述不確定的降水粒子分類事件，并且BNT分類器易于實(shí)現(xiàn)，分類效果好。BNT分類器還可以充分利用先驗(yàn)信息，通過(guò)貝葉斯公式將先驗(yàn)信息與樣本中的數(shù)據(jù)轉(zhuǎn)化為概率信息，從而將不確定的降水粒子分類的問(wèn)題轉(zhuǎn)化為確定性的概率值問(wèn)題，最終實(shí)現(xiàn)降水粒子分類的目標(biāo)。

構(gòu)造BNT分類器首先需要進(jìn)行結(jié)構(gòu)學(xué)習(xí)確定網(wǎng)絡(luò)結(jié)構(gòu)，之后通過(guò)參數(shù)學(xué)習(xí)獲得屬性節(jié)點(diǎn)的條件概率，最后利用貝葉斯公式進(jìn)行降水粒子分類過(guò)程。

1)貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí)

貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)由屬性節(jié)點(diǎn),,,，類節(jié)點(diǎn)以及有向線段構(gòu)成，進(jìn)行結(jié)構(gòu)學(xué)習(xí)需要計(jì)算屬性節(jié)點(diǎn)間的互信息值，并且對(duì)滿足互信息門限條件的屬性節(jié)點(diǎn)建立無(wú)向邊，最后給無(wú)向邊定向，如圖2所示。

圖2 貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)示意圖

(5)

互信息值門限通常取值為01～03，多次實(shí)驗(yàn)證明當(dāng)=025時(shí)有較好的效果，滿足互信息值大于的兩個(gè)節(jié)點(diǎn)視作可以形成無(wú)向邊的節(jié)點(diǎn)對(duì)。

確定無(wú)向邊方向的方法是與類節(jié)點(diǎn)之間的互信息值比較低的節(jié)點(diǎn)作為箭頭指向方向，如果計(jì)算出的貝葉斯網(wǎng)絡(luò)中產(chǎn)生環(huán)路結(jié)構(gòu)，則去掉環(huán)路結(jié)構(gòu)中互信息值最小的箭頭。最后形成的貝葉斯網(wǎng)絡(luò)如圖3所示。

圖3 貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)

2)貝葉斯網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)

對(duì)貝葉斯網(wǎng)絡(luò)獲取每個(gè)屬性節(jié)點(diǎn)計(jì)算條件概率表，即可得到類節(jié)點(diǎn)與,,,，以及,,,之間相互的關(guān)系，完成參數(shù)學(xué)習(xí)過(guò)程。

(6)

為防止出現(xiàn)分子為0的情況，對(duì)公式(6)進(jìn)行拉普拉斯平滑處理為

(7)

最后得到的條件概率表如圖4所示，在這個(gè)三維分布列中每一個(gè)概率值均由一個(gè)方格儲(chǔ)存。

圖4 ZDR條件概率表

3)貝葉斯網(wǎng)絡(luò)分類算法

利用貝葉斯網(wǎng)絡(luò)分類算法進(jìn)行分類的具體方法如下：

獲得貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)以及條件概率表后，就可以輸入到貝葉斯公式中進(jìn)行分類計(jì)算。用,,,分別表示輸入到分類器里面的雷達(dá)偏振參量,,,，根據(jù)貝葉斯公式實(shí)現(xiàn)降水粒子分類問(wèn)題可以描述為式(8)所示。

(8)

其中，∈{1,2,…,9}表示降水粒子的標(biāo)簽數(shù)；表示第個(gè)雷達(dá)偏振參量，∈{1,2,3,4}；(,,,)為常數(shù)。公式(8)轉(zhuǎn)化為式(9)。

(9)

1.3 協(xié)同訓(xùn)練降水粒子分類算法

由于BNT分類器的速度快、運(yùn)算量小，并且能夠輕松引入融化層信息，而DTSVMs分類器要想加入融化層信息，需要構(gòu)建多個(gè)DTSVMs分類器來(lái)實(shí)現(xiàn)不同融化區(qū)域的降水粒子分類。由于分類器的復(fù)雜度隨著類別個(gè)數(shù)快速增加，運(yùn)算速度在原來(lái)的基礎(chǔ)上還會(huì)大幅度下降。因此將BNT分類器的分類結(jié)果作為降水粒子分類的最終結(jié)果，而將DTSVMs分類器作為輔助分類器參與到BNT分類器的協(xié)同訓(xùn)練過(guò)程中。

在協(xié)同訓(xùn)練過(guò)程中只有當(dāng)分類結(jié)果的置信度符合一定條件時(shí)才能夠視無(wú)標(biāo)簽數(shù)據(jù)有資格加入到訓(xùn)練樣本集，經(jīng)過(guò)重新訓(xùn)練的分類器才能有較好的準(zhǔn)確性。

貝葉斯方法通過(guò)最大后驗(yàn)概率確定分類結(jié)果，因此可以根據(jù)后驗(yàn)概率確定分類置信度，后驗(yàn)概率越大則置信度越高。對(duì)于支持向量機(jī)方法，分類置信度的高低由樣本與分類超平面距離決定，因此分類置信度選擇基于切邊權(quán)值統(tǒng)計(jì)特性進(jìn)行估計(jì)，樣本所有切邊的權(quán)值之和越大說(shuō)明分類正確的可能性越高。

1)BNT分類器的置信度確認(rèn)方法如下：

將無(wú)標(biāo)簽待定樣本數(shù)據(jù),∈{1,2,…,}輸入到分類器中，根據(jù)公式(9)計(jì)算貝葉斯公式的最大后驗(yàn)概率值，令公式(9)為有

(10)

將無(wú)標(biāo)簽待定樣本的最大后驗(yàn)概率值按照從大到小的順序排列為

={,,…,,…},
>>…>>…>,∈{1,2,…,}

(11)

計(jì)算出的最大后驗(yàn)概率值越大則視其分類結(jié)果的準(zhǔn)確性越高，越值得信賴，因此取集合中前個(gè)數(shù)據(jù)作為滿足置信度條件的樣本加入到有標(biāo)簽數(shù)據(jù)集中，完成BNT置信度的計(jì)算。

2)DTSVMs分類器的置信度確認(rèn)方法如下：

若某一待定樣本為(,)，其中無(wú)標(biāo)簽待定樣本數(shù)據(jù)為，分類器分類結(jié)果標(biāo)記為，則的置信度公式為

=∑∈

(12)

=(1-(=))∑∈

(13)

(14)

(,)=1-()

(15)

協(xié)同訓(xùn)練時(shí)首先使用DTSVMs分類器對(duì)無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行降水粒子分類，選取分類結(jié)果中置信度高的數(shù)據(jù)加入到有標(biāo)簽數(shù)據(jù)集中，置信度低的數(shù)據(jù)重新放回?zé)o標(biāo)簽數(shù)據(jù)集。利用更新后的有標(biāo)簽數(shù)據(jù)集重新訓(xùn)練BNT分類器。之后再取出部分無(wú)標(biāo)簽數(shù)據(jù)集中數(shù)據(jù)使用新的BNT分類器進(jìn)行分類，同樣選取置信度高的樣本更新訓(xùn)練數(shù)據(jù)集，以及重新訓(xùn)練DTSVMs分類器。兩個(gè)分類器輪流重復(fù)上述過(guò)程。對(duì)兩個(gè)分類器完成協(xié)同訓(xùn)練之后，利用測(cè)試數(shù)據(jù)進(jìn)行降水粒子分類過(guò)程。

1.4 基于DTSVMs-BNT協(xié)同訓(xùn)練的雙偏振氣象雷達(dá)降水粒子分類方法流程

結(jié)合前文可得基于DTSVMs-BNT協(xié)同訓(xùn)練的雙偏振氣象雷達(dá)降水粒子分類算法流程，如圖5所示。

圖5 基于DTSVMs-BNT協(xié)同訓(xùn)練的雙偏振氣象雷達(dá)降水粒子分類流程

步驟如下：

1)步驟1：建立BNT和DTSVMs機(jī)器學(xué)習(xí)模型，使用有標(biāo)簽數(shù)據(jù)集，初步訓(xùn)練得到和分類器；

2)步驟2：從無(wú)標(biāo)簽數(shù)據(jù)集中取個(gè)樣本，儲(chǔ)存在待定數(shù)據(jù)集′中，使用兩個(gè)分類器對(duì)′中的數(shù)據(jù)進(jìn)行分類，得到預(yù)測(cè)結(jié)果；

3)步驟3：計(jì)算個(gè)樣本的置信度，將置信度符合條件的個(gè)樣本及其標(biāo)簽補(bǔ)充到中，重新訓(xùn)練和分類器；

4)步驟4：重復(fù)上述步驟，直到無(wú)標(biāo)簽數(shù)據(jù)集=?，輸出BNT分類器和DTSVMs分類器；

5)步驟5：利用訓(xùn)練好的BNT和DTSVMs分類器對(duì)新的無(wú)標(biāo)簽數(shù)據(jù)集進(jìn)行降水粒子分類。

通過(guò)上述步驟可知協(xié)同訓(xùn)練的最終得到BNT和DTSVMs兩個(gè)分類器，每個(gè)分類器都可以單獨(dú)完成降水粒子分類任務(wù)，且分類結(jié)果較為準(zhǔn)確。

2 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)數(shù)據(jù)集獲取自美國(guó)國(guó)家海洋和大氣管理局公開數(shù)據(jù)，該數(shù)據(jù)采集自美國(guó)新一代氣象雷達(dá)網(wǎng)WSR-88D雙偏振氣象雷達(dá)網(wǎng)。其中有標(biāo)簽數(shù)據(jù)集是2018年5月俄克拉荷馬市(OKLAHOMA)的KTLX雷達(dá)采集的回波數(shù)據(jù)，無(wú)標(biāo)簽數(shù)據(jù)集是2019年6月密爾沃基市(Milwaukee)的KMKX雷達(dá)采集的回波數(shù)據(jù)。兩個(gè)數(shù)據(jù)集均是每類降水粒子1000個(gè)樣本，兩個(gè)數(shù)據(jù)集分別有9000個(gè)訓(xùn)練樣本。測(cè)試數(shù)據(jù)集使用的是KMKX雷達(dá)于2019年8月6日5點(diǎn)06分采集到的0.5°仰角回波數(shù)據(jù)。

2.1 KMKX雷達(dá)回波圖像數(shù)據(jù)

測(cè)試數(shù)據(jù)集雷達(dá)回波圖像數(shù)據(jù)信息如圖6所示。

圖6 測(cè)試數(shù)據(jù)集KMKX雷達(dá)數(shù)據(jù)

2.2 實(shí)測(cè)數(shù)據(jù)驗(yàn)證

按照前文所述方法，完成DTSVMs-BNT協(xié)同訓(xùn)練之后，使用獲得的協(xié)同訓(xùn)練BNT分類器對(duì)測(cè)試數(shù)據(jù)集進(jìn)行降水粒子分類，分類結(jié)果如圖7所示。其中圖7(a)表示僅使用有標(biāo)簽訓(xùn)練數(shù)據(jù)集訓(xùn)練得到的決策樹支持向量機(jī)分類器對(duì)測(cè)試數(shù)據(jù)集的分類結(jié)果；圖7(b)表示僅使用有標(biāo)簽訓(xùn)練數(shù)據(jù)集訓(xùn)練得到的貝葉斯網(wǎng)絡(luò)分類器對(duì)測(cè)試數(shù)據(jù)集的分類結(jié)果；圖7(c)為協(xié)同訓(xùn)練BNT分類器的分類結(jié)果圖；圖7(d)是美國(guó)國(guó)家海洋和大氣管理局官方提供的降水粒子分類類別，將其作為測(cè)試數(shù)據(jù)集的真實(shí)類別。從圖7中可以看出，相比于兩種前置分類器分類結(jié)果(圖7(a)、圖7(b))協(xié)同訓(xùn)練后分類器性能有了顯著提升，分類結(jié)果更接近測(cè)試數(shù)據(jù)集的真實(shí)類別。

圖7 降水粒子分類實(shí)驗(yàn)結(jié)果與真實(shí)類別對(duì)照

將降水粒子分類實(shí)驗(yàn)結(jié)果與真實(shí)類別進(jìn)行對(duì)照，不難看出BNT分類器分類結(jié)果(圖7(b))和協(xié)同訓(xùn)練BNT分類器分類結(jié)果(圖7(c))更加接近官方提供的真實(shí)的分類結(jié)果(圖7(d))。因此將BNT分類器對(duì)各個(gè)降水粒子的分類性能與協(xié)同訓(xùn)練BNT分類器對(duì)各個(gè)降水粒子的分類性能進(jìn)行進(jìn)一步量化。統(tǒng)計(jì)降水粒子分類實(shí)驗(yàn)結(jié)果和官方提供的真實(shí)的分類結(jié)果中的各類別粒子數(shù)量及占比，對(duì)比如表2所示。在BNT分類器分類結(jié)果中，冰雹和冰晶等粒子占比遠(yuǎn)高于官方提供的真實(shí)分類結(jié)果，準(zhǔn)確率僅84.4%。相比于BNT分類器，協(xié)同訓(xùn)練使BNT分類器獲得了更高的準(zhǔn)確率，各個(gè)類別粒子的數(shù)量及占比與官方提供的真實(shí)分類結(jié)果相差很小。協(xié)同訓(xùn)練BNT分類器降水粒子的識(shí)別準(zhǔn)確率提高到了90.3%，很大程度地提高了BNT算法的分類性能。協(xié)同訓(xùn)練算法使用一部分有標(biāo)簽的訓(xùn)練數(shù)據(jù)結(jié)合一部分無(wú)標(biāo)簽的數(shù)據(jù)有效地提升了分類器的分類性能，實(shí)現(xiàn)了降水粒子的準(zhǔn)確分類。

表2 BNT分類器、協(xié)同訓(xùn)練BNT分類器和NOAA真實(shí)場(chǎng)景各類別粒子數(shù)量占比

3 結(jié)束語(yǔ)

針對(duì)有標(biāo)簽樣本數(shù)不足的問(wèn)題，本文提出了一種基于DTSVMs-BNT協(xié)同訓(xùn)練的雙偏振雷達(dá)降水粒子分類方法。該方法首先使用有標(biāo)簽的訓(xùn)練數(shù)據(jù)集進(jìn)行初步訓(xùn)練得到BNT和DTSVMs兩個(gè)降水粒子分類器。之后使用兩個(gè)分類器逐漸對(duì)無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行分類預(yù)測(cè)，計(jì)算分類結(jié)果的置信度，選取分類結(jié)果中置信度較高的無(wú)標(biāo)簽數(shù)據(jù)及對(duì)應(yīng)的預(yù)測(cè)標(biāo)簽加入到訓(xùn)練樣本集中，并且重新訓(xùn)練分類器。重復(fù)上述過(guò)程直到所有無(wú)標(biāo)簽訓(xùn)練數(shù)據(jù)都被打上標(biāo)簽，這時(shí)完成訓(xùn)練得到兩個(gè)降水粒子分類器，最后使用得到的協(xié)同訓(xùn)練BNT分類器對(duì)測(cè)試數(shù)據(jù)集進(jìn)行測(cè)試驗(yàn)證。實(shí)驗(yàn)證明該方法使用一部分有標(biāo)簽的訓(xùn)練數(shù)據(jù)結(jié)合一部分無(wú)標(biāo)簽的訓(xùn)練數(shù)據(jù)有效地提高了分類器性能，實(shí)現(xiàn)了降水粒子分類的準(zhǔn)確分類。