李 海 桑晨禹 郭生權(quán) 田 眾

(中國民航大學(xué)天津市智能信號與圖像處理重點(diǎn)實(shí)驗(yàn)室 天津 300300)

0 引言

冰雹災(zāi)害性天氣雖然出現(xiàn)的范圍小、時(shí)間短,但是具有極強(qiáng)的破壞力,且常常伴隨強(qiáng)降雨、狂風(fēng)等天氣過程,嚴(yán)重阻礙農(nóng)業(yè)、電力通訊等方面的發(fā)展。精準(zhǔn)的冰雹檢測對于災(zāi)害性冰雹天氣預(yù)報(bào)預(yù)警以及人工作業(yè)防雹指揮具有重要意義。冰雹產(chǎn)生于強(qiáng)對流天氣,可通過雷達(dá)探測強(qiáng)對流系統(tǒng)而進(jìn)行冰雹的識別[1]。與常規(guī)多普勒天氣雷達(dá)相比,雙極化氣象雷達(dá)能夠發(fā)射水平和垂直方向的電磁波,不僅能得到反射率因子、譜寬和速度,還能反演得到反映水凝物降水粒子形狀、尺寸、密度等物理特性的多種極化參數(shù)[2-3],在降水估計(jì)、水凝物識別和災(zāi)害監(jiān)測等方面具有明顯優(yōu)勢,是冰雹檢測領(lǐng)域的研究熱點(diǎn)。

1986年雙極化氣象雷達(dá)極化參數(shù)首次被應(yīng)用于冰雹探測領(lǐng)域,Aydin等提出結(jié)合反射率因子和差分反射率因子的冰雹識別算法[4]。這種基于統(tǒng)計(jì)結(jié)果的判決雖然方法簡單,但是該算法的前提條件是假設(shè)極化參數(shù)是互斥的。目前,雙極化氣象雷達(dá)冰雹檢測的研究主要有兩大類方法,分別為模糊邏輯判別技術(shù)和機(jī)器學(xué)習(xí)類算法。Straka應(yīng)用模糊邏輯成功實(shí)現(xiàn)降水粒子分類[5],Ryzhkov驗(yàn)證了該算法能夠有效識別冰雹[6]。后續(xù)相關(guān)學(xué)者的研究主要集中于不同波段雷達(dá)驗(yàn)證應(yīng)用[7-8]和隸屬度函數(shù)參數(shù)的優(yōu)化改進(jìn)[9-11]。模糊邏輯算法能夠有效解決數(shù)據(jù)交叉、不精確等問題。但是該算法隸屬度函數(shù)參數(shù)的確定和相關(guān)權(quán)重的選擇過度依賴專家經(jīng)驗(yàn)值,主觀性較大?，F(xiàn)已應(yīng)用到天氣檢測領(lǐng)域的機(jī)器學(xué)習(xí)相關(guān)算法主要有支持向量機(jī)[12]、貝葉斯[13]、聚類[14]和神經(jīng)網(wǎng)絡(luò)[15]等。支持向量機(jī)算法在同等樣本數(shù)量下計(jì)算量大、耗時(shí)長。貝葉斯神經(jīng)網(wǎng)絡(luò)應(yīng)用回歸和分類方案進(jìn)行冰雹檢測,但是易出現(xiàn)過擬合現(xiàn)象。聚類算法減少了獲取標(biāo)簽的成本,不易受到數(shù)據(jù)污染,但是該方法計(jì)算成本高且聚類誤差對識別結(jié)果影響較大。王金虎等將神經(jīng)網(wǎng)絡(luò)算法與水凝物分類相結(jié)合,但對冰雹等大顆粒固體粒子識別結(jié)果較差[15]。神經(jīng)網(wǎng)絡(luò)能夠依據(jù)數(shù)據(jù)搭建輸入輸出關(guān)系、自適應(yīng)調(diào)節(jié)模型參數(shù),然而機(jī)器學(xué)習(xí)性能的上限取決于數(shù)據(jù)和數(shù)據(jù)特征[16]。人為選定的特征往往在不同數(shù)據(jù)、不同模型下不能通用。

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的冰雹檢測方法,該方法通過前向傳播搭建模型設(shè)置網(wǎng)絡(luò)結(jié)構(gòu),再通過后向傳播訓(xùn)練網(wǎng)絡(luò)調(diào)節(jié)模型參數(shù),最終得到冰雹檢測模型。該方法能夠提取極化參數(shù)數(shù)據(jù)的顯著特征,同時(shí)無需進(jìn)行模型參數(shù)假設(shè)就可以有效進(jìn)行冰雹檢測。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的冰雹檢測模型

1.1 數(shù)據(jù)預(yù)處理

本文選取雙極化氣象雷達(dá)回波數(shù)據(jù)計(jì)算得到的四種極化參數(shù)作為冰雹檢測的屬性依據(jù),具體為反射率因子Zh、差分反射率因子ZDR、互相關(guān)系數(shù)ρHV、以及差分相移率KDP。這些極化參數(shù)以數(shù)值的形式單獨(dú)存放在每個(gè)雷達(dá)回波分辨單元內(nèi),而單個(gè)數(shù)值無法進(jìn)行卷積計(jì)算。因此,在構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型之前需要對分辨單元內(nèi)的極化參數(shù)進(jìn)行擴(kuò)充。目的是將極化參數(shù)數(shù)值轉(zhuǎn)化成數(shù)據(jù)矩陣的形式。首先將每個(gè)分辨單元沿距離向和方位向分割成n×n個(gè)小分辨單元,每個(gè)小分辨單元為一個(gè)插值點(diǎn),然后采用最近鄰插值方法[17],利用相鄰分辨單元極化信息的值來推斷出插值點(diǎn)的數(shù)值。n取值為大于3的正整數(shù),取值越大越有利于特征提取但同時(shí)產(chǎn)生的冗余也越多。本文取n=5,圖1為分辨單元內(nèi)一個(gè)極化參數(shù)插值處理示意圖。將本文選取的四個(gè)極化參量分別進(jìn)行插值處理后,再通過堆疊操作得到四通道的數(shù)據(jù)矩陣。此數(shù)據(jù)矩陣與對應(yīng)的標(biāo)簽信息相結(jié)合構(gòu)成冰雹檢測數(shù)據(jù)集。

1.2 模型搭建

雙極化氣象雷達(dá)的極化參數(shù)經(jīng)過數(shù)據(jù)預(yù)處理后每個(gè)分辨單元數(shù)據(jù)格式為4×5×5,本文以此三維數(shù)組作為輸入,構(gòu)建一個(gè)輸出為冰雹和其他(非冰雹降水粒子統(tǒng)稱)的二分類網(wǎng)絡(luò)。CNN是一種“特征提取器+分類器”的串聯(lián)結(jié)構(gòu),其基礎(chǔ)模型包括卷積層、池化層、全連接層三個(gè)部分。卷積和池化對極化參數(shù)的特征進(jìn)行提取,全連接神經(jīng)網(wǎng)絡(luò)依據(jù)特征進(jìn)行分類。參考CNN的基本架構(gòu),本文所提的冰雹檢測模型由一個(gè)輸入層、兩個(gè)卷積層、兩個(gè)池化層、三個(gè)全連接層和一個(gè)輸出層組成。模型結(jié)構(gòu)如圖2所示,各層參數(shù)設(shè)置如表1所示。

圖2 基于CNN的冰雹檢測模型構(gòu)建

表1 模型參數(shù)設(shè)置

卷積層通過卷積運(yùn)算的方式對數(shù)據(jù)進(jìn)行特征提取。初始化的卷積核以固定的步長在極化參數(shù)上滑動(dòng)來遍歷每個(gè)數(shù)據(jù)。每滑動(dòng)一次,就要計(jì)算卷積核和極化參數(shù)重合區(qū)域的乘積并求和,再加上偏置。為了防止數(shù)據(jù)邊緣信息丟失,在卷積層1中對極化數(shù)據(jù)使用全零填充以保證輸入數(shù)據(jù)大小和輸出數(shù)據(jù)大小一致。卷積核會在一次次的迭代中被更新,無限接近符合當(dāng)前數(shù)據(jù)分布的特征向量集,最后利用訓(xùn)練好的卷積核提取每個(gè)雷達(dá)分辨單元的極化參數(shù)數(shù)據(jù)特征。以卷積層1中一個(gè)通道的輸入為例,在全零填充后輸入矩陣變?yōu)?×7,經(jīng)卷積運(yùn)算后,輸出大小為5×5的特征矩陣,示意圖如圖3所示。

圖3 極化參數(shù)卷積示意圖

經(jīng)卷積提取后的特征矩陣送入池化層。池化層的作用是對卷積之后的特征矩陣進(jìn)行降維處理。該層考慮特征不變性,在空間范圍內(nèi)做維度約減,使模型得到更廣泛的特征。

Xl=pool(Xl-1)

(1)

l表示層數(shù)取值為3和5,對應(yīng)模型中的最大值池化層和均值池化層;Xl和Xl-1分別為池化層和卷積層的輸出;pool(·)表示池化函數(shù)。在冰雹檢測算法中采用最大池化和平均池化對極化數(shù)據(jù)的特征進(jìn)行聚合統(tǒng)計(jì),既關(guān)注重要的局部特征,又關(guān)注全局特征。池化過程通過設(shè)定池化窗口的大小和步長遍歷特征矩陣,每滑動(dòng)一次就計(jì)算池化窗口對應(yīng)的特征矩陣相應(yīng)區(qū)域內(nèi)的最大值或均值。以圖3的輸出為例,兩種池化標(biāo)準(zhǔn)的計(jì)算結(jié)果如圖4所示。

圖4 極化參數(shù)池化(最大、平均)過程示意圖

全連接層選用3層神經(jīng)網(wǎng)絡(luò),同時(shí)加入Relu激活函數(shù)和Dropout策略。最后使用Softmax函數(shù)作為輸出層函數(shù),得到預(yù)測結(jié)果,其數(shù)學(xué)定義為

(2)

圖5 原始全連接神經(jīng)網(wǎng)絡(luò)

圖6 Dropout后網(wǎng)絡(luò)結(jié)構(gòu)

1.3 模型參數(shù)訓(xùn)練

模型訓(xùn)練任務(wù)的最終目標(biāo)是讓預(yù)測值和真實(shí)標(biāo)簽盡可能的接近。在形式上表現(xiàn)為通過調(diào)整模型參數(shù)最小化損失函數(shù)。而模型參數(shù)調(diào)整依據(jù)梯度下降算法。在后向傳播過程中,通過導(dǎo)數(shù)鏈?zhǔn)椒▌t計(jì)算損失函數(shù)J對各參數(shù)的梯度,并根據(jù)梯度和學(xué)習(xí)率更新網(wǎng)絡(luò)中的權(quán)重和偏置。為了避免模型在訓(xùn)練過程中陷入最優(yōu)解以及減小學(xué)習(xí)率設(shè)置對參數(shù)收斂的影響,引入了指數(shù)衰減學(xué)習(xí)率和滑動(dòng)平均。

下面以權(quán)重的更新過程為例進(jìn)行詳細(xì)闡述,模型權(quán)重參數(shù)的更新公式為

(3)

J(w,b)=Jdata(w,b)+JR(w,b)

(4)

(5)

正則化項(xiàng)是在最小化損失函數(shù)J時(shí)增加一個(gè)約束,能夠降低原始損失函數(shù)在離線訓(xùn)練時(shí)的誤差以及減小衡量指標(biāo)下參數(shù)w的規(guī)模,有效避免冰雹檢測模型的過擬合。

JR(w,b)=αΩ(w)

(6)

其中α表示正則化的強(qiáng)度;Ω(w)表示正則化函數(shù),不同的正則化方式對冰雹檢測模型的影響也不同,L2正則化通過加入αw來約束參數(shù)的變化,這主要是對參數(shù)線性的放縮;L1方案正則化對應(yīng)梯度添加了和符號函數(shù)sign(wi)同號的一個(gè)常數(shù),能夠通過較大的α來稀疏冰雹檢測模型參數(shù)。因此,在冰雹檢測模型離線訓(xùn)練過程中使用L1范數(shù)正則化。即公式(4)對應(yīng)損失函數(shù)公式(7),其中‖w‖1作為權(quán)重絕對值之和為

(7)

確定損失函數(shù)后,對于不同層的梯度計(jì)算步驟如下:

1)首先定義節(jié)點(diǎn)靈敏度誤差δ,表示損失函數(shù)J對第l層神經(jīng)元輸入的變化率為式(8)所示。

(8)

當(dāng)?shù)趌層為卷積層時(shí):

δl=up(δl+1)wl+1*f′(ul)

(9)

其中up(·)表示上采樣。

當(dāng)?shù)趌層為池化層時(shí):

δl=δl+1rot180(wl+1)*f′(ul)

(10)

其中,rot180(·)表示矩陣順時(shí)針旋轉(zhuǎn)180°。

當(dāng)?shù)趌層為全連接層時(shí):

δl=(wl)Tδl+1f′(ul)

(11)

2)依據(jù)得到的各層靈敏度誤差計(jì)算權(quán)重和偏置的梯度。

?w=δlxl-1
?b=δl

(12)

模型參數(shù)更新公式(3)中η表示學(xué)習(xí)率。學(xué)習(xí)率過大過小都會影響參數(shù)收斂。為了使模型中參數(shù)學(xué)習(xí)率能夠自適應(yīng)調(diào)整,加入了指數(shù)衰減學(xué)習(xí)率。η的計(jì)算公式為

η=η0·βK

(13)

其中η0表示初始學(xué)習(xí)率;β表示學(xué)習(xí)率的衰減率;K表示當(dāng)前訓(xùn)練次數(shù)與學(xué)習(xí)率更新頻率的比值。在冰雹檢測模型中,學(xué)習(xí)率更新頻率定義為訓(xùn)練樣本總數(shù)和批量樣本數(shù)的比值。在參數(shù)更新的過程中加入滑動(dòng)平均用于記錄一段時(shí)間內(nèi)模型中的權(quán)重和偏置,防止模型過擬合。在冰雹檢測模型離線訓(xùn)練的過程中,滑動(dòng)平均值能夠體現(xiàn)參數(shù)的變化?？梢员４婷恳淮斡?xùn)練后的模型,實(shí)現(xiàn)斷點(diǎn)訓(xùn)練,在測試時(shí)只需要加載最新的模型即可,確保模型在訓(xùn)練時(shí)更加靈活。

本文選取美國國家海洋和大氣管理局(National Atmospheric Administration,NOAA)數(shù)據(jù)庫中提供的KTLX雙極化氣象雷達(dá)偏振參量信息進(jìn)行實(shí)驗(yàn)。在2019年4月至2020年3月期間獲取的回波數(shù)據(jù)中選取15萬個(gè)作為訓(xùn)練樣本。該樣本數(shù)據(jù)包含多個(gè)典型的天氣情況并涉及不同的季節(jié),具有較強(qiáng)的代表性。采用Python語言和Tensorflow架構(gòu)進(jìn)行編程,實(shí)現(xiàn)上述模型搭建和參數(shù)調(diào)整。在訓(xùn)練過程中,采用初始學(xué)習(xí)率為0.001,學(xué)習(xí)率衰減率為0.99,滑動(dòng)平均衰減率為0.99,Droupout調(diào)整策略保留率為0.5。在輸入樣本的過程中引入了小批次樣本降低復(fù)雜度。隨著訓(xùn)練次數(shù)的增加損失誤差不斷下降,當(dāng)損失誤差達(dá)到收斂狀態(tài)時(shí),保存模型及權(quán)重參數(shù)。模型訓(xùn)練過程中準(zhǔn)確率和損失誤差的變化曲線如圖7所示。

圖7 準(zhǔn)確率和損失誤差變化曲線

2 算法流程與步驟

基于卷積神經(jīng)網(wǎng)絡(luò)的雙極化氣象雷達(dá)冰雹檢測方法流程如圖8所示。

圖8 基于卷積神經(jīng)網(wǎng)絡(luò)的雙極化氣象雷達(dá)冰雹檢測方法流程圖

基于卷積神經(jīng)網(wǎng)絡(luò)的雙極化氣象雷達(dá)冰雹檢測方法步驟如下所示。

1)步驟1:對獲取的雙極化氣象雷達(dá)極化數(shù)據(jù)進(jìn)行處理,使其符合卷積神經(jīng)網(wǎng)絡(luò)的輸入同時(shí)提高數(shù)據(jù)分辨率;

2)步驟2:搭建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),設(shè)定模型中的超參數(shù);

3)步驟3:對模型進(jìn)行迭代訓(xùn)練,更新模型參數(shù);

4)步驟4:使用冰雹檢測模型來進(jìn)行測試;

5)步驟5:輸出模型分類結(jié)果。

3 實(shí)驗(yàn)及結(jié)果分析

本文分別使用仿真數(shù)據(jù)和實(shí)測數(shù)據(jù),對訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)冰雹檢測模型進(jìn)行驗(yàn)證。下面分別展示兩份數(shù)據(jù)的實(shí)驗(yàn)結(jié)果。

3.1 仿真數(shù)據(jù)

通過仿真得到的雷達(dá)回波數(shù)據(jù)反演計(jì)算出的極化參數(shù)稱為仿真數(shù)據(jù)。仿真過程用到的雷達(dá)參數(shù)如表2所示。

表2 極化雷達(dá)仿真參數(shù)

圖9 KTLX雷達(dá)強(qiáng)降雨過程可視化結(jié)果(2020/4/22 05:06)

圖10 仿真數(shù)據(jù)可視化結(jié)果(2020/4/22 05:06)

利用卷積神經(jīng)網(wǎng)絡(luò)對仿真數(shù)據(jù)進(jìn)行檢測,冰雹檢測的結(jié)果如圖11所示。結(jié)合圖10(a)可以看出反射率較大的地方分為了冰雹,與實(shí)際情況相符合。

圖11 仿真數(shù)據(jù)冰雹檢測結(jié)果(卷積神經(jīng)模型)

對于二分類問題,實(shí)際標(biāo)簽與預(yù)測標(biāo)簽兩個(gè)維度交織構(gòu)成的混淆矩陣包含四種情況,分別為:實(shí)際冰雹預(yù)測冰雹;實(shí)際冰雹預(yù)測其他;實(shí)際其他預(yù)測其他;實(shí)際其他預(yù)測冰雹。通過對混淆矩陣的分析我們可以得到精確率、召回率和F1指標(biāo)。用精確率表示冰雹檢測結(jié)果的好壞,用召回率表示冰雹檢測結(jié)果的完整性,F1指標(biāo)表示兩者的綜合。使用卷積神經(jīng)網(wǎng)絡(luò)得到冰雹檢測結(jié)果的混淆矩陣(仿真數(shù)據(jù))如表3所示,從表3中可以計(jì)算得到冰雹仿真數(shù)據(jù)的精確率為70%,召回率為80%,F1為75%。

表3 卷積神經(jīng)網(wǎng)絡(luò)檢測結(jié)果混淆矩陣(仿真數(shù)據(jù))

3.2 實(shí)測數(shù)據(jù)

本文實(shí)測數(shù)據(jù)選取NOAA數(shù)據(jù)庫中的KTLX雷達(dá)在2019年6月19日14時(shí)55分的極化參數(shù)來進(jìn)行測試,該數(shù)據(jù)的可視化結(jié)果如圖12所示。

圖12 KTLX雷達(dá)獲取的極化參數(shù)(2019/6/19 14:55)

為了進(jìn)一步說明本文所提方法的有效性,分別利用全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行測試,全連接神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)以及初始設(shè)置和卷積神經(jīng)網(wǎng)絡(luò)中的全連接神經(jīng)網(wǎng)絡(luò)一樣。如圖13所示為使用全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的冰雹檢測結(jié)果以及NOAA給出的冰雹檢測結(jié)果。

圖13 冰雹檢測結(jié)果

與全連接神經(jīng)網(wǎng)絡(luò)冰雹檢測結(jié)果相比,卷積神經(jīng)網(wǎng)絡(luò)冰雹檢測結(jié)果更加接近于NOAA提供的真實(shí)分類結(jié)果。通過計(jì)算兩種方法的混淆矩陣對檢測結(jié)果進(jìn)一步量化,如表4和表5所示為全連接神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)檢測結(jié)果計(jì)算得到的混淆矩陣。

表4 冰雹檢測結(jié)果混淆矩陣(全連接神經(jīng)網(wǎng)絡(luò))

表5 冰雹檢測結(jié)果混淆矩陣(卷積神經(jīng)網(wǎng)絡(luò))

依據(jù)混淆矩陣計(jì)算得出全連接神經(jīng)網(wǎng)絡(luò)冰雹檢測模型的精確率為68%,召回率為52%,F1為60%。卷積神經(jīng)網(wǎng)絡(luò)冰雹檢測模型的精確率為73.59%,召回率為83%,F1為78%。從結(jié)果來看,基于卷積神經(jīng)網(wǎng)絡(luò)的冰雹檢測模型的準(zhǔn)確率和完整性均高于全連接神經(jīng)網(wǎng)絡(luò),有效降低了冰雹識別的虛警概率。

4 結(jié)束語

本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的雙極化氣象雷達(dá)冰雹檢測算法。通過對獲取的極化參數(shù)進(jìn)行處理,得到符合卷積神經(jīng)網(wǎng)絡(luò)輸入的數(shù)據(jù),然后搭建卷積神經(jīng)網(wǎng)絡(luò)模型,接著在模型訓(xùn)練的過程中加入指數(shù)衰減學(xué)習(xí)率、正則化等措施來優(yōu)化網(wǎng)絡(luò),從而實(shí)現(xiàn)冰雹檢測。通過對比卷積神經(jīng)網(wǎng)絡(luò)和全連接神經(jīng)網(wǎng)絡(luò)的測試結(jié)果,得出了經(jīng)過特征提取和權(quán)值共享后卷積神經(jīng)網(wǎng)絡(luò)的檢測能力優(yōu)于全連接神經(jīng)網(wǎng)絡(luò)的結(jié)論,表明了卷積神經(jīng)網(wǎng)絡(luò)能夠改善冰雹檢測模型的性能。通過對仿真數(shù)據(jù)和實(shí)測數(shù)據(jù)進(jìn)行實(shí)驗(yàn)表明,該方法能夠?qū)崿F(xiàn)較為準(zhǔn)確的冰雹檢測,且具有很好的研究潛質(zhì)和模型泛化性。為防止數(shù)據(jù)失真,數(shù)據(jù)插值規(guī)模較小,神經(jīng)網(wǎng)絡(luò)深度較淺,后續(xù)可以通過研究高維數(shù)據(jù)處理與深度神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式,提高冰雹檢測準(zhǔn)確率。