鞠曉慧 ， 馬楠， 王妍， 范宇琛

(1. 國家氣象信息中心, 北京 100081； 2. 青島星科瑞升信息科技有限公司, 青島 266590； 3. 山東大學(xué)電氣工程學(xué)院， 濟南 250061)

地面自記紙類氣象資料記錄了風(fēng)、降水、溫度、濕度以及氣壓等氣象參數(shù)隨時間的變化，是寶貴的客觀表征天氣和氣候變化的實測基礎(chǔ)資料[1]。氣象信息對于開發(fā)利用風(fēng)能資源、預(yù)防極端天氣災(zāi)害、城市建設(shè)、環(huán)境保護以及精細(xì)化氣象預(yù)報等天氣課題的研究具有重要意義。

自20世紀(jì)60年代，全國2 400多個氣象站使用降水、風(fēng)、氣溫等各類自記儀器進(jìn)行小時乃至分鐘尺度的氣象要素觀測，共積累了40多年約2 000多萬頁的風(fēng)自記紙[2]。由于存儲時間長，許多紙質(zhì)資料會出現(xiàn)氧化、破損現(xiàn)象，導(dǎo)致許多珍貴氣象資料無法使用[3-4]。另外，紙質(zhì)檔案的使用往往不夠靈活和方便，已經(jīng)無法滿足當(dāng)前研究人員系統(tǒng)地了解和應(yīng)用這些寶貴資源的需求[5]。因此，氣象資料數(shù)字化處理對氣象歷史資料的永久存儲和高效使用具有至關(guān)重要的意義。

圖像處理和模式識別技術(shù)的發(fā)展為降水、風(fēng)等氣象要素自記紙?zhí)峁┝擞行У臄?shù)字化處理手段。全國氣象研究學(xué)者對氣象資料數(shù)字化展開了大量的研究。王伯民等[6-7]、Ju等[8]研究了降水自記紙跡線識別技術(shù),研制了降水自記紙彩色掃描數(shù)字化處理系統(tǒng)并應(yīng)用于全國降水自記紙曲線數(shù)據(jù)提取，建立了中國地面氣象站長序列、高質(zhì)量的分鐘和小時降水文件數(shù)據(jù)集[9]。賀美萍[10]、馬寧等[11]對溫度自記紙數(shù)字化處理展開了研究，實現(xiàn)了氣溫自記紙曲線數(shù)據(jù)的提取。岑瑤[12]研究了圖像處理技術(shù)在氣壓自記紙數(shù)字化方面的應(yīng)用。全國EL型電接風(fēng)向風(fēng)速數(shù)字化自動記錄與處理工作也已經(jīng)開展，并取得了較好的效果。李亞麗等[2]應(yīng)用基于最大類間方差法算法改進(jìn)的Canny圖像邊緣檢測方法設(shè)計開發(fā)了EL型電接風(fēng)自記紙跡線數(shù)據(jù)提取軟件系統(tǒng)。趙曉莉等[1]結(jié)合人工整理風(fēng)向自記紙方法和數(shù)字圖像處理技術(shù)，提出了一種 EL型電接風(fēng)向風(fēng)速自記紙數(shù)字化風(fēng)向識別方法應(yīng)用于EL 型電接風(fēng)自記紙數(shù)字化處理。薛改萍等[13]通過圖像掃描技術(shù)和風(fēng)自記紙數(shù)字化處理，完成了西藏風(fēng)自記紙數(shù)字化。目前，針對氣象資料跡線的提取都是基于傳統(tǒng)的跡線跟蹤和提取算法，然而，由于存儲時間長, 保管條件差, 紙質(zhì)氣象資料已經(jīng)出現(xiàn)不同程度的紙張變質(zhì)、跡線變淡 (模糊 )或者墨跡暈染。另外，不同氣象觀測儀器跡線記錄方式也不同。達(dá)因型風(fēng)自記紙記錄了24 h內(nèi)風(fēng)向風(fēng)速變化信息，是一種較為復(fù)雜的氣象跡線，風(fēng)向風(fēng)速曲線呈無規(guī)律變化，傳統(tǒng)的圖像分割和跡線提取算法依賴局部或單一的圖像特征，無法有效提取復(fù)雜背景中的跡線信息。

針對以上問題，現(xiàn)提出一種基于深度學(xué)習(xí)的氣象資料跡線自動識別方法。該方法通過構(gòu)建高質(zhì)量的跡線數(shù)據(jù)集，利用語義分割網(wǎng)絡(luò)結(jié)合多尺度信息，分割復(fù)雜背景中的跡線，實現(xiàn)氣象資料跡線自動的和高精度的識別。根據(jù)《地面氣象觀測規(guī)范》[14]，將氣象信息轉(zhuǎn)換為標(biāo)準(zhǔn)氣象數(shù)據(jù)，建立歷史長序列氣象資料數(shù)據(jù)集。

1 基于深度學(xué)習(xí)的氣象跡線識別

所提出的基于深度學(xué)習(xí)的氣象資料跡線識別算法包括圖像預(yù)處理、跡線網(wǎng)格定位、跡線分割和跡線量化計算。邊緣梯度模板匹配算法被用于準(zhǔn)確定位和提取氣象資料跡線網(wǎng)格。U-net[15]語義分割網(wǎng)絡(luò)通過自動提取不同尺度的光譜和空間特征準(zhǔn)確分割跡線。最后根據(jù)氣象標(biāo)準(zhǔn)，量化跡線信息，生成標(biāo)準(zhǔn)氣象數(shù)據(jù)。算法流程如圖1所示。

圖1 氣象資料跡線識別算法流程Fig.1 Algorithm flow of dyne-wind self-recording paper wind direction and wind speed extraction

1.1 圖像預(yù)處理

由于掃描人員的操作不規(guī)范等因素，紙質(zhì)氣象資料在掃描過程中，會出現(xiàn)掃描圖像傾斜，傾斜圖像會給跡線識別結(jié)果帶來誤差，因此對紙質(zhì)氣象資料數(shù)字化處理前首先要進(jìn)行圖像傾斜校正。利用氣象資料自記紙的網(wǎng)格豎線特征進(jìn)行傾斜校正。首先提取網(wǎng)格二值圖像，在網(wǎng)格二值結(jié)果的基礎(chǔ)上，利用霍夫變換定位圖像中的豎線。統(tǒng)計網(wǎng)格豎線的傾斜角度均值與垂直方向的角度差作為傾斜角度，利用仿射變換技術(shù)實現(xiàn)傾斜圖像的角度校正。

1.2 跡線網(wǎng)格定位

氣象資料網(wǎng)格線是時刻與跡線的刻度標(biāo)記線，網(wǎng)格線的精確定位是跡線準(zhǔn)確轉(zhuǎn)換為標(biāo)準(zhǔn)數(shù)據(jù)的重要前提。為保證網(wǎng)格跡線的精準(zhǔn)定位，采用基于邊緣梯度特征的模板匹配算法[16]提取網(wǎng)格線。該方法結(jié)合邊緣信息和多級特征進(jìn)行目標(biāo)匹配，定位精度可以達(dá)到像素級別，且該方法對目標(biāo)的不均勻亮度變化，目標(biāo)的部分遮擋，目標(biāo)存在角度旋轉(zhuǎn)等因素具有良好的魯棒性，可以滿足氣象自記紙網(wǎng)格定位與提取的功能與性能要求。

氣象自記紙中每一刻度數(shù)對應(yīng)一條刻度線，選取網(wǎng)格邊緣的時刻數(shù)字作為匹配模板，并記錄這些特征字符與網(wǎng)格端點的相對位置坐標(biāo)。通過對模板圖像進(jìn)行旋轉(zhuǎn)、縮放以及金字塔下采樣，生成一系列不同旋轉(zhuǎn)角度和金字塔層數(shù)的模板。依據(jù)Canny算法的原理[17]，首先，提取模板圖像邊緣點，計算邊緣點在的x、y方向的梯度值以及總的梯度值；其次保存邊緣點對應(yīng)的x、y梯度，通過梯度強度歸一化處理以消除光照不均的影響；最后，將邊緣點坐標(biāo)轉(zhuǎn)換為相對于重心的相對坐標(biāo)，將目標(biāo)圖像與模板進(jìn)行匹配獲取網(wǎng)格位置信息。字符匹配過程中，個別匹配度較低的字符結(jié)果舍棄，用相鄰匹配度較高的字符插值計算代替，根據(jù)字符與網(wǎng)格端點的相對位置，計算得到所有網(wǎng)格線的端點，提取出網(wǎng)格。圖2中綠色網(wǎng)格為達(dá)因型風(fēng)自記紙網(wǎng)格線提取結(jié)果。

1.3 跡線分割

利用彩色方式掃描得到的氣象自記紙圖像為彩色，在進(jìn)行跡線跟蹤前將跡線分割出來是獲取氣象跡線信息的重要基礎(chǔ)。傳統(tǒng)的圖像二值化方法大多利用圖像的顏色信息，通過設(shè)置閾值來獲取二值圖像。然而，由于氣象自記紙的記錄方式以及存檔時間長，自記紙存在墨跡暈染、人工整理的鉛筆痕跡、筆尖滴墨等問題，給傳統(tǒng)方法準(zhǔn)確地獲取二值圖像帶來了挑戰(zhàn)。其中大量相同顏色的墨跡暈染問題是主要難點。近年來，深度學(xué)習(xí)方法在圖像分類、目標(biāo)檢測、圖像識別等領(lǐng)域取得了突破性成功并被廣泛使用。為了更精準(zhǔn)地分割跡線，設(shè)計了基于深度學(xué)習(xí)的氣象資料跡線提取方法，利用卷積神經(jīng)網(wǎng)絡(luò)強大的特征提取和分析能力，結(jié)合多尺度特征，實現(xiàn)跡線的準(zhǔn)確分割。該方法不再局限于單一的圖像特征，充分挖掘圖像的顏色、紋理、形狀等光譜與空間幾何信息，相對于手工設(shè)計特征更全面、更精準(zhǔn)。選擇U-Net網(wǎng)絡(luò)作為跡線分割的骨干網(wǎng)絡(luò)，基于U-net網(wǎng)絡(luò)的跡線分割主要包括構(gòu)建訓(xùn)練數(shù)據(jù)集和深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

1.3.1 構(gòu)建訓(xùn)練數(shù)據(jù)集

U-Net模型可以實現(xiàn)對目標(biāo)的端對端提取，高質(zhì)量的訓(xùn)練樣本是精確提取目標(biāo)區(qū)域的關(guān)鍵。為保證訓(xùn)練數(shù)據(jù)集的多樣性和豐富性，在選擇樣本時應(yīng)考慮到不同的時間和空間分布，選擇的數(shù)據(jù)應(yīng)涵蓋不同的年份、不同的地區(qū)。同時氣象跡線的種類也應(yīng)盡可能全面。最后，通過人工標(biāo)注的方式，獲得訓(xùn)練數(shù)據(jù)對應(yīng)的像素級標(biāo)簽。圖3為達(dá)因型風(fēng)自記紙風(fēng)向風(fēng)速跡線訓(xùn)練圖像和標(biāo)簽示例。

1.3.2 深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練

采用語義分割網(wǎng)絡(luò)U-net作為骨干網(wǎng)絡(luò)提取跡線二值圖像。如圖4所示，整個網(wǎng)絡(luò)分為左右兩部分。左半部分包含5個卷積模塊和4個池化層。其中每個卷積模塊包含兩個卷積層，卷積核的大小為3×3，每個卷積模塊的卷積核數(shù)分別為32、64、128、256、512。

圖2 達(dá)因型風(fēng)自記紙網(wǎng)格線提取Fig.2 Extraction of grid lines from dyne wind self-recording paper

圖3 風(fēng)向風(fēng)速跡線圖像和標(biāo)簽Fig.3 Wind direction and speed curves images and labels

圖4 跡線分割網(wǎng)絡(luò)Fig.4 Curves segmentation network

池化層采用最大池化操作，不斷縮小圖像分辨率。輸入圖像的大小為560×560×3，經(jīng)過卷積層和池化層之后，特征圖大小為35×35×512。 右半部分包含4個卷積模塊、4個上采樣層和一個卷積核為1×1的卷積層。上采樣層采用2倍上采樣，右半部分逐步修復(fù)特征圖像的細(xì)節(jié)和空間維度。該網(wǎng)絡(luò)還使用了跳躍連接，即每上采樣一次，就以拼接的方式將左右兩側(cè)中特征圖進(jìn)行特征融合，結(jié)合淺層與深層的信息，從而更好地恢復(fù)目標(biāo)的細(xì)節(jié)[18]。

1.4 跡線量化計算

氣象自記紙跡線分割后，需要根據(jù)風(fēng)、溫度、降水等相應(yīng)參數(shù)的氣象行業(yè)標(biāo)準(zhǔn)，將圖像中跡線位置信息轉(zhuǎn)化為具有實際意義的氣象標(biāo)準(zhǔn)數(shù)值。

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)

選擇達(dá)因型風(fēng)自記紙風(fēng)向風(fēng)速跡線進(jìn)行跡線識別實驗測試與分析。達(dá)因型風(fēng)自記紙記錄了24 h內(nèi)風(fēng)向風(fēng)速變化信息，其圖像如圖5所示?？梢郧宄^察出以下特點。

(1)整體上，自記紙分為風(fēng)向風(fēng)速兩部分，上部為風(fēng)速部分，下部為風(fēng)向部分。

(2)風(fēng)向風(fēng)速跡線呈現(xiàn)無規(guī)律變化趨勢。達(dá)因型風(fēng)自記紙中的網(wǎng)格標(biāo)線為橙色，其中豎線為時間刻度，相鄰兩條時刻線間的時長為1 h。

(3)網(wǎng)格橫線為風(fēng)速風(fēng)向刻度，風(fēng)速相鄰刻度間的風(fēng)速差為1m/s，風(fēng)向5條水平網(wǎng)格線表示風(fēng)向方位，由上至下分別為北、西、南、東、北。

(4)風(fēng)向風(fēng)速信息為達(dá)因型風(fēng)記錄儀筆尖畫出的藍(lán)色跡線所在網(wǎng)格中位置表示，其中風(fēng)速線為一條連續(xù)的跡線，風(fēng)向部分為兩條跡線。

圖5 達(dá)因風(fēng)自記紙掃描圖像Fig.5 Scanned image of dyne-wind self-recording paper

為了保證訓(xùn)練樣本的豐富性和多樣性，考慮省份、站點、時間等因素，選取了120張達(dá)因風(fēng)自記紙圖像作為訓(xùn)練數(shù)據(jù)，這些圖像包含了不同顏色、面積和趨勢的風(fēng)向風(fēng)速跡線。為了使深度神經(jīng)網(wǎng)絡(luò)具有更好的學(xué)習(xí)特征，減弱其他新的干擾，將原始圖像裁剪為風(fēng)向和風(fēng)速兩部分，分別對風(fēng)向和風(fēng)速進(jìn)行跡線提取。由于整個風(fēng)向和風(fēng)速線圖像尺寸較大，考慮到硬件設(shè)施和計算效率，需要將風(fēng)向和風(fēng)速線圖像裁切成較小的圖像進(jìn)行訓(xùn)練。然而風(fēng)向和風(fēng)速隨時間變化，風(fēng)向和風(fēng)速圖像高度是隨機的，這為訓(xùn)練圖像大小的確定帶來了不確定，因此綜合風(fēng)向風(fēng)速圖像高度，確定訓(xùn)練圖像大小為560×560像素，將不同高度的風(fēng)向風(fēng)速圖像統(tǒng)一重采樣到與訓(xùn)練圖像相同的高度，同時也保留風(fēng)向風(fēng)速跡線的完整特征。120張數(shù)據(jù)對于神經(jīng)網(wǎng)絡(luò)訓(xùn)練是遠(yuǎn)遠(yuǎn)不夠的，因此將重采樣后120張達(dá)因型風(fēng)向風(fēng)速圖像在寬度上交叉裁剪獲得3 000多張不同顏色和不同背景下的風(fēng)向和風(fēng)速跡線訓(xùn)練圖像。

2.2 實驗結(jié)果

使用Python語言，以TensorFlow為后端的Keras深度學(xué)習(xí)平臺作為訓(xùn)練環(huán)境，對達(dá)因風(fēng)自記紙風(fēng)向風(fēng)速跡線數(shù)據(jù)集進(jìn)行測試。在實驗過程，訓(xùn)練數(shù)據(jù)為75%，驗證數(shù)據(jù)為25%，使用Adam優(yōu)化器。訓(xùn)練參數(shù)學(xué)習(xí)率為0.000 1，每批訓(xùn)練數(shù)據(jù)量為8,學(xué)習(xí)次數(shù)為100次。根據(jù)驗證精度保存最優(yōu)模型。根據(jù)訓(xùn)練精度和損失值，當(dāng)訓(xùn)練次數(shù)達(dá)到100次時，學(xué)習(xí)已經(jīng)趨于穩(wěn)定，并獲得了很高的訓(xùn)練精度和模型驗證精度。

考慮到數(shù)據(jù)的復(fù)雜性和多樣性，選擇了不同站點和不同年份(1971—1978年)，并且具有不同跡線顏色、面積和走勢的達(dá)因風(fēng)自記紙數(shù)據(jù)進(jìn)行測試和驗證，取得了良好的風(fēng)向風(fēng)速跡線提取結(jié)果。圖6和圖7分別為風(fēng)向風(fēng)速跡線提取結(jié)果，其中第一列和第三列為風(fēng)向風(fēng)速跡線，第二列和第四列為跡線識別結(jié)果。由于墨跡和存檔時間的不同，達(dá)因風(fēng)跡線表現(xiàn)為紫色、藍(lán)色、淡紫、深紫等顏色，同時跡線呈現(xiàn)無規(guī)律性，具有不同走勢和面積。另外，風(fēng)向風(fēng)速跡線背景中存在鉛筆字符、大片墨跡暈染等干擾，這些因素嚴(yán)重影響跡線的準(zhǔn)確提取。根據(jù)圖6和圖7的結(jié)果，可以看出，不同顏色、不同趨勢風(fēng)向風(fēng)速跡線都能被很好地分割出來。根據(jù)幾何形狀信息，大量的墨跡和污點被去除，顏色接近的鉛筆字符也會被區(qū)分出來，這表明該方法對不同背景下的復(fù)雜風(fēng)向風(fēng)速跡線提取具有良好的普適性。基于U-net網(wǎng)絡(luò)的達(dá)因型風(fēng)自記紙風(fēng)向風(fēng)速跡線分割與原始跡線具有高度的一致性，為后續(xù)風(fēng)向風(fēng)速的量化計算提供了高精度結(jié)果。

2.3 實驗對比分析

為了驗證達(dá)因型風(fēng)自記紙風(fēng)向風(fēng)速自動提取方法的有效性和可靠性，根據(jù)風(fēng)向風(fēng)速跡線量化規(guī)則，對不同年份的達(dá)因風(fēng)自記紙跡線進(jìn)行了量化計算和精度驗證。選擇57 825和57 741氣象站點3 200多張達(dá)因風(fēng)自記紙數(shù)據(jù)，將風(fēng)向風(fēng)速整點時刻量化計算結(jié)果與人工整理的A6結(jié)果對比，獲得風(fēng)向風(fēng)速計算精度。驗證時采用整點10 min風(fēng)速、風(fēng)向與小時風(fēng)數(shù)據(jù)集、定時風(fēng)速、風(fēng)向比較，規(guī)則如下：當(dāng)風(fēng)速小于3.0 m/s時，誤差小于0.4 m/s；當(dāng)風(fēng)速為3.0～7.0 m/s時，誤差小于0.7 m/s；當(dāng)風(fēng)速大于7.0 m/s時，誤差小于驗證風(fēng)速的10%。A6數(shù)據(jù)中的風(fēng)向表示為16個方位信息，在進(jìn)行精度驗證時，自動識別風(fēng)向結(jié)果與A6風(fēng)向相差不大于一個風(fēng)向方位時認(rèn)為自動提取結(jié)果正確。表1和表2分別為57825和57741站點1971—1978年風(fēng)向風(fēng)速與A6文件對比精度。結(jié)果表明，本文算法的風(fēng)向風(fēng)速跡線整體識別精度達(dá)95%及以上，與A6參考文件具有較小誤差。

圖6 風(fēng)速跡線提取結(jié)果Fig.6 Wind speed extraction results

圖7 風(fēng)向跡線提取結(jié)果Fig.7 Wind direction extraction results

表1 57825站點不同年份風(fēng)向風(fēng)速跡線提取精度Table 1 Recognition accuracy of wind direction and speed curves in different years of 57825 station

表2 57741站點不同年份風(fēng)向風(fēng)速跡線提取精度Table 2 Recognition accuracy of wind direction and speed curves in different years of 57741 station

3 結(jié)論

利用數(shù)字圖像處理技術(shù)和深度學(xué)習(xí)算法實現(xiàn)了氣象資料跡線自動識別?；谶吘壧卣鞯哪０迤ヅ渌惴▽崿F(xiàn)氣象自記紙網(wǎng)格的定位與提取，深度神經(jīng)網(wǎng)絡(luò)U-net提取有效特征，除去大片墨跡暈染和鉛筆字符干擾信息，高精度分割跡線。根據(jù)跡線二值圖像和氣象行業(yè)標(biāo)準(zhǔn)，量化計算跡線，轉(zhuǎn)換為標(biāo)準(zhǔn)氣象數(shù)據(jù)。通過對達(dá)因型風(fēng)自記紙風(fēng)向風(fēng)速跡線識別和驗證，本文算法風(fēng)向跡線平均識別正確率達(dá)95%,風(fēng)速跡線平均識別正確率達(dá)95.5%，表明所提出的深度學(xué)習(xí)氣象資料跡線自動識別算法高度還原了氣象跡線信息。該方法適用于風(fēng)、降水、溫度、氣壓等跡線數(shù)字化提取業(yè)務(wù)化處理。氣象資料跡線自動識別大大減少了氣象行業(yè)數(shù)字化建設(shè)工作量和人工成本，為氣象服務(wù)和研究提供了有力的支撐。