侯靈，陳逸智，黃偉，鄧若釗，尹淑嫻

（1.廣東省氣象數(shù)據(jù)中心，廣東廣州 510080；2.遂溪縣氣象局，廣東遂溪 524300；3.東莞市氣象局，廣東東莞 523000）

廣東省受低緯度熱帶天氣系統(tǒng)和中高緯度天氣系統(tǒng)的交替影響，天氣復(fù)雜多變，是我國(guó)氣象災(zāi)害多發(fā)、頻發(fā)的地區(qū)［1－2］。為保障社會(huì)經(jīng)濟(jì)的高速發(fā)展，加強(qiáng)氣象監(jiān)測(cè)預(yù)報(bào)能力成為廣東氣象現(xiàn)代化建設(shè)的首要任務(wù)。截止至2021年底，廣東省氣象部門(mén)共布設(shè)地面自動(dòng)氣象站3 400多個(gè)，廣東省水文部門(mén)共布設(shè)水文氣象站2 108個(gè)，全省平均站網(wǎng)密度約6 km，珠三角地區(qū)約3 km。地面自動(dòng)氣象站業(yè)務(wù)觀測(cè)頻次為5 min一次，觀測(cè)站網(wǎng)密、觀測(cè)頻次高、觀測(cè)數(shù)據(jù)量大等特點(diǎn)突出，如何對(duì)全省地面氣象站數(shù)據(jù)進(jìn)行高效采集與質(zhì)量控制成為制約氣象業(yè)務(wù)時(shí)效性和準(zhǔn)確性的主要問(wèn)題［3］。

國(guó)內(nèi)外有許多學(xué)者對(duì)氣象資料質(zhì)量控制方法做過(guò)研究［4－6］，華南區(qū)域氣象要素質(zhì)控研究多集中在探測(cè)端［7－9］，廣東省氣象局目前使用的地面自動(dòng)氣象站數(shù)據(jù)實(shí)時(shí)質(zhì)量控制系統(tǒng)是中國(guó)氣象局統(tǒng)一部署的氣象資料業(yè)務(wù)系統(tǒng)（meteorological data operational system，MDOS），因MDOS沒(méi)有實(shí)現(xiàn)5 min時(shí)間分辨率的實(shí)時(shí)資料質(zhì)量控制，導(dǎo)致業(yè)務(wù)工作中使用的實(shí)時(shí)觀測(cè)數(shù)據(jù)均未經(jīng)過(guò)質(zhì)控，從而直接影響氣象預(yù)警、決策服務(wù)以及預(yù)報(bào)檢驗(yàn)等工作的準(zhǔn)確性［10］。為此，利用廣東省氣象局一體化數(shù)據(jù)訪(fǎng)問(wèn)平臺(tái)（簡(jiǎn)稱(chēng)MUSIC－GD）獲取逐5 min時(shí)間分辨率的實(shí)時(shí)地面自動(dòng)氣象站觀測(cè)資料，基于消息傳輸、Redis緩存機(jī)制，多線(xiàn)程分要素建立質(zhì)量控制業(yè)務(wù)流程，進(jìn)而提高數(shù)據(jù)質(zhì)控的準(zhǔn)確性和處理效率。

1 資料與方法

1.1 資料介紹

實(shí)時(shí)質(zhì)控資料為常規(guī)觀測(cè)的國(guó)家氣象觀測(cè)站全部76個(gè)要素（氣溫、1 h降水量、本站氣壓、相對(duì)濕度、風(fēng)、地溫、草溫、蒸發(fā)、能見(jiàn)度、天氣現(xiàn)象、凍土、積雪及以上要素相關(guān)要素等），區(qū)域氣象觀測(cè)站34個(gè)觀測(cè)要素（氣溫、本站氣壓、相對(duì)濕度、1 h降水量、風(fēng)及以上要素相關(guān)要素等）及水文雨量站小時(shí)雨量觀測(cè)資料，其中國(guó)家站和區(qū)域站常規(guī)觀測(cè)資料時(shí)間頻率為5 min。

1.2 方法

針對(duì)廣東省地面自動(dòng)氣象站數(shù)據(jù)的質(zhì)量控制，在參考地面氣象觀測(cè)資料質(zhì)量控制行標(biāo)［11］的基礎(chǔ)上，結(jié)合廣東省區(qū)域氣候特征，根據(jù)不同站點(diǎn)地理分布等特征開(kāi)展相應(yīng)的處理。以氣溫質(zhì)控流程和界限值檢查為例簡(jiǎn)要介紹系統(tǒng)中要素質(zhì)控流程及算法設(shè)計(jì)。

（1）要素質(zhì)量控制流程。

氣溫進(jìn)入質(zhì)控模塊后，依次經(jīng)過(guò)缺測(cè)檢查、界限值檢查、內(nèi)部一致性檢查、時(shí)變檢查（5 min、1和3 h時(shí)變檢查）、持續(xù)性檢查、空間一致性檢查、特殊天氣事件檢查、綜合檢查。當(dāng)缺測(cè)檢查未通過(guò)時(shí)，判斷該臺(tái)站要素是否有此觀測(cè)項(xiàng)，中斷質(zhì)控流程，直接進(jìn)入綜合檢查；反之，按照質(zhì)控流程依次進(jìn)行質(zhì)控。

（2）氣溫界限值檢查。

氣溫界限值檢查通過(guò)檢查氣溫要素是否在其測(cè)量允許值范圍之內(nèi)，判定數(shù)據(jù)正確與否。本系統(tǒng)利用氣候?qū)W界限值檢查、區(qū)域界限值檢查和區(qū)域界限值臨近站輔助檢查3類(lèi)質(zhì)控算法進(jìn)行氣溫界限值檢查。氣候?qū)W界限值檢查時(shí)選取［－60℃，80℃］為氣溫的氣候?qū)W范圍，超過(guò)該范圍的氣溫值，直接標(biāo)記為數(shù)據(jù)錯(cuò)誤，不再進(jìn)行后續(xù)質(zhì)控檢查。

區(qū)域界限值檢查時(shí)，針對(duì)廣東省復(fù)雜的下墊面分布，將地面自動(dòng)氣象站探測(cè)地表環(huán)境分為城市和山區(qū)兩類(lèi)。根據(jù)全省各個(gè)臺(tái)站自建站以來(lái)的氣溫觀測(cè)數(shù)據(jù)，統(tǒng)計(jì)得到各月氣溫的最大值tmax和最小值tmin（表1），并以此為界限標(biāo)準(zhǔn)，根據(jù)氣溫值是否在對(duì)應(yīng)的極值范圍內(nèi)，判斷氣溫值是否正確。

表1 廣東省地面自動(dòng)氣象觀測(cè)站氣溫歷史極值℃

當(dāng)區(qū)域界限值檢查判斷數(shù)據(jù)為錯(cuò)誤時(shí)，仍需開(kāi)展區(qū)域界限值臨近站輔助檢查，以避免因極端天氣引起的觀測(cè)數(shù)據(jù)被誤判。主要有兩種情況：

一是當(dāng)氣溫值＞42℃（全年極大值）或＜－7.3℃（全年極小值）時(shí)，需與周?chē)?0 km范圍內(nèi)最近的5個(gè)鄰近自動(dòng)氣象站觀測(cè)到的氣溫平均值（tave）進(jìn)行比較。若｜t－tave｜＞5℃，則數(shù)據(jù)判斷為明顯錯(cuò)誤數(shù)據(jù)；若｜t－tave｜＜5℃，質(zhì)控碼標(biāo)記為一般錯(cuò)誤。

二是當(dāng)月的氣溫值超過(guò)本月的極值，但又低于全年的極值，即tmax＜t≤42℃，或者－7.3℃≤t＜tmin，也需與周?chē)?0 km范圍內(nèi)最近的5個(gè)鄰近站氣溫的平均值（tave）進(jìn)行比較。若｜t－tave｜＞8℃，則數(shù)據(jù)判斷為明顯錯(cuò)誤數(shù)據(jù)；若5℃≤｜t－tave｜≤8℃，則數(shù)據(jù)判斷為一般錯(cuò)誤；｜t－tave｜＜5℃，數(shù)據(jù)標(biāo)記為可疑。

實(shí)時(shí)質(zhì)控中，為了均衡臨近站數(shù)據(jù)完整度與質(zhì)控時(shí)效，系統(tǒng)設(shè)置當(dāng)前時(shí)次自動(dòng)站到報(bào)數(shù)達(dá)到3 000個(gè)時(shí)，啟動(dòng)區(qū)域界限值臨近站輔助檢查，同時(shí)標(biāo)記臨近站未滿(mǎn)5個(gè)而沒(méi)有啟動(dòng)臨近站輔助檢查的臺(tái)站，每間隔1 min重新啟動(dòng)一次，重復(fù)執(zhí)行5次后若臨近站仍未滿(mǎn)5個(gè)，則該臺(tái)站跳過(guò)該項(xiàng)檢查。

依此類(lèi)推，對(duì)地面自動(dòng)氣象站的其它觀測(cè)要素也分別依據(jù)要素特征開(kāi)展質(zhì)控，并利用質(zhì)量控制標(biāo)識(shí)（表2）表征數(shù)據(jù)質(zhì)量狀況，用戶(hù)可以根據(jù)質(zhì)量控制標(biāo)識(shí)，結(jié)合自身需求情況，對(duì)觀測(cè)數(shù)據(jù)進(jìn)行處理與應(yīng)用。

表2 質(zhì)量控制碼

2 質(zhì)控流程設(shè)計(jì)

2.1 質(zhì)控系統(tǒng)流程

由于空間一致性檢查依賴(lài)于臨近站、臨近時(shí)次的觀測(cè)資料，但實(shí)際業(yè)務(wù)中，不同臺(tái)站受校時(shí)、信號(hào)、網(wǎng)絡(luò)等影響，同一觀測(cè)時(shí)次數(shù)據(jù)到報(bào)時(shí)間很難統(tǒng)一。為了確保質(zhì)控效率，按照到報(bào)時(shí)間與觀測(cè)時(shí)間差值及是否為更正報(bào)將待檢數(shù)據(jù)分為暫不進(jìn)行空間一致性檢查的（A）、只進(jìn)行空間一致性檢查的（B）、運(yùn)行全部質(zhì)控算法的（C）、更正報(bào)暫不進(jìn)行空間一致性檢查的（D）和更正報(bào)運(yùn)行全部質(zhì)控算法的（E）數(shù)據(jù)，根據(jù)數(shù)據(jù)分類(lèi)確定其質(zhì)控和入庫(kù)流程。

質(zhì)控后的數(shù)據(jù)以消息的形式發(fā)送給入庫(kù)模塊，入庫(kù)模塊通過(guò)判斷數(shù)據(jù)分類(lèi)，暫不跑空間一致性的數(shù)據(jù)，在數(shù)據(jù)庫(kù)表中標(biāo)記為待更新，待所有質(zhì)控方法完成后更新表中質(zhì)控碼；所有質(zhì)控方法都跑的數(shù)據(jù)和不需要跑空間一致性的數(shù)據(jù)直接入庫(kù)，標(biāo)記入庫(kù)完成。實(shí)時(shí)質(zhì)控流程見(jiàn)圖1。

圖1 實(shí)時(shí)質(zhì)控流程示意圖

2.2 實(shí)時(shí)質(zhì)控時(shí)效

系統(tǒng)利用數(shù)據(jù)更新時(shí)間通過(guò)實(shí)時(shí)數(shù)據(jù)接口一次獲取近千條觀測(cè)記錄，在有歷史數(shù)據(jù)補(bǔ)調(diào)時(shí)，調(diào)用量甚至達(dá)到上萬(wàn)條，數(shù)據(jù)量持續(xù)激增會(huì)導(dǎo)致質(zhì)控各環(huán)節(jié)耗時(shí)成倍增加。為了提高質(zhì)控時(shí)效，主要采用集中加載分流、集群化部署、多線(xiàn)程處理和緩存技術(shù)。

集中加載分流。根據(jù)觀測(cè)時(shí)間被質(zhì)控?cái)?shù)據(jù)分為實(shí)時(shí)數(shù)據(jù)和補(bǔ)調(diào)歷史數(shù)據(jù)，實(shí)時(shí)數(shù)據(jù)在實(shí)時(shí)加載后同步進(jìn)行質(zhì)控任務(wù)分發(fā)，進(jìn)行后續(xù)質(zhì)量控制處理；但對(duì)由于觀測(cè)系統(tǒng)自身故障未上報(bào)，需要通過(guò)補(bǔ)調(diào)上報(bào)的補(bǔ)調(diào)歷史數(shù)據(jù)，則通過(guò)定時(shí)觸發(fā)、異步處理的方式加載數(shù)據(jù)進(jìn)行質(zhì)控任務(wù)分發(fā)；實(shí)時(shí)數(shù)據(jù)同步質(zhì)控任務(wù)分發(fā)與補(bǔ)調(diào)歷史數(shù)據(jù)異步質(zhì)控任務(wù)分發(fā)相結(jié)合，保證被質(zhì)控的觀測(cè)數(shù)據(jù)時(shí)間序列上的完整性。

集群化部署、多線(xiàn)程處理。質(zhì)控處理采用多臺(tái)機(jī)器、多線(xiàn)程并行模式，當(dāng)前業(yè)務(wù)中已部署10個(gè)處理節(jié)點(diǎn)，每節(jié)點(diǎn)180線(xiàn)程，共計(jì)1 800線(xiàn)程，所有線(xiàn)程同時(shí)對(duì)數(shù)據(jù)質(zhì)控任務(wù)進(jìn)行處理，以此提高全省數(shù)據(jù)的質(zhì)控處理速度。同時(shí)，為及時(shí)向應(yīng)用提供服務(wù)，同樣采用多線(xiàn)程入庫(kù)處理，質(zhì)控更新數(shù)據(jù)借助臨時(shí)表采用插入方式更新數(shù)據(jù)，減少入庫(kù)積壓，提高入庫(kù)時(shí)效。

緩存技術(shù)。質(zhì)控處理過(guò)程中需要頻繁的訪(fǎng)問(wèn)相應(yīng)的參數(shù)、閾值、臨近站點(diǎn)等信息，因此提前將相關(guān)信息存儲(chǔ)到高性能緩存數(shù)據(jù)庫(kù)系統(tǒng)Redis，并持續(xù)優(yōu)化緩存數(shù)據(jù)結(jié)構(gòu)，節(jié)約了每次從存儲(chǔ)上讀取配置的耗時(shí)，提高了系統(tǒng)的處理效率。

目前國(guó)家站、區(qū)域站、水文站數(shù)據(jù)入庫(kù)后1 min質(zhì)控完成率達(dá)到95%左右，基本能夠滿(mǎn)足實(shí)時(shí)業(yè)務(wù)需求。

3 業(yè)務(wù)應(yīng)用

系統(tǒng)業(yè)務(wù)應(yīng)用之前，利用10臺(tái)虛擬機(jī)作為質(zhì)控節(jié)點(diǎn)集群進(jìn)行了系統(tǒng)壓力測(cè)試，每臺(tái)測(cè)試機(jī)配置相同（linux系統(tǒng)、CPU為8核、內(nèi)存為32 G），每臺(tái)測(cè)試機(jī)分別設(shè)置線(xiàn)程池為10、50、100、150、180、200個(gè)進(jìn)行測(cè)試，測(cè)試20組1 h（12個(gè)5 min時(shí)次）數(shù)據(jù)在每臺(tái)測(cè)試機(jī)設(shè)置不同線(xiàn)程池?cái)?shù)下的質(zhì)控平均耗時(shí)及CPU和內(nèi)存使用率情況（表略）。測(cè)試發(fā)現(xiàn)，當(dāng)每臺(tái)測(cè)試機(jī)線(xiàn)程池?cái)?shù)≥150時(shí)，平均每個(gè)時(shí)次質(zhì)控耗時(shí)差別不大；線(xiàn)程池為180時(shí)，平均耗時(shí)最短為52 s。平均每臺(tái)測(cè)試機(jī)CPU使用率為20% ～30%，內(nèi)存使用率為50%左右，機(jī)器性能較好，運(yùn)行穩(wěn)定。

2021年9月17日，探測(cè)數(shù)據(jù)中心通過(guò)IDEA發(fā)布質(zhì)控?cái)?shù)據(jù)和質(zhì)控訂正數(shù)據(jù)接口，用戶(hù)根據(jù)自身需求調(diào)用相應(yīng)數(shù)據(jù)集。為了確保調(diào)用原始數(shù)據(jù)的舊業(yè)務(wù)系統(tǒng)如SWIFT2.0（圖2）等順利過(guò)渡到質(zhì)控后數(shù)據(jù)，將質(zhì)控訂正數(shù)據(jù)中錯(cuò)誤和明顯錯(cuò)誤數(shù)據(jù)作缺測(cè)處理，如2022年2月11日07：00—2月12日03：00（世界時(shí)）G5605海豐縣城東鎮(zhèn)合利農(nóng)業(yè)站由于降水儀器故障出現(xiàn)了極端錯(cuò)誤降水，質(zhì)控系統(tǒng)及時(shí)發(fā)現(xiàn)并訂正后將缺測(cè)數(shù)據(jù)提供給業(yè)務(wù)系統(tǒng)，減少了錯(cuò)誤數(shù)據(jù)對(duì)業(yè)務(wù)的影響。

圖2 錯(cuò)誤數(shù)據(jù)經(jīng)質(zhì)控訂正在SWIFT2.0上顯示視屏

2021年6月1日起向廣東省所有自動(dòng)站發(fā)送告警信息，目前每天發(fā)送短信1 000余條。統(tǒng)計(jì)2021年廣東省考核區(qū)域自動(dòng)站的數(shù)據(jù)可用率（圖3）。

由圖3可知，隨著疑誤告警業(yè)務(wù)運(yùn)行，6—12月全省考核區(qū)域站可用率呈持續(xù)上升趨勢(shì)，平均值為99.79%，相較于告警應(yīng)用前的1—5月可用率平均值99.59%升高了0.2%，可見(jiàn)質(zhì)控系統(tǒng)在提高數(shù)據(jù)可用性方面取得了良好的業(yè)務(wù)效益。

目前，廣東省地面自動(dòng)氣象觀測(cè)資料質(zhì)量控制系統(tǒng)已在全省開(kāi)展業(yè)務(wù)應(yīng)用，基于質(zhì)控后數(shù)據(jù)建立了省市縣疑誤數(shù)據(jù)實(shí)時(shí)聯(lián)動(dòng)處理機(jī)制，為臺(tái)站進(jìn)行儀器維護(hù)及數(shù)據(jù)管理提供了技術(shù)支撐；系統(tǒng)通過(guò)MUSIC－GD為全省實(shí)時(shí)氣象業(yè)務(wù)提供經(jīng)過(guò)質(zhì)控的數(shù)據(jù)，大幅減少了錯(cuò)誤數(shù)據(jù)對(duì)實(shí)時(shí)業(yè)務(wù)的影響，取得了較好的業(yè)務(wù)效益。

隨著氣象服務(wù)社會(huì)影響力的不斷提高，仍需不斷優(yōu)化常規(guī)質(zhì)控算法以滿(mǎn)足氣象業(yè)務(wù)對(duì)數(shù)據(jù)準(zhǔn)確率的更高要求。在下一步研究中，考慮融合智能天象圖片、X波段相控陣?yán)走_(dá)資料等高精度、多維度的新型觀測(cè)資料，協(xié)同質(zhì)控以不斷提高質(zhì)控準(zhǔn)確率。