支亞京，郭 茜，陳怡璇，魯 霞，李從英

(貴州省氣象信息中心，貴州 貴陽 550002)

0 引言

歐美國(guó)家已建立了較完備的全球地面小時(shí)資料質(zhì)量控制業(yè)務(wù)。如NCEP基于MADIS系統(tǒng)實(shí)現(xiàn)了全球地面資料的實(shí)時(shí)質(zhì)量控制，其運(yùn)用綜合質(zhì)量控制和決策算法能有效發(fā)現(xiàn)全球地面觀測(cè)資料的錯(cuò)誤。當(dāng)前，通過引入全球、區(qū)域背景場(chǎng)(初猜場(chǎng))提高質(zhì)量控制能力已是主流趨勢(shì)，如歐洲中心、英國(guó)氣象局基于貝葉斯理論的質(zhì)量控制和日本氣象廳的動(dòng)力質(zhì)量控制均考慮了觀測(cè)、背景場(chǎng)及兩者差異的誤差分布特征，可以進(jìn)一步提升地面觀測(cè)資料質(zhì)量控制的能力。

2018年5月，中國(guó)氣象局印發(fā)《智能網(wǎng)格預(yù)報(bào)行動(dòng)計(jì)劃(2018—2020年)》，國(guó)家氣象信息中心牽頭攻關(guān)任務(wù)之一的“多維實(shí)況數(shù)據(jù)分析業(yè)務(wù)”，其中也用到了常規(guī)站的資料，做好氣象資料質(zhì)量控制這個(gè)關(guān)鍵環(huán)節(jié)之后，就能為多維實(shí)況數(shù)據(jù)分析提供堅(jiān)實(shí)的數(shù)據(jù)支撐。質(zhì)量控制確保資料的可靠性和代表性，提高資料的應(yīng)用價(jià)值。目前，經(jīng)過已有的自動(dòng)化質(zhì)量控制(Quality Control,QC)[1-3]之后，地面常規(guī)站觀測(cè)資料中質(zhì)量控制仍有錯(cuò)判、漏判等問題存在，完整、準(zhǔn)確、標(biāo)準(zhǔn)格式的數(shù)據(jù)是做好氣候研究的基礎(chǔ)和必然要求。

通過綜合參考《全球天氣報(bào)實(shí)時(shí)質(zhì)量控制方案》、MADIS實(shí)時(shí)質(zhì)量控制方案、NCEP在線質(zhì)量控制方案以及英國(guó)、日本氣象局的地面資料質(zhì)量控制方法，對(duì)現(xiàn)有常規(guī)質(zhì)量控制算法進(jìn)行本地優(yōu)化，對(duì)2018年1月1日—12月31日貴州省地面常規(guī)站逐小時(shí)資料(氣溫、露點(diǎn)溫度等要素)進(jìn)行質(zhì)量控制，并對(duì)質(zhì)控結(jié)果進(jìn)行比較分析。

1 實(shí)時(shí)質(zhì)量控制對(duì)象及技術(shù)框架

1.1 質(zhì)量控制的基本對(duì)象

質(zhì)量控制對(duì)象主要包括氣溫、露點(diǎn)溫度、過去12 h最高氣溫、過去12 h最低氣溫、過去24 h最高氣溫、過去24 h最低氣溫等，以及觀測(cè)站點(diǎn)元數(shù)據(jù)基本信息。評(píng)估數(shù)據(jù)為來源于省級(jí)CIMISS接口的2018年1月1日—12月31日中國(guó)地面逐小時(shí)資料。

1.2 實(shí)時(shí)質(zhì)量控制技術(shù)框架

實(shí)時(shí)質(zhì)量控制技術(shù)框架如圖1所示：第1階段對(duì)粗大誤差進(jìn)行檢查，包括元數(shù)據(jù)信息檢查(PC)、有效值檢查(VC)；第2階段，包括主要變化范圍檢查(CC)、時(shí)間一致性檢查(TC)、內(nèi)部一致性檢查(IC)；第3階段包括與模式一致性檢查(MC)、空間一致性檢查(SC)。

圖1 實(shí)時(shí)質(zhì)量控制技術(shù)框架圖Fig.1 Block Diagram of Real-time Quality Control Technology

1.3 質(zhì)量標(biāo)識(shí)

對(duì)觀測(cè)數(shù)據(jù)進(jìn)行質(zhì)量控制的階段，就是利用觀測(cè)要素自身的特點(diǎn)、時(shí)空變換特征以及不同要素甚至不同資料的關(guān)聯(lián)性，逐步判斷數(shù)據(jù)質(zhì)量的過程。針對(duì)該觀測(cè)值質(zhì)量的檢查手段和判斷結(jié)果，用相應(yīng)的標(biāo)識(shí)碼標(biāo)注，即質(zhì)量標(biāo)識(shí)碼(Quality Control Indicator, QCI)，分為事件標(biāo)識(shí)碼和質(zhì)量標(biāo)識(shí)碼兩類。在對(duì)數(shù)據(jù)進(jìn)行質(zhì)量控制的過程中，隨著控制進(jìn)程的進(jìn)行，需要不斷的對(duì)被檢查數(shù)據(jù)設(shè)置或修改QCI。事件標(biāo)識(shí)碼包含數(shù)據(jù)經(jīng)過的檢查環(huán)節(jié)和質(zhì)量狀況，面向數(shù)據(jù)加工人員，主要表征數(shù)據(jù)的質(zhì)控環(huán)節(jié)及其相應(yīng)的質(zhì)控結(jié)果；質(zhì)量標(biāo)識(shí)碼表征數(shù)據(jù)質(zhì)量，面向最終用戶，標(biāo)識(shí)應(yīng)盡量簡(jiǎn)單，方便用戶判讀和使用，具體規(guī)定見表1。

表1 事件標(biāo)識(shí)碼及其含義Tab.1 Event Identifiers and Their Meanings

2 數(shù)據(jù)質(zhì)量控制方法

2.1 粗大誤差

這個(gè)階段主要包括格式檢查、元數(shù)據(jù)基本信息檢查、缺測(cè)與特征值檢查和有效值檢查4個(gè)部分。經(jīng)過對(duì)引入質(zhì)量控制算法的參數(shù)優(yōu)化，具體檢查方法如下：

元數(shù)據(jù)基本信息檢查指對(duì)觀測(cè)站的經(jīng)緯度和拔海高度進(jìn)行檢查。根據(jù)貴州觀測(cè)站的實(shí)際情況規(guī)定如下：若經(jīng)度LON不滿足103°≤LON≤110°，則不通過檢查，事件碼標(biāo)記為X，質(zhì)量碼標(biāo)記為2，否則事件碼標(biāo)記為C，質(zhì)量碼標(biāo)記為0；若緯度LAT不滿足24°≤LAT≤30°，則不通過檢查，事件碼標(biāo)記為X，質(zhì)量碼標(biāo)記為2，否則事件碼標(biāo)記為C，質(zhì)量碼標(biāo)記為0；若海拔高度ALT不滿足100 m≤ALT≤3 000 m ，則不通過檢查，事件碼標(biāo)記為X，質(zhì)量碼標(biāo)記為2，否則事件碼標(biāo)記為C，質(zhì)量碼標(biāo)記為0。

檢查觀測(cè)數(shù)據(jù)是否為缺測(cè)數(shù)據(jù)或特征值[4]，若為缺測(cè)數(shù)據(jù)，最終質(zhì)控碼為8， 過程質(zhì)控碼設(shè)為D，若為特征值，最終質(zhì)控碼設(shè)為6 ，過程碼設(shè)為Z，缺測(cè)數(shù)據(jù)和特征值均不再進(jìn)行其他檢查。

有效值檢查是對(duì)觀測(cè)值是否超越其氣候?qū)W有效值的檢查。將觀測(cè)值與有效值進(jìn)行比較，根據(jù)貴州全省從建站以來的多年氣候極值實(shí)際情況，如果觀測(cè)值OBS滿足以下關(guān)系：OBS<-20 ℃ 或者OBS>45 ℃，則視為未通過有效值檢查，未通過有效值檢查的觀測(cè)值為錯(cuò)誤數(shù)據(jù)，事件碼賦為X，質(zhì)量碼賦為2，不參與后續(xù)檢查；通過有效值檢查的數(shù)據(jù)事件碼賦為C，質(zhì)量碼暫時(shí)賦值為0，繼續(xù)參與后續(xù)檢查。

2.2 單站檢查

同一時(shí)間觀測(cè)的氣象要素記錄之間的關(guān)系應(yīng)符合一定物理聯(lián)系的檢查[5]。不滿足內(nèi)部一致性檢查，判為可疑。若被檢數(shù)據(jù)在檢測(cè)時(shí)段由于關(guān)聯(lián)要素缺測(cè)，不參加該項(xiàng)檢查。氣溫與露點(diǎn)溫度，若氣溫未通過檢查；定時(shí)氣溫(TT)和12 h最高(Tmax12)和最低氣溫(Tmin12)、24 h最高(Tmax24)和最低氣溫(Tmin24)，應(yīng)滿足以下關(guān)系：Tmin12≤TT≤Tmax12；Tmin24≤ TT ≤Tmax24；Tmin24≤Tmin12；Tmax12≤Tmax24。若不滿足上述關(guān)系，則視為不通過檢查。

時(shí)間一致性檢查是指氣象觀測(cè)數(shù)據(jù)在一定時(shí)間范圍內(nèi)的變化是否能滿足特定規(guī)律的檢查[6]。主要包括僵值檢查和時(shí)間變率檢查。僵值是由于儀器故障以及傳輸和記錄過程中，使觀測(cè)數(shù)據(jù)長(zhǎng)時(shí)間保持不變，將連續(xù)出現(xiàn)某個(gè)觀測(cè)值的數(shù)目在10個(gè)以上的數(shù)據(jù)段定義為僵值[7]。若出現(xiàn)僵值，該項(xiàng)檢查未通過;若被檢要素在檢測(cè)的時(shí)間窗口不足11個(gè)數(shù)據(jù)時(shí)，該項(xiàng)檢查不執(zhí)行。不滿足觀測(cè)值時(shí)間變化規(guī)律的數(shù)據(jù)為可疑數(shù)據(jù)。根據(jù)本地實(shí)際情況和文獻(xiàn)資料[8]，氣溫、露點(diǎn)溫度觀測(cè)值需滿足以下可能變化范圍：0.5 h內(nèi)變化范圍值的絕對(duì)值≤11 ℃；1 h內(nèi)變化范圍值的絕對(duì)值≤20 ℃；6 h內(nèi)變化范圍值的絕對(duì)值≤20 ℃；12 h內(nèi)變化范圍值的絕對(duì)值≤25 ℃。若超出范圍，未通過檢查。若被檢要素在檢測(cè)的時(shí)間窗口不滿足各小時(shí)段均有觀測(cè)值，該項(xiàng)檢查不執(zhí)行。

2.3 空間一致性檢查

利用多個(gè)鄰近站資料，將被檢站觀測(cè)值和鄰近站觀測(cè)值進(jìn)行比較。比較結(jié)果超出給定的閾值，即認(rèn)為被檢站觀測(cè)數(shù)據(jù)可疑。鄰近站需滿足兩個(gè)條件：與目標(biāo)站的距離在50 km以內(nèi)；與目標(biāo)站海拔高度差在100 m以內(nèi)。鄰近站多于3個(gè)時(shí)，做此項(xiàng)檢查；鄰近站小于3個(gè)時(shí)，不執(zhí)行該項(xiàng)檢查[9-11]?？臻g一致性檢查流程圖如圖2所示：

圖2 空間一致性檢查流程圖Fig.2 Flow Chart of Spatial Consistency Check

2.4 綜合判斷檢查

最終事件碼和質(zhì)量碼，遵照以下原則：

①若觀測(cè)數(shù)據(jù)未通過粗大誤差檢查，事件碼標(biāo)記為X，質(zhì)量碼標(biāo)記為2，不再進(jìn)入后續(xù)檢查；否則，事件碼標(biāo)記為C，質(zhì)量碼標(biāo)記為0 ，進(jìn)入下一階段檢查。

②觀測(cè)數(shù)據(jù)進(jìn)入單站檢查，若通過時(shí)間一致性檢查或內(nèi)部一致性檢查，則事件碼改為S，質(zhì)量碼標(biāo)記為0；否則，事件碼仍為C，質(zhì)量碼標(biāo)記為1。

③觀測(cè)數(shù)據(jù)進(jìn)入空間一致性檢查，若通過空間一致性檢查，事件碼標(biāo)記為V，質(zhì)量碼標(biāo)記為0；若未通過空間一致性檢查，事件碼標(biāo)為S，質(zhì)量碼標(biāo)記為1。

3 數(shù)據(jù)評(píng)估結(jié)果

3.1 缺測(cè)值與特征值檢查結(jié)果

統(tǒng)計(jì)了氣溫、露點(diǎn)溫度等相關(guān)要素2018年的缺測(cè)率，缺測(cè)值檢查結(jié)果表明：經(jīng)度、緯度、海拔高度缺測(cè)率為0；氣溫、小時(shí)最高氣溫、小時(shí)最低氣溫缺測(cè)率走向一致，基本維持在31.5%左右；露點(diǎn)溫度基本維持在75%左右。圖3給出了2018年氣溫(T)、露點(diǎn)溫度(Td)、1 h最高溫(Tmax)、最低溫(Tmin)的缺測(cè)率。

圖3 2018年氣溫相關(guān)要素缺測(cè)率Fig.3 Unmeasured Rate of Temperature Related Factors

3.2 元數(shù)據(jù)信息檢查結(jié)果

圖4給出了經(jīng)度、緯度超出有效值范圍的臺(tái)站如下圖☆所示，海拔高度超出有效值范圍臺(tái)站如下圖紅色×，其中經(jīng)度不正確的臺(tái)站為R8117(101.64°E)，海拔高度不正確的為R1817(8 900 m)。

圖4 元數(shù)據(jù)信息檢查結(jié)果Fig.4 The Check Results of Metadata Information

3.3 有效值檢查結(jié)果

為了檢查超過氣候極值的錯(cuò)誤數(shù)據(jù)，設(shè)置了有效值檢查和主要變化范圍檢查。由于目前評(píng)估數(shù)據(jù)相對(duì)較短，本次只對(duì)有效值進(jìn)行了檢查，有效值的閾值是根據(jù)本地多年來氣候極值設(shè)定的。通過分析2018年全年氣溫、露點(diǎn)溫度等要素的有效值檢驗(yàn)結(jié)果，發(fā)現(xiàn)全年有26個(gè)數(shù)據(jù)(Tmax:20個(gè);Tmin:6個(gè))超過氣候極值。2018年4月21日03時(shí)和05時(shí)的最低氣溫值分別為59.8 ℃、57.7 ℃，超過了其所在地區(qū)的極端氣溫的有效值。

3.4 內(nèi)部一致性和時(shí)間一致性檢查結(jié)果

圖5給出了氣溫、露點(diǎn)溫度以及極端氣溫的可疑數(shù)據(jù)百分率。從圖5中可以看出，2018年整體內(nèi)部一致性疑誤率低于0.16%，其中，氣溫與露點(diǎn)溫度的可疑數(shù)據(jù)百分率走勢(shì)保持一致，小時(shí)最高氣溫的可疑數(shù)據(jù)百分率基本穩(wěn)定在0.04%，小時(shí)最低氣溫的可疑數(shù)據(jù)百分率最低。

圖5 2018年要素可疑數(shù)據(jù)百分率Fig.5 The Percentage of Suspicious Data for Elements

圖6給出了內(nèi)部一致性和時(shí)間一致性檢查出可疑數(shù)據(jù)的個(gè)例分析。圖6a展示R5120站2018年1月3日的氣溫T和露點(diǎn)溫度Td序列，該站16—23時(shí)露點(diǎn)溫度Td比氣溫T高，被標(biāo)記可疑。圖6b給出了R0830站2018年1月1日06時(shí)的氣溫比03時(shí)陡升了24.1 ℃，經(jīng)過1 h、3 h和6 h時(shí)間變率的檢查，被標(biāo)記為可疑數(shù)據(jù)。

圖6 內(nèi)部一致性(a:R5120 T與Td，2018年1月3日)和時(shí)間一致性(b:R0830，2018年1月1日)個(gè)例分析Fig.6 Case Analysis of Internal Consistency and Time Consistency

3.5 空間一致性檢查結(jié)果

圖7給出了空間一致性檢查有疑誤數(shù)據(jù)的站點(diǎn)分布圖，共檢查出70個(gè)站次共394個(gè)可疑數(shù)據(jù)。

圖7 空間一致性疑誤數(shù)據(jù)站點(diǎn)分布Fig.7 Spatial Consistency of Suspected Error Data Site Distribution

圖8給出本方案空間一致性檢查成功命中的異常數(shù)據(jù)個(gè)例分析，在1月16日08時(shí)，R7127氣溫距平值達(dá)到12.5 ℃，明顯大于其10個(gè)鄰近站。圖9是R7127臺(tái)站臨近站分布圖。

圖8 R7217站空間一致性個(gè)例分析Fig.8 Spatial Consistency Analysis of R7217

圖9 R7217站鄰近站分布Fig.9 The Distributed Nearby of R7217

3.6 與中國(guó)地面逐小時(shí)資料質(zhì)控結(jié)果對(duì)比分析

圖10是與CIMISS中中國(guó)地面逐小時(shí)資料質(zhì)控結(jié)果對(duì)比的一致率與不一致率，由圖可以看出不一致率比較高的是小時(shí)最高氣溫(Tmax)。從圖中可以看出本方案對(duì)常規(guī)站數(shù)據(jù)質(zhì)控的結(jié)果與CIMISS的一致率很高，在一定程度上證明了本方案的適用性。當(dāng)然它們也存在一定的差異，為了分析差異存在的原因，統(tǒng)計(jì)了CIMISS對(duì)本方案標(biāo)記錯(cuò)誤或可疑數(shù)據(jù)的命中率，氣溫為34/4219，露點(diǎn)溫度為1/2412，存在差異原因皆為：CIMISS中未做氣溫和露點(diǎn)溫度的內(nèi)部一致性檢查。

圖10 與CIMISS中氣溫等要素質(zhì)量控制結(jié)果的對(duì)比Fig.10 Compared with the Results of Quality Control of Air Temperature and Other Factors in CIMISS

為了進(jìn)一步地對(duì)比分析，表2給出了本方案對(duì)CIMISS方案疑誤數(shù)據(jù)命中率。從表中可以明顯看出氣溫、小時(shí)最高氣溫、小時(shí)最低氣溫的命中率不高，對(duì)這些未命中的數(shù)據(jù)做了進(jìn)一步分析，基本都是氣溫與小時(shí)最高氣溫或者小時(shí)最低氣溫相等時(shí)被標(biāo)記。圖11是CIMISS命中的有疑誤的一個(gè)個(gè)例，R1511站2018年3月2日的T、Tmax和Tmin數(shù)據(jù)序列。

表2 本方案對(duì)CIMISS方案疑誤數(shù)據(jù)命中率Tab.2 The Hit Rate of Suspected Data of CIMISS Scheme

圖11 R1511站2018年3月2日觀測(cè)數(shù)據(jù)序列Fig.11 The Observation Data Series of R1511

4 結(jié)論

與CIMISS上的全球地面逐小時(shí)資料的質(zhì)控結(jié)果對(duì)比后，發(fā)現(xiàn)CIMISS資料存在漏判和錯(cuò)判等現(xiàn)象，而本地優(yōu)化的質(zhì)量控制方案能更準(zhǔn)確有效地檢查數(shù)據(jù)質(zhì)量。