王 妍，孫 超，余 予，劉一鳴

(國家氣象信息中心，北京 100081)

自2009年以來，我國逐步開展了對自動氣象站基礎觀測要素資料的實時質(zhì)量控制方法研究［1－3］，并實現(xiàn)了業(yè)務轉(zhuǎn)化。根據(jù)氣預函(2012)42號文的要求，對全國地面自動站逐小時觀測資料質(zhì)控結(jié)果進行評估，發(fā)現(xiàn)自動站資料存在疑誤率較高的問題，導致資料的可用率下降。以2012年第2季度(4～6月)為例，2 411個國家級自動站平均疑誤率為0.09%，29 399個區(qū)域自動站平均疑誤率為0.77%，相當于每小時都有2個國家站和226個區(qū)域站的數(shù)據(jù)因質(zhì)量問題而不可用。

為了掌握質(zhì)量控制結(jié)果的準確性，進一步完善質(zhì)量控制算法，在質(zhì)控系統(tǒng)業(yè)務化后開展了疑誤數(shù)據(jù)的查詢與反饋工作。將逐小時疑誤數(shù)據(jù)下發(fā)到各省，各省將質(zhì)量信息確認結(jié)果通過自動化生成、人工編輯等方式生成反饋文件并上傳到國家氣象信息中心。由于部分反饋文件由人工編輯生成，亂碼、格式錯亂等異常情況較多，無法對反饋數(shù)據(jù)進行有效的統(tǒng)計、管理和應用。排除格式異常的情況，2012年第2季度全國自動站疑誤信息平均反饋率僅為34.20%。同時，由于反饋數(shù)據(jù)未能應用于實時觀測資料質(zhì)量信息的訂正工作中，預報等實時業(yè)務用戶無法有效利用該數(shù)據(jù)，如對一些可疑的大降水量無法確認其可信度，從而對預報效果有所影響。為了改善這一情況，國家氣象信息中心開展了全國自動站QC信息查詢反饋的自動化管理和應用工作，進一步規(guī)范了疑誤數(shù)據(jù)查詢、反饋文件格式，在國家級建立質(zhì)量控制(QC)信息管理系統(tǒng)，聯(lián)合江西、湖北、廣西省(區(qū))信息中心建立全國自動站QC信息國省雙向反饋流程，并推廣到全國31個省進行推廣應用，實現(xiàn)了質(zhì)量信息查詢反饋的全自動化流程。筆者在此重點介紹QC信息管理系統(tǒng)的設計與實現(xiàn)。

1 國省雙向反饋流程概述

全國自動站觀測數(shù)據(jù)經(jīng)過國家級實時數(shù)據(jù)質(zhì)量控制系統(tǒng)進行質(zhì)量控制后，產(chǎn)生的疑誤數(shù)據(jù)作為原始數(shù)據(jù)錄入到QC信息管理系統(tǒng)，并形成查詢文件下發(fā)到省里。省級的觀測數(shù)據(jù)進行質(zhì)量控制［4－5］后，與接收到的國家級查詢信息進行融合，通過省級質(zhì)控軟件的即時告警功能將疑誤數(shù)據(jù)信息發(fā)布給省級數(shù)據(jù)處理人員和氣象臺站［6］。對疑誤數(shù)據(jù)進行確認后，省級形成反饋文件上傳至國家級QC信息管理系統(tǒng)，系統(tǒng)將反饋信息與原始的查詢信息進行融合存儲，且對實時自動站觀測資料的質(zhì)量控制結(jié)果進行訂正(圖1)。

國省雙向反饋流程中涉及了質(zhì)量控制、質(zhì)量查詢反饋、通信傳輸?shù)榷鄠€業(yè)務環(huán)節(jié)，環(huán)節(jié)之間交互多，數(shù)據(jù)的一致性在國家級通過QC信息管理系統(tǒng)、在省級通過質(zhì)量控制信息融合子系統(tǒng)得以保證。

2 系統(tǒng)設計與信息流程

2.1 系統(tǒng)結(jié)構(gòu)設計 系統(tǒng)整體設計為數(shù)據(jù)接口、數(shù)據(jù)處理和數(shù)據(jù)存儲三層結(jié)構(gòu)(圖2)。以國家級存儲檢索系統(tǒng)MDSS實時庫為數(shù)據(jù)環(huán)境進行數(shù)據(jù)存儲，設計質(zhì)量管理表AWSR存儲疑誤數(shù)據(jù)的查詢反饋信息。作為國省雙向反饋流程中各業(yè)務環(huán)節(jié)的數(shù)據(jù)接口，對疑誤數(shù)據(jù)、查詢文件和反饋文件的文件格式進行約定。數(shù)據(jù)處理包括3個模塊:①國家級QC疑誤數(shù)據(jù)入庫。國家級質(zhì)控系統(tǒng)產(chǎn)生的疑誤數(shù)據(jù)作為QC信息管理系統(tǒng)的數(shù)據(jù)源進行存儲。存儲記錄數(shù)據(jù)包括臺站號、觀測要素、觀測時間、要素觀測值、質(zhì)量控制結(jié)果在內(nèi)的查詢信息和數(shù)據(jù)狀態(tài)、入庫時間等進程信息。②國家級查詢生成。將AWSR表中未下發(fā)的記錄形成查詢文件的操作。按省生成查詢文件并將文件放在通信系統(tǒng)的分發(fā)目錄下，通過通信系統(tǒng)將查詢文件傳輸?shù)绞〖?。查詢文件生成的過程中修改數(shù)據(jù)狀態(tài)以免受到其他進程的干擾。③反饋數(shù)據(jù)入庫。對反饋文件的內(nèi)容逐條生成反饋數(shù)據(jù)實時入庫，反饋數(shù)據(jù)中包含的查詢信息用于定位AWSR表中已存在的對應查詢記錄，之后更新確認結(jié)果等3項反饋信息、反饋時間和數(shù)據(jù)狀態(tài)。對于表中不存在的查詢記錄直接進行插入操作。

QC信息管理就是將多種來源的查詢與反饋數(shù)據(jù)進行統(tǒng)一存儲和綜合應用?；谶@種統(tǒng)一的存儲，可實現(xiàn)對實時觀測數(shù)據(jù)質(zhì)量信息的訂正更新，以及對反饋情況的實時統(tǒng)計與質(zhì)控結(jié)果分析等應用。反饋數(shù)據(jù)中的確認結(jié)果對自動站觀測數(shù)據(jù)的質(zhì)量信息意義重大，在完成AWSR表的存儲工作后，將反饋數(shù)據(jù)的確認結(jié)果直接應用于自動站小時數(shù)據(jù)表(AWSH)，對對應觀測數(shù)據(jù)的質(zhì)量控制碼進行訂正。

在調(diào)度配置方面，根據(jù)自動站到報情況，國家級質(zhì)控系統(tǒng)采取基于調(diào)度策略的多次質(zhì)控處理模式［7］，其質(zhì)控結(jié)果會隨著時間和到報率產(chǎn)生變化，因此QC信息管理系統(tǒng)需要將質(zhì)控系統(tǒng)1 h內(nèi)執(zhí)行的全部結(jié)果進行處理后保留最終的疑誤數(shù)據(jù)進行入庫存儲。疑誤數(shù)據(jù)入庫和查詢生成2個子流程存在先后關系，且疑誤數(shù)據(jù)入庫是在當前小時結(jié)束后才能開始進行，因此將這2個功能模塊進行綁定，通過定時作業(yè)調(diào)度，在當前小時質(zhì)量控制完成的下一個時次05分啟動。而反饋數(shù)據(jù)入庫沒有受限，作為系統(tǒng)常駐進程對反饋文件進行實時處理。

2.2 “異步”信息交互機制 全國自動站QC管理系統(tǒng)內(nèi)部包括3個獨立的子流程:國家級QC疑誤數(shù)據(jù)入庫(以下簡稱“入庫”)、國家級查詢生成(以下簡稱“查詢”)、反饋數(shù)據(jù)入庫(以下簡稱“反饋”)。以數(shù)據(jù)庫表實體——AWSR表作為核心，采用“異步”信息交互機制，通過標記數(shù)據(jù)狀態(tài)實現(xiàn)3個子流程的銜接與交互。入庫、查詢和反饋流程完成后對應的數(shù)據(jù)狀態(tài)標識分別為“未下發(fā)”、“已下發(fā)”、“已反饋”，其中“已反饋”是數(shù)據(jù)最終狀態(tài)。

在實際業(yè)務場景中，入庫總是先于查詢發(fā)生，反饋一般發(fā)生在查詢之后，但也可能發(fā)生在入庫前后。具體來說:

(1)入庫－查詢－反饋。這是一種最常見的業(yè)務流程，國家級質(zhì)控后的疑誤數(shù)據(jù)進行入庫，然后形成查詢數(shù)據(jù)文件通過通信系統(tǒng)下發(fā)到省里，此時數(shù)據(jù)狀態(tài)為“已下發(fā)”。省級數(shù)據(jù)處理人員確認數(shù)據(jù)質(zhì)量后進行反饋，數(shù)據(jù)狀態(tài)變?yōu)椤耙逊答仭?，如果多次反饋以最后一次為準?/p>

(2)入庫－反饋。由于省級質(zhì)控系統(tǒng)產(chǎn)生的疑誤數(shù)據(jù)也會產(chǎn)生查詢信息，QC信息管理系統(tǒng)同時接納省級查詢的反饋數(shù)據(jù)。當疑誤數(shù)據(jù)入庫后，尚未進行查詢下發(fā)時，省級反饋信息已經(jīng)入庫，那么數(shù)據(jù)狀態(tài)變?yōu)椤耙逊答仭?，查詢子流程根?jù)這種數(shù)據(jù)狀態(tài)將不再執(zhí)行。

(3)反饋－入庫。由于國家級和省級質(zhì)量控制結(jié)果并不完全一致，當省級查詢的反饋數(shù)據(jù)入庫時可能沒有對應的國家級的查詢數(shù)據(jù)入庫，而此時數(shù)據(jù)狀態(tài)是“已反饋”。為了區(qū)分查詢信息來源，增加“查詢發(fā)起人”的輔助標記。如果國家級疑誤數(shù)據(jù)在省級查詢的反饋數(shù)據(jù)之后進行入庫，則不改變數(shù)據(jù)“已反饋”的狀態(tài)、反饋結(jié)果和查詢發(fā)起人信息，只更新國家級疑誤數(shù)據(jù)的入庫時間。

2.3 數(shù)據(jù)庫設計 一條疑誤數(shù)據(jù)包含了查詢的基本信息，即區(qū)站號、觀測要素、觀測時間、觀測結(jié)果取值和質(zhì)量信息。對于反饋信息，包括對數(shù)據(jù)質(zhì)量的確認、問題原因和備注信息。分別將查詢和反饋看作實體，對于一條查詢數(shù)據(jù)，允許對其多次反饋，但以最后一條反饋結(jié)果為準，即一條查詢數(shù)據(jù)最多對應一條反饋數(shù)據(jù)。而一條反饋數(shù)據(jù)必須存在其對應的一條查詢數(shù)據(jù)。因此查詢實體集和反饋實體集之間存在一對一聯(lián)系，根據(jù)關系數(shù)據(jù)模型設計的簡單性原則，將兩類實體集設計為一個統(tǒng)一的關系數(shù)據(jù)模型AWSR(表1)。其中為了保證入庫、查詢、反饋子流程的正確交互，且對入庫數(shù)據(jù)進行有效管理，增加了流程信息字段，包括數(shù)據(jù)狀態(tài)、查詢發(fā)起人、查詢?nèi)霂鞎r間和反饋時間。

表1 AWSR表存儲結(jié)構(gòu)設計

3 系統(tǒng)建設與實施

3.1 部署運行情況 QC信息管理系統(tǒng)2012年7月在全國部署并投入業(yè)務運行。系統(tǒng)中已經(jīng)實現(xiàn)了反饋數(shù)據(jù)對實況數(shù)據(jù)質(zhì)量的訂正，實時地將觀測數(shù)據(jù)的質(zhì)量控制標識依據(jù)確認結(jié)果修改為正確(0)、錯誤(2)或無法確認(1)。根據(jù)全國自動站逐小時觀測資料質(zhì)控評估結(jié)果可知，2012年7～11月國家站的平均疑誤率為0.002%，區(qū)域站的平均疑誤率為0.070%。若不將質(zhì)量反饋數(shù)據(jù)應用于實時數(shù)據(jù)質(zhì)量的訂正，該時間段內(nèi)的國家站的平均疑誤率為0.009%，區(qū)域站的平均疑誤率為0.100%。從7～11月國家站和區(qū)域站質(zhì)量信息訂正前后的疑誤率變化(圖3)可以看出，各月訂正后的自動站疑誤率均明顯低于訂正之前，這意味著QC信息管理系統(tǒng)的訂正應用使資料的可用性得到了提升。另一方面，通過查詢反饋雙向流程的建立，省或臺站能夠?qū)崟r掌握數(shù)據(jù)的質(zhì)量狀況，及時解決各類異常(如設備故障)造成的數(shù)據(jù)問題，7～11月自動站資料疑誤率較4～6月大幅下降，資料質(zhì)量明顯提升。

3.2 反饋率統(tǒng)計分析 全國自動站質(zhì)量評估業(yè)務是自動站質(zhì)量信息的主要應用之一，評估業(yè)務除了對自動站資料可用率、可疑率、錯誤率、缺測率進行統(tǒng)計外，還對質(zhì)量反饋情況進行統(tǒng)計，具體項目包括反饋率、可疑數(shù)據(jù)反饋為正確和錯誤的數(shù)量、錯誤數(shù)據(jù)反饋為正確和錯誤的數(shù)量等，其中，反饋率為反饋數(shù)據(jù)量與查詢數(shù)據(jù)量之比，疑誤數(shù)據(jù)反饋數(shù)量通過要素質(zhì)量標志(flag_q)和確認結(jié)果(flag_f)來統(tǒng)計。AWSR表全面記錄了查詢反饋數(shù)據(jù)內(nèi)容和流程信息，為反饋率等數(shù)據(jù)指標的計算提供了統(tǒng)計基礎，全部計數(shù)指標均可以方便地轉(zhuǎn)化為SQL語句直接統(tǒng)計完成。鑒于這種統(tǒng)計方法的便捷性和可操作性，可對其進行自動化改造，實現(xiàn)實時統(tǒng)計和任意時段的統(tǒng)計功能。

2012年4～6月的反饋率是通過對舊的反饋文件內(nèi)容解析計數(shù)得到的統(tǒng)計值，自2012年7月以后的反饋率均是通過統(tǒng)計AWSR表得到的統(tǒng)計值。舊的反饋文件由于各省制作方法不統(tǒng)一，部分人工制作的文件格式不規(guī)范，有亂碼情況，不能得到完全地統(tǒng)計。自從7月份系統(tǒng)業(yè)務運行后，反饋文件的有效記錄率(即反饋入庫率)為100%，由4～11月全國自動站疑誤平均反饋率的統(tǒng)計結(jié)果(圖4)可以得知，7～11月的平均反饋率比4～6月的平均反饋率提升了29.08%，效果顯著。

3.3 反饋信息應用效果 質(zhì)量信息對質(zhì)量控制效果的分析有重要的應用價值。首先，錯誤或可疑的數(shù)據(jù)經(jīng)確認后為正確或錯誤才是有效的反饋，而無法確認的結(jié)果可被認為是無效的反饋。經(jīng)統(tǒng)計，2012年7～9月汛期期間質(zhì)量控制共判斷出氣溫、小時降水量等6個基本要素的錯誤和可疑量為167 257，其中有效反饋量為110 424，有效反饋率為66%;各要素有效反饋率均達到了半數(shù)以上(表2)，可利用有效反饋信息對質(zhì)量控制效果進一步分析。

表2 2012年7～9月基本要素質(zhì)量控制反饋情況

對2012年7～9月汛期期間各類氣象基本要素進行的質(zhì)量控制效果指標統(tǒng)計，包括錯誤數(shù)據(jù)的誤判率(錯誤確認為正確的量占有效反饋量的比率)、判錯數(shù)據(jù)的準確率(錯誤確認為錯誤的量占有效反饋量的比率)、可疑數(shù)據(jù)的正確率(可疑確認為正確的量占有效反饋量的比率)、可疑數(shù)據(jù)的錯誤率(可疑確認為錯誤的量占有效反饋量的比率)，對于任何一類要素，以上4項指標之和為1。其中錯誤數(shù)據(jù)的有效反饋率為錯誤數(shù)據(jù)的誤判率與判錯數(shù)據(jù)的準確率之和;可疑數(shù)據(jù)的有效反饋率為可疑數(shù)據(jù)的正確率與可疑數(shù)據(jù)的錯誤率之和。根據(jù)統(tǒng)計結(jié)果(表3)，氣溫和相對濕度2個要素的錯誤數(shù)據(jù)的誤判率低，準確率高，說明這2個要素的質(zhì)量控制算法對錯誤數(shù)據(jù)的判斷效果非常好;而可疑數(shù)據(jù)的正確率與錯誤率的差別只有10%左右，沒有正確率或錯誤率過高的問題，說明質(zhì)控算法對可疑數(shù)據(jù)的判斷效果也很好。對于小時降水量、2 min風向和2 min平均風速3個要素，錯誤數(shù)據(jù)的有效反饋率明顯低于可疑數(shù)據(jù)的有效反饋率，而本站氣壓要素的情況正相反;對于前3個要素來講，可疑數(shù)據(jù)的反饋情況更具有參考價值，分析可知，它們的正確率明顯高于錯誤率20%以上。為了進一步明確可疑數(shù)據(jù)的正確率偏高的原因，可以利用反饋數(shù)據(jù)中的問題原因和備注信息進行輔助分析。以降水為例，在33 505條降水要素的查詢數(shù)據(jù)中，23 746條數(shù)據(jù)得到了反饋，其中2 122條反饋數(shù)據(jù)帶有備注信息。依據(jù)對備注信息的內(nèi)容分析發(fā)現(xiàn)，有60%的備注內(nèi)容反映了由于局地有強降水、短時雷雨、強對流天氣等情況，實際降水量正確，帶有此類備注信息的數(shù)據(jù)，全部為可疑數(shù)據(jù)反饋為正確的情況，如陜西華陰2012年7月4日09:00降水量55.9 mm，質(zhì)控系統(tǒng)判可疑，確認結(jié)果正確，備注信息為“暴雨”;浙江小梅鎮(zhèn)梅一村2012年9月13日04:00降水量79 mm，質(zhì)控系統(tǒng)判可疑，確認結(jié)果正確，備注信息為“局地降水”。若能夠結(jié)合天氣雷達等多源資料對局地性降水進行有效的判斷，則降水可疑率會有明顯下降，從而提高局地大降水數(shù)據(jù)的可用性。因此，反饋數(shù)據(jù)的信息有助于發(fā)現(xiàn)典型天氣或問題的個例，輔助質(zhì)量控制效果不斷提升。

表3 2012年7～9月基本要素質(zhì)量控制效果指標 %

4 小結(jié)

全國自動站QC信息管理系統(tǒng)是國省雙向反饋流程在國家級的核心系統(tǒng)，該系統(tǒng)以國家級實時庫為存儲環(huán)境，設計了統(tǒng)一的存儲表結(jié)構(gòu)，并基于表中數(shù)據(jù)狀態(tài)信息實現(xiàn)了入庫、查詢、反饋3個子流程的“異步”信息交互，保證了數(shù)據(jù)的一致性。

反饋信息對實時數(shù)據(jù)質(zhì)量的即時訂正使觀測資料的可用性得到明顯提升。國省雙向反饋流程建立后，疑誤數(shù)據(jù)查詢的反饋率增長十分明顯。同時，通過對質(zhì)量控制效果指標的統(tǒng)計和直觀分析，結(jié)合反饋數(shù)據(jù)內(nèi)容可輔助提升質(zhì)量控制的效果。

由于數(shù)據(jù)接口設計的較為規(guī)范，且具備可擴展性，QC信息管理系統(tǒng)已無縫接入到實時歷史一體化業(yè)務中，開展對地面資料全要素質(zhì)量信息的管理。下一步工作將考慮對高空等多類氣象資料的質(zhì)量信息進行綜合管理。

［1］任芝花，趙平，張強，等.適用于全國自動站小時降水資料的質(zhì)量控制方法［J］.氣象，2010，36(7):123 －132.

［2］趙煜飛，任芝花，張強.適用于全國氣象自動站正點相對濕度資料的質(zhì)量控制方法［J］.氣象科學，2011，31(6):687 －693.

［3］鞠曉慧，任芝花，張強.自動站小時氣壓的質(zhì)量控制方法研究［J］.安徽農(nóng)業(yè)科學，2010，38(27):15130 －15133.

［4］竇以文，屈玉貴，陶士偉，等.北京自動氣象站實時數(shù)據(jù)質(zhì)量控制應用［J］.氣象，2008，34(8):77 －81.

［5］王海軍，楊志彪，楊代才，等.自動氣象站實時資料自動質(zhì)量控制方法及其應用［J］.氣象，2007，33(10):102 －109.

［6］李志鵬，張瑋，黃少平，等.自動氣象站數(shù)據(jù)實時質(zhì)量控制業(yè)務軟件設計與實現(xiàn)［J］.氣象，2012，38(3):371 －376.

［7］劉一鳴，周自江，遠芳，等.ARQCS啟動策略及其與資源消耗的關系［J］.應用氣象學報，2014，25(4):505 －512.