于凱旋,歐娜音
(1.雙城區(qū)氣象局,黑龍江哈爾濱150100;2.哈爾濱市氣象局,黑龍江哈爾濱150080)
氣象資料業(yè)務(wù)系統(tǒng)MDOS的疑誤信息處理
于凱旋,歐娜音
(1.雙城區(qū)氣象局,黑龍江哈爾濱150100;2.哈爾濱市氣象局,黑龍江哈爾濱150080)
隨著自動(dòng)氣象觀測(cè)逐步取代人工觀測(cè),以實(shí)時(shí)傳輸?shù)臄?shù)據(jù)文件為質(zhì)量控制對(duì)象的質(zhì)量控制方法也在全國(guó)逐步開(kāi)展,為氣象業(yè)務(wù)、科研和服務(wù)提供了高質(zhì)量的數(shù)據(jù)支持。根據(jù)現(xiàn)代氣象觀測(cè)自動(dòng)化以及縣級(jí)氣象機(jī)構(gòu)綜合改革后地面氣象數(shù)據(jù)的特點(diǎn),結(jié)合目前在一體化業(yè)務(wù)試驗(yàn)中使用的實(shí)時(shí)和歷史質(zhì)量控制方法,參考天氣因素及其特殊天氣現(xiàn)象、氣象要素日變化和地理?xiàng)l件對(duì)數(shù)據(jù)質(zhì)量標(biāo)注的影響,設(shè)計(jì)了適應(yīng)我國(guó)地面氣象觀測(cè)數(shù)據(jù)的質(zhì)量控制技術(shù)規(guī)程。
氣象;業(yè)務(wù);系統(tǒng)
所謂氣象資料業(yè)務(wù)系統(tǒng)(Meteorological Data Operational System,簡(jiǎn)稱MDOS)是由數(shù)據(jù)庫(kù)系統(tǒng)、數(shù)據(jù)入庫(kù)系統(tǒng)、質(zhì)量控制系統(tǒng)、業(yè)務(wù)操作平臺(tái)、統(tǒng)計(jì)處理系統(tǒng)、報(bào)警系統(tǒng)、文件上傳系統(tǒng)、元數(shù)據(jù)管理系統(tǒng)等組成。該系統(tǒng)主要應(yīng)用在臺(tái)站級(jí)和省級(jí),臺(tái)站級(jí)由臺(tái)站級(jí)數(shù)據(jù)采集處理系統(tǒng)組成,負(fù)責(zé)觀測(cè)數(shù)據(jù)及元數(shù)據(jù)的上傳、質(zhì)控信息的處理與反饋。省級(jí)由數(shù)據(jù)入庫(kù)系統(tǒng)、數(shù)據(jù)庫(kù)存儲(chǔ)管理系統(tǒng)、質(zhì)量控制系統(tǒng)、業(yè)務(wù)操作平臺(tái)、報(bào)警系統(tǒng)、文件上傳系統(tǒng)和統(tǒng)計(jì)處理系統(tǒng)組成,主要完成數(shù)據(jù)的質(zhì)量控制、處理及查詢反饋。
2.1概述疑誤信息
為了便于對(duì)疑誤數(shù)據(jù)進(jìn)行處理,可以將疑誤數(shù)據(jù)分為顯性錯(cuò)誤數(shù)據(jù)、可疑數(shù)據(jù)和缺測(cè)數(shù)據(jù)三類。
所謂顯性錯(cuò)誤數(shù)據(jù)是指各類氣象要素不在氣候?qū)W界限值范圍內(nèi)的數(shù)據(jù);
而可疑數(shù)據(jù)是指沒(méi)有通過(guò)氣候極值檢查、內(nèi)部一致性檢查、時(shí)間和空間一致性檢查等質(zhì)量控制方法檢查的數(shù)據(jù)。缺測(cè)數(shù)據(jù)則是指有觀測(cè)任務(wù),但無(wú)有效值的數(shù)據(jù)。
所謂疑誤信息是指某個(gè)氣象數(shù)據(jù)沒(méi)有通過(guò)一個(gè)或多個(gè)數(shù)據(jù)質(zhì)量控制方法檢查的信息,例如“某站氣溫沒(méi)有通過(guò)空間一致性質(zhì)量控制方法的檢查,與周?chē)徑鞠啾绕汀奔礊橐粭l疑誤信息;疑誤數(shù)據(jù)為具有疑誤信息的觀測(cè)數(shù)據(jù)或元數(shù)據(jù)。疑誤信息主要有幾個(gè)來(lái)源:(1)MDOS系統(tǒng)的質(zhì)量控制系統(tǒng)自動(dòng)生成;(2)國(guó)家級(jí)查詢省級(jí)(或其他省查詢,由國(guó)家級(jí)下發(fā));(3)省級(jí)數(shù)據(jù)處理人員人工質(zhì)量控制;(4)臺(tái)站觀測(cè)人員提交;(5)省級(jí)其他業(yè)務(wù)單位人員質(zhì)疑查詢;(6)元數(shù)據(jù)疑誤信息。這六部分疑誤信息由MDOS系統(tǒng)融合后,統(tǒng)一提供給省級(jí)數(shù)據(jù)處理人員進(jìn)行處理。在MDOS中,所需要處理的疑誤信息大部分由MDOS的質(zhì)量控制系統(tǒng)自動(dòng)生成。
當(dāng)然,處理疑誤數(shù)據(jù)需要有一定的處理依據(jù),比如《地面氣象觀測(cè)規(guī)范》;氣象行業(yè)標(biāo)準(zhǔn):QX-T 118-2010《地面氣象觀測(cè)資料質(zhì)量控制》;中國(guó)氣象局監(jiān)測(cè)網(wǎng)絡(luò)司2006年下發(fā)的《地面氣象觀測(cè)規(guī)范》技術(shù)問(wèn)題綜合解答(第1號(hào));以及氣象行業(yè)標(biāo)準(zhǔn):QX/T 37-2005《氣象臺(tái)站歷史沿革數(shù)據(jù)文件格式》等。
一般情況下,處理疑誤數(shù)據(jù)應(yīng)該按照一定的處理流程來(lái)進(jìn)行,即通過(guò)對(duì)疑誤數(shù)據(jù)的“時(shí)清”、“日清”和“月清”來(lái)進(jìn)行。
(1)時(shí)清。時(shí)清是指對(duì)某時(shí)次數(shù)據(jù)的完整性、準(zhǔn)確性進(jìn)行分析,對(duì)實(shí)時(shí)數(shù)據(jù)缺測(cè)、異常等情況進(jìn)行處理。時(shí)清工作是日清和月清的基礎(chǔ),其處理對(duì)象為正點(diǎn)要素?cái)?shù)據(jù)文件和逐分鐘數(shù)據(jù)文件的全部要素?cái)?shù)據(jù)。時(shí)清的主要任務(wù)有:小時(shí)、分鐘數(shù)據(jù)文件完整性處理;逐時(shí)疑誤數(shù)據(jù)處理;元數(shù)據(jù)的審核。
(2)日清。日清工作是時(shí)清工作的集合,即日清應(yīng)建立在時(shí)清的基礎(chǔ)上。在日末后,重點(diǎn)對(duì)日數(shù)據(jù)文件、元數(shù)據(jù)的缺測(cè)、疑誤等情況進(jìn)行處理。日清的主要任務(wù)是:日統(tǒng)計(jì)值與各小時(shí)統(tǒng)計(jì)值矛盾處理;天氣現(xiàn)象與某要素日值矛盾處理;元數(shù)據(jù)與觀測(cè)數(shù)據(jù)矛盾處理。元數(shù)據(jù)疑誤信息。
(3)月清。月清是對(duì)月數(shù)據(jù)質(zhì)量、全月元數(shù)據(jù)的完整性進(jìn)行檢查,完成國(guó)家站地面A、J文件生成,按規(guī)定上報(bào)。
時(shí)清、日清和月清具體的時(shí)間段和時(shí)間點(diǎn)可根據(jù)各地的值班情況確定。對(duì)于時(shí)清并不是1 h后,該小時(shí)數(shù)據(jù)馬上完成處理,而是表示該小時(shí)的數(shù)據(jù)已經(jīng)處理完畢,特別是當(dāng)該小時(shí)不在值班期間時(shí)。
2.2對(duì)疑誤數(shù)據(jù)的處理
2.2.1對(duì)國(guó)家級(jí)站顯性錯(cuò)誤數(shù)據(jù)處理規(guī)則
對(duì)于那些文件級(jí)快速質(zhì)量控制時(shí)所顯示出來(lái)的一些錯(cuò)誤的數(shù)據(jù)并且沒(méi)有進(jìn)行修改的,就將其標(biāo)為錯(cuò)誤數(shù)據(jù)(質(zhì)量控制碼為2)。對(duì)于顯性錯(cuò)誤包含人工確認(rèn)的錯(cuò)誤數(shù)據(jù),采用以下幾項(xiàng)處理原則:(1)如果出現(xiàn)錯(cuò)誤的數(shù)據(jù)有其他的數(shù)據(jù)可以對(duì)其進(jìn)行替換或者是糾正,便可以直接進(jìn)行替換或糾正處理;如果不能,就還是按照元數(shù)據(jù)進(jìn)行處理,并且要將數(shù)據(jù)的質(zhì)控碼記為2。(2)當(dāng)正點(diǎn)數(shù)據(jù)為顯性錯(cuò)誤時(shí),可以按照以下幾種方法進(jìn)行處理:首先,對(duì)于正點(diǎn)前后10 min之內(nèi)的數(shù)據(jù),直接用正點(diǎn)來(lái)代替,但這些數(shù)據(jù)并不包含極值和累積值;其次,當(dāng)沒(méi)有分鐘數(shù)據(jù)可以使用的情況下,例如,假如該消失有其他的同類記錄,這樣的情況下,可以采用同類記錄法進(jìn)行記錄;最后,當(dāng)沒(méi)有正點(diǎn)前后10 min記錄或者是一些其他的同類的記錄時(shí),可以用正點(diǎn)前、后1 h記錄值內(nèi)插值來(lái)進(jìn)行替換。如果上述的三種情況都不存在或者是都不屬于,那么這樣的數(shù)據(jù)可以直接放棄處理。
2.2.2對(duì)可疑數(shù)據(jù)的處理規(guī)則
所謂的可疑數(shù)據(jù),主要指的并不是通過(guò)各種質(zhì)量控制方法得來(lái)的數(shù)據(jù),在MDOS系統(tǒng)中,為了很好地區(qū)分以及表明該數(shù)據(jù)的可疑程度,通常會(huì)采用“錯(cuò)誤”和“可疑”兩種情況來(lái)進(jìn)行區(qū)分。對(duì)于這些可疑數(shù)據(jù)的處理,通常會(huì)采用如下幾種原則:
(1)對(duì)于那些已經(jīng)超過(guò)氣候極值的可疑數(shù)據(jù),會(huì)依據(jù)當(dāng)時(shí)的天氣情況進(jìn)行檢查,如果當(dāng)時(shí)的天氣情況比較正常,那這樣的數(shù)據(jù)勢(shì)必是存在一定的問(wèn)題;如果當(dāng)時(shí)的天氣情況確實(shí)比較特殊,那這些數(shù)據(jù)就是有一定正確的可能性。
(2)對(duì)于和內(nèi)部一致性檢查不同的數(shù)據(jù),也要結(jié)合其自身的要素來(lái)判斷數(shù)據(jù)的準(zhǔn)確性。
(3)對(duì)不符合時(shí)間一致性檢查和空間一致性檢查的疑誤數(shù)據(jù),應(yīng)該將這些數(shù)據(jù)與同站的一些其他的要素進(jìn)行對(duì)比分析,如降水與云、降水與天氣現(xiàn)象、降水與能見(jiàn)度日照等因素,在進(jìn)行對(duì)比分析以后,判斷這些數(shù)據(jù)的準(zhǔn)確性以及是否正常。
(4)對(duì)于沒(méi)有通過(guò)持續(xù)性檢查的數(shù)據(jù),要適當(dāng)?shù)匮娱L(zhǎng)檢查的時(shí)間,進(jìn)而觀察數(shù)據(jù)是否正常。
(5)對(duì)正點(diǎn)數(shù)據(jù)中的計(jì)算值(如:海平面氣壓、水汽壓和露點(diǎn)溫度等)、日數(shù)據(jù)值及其相關(guān)要素的統(tǒng)計(jì)值等的可疑數(shù)據(jù),一定要按照《地面氣象觀測(cè)規(guī)范》和相關(guān)技術(shù)規(guī)定嚴(yán)格地進(jìn)行審查,判斷這些數(shù)據(jù)是否存在錯(cuò)誤,如果存在錯(cuò)誤,要及時(shí)進(jìn)行糾正。
(6)審核產(chǎn)生疑誤數(shù)據(jù)的原因,如果是由臺(tái)站元數(shù)據(jù)發(fā)生變化而引起的,就要適當(dāng)?shù)卦鲅a(bǔ)臺(tái)站元數(shù)據(jù),并且要對(duì)于一些審查疑誤數(shù)據(jù)進(jìn)行恰當(dāng)?shù)?、?zhǔn)確地修正。
1002-252X(2016)03-0037-02
2016-6-1
于凱旋(1983-),女,黑龍江省哈爾濱市人,吉林大學(xué),碩士生,工程師.