萬軍

（西南技術(shù)工程研究所，重慶 400039）

裝備在自然環(huán)境因素的交互作用下，功能、性能和壽命均會受到影響，從而降低戰(zhàn)技指標(biāo)，影響裝備的戰(zhàn)斗力。自然環(huán)境試驗是在有代表性的典型環(huán)境下開展的，是考核、篩選與研究裝備及其材料環(huán)境適應(yīng)性、暴露產(chǎn)品的失效模式、評價產(chǎn)品使用壽命的重要手段。我國在典型氣候環(huán)境條件下建立了大氣試驗站，開展了大量的暴露試驗。同時，科研人員也長期對大氣環(huán)境開展觀測，積累了豐富的環(huán)境數(shù)據(jù)，環(huán)境數(shù)據(jù)結(jié)合環(huán)境效應(yīng)數(shù)據(jù)是分析裝備及其產(chǎn)品失效的基礎(chǔ)。

為了更加全面地評價環(huán)境對裝備及其產(chǎn)品的影響，國防口8個大氣試驗站擴大了環(huán)境因素采集范圍，高頻率、高精度、準(zhǔn)確地采集典型環(huán)境條件下的環(huán)境因素數(shù)據(jù)。按照最新修訂的《國防科技工業(yè)自然環(huán)境試驗站網(wǎng)規(guī)程——自然環(huán)境因素采集與監(jiān)檢測方法》，大氣試驗站需要觀測的氣象因素包括溫度、相對濕度、氣壓、風(fēng)速風(fēng)向、降水、太陽輻射、日照、蒸發(fā)量、天氣現(xiàn)象、積雪等十大類氣象因素。隨著自動氣象站的普及，各試驗站的氣象觀測逐步由人工觀測過渡到自動觀測，通過自動觀測獲取的氣象數(shù)據(jù)精度、采樣頻率較人工采集大幅度提高，數(shù)據(jù)量則呈指數(shù)級增長。值班人員將獲取的原始氣象數(shù)據(jù)根據(jù)管理規(guī)范處理成相應(yīng)的數(shù)據(jù)月報表和年報表等。在整個數(shù)據(jù)采集、處理過程中，由于采集裝置故障、數(shù)據(jù)處理軟件缺陷或人為疏忽導(dǎo)致氣象數(shù)據(jù)報表出現(xiàn)質(zhì)量問題，如何從海量的氣象數(shù)據(jù)報表中快速找出存在質(zhì)量問題的數(shù)據(jù)是科研人員面臨的難題，找出問題數(shù)據(jù)也是進一步利用技術(shù)手段修正數(shù)據(jù)、填補數(shù)據(jù)的基礎(chǔ)。因此，亟需相應(yīng)的質(zhì)量控制手段對采集的氣象數(shù)據(jù)進行審核，確保氣象數(shù)據(jù)報表符合裝備環(huán)境工程工作的各項要求（包括數(shù)據(jù)的分辨率、連續(xù)性、均一性、代表性、時限、格式等）。

影響氣象數(shù)據(jù)質(zhì)量的因素有3類：儀器設(shè)備、技術(shù)人員綜合素質(zhì)、數(shù)據(jù)傳輸。國外發(fā)達國家很早就意識到氣象數(shù)據(jù)質(zhì)量控制的重要性，在氣象數(shù)據(jù)采集過程中，不斷加強設(shè)備的運行維護，提升人員的技術(shù)水平，增強氣象站應(yīng)對復(fù)雜天氣的能力等。除此之外，普遍建立了氣象數(shù)據(jù)質(zhì)量控制管理方法，設(shè)計了配套的數(shù)據(jù)質(zhì)量管理軟件來管控氣象數(shù)據(jù)質(zhì)量。北歐5國是全球最早開始氣象觀測的地區(qū)，其氣象數(shù)據(jù)的質(zhì)量控制技術(shù)處于世界先進行列。北歐 5國通過NORDKLIM（Nordic co-operation within climate activities） 計劃，建立了4級氣象數(shù)據(jù)資料控制流程。同為發(fā)達國家的美國，同樣建立了完整的氣象觀測體系，如地面自動觀測系統(tǒng)（ASOS）在1991年開始投入使用，2004年建成了超過1 100個氣象自動觀測站的觀測網(wǎng)。ASOS對氣象資料的質(zhì)量審核采用3級管控措施，整個管控過程貫穿采集和數(shù)據(jù)傳輸，能及時發(fā)現(xiàn)數(shù)據(jù)的質(zhì)量問題，確保氣象資料的及時性和準(zhǔn)確性，使整個ASOS順利運轉(zhuǎn)。美國國家氣候資料中心（NCDC）建立了全球歷史氣候網(wǎng)GHCN（Global Historical Climatology Network），是很有影響力的氣象數(shù)據(jù)集。GHCN的氣象數(shù)據(jù)質(zhì)量控制包括源數(shù)據(jù)集檢查、臺站時間序列檢查、單個數(shù)據(jù)點檢查3個階段。另外，美國國家環(huán)境預(yù)報中心（NCEP）也建立了質(zhì)量控制方法。

進入21世紀(jì)，世界各國通過多種氣象數(shù)據(jù)質(zhì)量控制方法來提高氣象數(shù)據(jù)質(zhì)量，基本包含：范圍檢查、極值檢查、內(nèi)部一致性檢查、空間一致性檢查、均一性檢查等。氣象數(shù)據(jù)質(zhì)量控制方法研究在發(fā)達國家開展得非常普遍，我國氣象部門就氣象數(shù)據(jù)質(zhì)量控制工作同樣也開展了大量的研究，主要根據(jù)氣象學(xué)、天氣學(xué)、氣候?qū)W原理，以氣象要素的時間、空間變化規(guī)律和各要素間相互聯(lián)系的規(guī)律為線索，分析氣象資料是否合理。我國還重視各級臺站的氣象數(shù)據(jù)質(zhì)量審核，臺站級、省級采用相似的數(shù)據(jù)質(zhì)量審核手段，各級審核只在技術(shù)細節(jié)上有所不同，保證了數(shù)據(jù)在質(zhì)量審核方法上的統(tǒng)一性。

裝備環(huán)境工程領(lǐng)域的自然環(huán)境試驗氣象因素觀測是一項繁瑣的基礎(chǔ)性工作，投入了大量人力與物力，長期采集環(huán)境數(shù)據(jù)。傳統(tǒng)的氣象數(shù)據(jù)質(zhì)量控制更多的是依靠科研人員的經(jīng)驗進行質(zhì)量審核，方法是工作人員逐一對每個數(shù)據(jù)記錄進行質(zhì)量審核，判斷其是否符合天氣學(xué)基本規(guī)律，具體包括同一試驗站不同氣象要素之間的關(guān)系是否合理，與上一次數(shù)據(jù)的比較，與歷史同期的比較等，使得自然環(huán)境試驗領(lǐng)域的氣象數(shù)據(jù)質(zhì)量控制技術(shù)水平與國外、國內(nèi)均存在較大的差距。隨著自動氣象站投入使用，傳統(tǒng)的氣象值班人員、站長、中心站3級氣象數(shù)據(jù)質(zhì)量人工審核方式，無法應(yīng)付龐大的數(shù)據(jù)量，其他科研人員在產(chǎn)品環(huán)境適應(yīng)性分析工作中發(fā)現(xiàn)了大量的氣象數(shù)據(jù)質(zhì)量問題。因此，提出改進現(xiàn)有質(zhì)量審核方法的需求，建立新的、快速、高效、準(zhǔn)確的環(huán)境因素數(shù)據(jù)質(zhì)量審核方法，以提高審核效率和準(zhǔn)確性?？蒲腥藛T首先是通過向氣象部門學(xué)習(xí)新的數(shù)據(jù)質(zhì)量控制方法，參照相關(guān)的氣象行業(yè)標(biāo)準(zhǔn)，結(jié)合《國防科技工業(yè)自然環(huán)境試驗站網(wǎng)規(guī)程》，逐步優(yōu)化原有的氣象數(shù)據(jù)質(zhì)量控制方法，形成具有自然環(huán)境技術(shù)特點的處理算法、工作流程和軟件工具。

梳理國防口大氣試驗站網(wǎng)的氣象報表，普遍存在如下問題：氣象數(shù)據(jù)報表格式不規(guī)范；各種原因造成的數(shù)據(jù)缺失；數(shù)據(jù)超過邊界；數(shù)據(jù)之間存在不一致的情況；數(shù)據(jù)變化幅度太大，不符合氣象學(xué)原理；數(shù)據(jù)報表太多，數(shù)據(jù)質(zhì)量審核工作任務(wù)繁重。各試驗站傳統(tǒng)的數(shù)據(jù)質(zhì)量審核工作流程是首先通過人工篩選出可能存在質(zhì)量問題的數(shù)據(jù)，并對其按照缺失、可疑、錯誤等劃分等級，進一步分析存在質(zhì)量問題的氣象報表，通過原始報表查找對應(yīng)的數(shù)據(jù)、檢查設(shè)備，來全面分析問題原因，再采用技術(shù)手段進行修補。

1 環(huán)境因素數(shù)據(jù)質(zhì)量審核方法設(shè)計

1.1 數(shù)據(jù)質(zhì)量審核內(nèi)容及要求

通過歷史氣象數(shù)據(jù)報表的統(tǒng)計分析，各試驗站數(shù)據(jù)質(zhì)量主要受觀測儀器，觀測技術(shù)、觀測位置、觀測時間、觀測方法、數(shù)據(jù)傳遞和人工處理的影響，即非氣候因素對觀測的最終結(jié)果造成了很大的影響。因此結(jié)合《國防科技工業(yè)自然環(huán)境試驗站網(wǎng)規(guī)程》要求，確定試驗站氣象數(shù)據(jù)質(zhì)量審核內(nèi)容及要求如下。

1）報表格式檢查，不符合標(biāo)準(zhǔn)的數(shù)據(jù)報表不能通過審核。

2）缺測值檢查，氣象數(shù)據(jù)報表可能存在缺測值。缺測值可能是由于設(shè)備故障，也可能是因為數(shù)據(jù)在處理過程中丟失。這種數(shù)據(jù)需要在數(shù)據(jù)報表中進行標(biāo)注。

3）邊界值檢查，即數(shù)據(jù)上下限檢查。氣象數(shù)據(jù)的邊界值參照試驗站當(dāng)?shù)氐慕?jīng)緯度和季節(jié)來劃定，或是根據(jù)試驗站的歷史數(shù)據(jù)進行統(tǒng)計來確定。根據(jù)不同需求邊界值可進行調(diào)整，如數(shù)據(jù)用作嚴(yán)格的定量分析可以將邊界值控制得非常嚴(yán)格，取統(tǒng)計值的95%或98%。若氣象數(shù)據(jù)作為變化趨勢分析，則可以邊界值限定寬松。

4）數(shù)據(jù)內(nèi)部一致性檢查，包括8項檢查內(nèi)容：所有氣象因素的最大值大于等于平均值；所有氣象因素的平均值大于或等于最低值；日降水時數(shù)、日照時數(shù)小于等于24 h；紅外輻射+紫外輻射小于或等于總輻射；維度角紅外輻射+維度角紫外輻射小于或等于維度角總輻射；門字架日照時數(shù)為0 h，直接輻射數(shù)值小于等于0.5 MJ/m；當(dāng)風(fēng)向為靜風(fēng)時，風(fēng)速應(yīng)不高于0.2 m/s；當(dāng)積雪深度增加時，當(dāng)日降水量應(yīng)大于0 mm或為微量。

5）時間一致性檢查，需要檢查的內(nèi)容包括4項：氣壓，連續(xù)2 h最大變化幅度小于10 hPa；氣溫，連續(xù)2 h變化小于8 ℃；相對濕度，連續(xù)2 h變化幅度小于70%；風(fēng)速，連續(xù)2 min小于20 m/s。

1.2 數(shù)據(jù)質(zhì)量審核算法設(shè)計

按照用戶需求，氣象數(shù)據(jù)質(zhì)量審核將對溫度、相對濕度、氣壓、風(fēng)速風(fēng)向、降雨、太陽輻射、日照等20種氣象因素進行逐一檢查。由于篇幅限制，本文僅簡述溫度數(shù)據(jù)的質(zhì)量審核算法。溫度數(shù)據(jù)質(zhì)量審核算法包括溫度極值審核算法、理論極值的審核算法、邏輯性審核算法、時間一致性審核算法4種審核算法，其余氣象因素方法類似。

2）理論極值的審核算法。根據(jù)物理規(guī)律，設(shè)定溫度的理論下限和上限值，將地面2 m溫度的下限設(shè)置為，上限設(shè)置為。檢查原則：當(dāng)前溫度觀測值T應(yīng)該介于其理論極大值和理論極小值之間，即滿足<T<。

3）邏輯性審核算法。主要進行邏輯性方面的審核和判斷，遵循以下原則：最低溫度<平均溫度<最高溫度。

4）時間一致性審核算法。時間一致性審核算法是指時間連續(xù)性方面的審核和判斷，假定溫度允許的最大小時變化幅度為d，T表示前一個小時觀測的溫度值，則當(dāng)前溫度T應(yīng)遵循以下原則：

|T?T|

|T?T|

1.3 數(shù)據(jù)質(zhì)量審核流程設(shè)計

數(shù)據(jù)質(zhì)量審核的設(shè)計思路首先是最基本的報表格式審核，其次是缺測值檢查，然后依次是界限值檢查、內(nèi)部一致性和時間一致性檢查，遇到存在問題的數(shù)據(jù)及時進行標(biāo)注，并計入日志。氣象數(shù)據(jù)質(zhì)量審核工作流程如圖1所示。

圖1 氣象數(shù)據(jù)質(zhì)量審核流程Fig.1 Meteorological data quality audit process

1.4 環(huán)境因素數(shù)據(jù)質(zhì)量審核軟件工具設(shè)計

國防口大氣試驗站采用人工審核很難及時完成數(shù)據(jù)質(zhì)量審核任務(wù)，必須借助軟件工具才能快速提高審核效率。設(shè)計軟件工具的優(yōu)勢：能夠?qū)υO(shè)計的質(zhì)量審核流程和審核算法進行標(biāo)準(zhǔn)化；實現(xiàn)數(shù)據(jù)審核自動化，減輕人員的勞動強度；降低數(shù)據(jù)審核錯誤概率，軟件的準(zhǔn)確性遠高于人工檢查。因此，借助軟件工具將海量數(shù)據(jù)中存在質(zhì)量問題的數(shù)據(jù)逐一篩選出來，進行標(biāo)注是科研人員的共識。在審核試驗站環(huán)境數(shù)據(jù)報表的同時，也兼顧國內(nèi)外各氣象臺站的氣象數(shù)據(jù)報表。

環(huán)境因素數(shù)據(jù)質(zhì)量審核軟件功能主要包括氣象報表加載、審核閾值設(shè)定、報表格式審核、數(shù)據(jù)質(zhì)量審核、報表格式調(diào)整、質(zhì)量問題統(tǒng)計、操作日志管理7項主要功能，如圖2所示。

圖2 環(huán)境因素質(zhì)量控制軟件功能結(jié)構(gòu)Fig.2 Function structure of environmental factors quality control software

1）氣象報表加載是將計算機外存的氣象數(shù)據(jù)加載到內(nèi)存，以方便軟件開展審核。

2）審核閾值設(shè)定是指對該地區(qū)各氣象因素上下限的設(shè)定，以便于界限值檢查。界限值檢查包括4類：氣候上下限檢查和理論上下限檢查，軟件閾值的設(shè)定不能完全參照QX/T 118—2020《氣象觀測資料質(zhì)量控制 地面》附錄A要素界限值和QX/T 118—2020《氣象觀測資料質(zhì)量控制 地面氣象輻射》附錄A要素界限值，因為該附表是根據(jù)我國氣象歷史數(shù)據(jù)制定的，氣象數(shù)據(jù)審核軟件使用時應(yīng)該根據(jù)當(dāng)?shù)氐臍v史數(shù)據(jù)和用戶經(jīng)驗設(shè)定，以縮小閾值范圍，審核時更準(zhǔn)確。審核閾值設(shè)定還包括逐小時變化幅度和逐日變化幅度的設(shè)定，其設(shè)定由用戶自行定義，也可參照QX/T 118—2020《氣象觀測資料質(zhì)量控制 地面》附錄C 要素時間一致性檢查閾值。

3）報表格式審核就是對已經(jīng)加載的數(shù)據(jù)格式的正確性進行判定，不符合要求就提示用戶重新提交。

4）數(shù)據(jù)質(zhì)量審核主要指前述的氣象報表缺測值的檢查、邊界值檢查、內(nèi)部一致性檢查、時間一致性檢查等審核。

5）報表格式調(diào)整是軟件展示時因為數(shù)據(jù)太多造成單元格結(jié)構(gòu)紊亂，利用軟件對數(shù)據(jù)表格的寬度、高度進行調(diào)整，方便用戶查看。

6）質(zhì)量問題統(tǒng)計，指數(shù)據(jù)審核后報表的正確率，以及報表可疑數(shù)據(jù)、錯誤數(shù)據(jù)和缺失數(shù)據(jù)的數(shù)量。

7）操作日志管理是對用戶每次操作在日志中進行記錄，目的是在出現(xiàn)安全問題時可以重新審核用戶的操作行為。

本軟件采用Python語言。Python是一種跨平臺、開源、解釋型高級編程語言，Python語言兼容性較好，且具備豐富的標(biāo)準(zhǔn)庫，既支持面向過程也支持面向?qū)ο?。在環(huán)境觀測方面，Python語言自身的特點也發(fā)揮了積極的作用，因此選為環(huán)境因素數(shù)據(jù)質(zhì)量審核軟件開發(fā)語言。

環(huán)境因素數(shù)據(jù)質(zhì)量審核軟件旨在為科研人員提供氣象數(shù)據(jù)質(zhì)量審核的軟件工具，從海量的氣象報表中篩選出缺測數(shù)據(jù)、可疑數(shù)據(jù)和錯誤數(shù)據(jù)記錄。審核軟件主界面如圖3所示。主界面分3個大的區(qū)域，由上到下依次為軟件的功能區(qū)、氣象報表審核區(qū)、質(zhì)量審核狀態(tài)監(jiān)控區(qū)。

圖3 氣象報表審核Fig.3 Meteorological report audit

1）功能區(qū)包括軟件的標(biāo)題欄、菜單欄、工具欄，用戶通過這部分區(qū)域?qū)庀髷?shù)據(jù)報表進行基本的質(zhì)量審核操作。菜單欄、工具欄包括用戶數(shù)據(jù)審核功能的各種操作功能，包括氣象報表加載，氣象數(shù)據(jù)的單表、多表批量審核命令、氣象報表的拆分、軟件版權(quán)信息等。

2）中間部分是氣象報表審核區(qū)域，左邊是數(shù)據(jù)質(zhì)量審核結(jié)果統(tǒng)計，包括審核氣象報表的名稱，報表正確率和缺測數(shù)據(jù)、可疑數(shù)據(jù)和錯誤數(shù)據(jù)的統(tǒng)計情況。右部分區(qū)域是具體的氣象報表，缺測數(shù)據(jù)用灰色背景表示，黃色背景為可疑數(shù)據(jù)，紅色背景為錯誤數(shù)據(jù)。通過不同的顏色對用戶形成警示。

3）質(zhì)量審核狀態(tài)監(jiān)控區(qū)在軟件的最底部，區(qū)域中包括左邊的閾值設(shè)定，右邊的審核狀態(tài)監(jiān)控和底部的審核進度監(jiān)控。閾值的設(shè)定根據(jù)相關(guān)規(guī)程和氣象標(biāo)準(zhǔn)、當(dāng)?shù)氐臍v史氣象數(shù)據(jù)和用戶的經(jīng)驗由用戶自行設(shè)定。審核狀態(tài)監(jiān)控是在數(shù)據(jù)審核時滾動顯示審核氣象報表的狀態(tài)，數(shù)據(jù)出錯的分析等。審核進度監(jiān)控通過進度條提示用戶。

軟件完成設(shè)計后，應(yīng)用其對各試驗站的氣象數(shù)據(jù)進行質(zhì)量審核，結(jié)果表明，軟件能準(zhǔn)確地篩選出缺測、可疑和錯誤數(shù)據(jù)，經(jīng)人工復(fù)核，沒有發(fā)現(xiàn)軟件運行的錯誤。經(jīng)測試，審核軟件能準(zhǔn)確地標(biāo)注存在質(zhì)量問題的數(shù)據(jù)，能正確統(tǒng)計數(shù)據(jù)質(zhì)量審核信息，存在的問題是審核效率不高。如數(shù)據(jù)量為8萬行的氣象原始數(shù)據(jù)報表，經(jīng)測試，耗時15 min完成質(zhì)量審核，審核速度非常慢。因此，必須采用相應(yīng)的方法來提高審核效率。分析審核速度慢的原因是軟件采用傳統(tǒng)的方法編程，沒有充分考慮利用多核處理器的并行運算能力來大幅提高氣象數(shù)據(jù)質(zhì)量審核效率。傳統(tǒng)的編程方法是針對單核處理器的，單核處理器在特定時間只能執(zhí)行特定的任務(wù)，對于多線程處理只能是并發(fā)執(zhí)行，而不是并行執(zhí)行，操作系統(tǒng)為完成多任務(wù)處理采用時間片輪轉(zhuǎn)調(diào)度算法。除此之外，處理器需要在多個進程之間切換，增加了額外開銷，導(dǎo)致處理器效率降低。多線程處理屬于并行處理方式，較單線程串行處理方式較大地提高了數(shù)據(jù)處理效率，特別是在處理高并發(fā)任務(wù)和動態(tài)數(shù)據(jù)采集、數(shù)據(jù)處理方面，多線程具有強大的優(yōu)勢。目前，市面上大多為多核處理器，Python支持多線程程序開發(fā)，如果利用多線程占用計算機資源少、程序運行效率高的特點開發(fā)環(huán)境因素數(shù)據(jù)質(zhì)量審核軟件就能快速處理氣象數(shù)據(jù)報表。氣象數(shù)據(jù)報表中最難處理的是數(shù)據(jù)量較大的數(shù)據(jù)報表，為了提升大數(shù)據(jù)量報表的審核效率，軟件設(shè)計首先以年、月為單位，自動對數(shù)據(jù)報表進行拆分，將大報表拆分成多個小報表，然后對小報表采用多線程并行處理方式進行審核。在內(nèi)存空間充裕的情況下，其質(zhì)量審核效率提升倍數(shù)取決于CPU的個數(shù)。采用多線程算法改進后的質(zhì)量審核軟件，運行效率大大提高，通過測試單線程運算量相同的8萬行氣象原始數(shù)據(jù)。采用多線程算法，在八核處理器的條件下可在2 min之內(nèi)完成審核，較單線程審核效率提高接近8倍。

2 結(jié)語

目前，國防口大氣試驗站建立了氣象值班員、站長、中心3級數(shù)據(jù)質(zhì)量管理體系，這種體系從管理上形成了層層把關(guān)。再借助本文所述的氣象數(shù)據(jù)質(zhì)量審核方法、算法、流程以及軟件工具，能夠快速提升數(shù)據(jù)質(zhì)量審核效率，減輕科研人員的工作強度，避免了數(shù)據(jù)審核工作中人為造成的失誤，提高了數(shù)據(jù)質(zhì)量審核的準(zhǔn)確性。據(jù)統(tǒng)計分析，采用軟件工具審核較人工審核的準(zhǔn)確率平均提高約20倍，軟件審核尚未出現(xiàn)漏審、錯審和錯誤標(biāo)注的情況。軟件質(zhì)量審核效率較人工審核提高60倍。目前，該方法在各試驗站逐步推廣，我所科研項目同步開展應(yīng)用，通過長時間試運行，該數(shù)據(jù)審核方法和軟件已經(jīng)得到了用戶的認(rèn)可，達到了預(yù)期的目的。