劉一鳴周自江 遠(yuǎn) 芳 阮宇智 何文春 孫 超 劉媛媛

（國家氣象信息中心，北京100081）

ARQCS啟動(dòng)策略及其與資源消耗的關(guān)系

劉一鳴*周自江 遠(yuǎn) 芳 阮宇智 何文春 孫 超 劉媛媛

（國家氣象信息中心，北京100081）

利用2012年4月1日—9月30日IBM P570高性能計(jì)算環(huán)境Oracle 11g數(shù)據(jù)庫平臺(tái)對(duì)全國自動(dòng)氣象站觀測資料實(shí)時(shí)質(zhì)量控制系統(tǒng)（ARQCS）的運(yùn)行監(jiān)控?cái)?shù)據(jù)，探討了ARQCS的啟動(dòng)策略及其與資料解析入庫率、ARQCS的CPU耗時(shí)、服務(wù)時(shí)效之間的關(guān)系。結(jié)果表明：自動(dòng)氣象站資料的解析入庫效率呈“幾”字型分布，每個(gè)觀測時(shí)次的第5—20分鐘入庫率方差較大，是制約ARQCS質(zhì)量控制時(shí)效的主要時(shí)間段。設(shè)置觀測資料入庫率不低于95%為首次啟動(dòng)條件，不僅比傳統(tǒng)的第15分鐘定時(shí)啟動(dòng)提前了20.6 s，而且首次啟動(dòng)時(shí)觀測資料入庫率不低于95%的概率從66.38%提升至95.83%。第20分鐘后入庫率僅增加1.36%，在此設(shè)置首次質(zhì)量控制的強(qiáng)制啟動(dòng)點(diǎn)，可保證局部異常延時(shí)的資料服務(wù)時(shí)效。動(dòng)態(tài)啟動(dòng)策略使ARQCS的啟動(dòng)次數(shù)由5次降為2次，平均每日節(jié)約CPU時(shí)間391 min。

自動(dòng)氣象站觀測資料；實(shí)時(shí)質(zhì)量控制；啟動(dòng)策略；計(jì)算資源

引 言

全國自動(dòng)氣象站觀測資料實(shí)時(shí)質(zhì)量控制系統(tǒng)（簡記為ARQCS）是一套基于IBM P570高性能計(jì)算環(huán)境Oracle 11g數(shù)據(jù)庫平臺(tái)的實(shí)時(shí)氣象資料業(yè)務(wù)應(yīng)用系統(tǒng)，包括對(duì)全國3萬多個(gè)自動(dòng)氣象站逐小時(shí)觀測資料的解析入庫、質(zhì)量控制、存儲(chǔ)管理和共享服務(wù)等流程節(jié)點(diǎn)。隨著自動(dòng)氣象站觀測資料在實(shí)時(shí)氣象業(yè)務(wù)服務(wù)中應(yīng)用的廣泛和深入［1-5］，人們對(duì)ARQCS效能的要求也越來越高。

ARQCS始建于2009年，當(dāng)時(shí)主要以單一的降水資料為例，面向?qū)崟r(shí)氣象預(yù)報(bào)服務(wù)需求，開展自動(dòng)氣象站觀測資料質(zhì)量控制的業(yè)務(wù)試驗(yàn)［6-8］。因質(zhì)量控制的氣象要素單一，算法相對(duì)簡單，ARQCS對(duì)計(jì)算資源的消耗并不明顯，同時(shí)，考慮到預(yù)報(bào)服務(wù)的資料時(shí)效需求，ARQCS采用每小時(shí)后第15，25，35，45，55分鐘共計(jì)5次靜態(tài)定時(shí)啟動(dòng)策略，使資料的時(shí)效和完整性盡可能匹配合理。但隨著2010年ARQCS向氣溫、氣壓、降水、濕度、風(fēng)向、風(fēng)速6個(gè)氣象要素拓展［9-10］、2011年和2012年質(zhì)量控制算法的兩次升級(jí)以及全國自動(dòng)氣象站數(shù)量的不斷增加，ARQCS中的數(shù)學(xué)邏輯愈發(fā)復(fù)雜，運(yùn)算量急速增多，ARQCS每次啟動(dòng)會(huì)消耗較大的計(jì)算資源。與此同時(shí)，ARQCS的5次定時(shí)啟動(dòng)意味著數(shù)據(jù)庫系統(tǒng)要進(jìn)行5次數(shù)據(jù)更新。相應(yīng)地，資料用戶有可能會(huì)啟動(dòng)5次數(shù)據(jù)庫檢索訪問，數(shù)據(jù)庫系統(tǒng)承載的檢索訪問壓力顯著增加，檢索時(shí)效必然降低［11-13］。此外，隨著全國地面報(bào)文傳輸改革的推進(jìn)，ARQCS需要進(jìn)行實(shí)時(shí)質(zhì)量控制的要素多達(dá)11類158項(xiàng)，質(zhì)量控制算法也必須進(jìn)一步升級(jí)。如何在現(xiàn)有計(jì)算環(huán)境與數(shù)據(jù)庫平臺(tái)不變的前提下，繼續(xù)使資料質(zhì)量控制能力和服務(wù)時(shí)效保持較高水平，ARQCS的調(diào)度策略顯得非常重要。

IBM P570高性能計(jì)算環(huán)境Oracle 11g數(shù)據(jù)庫平臺(tái)具有完備的數(shù)據(jù)安全性和完整性控制機(jī)制［14-16］，系統(tǒng)日志完整記錄了自動(dòng)氣象站觀測資料的解析入庫時(shí)效和質(zhì)量控制時(shí)效。初步分析表明，雖然局部樣本受觀測系統(tǒng)或通信系統(tǒng)延時(shí)等因素影響而呈波動(dòng)狀態(tài)，但對(duì)于全國3萬多個(gè)自動(dòng)氣象站的總體樣本來說，資料解析入庫率隨時(shí)間變化具有一定規(guī)律，很多有關(guān)ARQCS調(diào)度策略的研究［17-19］值得借鑒。本文旨在利用2012年4月1日—9月30日數(shù)據(jù)庫平臺(tái)對(duì)ARQCS的運(yùn)行監(jiān)控?cái)?shù)據(jù)，探討實(shí)時(shí)質(zhì)量控制系統(tǒng)中資料解析入庫效率、質(zhì)量控制的CPU耗時(shí)、服務(wù)時(shí)效之間的內(nèi)在關(guān)系，嘗試建立ARQCS的動(dòng)態(tài)啟動(dòng)策略，以提升其質(zhì)量控制效能。

1 自動(dòng)氣象站觀測資料解析入庫時(shí)效的統(tǒng)計(jì)學(xué)特征

1.1 資料與方法

目前，ARQCS對(duì)全國自動(dòng)氣象站觀測資料的質(zhì)量控制采用逐觀測時(shí)次（當(dāng)前為逐小時(shí)）清算機(jī)制。當(dāng)ARQCS接收到氣象通信系統(tǒng)實(shí)時(shí)轉(zhuǎn)發(fā)的該時(shí)次自動(dòng)氣象站觀測數(shù)據(jù)文件時(shí)，立即自動(dòng)解析入庫；隨后ARQCS采用定時(shí)啟動(dòng)的機(jī)制，基于已成功完成解析入庫的自動(dòng)氣象站觀測要素?cái)?shù)值完成質(zhì)量控制方法的判定（圖1）；同時(shí)，數(shù)據(jù)庫系統(tǒng)時(shí)鐘會(huì)記錄下資料入庫時(shí)間。因此，在每個(gè)時(shí)次后的60 min時(shí)間步長內(nèi)，通過系統(tǒng)時(shí)間記錄可以計(jì)算得到該時(shí)次全國自動(dòng)氣象站觀測資料在任意時(shí)刻的入庫時(shí)效。為便于分析，本文選取入庫率作為資料入庫時(shí)效的定量表征指標(biāo)，并以分鐘作統(tǒng)計(jì)單元，這樣第t分鐘的單分鐘入庫率（Rt）和截至第t分鐘的累計(jì)入庫率（St）分別為

其中，Nt，Ni分別為第t，i分鐘入庫的自動(dòng)氣象站數(shù)量，N0為應(yīng)入庫的自動(dòng)氣象站數(shù)量。本文N0為固定值（即N0＝31814個(gè)站）。

圖1 ARQCS數(shù)據(jù)流程圖Fig.1 ARQCS data flow chart

本文使用2012年4月1日00：00—9月30日23：00（世界時(shí)，下同）IBM P570高性能計(jì)算環(huán)境Oracle 11g數(shù)據(jù)庫平臺(tái)的原始時(shí)鐘記錄。為排除通信系統(tǒng)、數(shù)據(jù)庫系統(tǒng)故障等對(duì)ARQCS的影響，本文剔除了2012年4月16日、5月5日和6月18日等9 d的樣本數(shù)據(jù)，這樣有效小時(shí)樣本為4176個(gè)，利用式（1）和式（2）計(jì)算得到了250560分鐘點(diǎn)的單分鐘入庫率和累計(jì)入庫率。

此外，為探討4176個(gè)有效小時(shí)樣本入庫率的規(guī)律性，本文還通過式（3）和式（4）計(jì)算出第t分鐘的平均單分鐘入庫率）和截至第t分鐘的平均累計(jì)入庫率，其中M為固定值4176。

1.2 入庫時(shí)效的統(tǒng)計(jì)分布特征

數(shù)據(jù)解析入庫是質(zhì)量控制的前提（圖1），把握數(shù)據(jù)入庫規(guī)律對(duì)制定質(zhì)量控制啟動(dòng)策略具有重要意義。圖2a為4176個(gè)有效小時(shí)樣本的平均單分鐘入庫率在每個(gè)時(shí)次的前17 min平均單分鐘入庫率變化最為明顯，20 min之后入庫率基本保持不變，接近于零。結(jié)合業(yè)務(wù)系統(tǒng)的實(shí)際運(yùn)行情況來看，前17 min的單分鐘入庫率變化可以分成3個(gè)階段：第1階段（第1—4分鐘），系統(tǒng)資源相對(duì)充足，通信系統(tǒng)來報(bào)數(shù)據(jù)隨時(shí)能夠入庫，單分鐘入庫率隨著來報(bào)數(shù)量的增加接近線性增長；第2階段（第5—10分鐘），來報(bào)相對(duì)集中，系統(tǒng)資源遇到瓶頸，出現(xiàn)數(shù)據(jù)等待入庫的情況，入庫效率基本不變；第3階段（第11—17分鐘），隨時(shí)間向后推移來報(bào)數(shù)據(jù)越來越少，單分鐘入庫率表現(xiàn)為線性下降趨勢，最終接近于零。

圖2 1 h內(nèi)入庫率分布（a）平均單分鐘入庫率及第1—4分鐘、第5—10分鐘、第11—17分鐘擬合曲線，（b）平均累計(jì)入庫率、最低和最高5%的樣本平均累計(jì)入庫率，（c）單分鐘入庫率方差Fig.2 Distribution of entry rate（a）averaged entry rate of all samples for every minute and fitted curves from 1st to 4th minute，from 5th to 10th minute and from 11th to 17th minute，（b）averaged accumulated entry rate of all samples，the lowest 5%and the highest 5%of all samples，（c）variance of entry rate for every minute

從平均累計(jì)入庫率St分布曲線（圖2b）可以看到，累計(jì)入庫率在1 h內(nèi)由0逐漸增加到97.80%，第14分鐘時(shí)超過90%，第17分鐘時(shí)超過95%，隨后基本保持穩(wěn)定，從第20—60分鐘僅微增1.36%。圖2b還給出累計(jì)入庫率最高5%和最低5%樣本的平均值。對(duì)比分析表明，在第4—21分鐘二者相差超過20%，第12分鐘時(shí)差距最大，差值達(dá)到58%，而在第30分鐘之后二者的差距相對(duì)穩(wěn)定地維持在7%左右。與此對(duì)應(yīng)的是較大的入庫率方差（圖2c）出現(xiàn)在第5—20分鐘，最大值也出現(xiàn)在第12分鐘，第35分鐘之后方差基本保持不變。圖2a和圖2c均表明第5—20分鐘入庫率最不穩(wěn)定，數(shù)據(jù)庫系統(tǒng)的瓶頸效應(yīng)明顯，受觀測系統(tǒng)或通信系統(tǒng)局部異常延時(shí)影響，不同時(shí)次之間出現(xiàn)較大差異的可能性較大，而在第35分鐘之后不同時(shí)次的累計(jì)入庫率St平均穩(wěn)定在97%的水平，且時(shí)次之間的差異較小。

2 基于資料完整性和服務(wù)時(shí)效的ARQCS動(dòng)態(tài)啟動(dòng)策略

2.1 初次啟動(dòng)時(shí)間的確定

原靜態(tài)啟動(dòng)策略規(guī)定ARQCS首次啟動(dòng)時(shí)間為第15分鐘。雖然首次質(zhì)控累計(jì)入庫率平均可達(dá)93.78%，但在最差的情況下只有55%左右（圖2b），并且方差較大（圖2c），表明在該時(shí)刻單分鐘入庫率Rt變化劇烈，出現(xiàn)較低累計(jì)入庫率的可能性較高；第20分鐘后Rt穩(wěn)定在較低水平（圖2a），累計(jì)入庫率St相對(duì)穩(wěn)定（圖2b）。對(duì)第15—20分鐘中的每分鐘以及第20分鐘之后有代表性的幾個(gè)時(shí)間點(diǎn)（選取了原靜態(tài)啟動(dòng)策略下的后4次啟動(dòng)時(shí)間點(diǎn)及1 h內(nèi)最后的第60分鐘）開展St的分段重點(diǎn)分析（表1）表明：在第15分鐘時(shí)，累計(jì)入庫率S15超過95%的樣本只占總樣本量的66.38%，S15在90%～95%之間的樣本占21.19%，S15低于90%樣本約占12%。在隨后的5 min內(nèi)St超過95%的樣本顯著增加，低于95%的樣本逐漸下降，第16分鐘時(shí)St在95%以上的樣本變化最為明顯，增加到74.52%，較前一分鐘增加了8.14%，第17—20分鐘St在95%以上的樣本從79.89%增加到84.89%。

表1 不同時(shí)間累計(jì)入庫率St分段出現(xiàn)頻次占總樣本量的比例（單位：%）Table 1 The proportion of accumulated entry rate at different time（unit：%）

上述分析表明，在第15分鐘時(shí)累計(jì)入庫率S15在95%以上的樣本只有六成左右，在隨后的幾分鐘內(nèi)常出現(xiàn)大量數(shù)據(jù)入庫的情況，原靜態(tài)啟動(dòng)策略將初次啟動(dòng)時(shí)間固定在第15分鐘，很可能會(huì)造成第15分鐘后幾分鐘內(nèi)即可完成入庫的部分?jǐn)?shù)據(jù)未參加首次質(zhì)量控制。與此同時(shí)，95%的累計(jì)入庫率是第15分鐘后幾分鐘內(nèi)比較有希望達(dá)到的一個(gè)入庫率高值。所以，新啟動(dòng)策略下將累計(jì)入庫率St達(dá)到95%的時(shí)間點(diǎn)確定為ARQCS的首次啟動(dòng)時(shí)間。

2.2 強(qiáng)制啟動(dòng)時(shí)間的時(shí)效依據(jù)

為探討每小時(shí)入庫率超過特定臨界值的可能性，本文定義累計(jì)入庫率在第t分鐘首次超過臨界值m（單位：%）的概率（Pm，t）及其累計(jì)值（Qm，t），即累計(jì)入庫率在第t分鐘前（含第t分鐘）超過m的概率：

其中，nm，t表示累計(jì)入庫率St在第t分鐘首次超過臨界值m的樣本量，M為固定值4176。最早在第11分鐘P95，t大于零值（圖3a），累計(jì)入庫率S11達(dá)到95%。并且在圖3b中，第20分鐘Q95，20為84.89%，這表明有超過八成把握首次質(zhì)量控制發(fā)生在第20分鐘結(jié)束之前，同時(shí)保證首次啟動(dòng)時(shí)St在95%以上。

由圖3b可知，即使在第60分鐘，Q95，60也只有91.86%，這意味著有約8.14%的樣本在1 h之內(nèi)St達(dá)不到新啟動(dòng)策略95%的啟動(dòng)標(biāo)準(zhǔn)。第25分鐘時(shí)累計(jì)入庫率在90%～95%之間以及超過95%的比例與第20分鐘時(shí)無顯著差別（表1），隨后直到第60分鐘該比例變化相對(duì)不明顯，且在第20分鐘之后單分鐘入庫率Rt較為穩(wěn)定（圖2a），累計(jì)入庫率超過95%的概率Q95，t相對(duì)平緩（圖3b），同時(shí)考慮到下游實(shí)時(shí)業(yè)務(wù)用戶對(duì)服務(wù)時(shí)效的最大容忍程度，本文將強(qiáng)制啟動(dòng)ARQCS的時(shí)間設(shè)為第20分鐘。

2.3 ARQCS的逐小時(shí)自動(dòng)清算機(jī)制

從表1還可發(fā)現(xiàn)，第25分鐘之后不同時(shí)刻的累計(jì)入庫率St差別較小，結(jié)合圖2a與圖2c可知，在第25分鐘之前絕大部分的數(shù)據(jù)均已完成入庫，在第25—60分鐘的半個(gè)多小時(shí)內(nèi)只有個(gè)別數(shù)據(jù)零星入庫。這就意味著靜態(tài)質(zhì)量控制啟動(dòng)策略在第25，35，45，55分鐘的4次質(zhì)量控制過程會(huì)對(duì)基本相同的已入庫數(shù)據(jù)進(jìn)行多次重復(fù)計(jì)算，這會(huì)造成較大的計(jì)算資源消耗，同時(shí)用戶檢索的多次跟進(jìn)會(huì)造成數(shù)據(jù)庫系統(tǒng)的工作壓力隨之增加。

同時(shí)由圖2b可以發(fā)現(xiàn)，在第20—60分鐘的40 min時(shí)間里，還會(huì)有平均1.36%的數(shù)據(jù)在ARQCS首次啟動(dòng)之后完成入庫，而這一比例在最壞情況下高達(dá)17.90%?？紤]到目前全國考核自動(dòng)氣象站已達(dá)3萬余站，首次啟動(dòng)后入庫的站數(shù)所占比例雖小，但每份站點(diǎn)數(shù)據(jù)對(duì)于提高資料完整性、開展預(yù)報(bào)與服務(wù)均有意義。因此，為了盡可能保證數(shù)據(jù)的完整性，同時(shí)減少重復(fù)計(jì)算造成的資源浪費(fèi)，本文保留原有啟動(dòng)策略中的最后一次啟動(dòng)，即在第55分鐘時(shí)完成ARQCS的逐小時(shí)自動(dòng)清算，相應(yīng)的累計(jì)入庫率平均情況下為97.77%，最壞情況下為92.83%，最好情況下為99.01%。

圖3 累計(jì)入庫率St首次超過95%的樣本量占總樣本量的比例P95，t（a）及其累計(jì)值Q95，t（b）Fig.3 The proportion of different time when the accumulated entry rate reaches 95%for the first time in an hour（a）and its accumulated value（b）

3 ARQCS動(dòng)態(tài)啟動(dòng)策略的業(yè)務(wù)試驗(yàn)

3.1 系統(tǒng)實(shí)現(xiàn)

為實(shí)現(xiàn)ARQCS的動(dòng)態(tài)啟動(dòng)策略，在原系統(tǒng)流程（圖1）的數(shù)據(jù)提取步驟前增加數(shù)據(jù)提取前統(tǒng)計(jì)步驟。根據(jù)前文的分析，本文選取了5個(gè)決定ARQCS啟動(dòng)策略的關(guān)鍵參數(shù)（表2）。當(dāng)滿足累計(jì)入庫率不小于觸發(fā)啟動(dòng)的入庫率臨界值時(shí)，ARQCS將首次啟動(dòng)；如果到強(qiáng)制啟動(dòng)時(shí)間（第20分鐘）累計(jì)入庫率St仍未滿足，ARQCS將強(qiáng)制首次啟動(dòng)。在此之后，系統(tǒng)將在逐小時(shí)自動(dòng)清算啟動(dòng)時(shí)間（第55分鐘）到達(dá)時(shí)再次啟動(dòng)，以使稍遲入庫的數(shù)據(jù)盡可能完整地參與質(zhì)量控制。

3.2 業(yè)務(wù)模擬試驗(yàn)效果

為檢驗(yàn)動(dòng)態(tài)啟動(dòng)策略的運(yùn)行效果，基于IBM P570高性能計(jì)算環(huán)境Oracle 11g數(shù)據(jù)庫平臺(tái)，2012年9月22—30日共進(jìn)行了216 h的業(yè)務(wù)模擬試驗(yàn)。本文從首次啟動(dòng)時(shí)間T1的變化、新增步驟對(duì)單次啟動(dòng)系統(tǒng)開銷的影響、系統(tǒng)整體運(yùn)行效果的提升等方面對(duì)試驗(yàn)效果進(jìn)行測評(píng)。

表2 ARQCS動(dòng)態(tài)啟動(dòng)策略參數(shù)表Table 2 ARQCS dynamic starting strategy parameters

3.2.1 首次啟動(dòng)時(shí)間的變化情況

系統(tǒng)首次啟動(dòng)時(shí)間T1在進(jìn)行業(yè)務(wù)模擬試驗(yàn)的9 d時(shí)間里，ARQCS在新策略下的實(shí)際首次啟動(dòng)時(shí)間較原首次啟動(dòng)時(shí)間（第15分鐘）平均提前20.6 s（圖略）。各小時(shí)首次啟動(dòng)時(shí)間的頻次分布如圖4所示，最早在第13分鐘啟動(dòng)，共出現(xiàn)5次，在216 h業(yè)務(wù)模擬試驗(yàn)中占2.31%；最遲在第20分鐘啟動(dòng)，共出現(xiàn)9次，占總數(shù)的4.17%，在絕大多數(shù)情況下ARQCS首次啟動(dòng)時(shí)St超過95%。

圖4 2012年9月22—30日首次啟動(dòng)時(shí)間T1頻次分布圖Fig.4 Distribution of the 1st starting time from 22 Sep to 30 Sep in 2012

3.2.2 新增步驟對(duì)單次啟動(dòng)系統(tǒng)開銷的影響

流程調(diào)整所帶來的系統(tǒng)性能變化是評(píng)定新啟動(dòng)策略可行性的一項(xiàng)重要指標(biāo)。試驗(yàn)結(jié)果表明，對(duì)原ARQCS增加的數(shù)據(jù)提取前統(tǒng)計(jì)步驟單次查詢平均耗時(shí)為0.0136 s，僅占調(diào)整前數(shù)據(jù)提取步驟平均耗時(shí)（7.25 s，2012年7月23—24日的240次操作的平均值）的0.19%，最壞耗時(shí)0.03 s（圖略），基本滿足對(duì)ARQCS的整體運(yùn)行效果不會(huì)造成過多負(fù)荷的預(yù)期效果。首次啟動(dòng)前平均進(jìn)行27次統(tǒng)計(jì)查詢（圖5），最多進(jìn)行66次查詢，即入庫量在第20分鐘前的歷次查詢中均未滿足啟動(dòng)條件，直到第20分鐘時(shí)系統(tǒng)達(dá)到強(qiáng)制啟動(dòng)時(shí)間才首次啟動(dòng)（共有9次試驗(yàn)為此情況，僅占4.17%）。

圖5 2012年9月22—30日新增數(shù)據(jù)提取前統(tǒng)計(jì)步驟查詢次數(shù)Fig.5 Search times of newly added statistic step before data acquiring from 22 Sep to 30 Sep in 2012

3.2.3 系統(tǒng)整體運(yùn)行效果的提升

圖6 2012年9月22—30日啟動(dòng)策略調(diào)整前后每小時(shí)累計(jì)CPU耗時(shí)效果對(duì)比圖Fig.6 Accumulated CPU time costing per hour before and after changing starting strategy from 22 Sep to 30 Sep in 2012

增加數(shù)據(jù)提取前統(tǒng)計(jì)步驟以后，因ARQCS的啟動(dòng)引入了入庫時(shí)效因子，后續(xù)流程得以優(yōu)化調(diào)整，原來5次系統(tǒng)啟動(dòng)可減少為2次。在原靜態(tài)啟動(dòng)策略下，平均每小時(shí)累計(jì)耗時(shí)26.5 min（圖6），首次啟動(dòng)時(shí)間為整點(diǎn)后的第15分鐘；采用動(dòng)態(tài)啟動(dòng)策略后，平均每小時(shí)累計(jì)耗時(shí)為10.2 min。ARQCS的整體計(jì)算性能開銷大幅下降，平均每小時(shí)節(jié)省出的16.3 min計(jì)算資源可以有效緩解緊張的系統(tǒng)性能消耗。在進(jìn)行業(yè)務(wù)模擬試驗(yàn)的9 d時(shí)間里，采用動(dòng)態(tài)啟動(dòng)策略調(diào)整之后首次啟動(dòng)的平均累計(jì)入庫率St高達(dá)94.91%，較原靜態(tài)啟動(dòng)策略下首次啟動(dòng)時(shí)的平均累計(jì)入庫率93.78%有1.13%的提升；在第55分鐘執(zhí)行清算時(shí)，平均累計(jì)入庫率為99.71%，接近100%的完整性水平。

4 結(jié)論與討論

本文利用數(shù)據(jù)庫平臺(tái)對(duì)ARQCS的運(yùn)行監(jiān)控?cái)?shù)據(jù)，探討了ARQCS的啟動(dòng)策略及其與資料解析入庫率、ARQCS的CPU耗時(shí)、服務(wù)時(shí)效之間的關(guān)系，得到了以下初步結(jié)論：

1）統(tǒng)計(jì)分析發(fā)現(xiàn)，自動(dòng)氣象站資料的解析入庫效率呈“幾”字型分布，具有前段攀升、中段持平、后段回落的特征。每個(gè)觀測時(shí)次的第5—20分鐘入庫率方差較大，系統(tǒng)資源在集中來報(bào)時(shí)遇到瓶頸，是制約ARQCS質(zhì)量控制效果的主要時(shí)間段。

2）設(shè)置觀測資料入庫率不低于95%為首次質(zhì)量控制啟動(dòng)時(shí)間，不僅比傳統(tǒng)的第15分鐘定時(shí)啟動(dòng)提前了20.6 s，而且首次啟動(dòng)時(shí)觀測資料入庫率不低于95%的概率從66.38%提升至95.83%。第20分鐘后平均入庫率僅增加1.36%，在此設(shè)置首次質(zhì)量控制的強(qiáng)制啟動(dòng)點(diǎn)，可保證觀測系統(tǒng)或通信系統(tǒng)局部異常延時(shí)的資料服務(wù)時(shí)效。對(duì)于平均入庫率在第20分鐘后微增的情況，在第55分鐘時(shí)完成逐小時(shí)自動(dòng)清算，清算啟動(dòng)時(shí)的平均累計(jì)入庫率可達(dá)99.71%。

3）在動(dòng)態(tài)啟動(dòng)策略的系統(tǒng)實(shí)現(xiàn)中，對(duì)數(shù)據(jù)提取步驟進(jìn)行調(diào)整，所增加的數(shù)據(jù)提取前統(tǒng)計(jì)步驟單次查詢平均耗時(shí)為0.0136 s，未對(duì)ARQCS單次啟動(dòng)的系統(tǒng)開銷產(chǎn)生過多增加。ARQCS的啟動(dòng)次數(shù)從5次優(yōu)化為2次，每個(gè)觀測時(shí)次的總CPU耗時(shí)由26.5 min降為10.2 min，平均每天節(jié)約CPU時(shí)間391 min。

在現(xiàn)有計(jì)算環(huán)境與數(shù)據(jù)庫平臺(tái)不變的前提下，ARQCS動(dòng)態(tài)啟動(dòng)策略有效降低了計(jì)算資源消耗，提高了系統(tǒng)的整體服務(wù)時(shí)效。它在慮及自動(dòng)氣象站入庫率波動(dòng)變化的前提下，使ARQCS啟動(dòng)時(shí)間點(diǎn)的選擇具備一定的自適應(yīng)能力，業(yè)務(wù)系統(tǒng)的魯棒性整體提升。但在目前實(shí)時(shí)資料存儲(chǔ)服務(wù)架構(gòu)下，數(shù)據(jù)庫吞吐率等影響系統(tǒng)整體性能的瓶頸依然存在。如果未來系統(tǒng)整體架構(gòu)有所改變，能夠有效降低或消除數(shù)據(jù)庫吞吐率對(duì)系統(tǒng)性能的影響，ARQCS也將調(diào)整以適應(yīng)新的數(shù)據(jù)存儲(chǔ)服務(wù)體系。

［1］ 鈐偉妙，羅亞麗，張人禾，等.引發(fā)舟曲特大泥石流災(zāi)害強(qiáng)降雨過程成因.應(yīng)用氣象學(xué)報(bào)，2011，22（4）：385-397.

［2］ 易笑園，李澤椿，孫曉磊，等.渤海西岸暴雨中尺度對(duì)流系統(tǒng)的結(jié)構(gòu)及成因.應(yīng)用氣象學(xué)報(bào)，2011，22（1）：23-34.

［3］ 李瑞萍，程艷芳，趙彩萍，等.加密自動(dòng)站資料在強(qiáng)對(duì)流天氣分析預(yù)報(bào)中的應(yīng)用.氣象科技，2012，40（4）：596-600.

［4］ 閔晶晶，劉還珠，曹曉鐘，等.天津“6.25”大冰雹過程的中尺度特征及成因.應(yīng)用氣象學(xué)報(bào)，2011，22（5）：525-536.

［5］ 何立富，周慶亮，陳濤.“05.6”華南暴雨中低緯度系統(tǒng)活動(dòng)及相互作用.應(yīng)用氣象學(xué)報(bào)，2010，21（4）：385-394.

［6］ 任芝花，趙平，張強(qiáng)，等.適用于全國自動(dòng)站小時(shí)降水資料的質(zhì)量控制方法.氣象，2010，36（7）：123-132.

［7］ 任芝花，許松，孫化南，等.全球地面天氣報(bào)歷史資料質(zhì)量檢查與分析.應(yīng)用氣象學(xué)報(bào)，2006，17（4）：412-420.

［8］ 劉小寧，鞠曉慧，范邵華.空間回歸檢驗(yàn)方法在氣象資料質(zhì)量檢驗(yàn)中的應(yīng)用.應(yīng)用氣象學(xué)報(bào)，2006，17（1）：37-42.

［9］ 趙煜飛，任芝花，張強(qiáng).適用于全國氣象自動(dòng)站正點(diǎn)相對(duì)濕度資料的質(zhì)量控制方法.氣象科學(xué)，2011，31（6）：687-693.

［10］ 鞠曉慧，任芝花，張強(qiáng).自動(dòng)站小時(shí)氣壓的質(zhì)量控制方法研究.安徽農(nóng)業(yè)科學(xué)，2010，38（27）：15130-15133.

［11］ 林子雨，楊冬青，王騰蛟，等.基于關(guān)系數(shù)據(jù)庫的關(guān)鍵詞查詢.軟件學(xué)報(bào)，2010，21（10）：2454-2476.

［12］ 崔躍生，張勇，曾春，等.數(shù)據(jù)庫物理結(jié)構(gòu)優(yōu)化技術(shù).軟件學(xué)報(bào)，2013，24（4）：761-780.

［13］ 劉波，范士明，劉華.實(shí)時(shí)數(shù)據(jù)庫混合索引機(jī)制的設(shè)計(jì)與實(shí)現(xiàn).計(jì)算機(jī)應(yīng)用，2011，31（8）：2265-2269.

［14］ 文平.Oracle大型數(shù)據(jù)庫系統(tǒng)在AIX／UNIX上的實(shí)戰(zhàn)詳解.北京：電子工業(yè)出版社，2012：593-605.

［15］ 劉憲軍.Oracle RAC 11g實(shí)戰(zhàn)指南.北京：機(jī)械工業(yè)出版社，2011：6-7.

［16］ 沈宏.Oracle最新技術(shù)戰(zhàn)略和產(chǎn)品方向及11G新特點(diǎn).2011：36.http：∥www.oracle.com／technetwork／cn／community／developer-day／5-oracle-db-platform-11g-1432258-zhs.pdf.

［17］ 楊志邦，徐成，周旭，等.實(shí)時(shí)系統(tǒng)中彈性調(diào)度策略.計(jì)算機(jī)應(yīng)用，2012（2）：573-577.

［18］ 鄒勇，淮曉永，李明樹.開放式實(shí)時(shí)系統(tǒng)中的自適應(yīng)調(diào)度方法.計(jì)算機(jī)學(xué)報(bào)，2004，27（1）：58-65.

［19］ 鐘樑，劉曉燕，張晶，等.開放式實(shí)時(shí)系統(tǒng)資源共享環(huán)境下的調(diào)度方法分析.小型微型計(jì)算機(jī)系統(tǒng)，2012，33（11）：2362-2366.

ARQCSStarting Strategy and Its Relationship with Computing Resource Cost

Liu Yiming Zhou Zijiang Yuan Fang Ruan Yuzhi He Wenchun Sun Chao Liu Yuanyuan
（National Meteorological Information Center，Beijing100081）

AWS Observation Data Real-time Quality Control System （ARQCS）is an operational real-time meteorological data application system under IBM P570 high performance computing（HPC）Oracle 11g database platform.Functions including data decoding，database inserting，quality control（QC），storage management and share service are provided for more than 30000 AWS all over China.In 2009，when ARQCSis firstly built，QC methods including boundary value check，internal consistency check，time consistency check and spatial consistency check is applied to only 1 element of hourly precipitation.And the starting strategy is a static one，which start ARQCS at the 15th，25th，35th，45th and 55th minute every hour.Later in 2010，QC methods of other important meteorological elements including air temperature，air pressure，humidity，wind direction and speed get to be applied in ARQCS.Meanwhile，the system computing logic is made more complex after 2 times of updating in 2011 and 2012.Now，it is planned to extend ARQCS to 158 elements in 11 classes totally，which need more calculating resources accordingly.To guarantee QC capability and service timeliness of ARQCSin a high level under limited computing resources，a series of schemes are designed and investigated.System log under IBM P570 HPC Oracle database environment from 1st April to 30th Sep in 2012 is used to analyze ARQCS performance.It is found that the database entry rate（ER）of AWS data exhibits a trapezoid shaped distribution，and variance of ER is large from the 5th to the 20th minute in one hour，which means accumulated ER at the 15th minute is unstable and a low accumulated ER may be got if ARQCS starts at this time.It also indicates that an accumulated ER of 95%is very possible（84.89%）to get before the 20th minute，and accumulated ER is increased by only 1.36%after the 20th minute in average.So a new dynamic starting strategy is employed，that ARQCS starts for the first time when accumulated ER gets more than 95%or until the 20th minute，and starts for the second time at the 55th minute.With this approach，the possibility for accumulated ER over 95%at the 1st QC starting is increased by 29% （from 66.38%to 95.83%）.And the average 1st QC starting time is 20.6 seconds before the 15th minute in original static starting strategy.Also，less number of starts from 5 to 2 decrease the CPU time cost from 26.5 minutes to 10.2 minutes per hour，which means saving 391 minutes CPU time per day.It is concluded that the dynamic starting strategy is effective for ARQCS starting adaptively and ensures system robustness.

AWS observation data；real-time quality control；starting strategy；computing resource

劉一鳴，周自江，遠(yuǎn)芳，等.ARQCS啟動(dòng)策略及其與資源消耗的關(guān)系.應(yīng)用氣象學(xué)報(bào)，2014，25（4）：505-512.

2013-12-02收到，2014-05-05收到再改稿。

中國氣象局氣象關(guān)鍵技術(shù)集成與應(yīng)用面上項(xiàng)目（CMAGJ2013M67），中國氣象局氣象關(guān)鍵技術(shù)集成與應(yīng)用重點(diǎn)項(xiàng)目（CMAGJ2013Z01）

*email：yimingliu＠aliyun.com