国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

IERS數(shù)據(jù)動態(tài)提取與更新系統(tǒng)的設(shè)計與實現(xiàn)

2014-05-13 01:25:06石聰明季凱帆
天文研究與技術(shù) 2014年4期
關(guān)鍵詞:數(shù)據(jù)文件射電實測值

石聰明,王 威,王 鋒,3,鄧 輝,季凱帆

(1.昆明理工大學(xué)云南省計算機(jī)技術(shù)應(yīng)用重點(diǎn)實驗室,云南 昆明 650500;2.中國科學(xué)院國家天文臺,北京 100012;3中國科學(xué)院云南天文臺,云南 昆明 650011)

IERS數(shù)據(jù)動態(tài)提取與更新系統(tǒng)的設(shè)計與實現(xiàn)

石聰明1,王 威2,王 鋒1,3,鄧 輝1,季凱帆1

(1.昆明理工大學(xué)云南省計算機(jī)技術(shù)應(yīng)用重點(diǎn)實驗室,云南 昆明 650500;2.中國科學(xué)院國家天文臺,北京 100012;3中國科學(xué)院云南天文臺,云南 昆明 650011)

在高精度的位置計算中需要獲取計算時刻所在日期的閏秒,以及UT1-UTC等關(guān)鍵數(shù)據(jù),但長期以來這一類數(shù)據(jù)的維護(hù)均是手工進(jìn)行,出錯率高。針對新一代中國太陽射電日像儀觀測與數(shù)據(jù)處理過程中的位置計算需要,實現(xiàn)了一個自動提取國際地球自轉(zhuǎn)服務(wù)(IERS)參數(shù)的數(shù)據(jù)更新自維護(hù)子系統(tǒng)。系統(tǒng)可以根據(jù)需要自動運(yùn)行、自動下載并分拆IERS網(wǎng)站數(shù)據(jù),采用正則表達(dá)式從文本中自動獲取所需要的實測值與預(yù)報值,自動在本地構(gòu)建一個2004年12月31日以來的IERS數(shù)據(jù)庫,并根據(jù)每周所獲得的數(shù)據(jù)維護(hù)整個IERS的數(shù)據(jù),將最新的實測值與預(yù)報值存入數(shù)據(jù)文件,實現(xiàn)了數(shù)據(jù)的滾動更新。系統(tǒng)徹底解決了手工維護(hù)數(shù)據(jù)的問題,為中國太陽射電日像儀的自動數(shù)據(jù)處理流水線打下了較好的基礎(chǔ)。同時,本文提出的方法是一種通用的方法,可以方便地集成應(yīng)用到國內(nèi)其它天文位置計算領(lǐng)域。

IERS;動態(tài);數(shù)據(jù)提?。桓?/p>

CN53-1189/P ISSN1672-7673

新一代中國太陽射電日像儀(Chinese Solar Radio Heliograph,CSRH)[1-2]是一臺高時間、高空間和高頻率分辨率太陽射電頻譜成像設(shè)備[3],數(shù)據(jù)處理系統(tǒng)是當(dāng)前中國太陽射電日像儀的建設(shè)重點(diǎn)。根據(jù)設(shè)計指標(biāo),中國太陽射電日像儀對觀測目標(biāo)的視位置計算精度要求優(yōu)于1′×10-3,在高精度計算中,中國太陽射電日像儀采用了JPL DE405星表,并以Naval Observatory Vector Astrometry Software(NOVAS)軟件開發(fā)包為基礎(chǔ)[4]構(gòu)建了相應(yīng)的位置計算子系統(tǒng)。但隨之帶來的問題是,在NOVAS的高精度計算中需要有若干重要的計算參數(shù)需要進(jìn)行維護(hù)與更新,包括觀測時刻的閏秒(Leap Second)、地極偏移(x,y)和UT1-UTC等。

目前正式發(fā)布這些數(shù)據(jù)的是國際地球自轉(zhuǎn)服務(wù)組織(IERS),國際地球自轉(zhuǎn)服務(wù)組織每周一次向全世界發(fā)布與更新相關(guān)數(shù)據(jù),其中Bulletin A基本包括了所需要的全部參數(shù),包括閏秒、一周的快速服務(wù)值(精度基本等價于實測值精度)、未來一年的預(yù)報值。國際地球自轉(zhuǎn)服務(wù)組織官方明確,與發(fā)布預(yù)報日期間隔越遠(yuǎn),地極偏移(x,y)和UT1-UTC的精度越低。對于中國太陽射電日像儀要求視位置精度優(yōu)于1′×10-3的情況來說,需要盡可能快地更新國際地球自轉(zhuǎn)服務(wù)組織的數(shù)據(jù)。此外,對中國太陽射電日像儀的后續(xù)數(shù)據(jù)處理工作,也需要獲得國際地球自轉(zhuǎn)服務(wù)組織所提供的實測地極偏移(x,y)和實測的UT1-UTC。

要實現(xiàn)中國太陽射電日像儀望遠(yuǎn)鏡數(shù)據(jù)處理過程的全自動化,保證PIPELINE的可靠運(yùn)行,生成準(zhǔn)確的最終數(shù)據(jù)處理結(jié)果,就有必要在數(shù)據(jù)處理系統(tǒng)中保存一個本地的國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù)(包括閏秒、地極偏移(x,y)和UT1-UTC等,下同),并保持?jǐn)?shù)據(jù)的持續(xù)更新。對于這些國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù),如果完全依賴人工操作進(jìn)行數(shù)據(jù)更新顯然不足,如果發(fā)生人工失誤有可能導(dǎo)致一批數(shù)據(jù)處理出錯,且這樣的錯誤不易察覺,如果發(fā)布了錯誤的觀測數(shù)據(jù)會導(dǎo)致較為嚴(yán)重的后果。目前,國內(nèi)的各望遠(yuǎn)鏡系統(tǒng)在各自的觀測預(yù)報與后續(xù)數(shù)據(jù)處理中,都需要使用上述國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù),云南天文臺激光測距、上海天文臺VLBI等均通過手工的方法,定時人工去網(wǎng)站上訪問國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù),然后手工處理,在本地再生成一個文件供程序調(diào)用。射電天文領(lǐng)域中一個常用軟件系統(tǒng)CASA(Common Astronomy Software Applications)①CASA,http://casa.nrao.edu,為了獲得閏秒等國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù)并保持可用性,在CASA軟件啟動過程中,自動連接CASA網(wǎng)站并下載CASA自行維護(hù)的最新的國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù),以此保證基礎(chǔ)數(shù)據(jù)的準(zhǔn)確性與可用性。但對于中國太陽射電日像儀自主開發(fā)的系統(tǒng)來說,下載獲得CASA提供的國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù)也是不現(xiàn)實的。

根據(jù)上述需求,設(shè)計實現(xiàn)了一套針對滿足天文星表高精度位置計算使用的國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù)更新系統(tǒng)iersSync,軟件可以訪問國際地球自轉(zhuǎn)服務(wù)組織官方網(wǎng)站②IERS,http://www.iers.org并下載所需要的數(shù)據(jù),并從原始復(fù)雜文本中提取所需要的參數(shù)數(shù)據(jù),自動歸檔形成本地數(shù)據(jù)文件。更為重要的是,iersSync可以自動判斷國際地球自轉(zhuǎn)服務(wù)組織官網(wǎng)最新發(fā)布的數(shù)據(jù),自動歸檔并更新到本地數(shù)據(jù)文件中,實現(xiàn)數(shù)據(jù)的自動更新與動態(tài)維護(hù),滿足中國太陽射電日像儀高精度位置計算的要求。軟件的實現(xiàn)對天文軟件開發(fā)有較好的參考價值,對人造衛(wèi)星等需要國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù)的類似場合也有較好的使用價值。

1 國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù)

國際地球自轉(zhuǎn)服務(wù)全稱為國際地球自轉(zhuǎn)和參考系服務(wù)(International Earth Rotation and Reference Systems Service),是一家提供全球時間和參考系標(biāo)準(zhǔn)的機(jī)構(gòu)。國際地球自轉(zhuǎn)服務(wù)組織發(fā)布的地球指向數(shù)據(jù)(Earth orientation data)包括Bulletin A、B、C、D等數(shù)據(jù)。Bulletin A數(shù)據(jù)每周發(fā)布一次。數(shù)據(jù)為ASCII文本,包含文檔說明、公式定義、表格等,可以從國際地球自轉(zhuǎn)服務(wù)組織官網(wǎng)下載得到從2004年12月31日至今的數(shù)據(jù)。Bulletin A中發(fā)布的數(shù)據(jù)包括閏秒、實測值、預(yù)報值等數(shù)據(jù)信息。

Bulletin A的文本文件通過下劃線符號組成的字符串將整個文本分成5個子部分,分別是:文件頭、常規(guī)信息(GENERAL INFORMATION)、數(shù)據(jù)來源說明、組合的地球方向參數(shù)(COMBINED EARTH ORIENTATION PARAMETERS)、預(yù)報值(PREDICTIONS)。文本具體分析說明見圖1。

從圖1可知,文件頭部分是一個固定開頭,說明文件是Bulletin A,隨后說明此文件的公布日期、記錄的卷號以及編號。常規(guī)信息部分中,給出了計算MJD、UT2-UT1、TT、DUT1以及TAI-UTC的5個公式,以及如何獲得每日的數(shù)據(jù)和Bulletin A中數(shù)據(jù)的方式。其中公式TAI-UTC的值有開始使用日期(圖1中顯示的Beginning 1 July 2012)。國際地球自轉(zhuǎn)服務(wù)組織快速服務(wù)數(shù)據(jù)中總有“IERS Rapid Service”這個固定頭,且國際地球自轉(zhuǎn)服務(wù)組織快速服務(wù)中提供的一周共7行實測值需要提取歸檔。預(yù)報值部分最為重要的是提取預(yù)報值記錄。預(yù)報值記錄中有“MJD x(arcsec)y(arcsec)UT1-UTC (sec)”這個固定頭。要動態(tài)獲得所有的數(shù)據(jù),具體分析如下:

(1)從整體來看,國際地球自轉(zhuǎn)服務(wù)組織的數(shù)據(jù)文件格式相對固定,但簡單地用固定位置分析提取數(shù)據(jù)是不可能的。這是因為國際地球自轉(zhuǎn)服務(wù)組織的數(shù)據(jù)中,每周每月均有不同的數(shù)據(jù)格式,如每月會提供前一個月的實測值;每周的數(shù)據(jù)中,有可能公式的系數(shù)等均會發(fā)生變化。同時,文件中的空格位置是改變的。用正則表達(dá)式,對整個文本進(jìn)行匹配是較為可行的選擇。只要正則表達(dá)式構(gòu)造合理,通過判斷數(shù)據(jù)的開頭與結(jié)尾,從中進(jìn)一步分離所需要的數(shù)據(jù)是較好的選擇。

(2)另一個較為困難的問題,是國際地球自轉(zhuǎn)服務(wù)組織的數(shù)據(jù)每周更新,本周的預(yù)報值在下周就會出現(xiàn)快速服務(wù)提供的實測值,同時又會出現(xiàn)新的預(yù)報值。如何動態(tài)地維護(hù)這個變化的數(shù)據(jù),同時確保數(shù)據(jù)的一致性和完整性是本工作的另一個重點(diǎn)。系統(tǒng)需要有較好的魯棒性,在前一次更新過程中即使發(fā)生意外情況(如死機(jī)、斷網(wǎng)等),重新運(yùn)行系統(tǒng)就可以確保自動更新錯誤數(shù)據(jù),是一個關(guān)鍵問題。此外,閏秒的提取與預(yù)報值和實測值不一樣,不能簡單地寫入,而需要進(jìn)行合理的判斷,只保存閏秒的跳秒關(guān)鍵信息。

圖1 Bulletin A的格式,黑色部分為需要提取的內(nèi)容Fig.1 The format of the Bulletin A.The parts in black are those to be extracted

2 系統(tǒng)設(shè)計

2.1 系統(tǒng)的整體框架

在上述分析的基礎(chǔ)上,圖2顯示了iersSync系統(tǒng)的整個流程圖。系統(tǒng)主要包括HTTP訪問模塊、URL分析與內(nèi)容下載模塊、地心指向參數(shù)下載與更新維護(hù)模塊、閏秒數(shù)據(jù)更新維護(hù)模塊以及日志數(shù)據(jù)管理模塊。整個程序用Python開發(fā),直接利用了Python的HTTP訪問模塊,其它模塊均自行開發(fā)。其中日志數(shù)據(jù)管理模塊主要實現(xiàn)整個國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù)的一致性與完整性保證。

以下根據(jù)流程圖的說明,重點(diǎn)介紹iersSync子系統(tǒng)中的幾項關(guān)鍵技術(shù),分別是數(shù)據(jù)獲取、數(shù)據(jù)分拆與提取以及對動態(tài)數(shù)據(jù)維護(hù)的一致性保障技術(shù)。

2.2 國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù)獲取

系統(tǒng)采用HTTP協(xié)議進(jìn)行數(shù)據(jù)的抓取,與搜索引擎技術(shù)中的爬蟲技術(shù)類似。爬蟲技術(shù)所抓取、存儲并索引的對象一般為網(wǎng)站或網(wǎng)頁,而國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù)獲取技術(shù)所抓取、存儲的是國際地球自轉(zhuǎn)服務(wù)組織網(wǎng)站中特定網(wǎng)頁中的文本文件鏈接的特定數(shù)據(jù)。在提取時,不需要進(jìn)行復(fù)雜的文本分詞等技術(shù),重要的是構(gòu)造有效的正則表達(dá)式,通過正則表達(dá)式獲取相應(yīng)的數(shù)據(jù)信息。

通過分析國際地球自轉(zhuǎn)服務(wù)組織網(wǎng)站“Data/Product”的地球指向數(shù)據(jù)中BULLETIN A所有可用數(shù)據(jù)所在的網(wǎng)頁對應(yīng)的html代碼,文本文件對應(yīng)的URL的格式固定為:http...getTX...txt,因此分拆IERS BULLETIN A的html中所有文本文件對應(yīng)的URL的正則表達(dá)式為:′http.getTX.?txt$′,表示以http開頭,以txt結(jié)束為特征的內(nèi)容,程序執(zhí)行流程說明如圖3。

圖2 系統(tǒng)流程圖Fig.2 A flowchart of our system

圖3 數(shù)據(jù)的URL分拆和提取功能的偽代碼Fig.3 The pseudo codes for the function of splitting URL and retrieving needed data

通過上述過程,就可以得到國際地球自轉(zhuǎn)服務(wù)組織發(fā)布的所有Bulletin A文本文件對應(yīng)的URL。進(jìn)而只需要通過http訪問這些URL,即可以下載獲得Bulletin A的相應(yīng)文本文件。

2.3 IERS Bulletin A數(shù)據(jù)分拆與提取

數(shù)據(jù)分拆也是一樣的方法,通過構(gòu)造合適的正則表達(dá)式,定位到相應(yīng)的位置,再從中分離所需要的數(shù)據(jù)。由上述國際地球自轉(zhuǎn)服務(wù)組織BULLETIN A中的文本文件的格式分析可知,所需要的數(shù)據(jù)閏秒及其開始使用日期、實測值、預(yù)報值分別位于一般信息GENERAL INFORMATION、組合的地球方向參數(shù)COMBINED EARTH ORIENTATION PARAMETERS、預(yù)報值PREDICTIONS這3部分中。

2.3.1 閏秒提取

從一個數(shù)據(jù)文件中提取閏秒數(shù)據(jù)并不困難。閏秒及其開始使用日期位于一般信息中的公式TAIUTC中,公式TAI-UTC的格式也是固定不變的。雖然公式TAI-UTC中閏秒和開始使用日期的格式是固定的,但是無法用一個正則表達(dá)式匹配和分拆這兩個數(shù)據(jù)。分拆和提取閏秒開始使用日期需要編寫正則表達(dá)式:′^Beginning(.?):$′匹配閏秒開始使用日期。分拆和提取閏秒需要編寫正則表達(dá)式: "TAI-UTC.?=(.?)seconds"匹配閏秒。

但需要考慮到,由于閏秒及其開始使用日期在每一個數(shù)據(jù)文本文件中重復(fù)出現(xiàn),最終生成的閏秒數(shù)據(jù)文件關(guān)鍵是要保證存儲不重復(fù)的閏秒及其開始使用日期。這就需要通過一個臨時文件存儲日期信息,并進(jìn)行重復(fù)數(shù)據(jù)判斷,程序?qū)崿F(xiàn)的偽代碼見圖4,最終生成的數(shù)據(jù)格式見圖5。

圖4 閏秒數(shù)據(jù)的分拆偽代碼Fig.4 The pseudo codes for the function of splitting data about leap seconds

2.3.2 實際觀測值獲取

實測值位于組合的地球方向參數(shù)中的國際地球自轉(zhuǎn)服務(wù)組織快速服務(wù)中,每次公布的實測值有7條,且有固定的頭部IERS Rapid Service。為了分拆和提取實際的觀測值,需要編寫匹配實際觀測值的正則表達(dá)式。由于實際的觀測值會隨著時間的改變而改變,然而實際觀測值有固定的頭部和固定的記錄數(shù),因此編寫固定頭部的正則表達(dá)式比編寫實際觀測值的正則表達(dá)式更有利于實際觀測值的分拆和提取。系統(tǒng)實現(xiàn)中,采用正則表達(dá)式′.?IERS Rapid Service.?′作為實際觀測值的匹配條件。在找到數(shù)據(jù)起始位置后,進(jìn)一步逐行讀取數(shù)據(jù)就可以獲得所需要的MJD、極移(x,y)數(shù)據(jù)和UT1-UTC。

2.3.3 文件中的預(yù)報值的分拆和提取功能的實現(xiàn)

預(yù)報值位于預(yù)報值部分中的預(yù)報值記錄部分。預(yù)報值記錄部分由固定的頭部格式和固定的結(jié)尾格式。預(yù)報值與預(yù)報值分拆方法基本類似,根據(jù)預(yù)報值記錄部分有固定的頭部格式和固定的結(jié)尾格式的特征,編寫如下正則表達(dá)式:

2.4 數(shù)據(jù)歸檔

為了滿足中國太陽射電日像儀的高精度位置計算需求,最終獲得的數(shù)據(jù)分別保存在2個文件中。分別是閏秒數(shù)據(jù)文件、國際地球自轉(zhuǎn)服務(wù)數(shù)據(jù)文件(含實測值數(shù)據(jù)文件和預(yù)測數(shù)據(jù)文件)。

(1)閏秒數(shù)據(jù)文件

在閏秒文件中保存所有的閏秒數(shù)據(jù),并把原數(shù)據(jù)中的32.000000和1 January 1999轉(zhuǎn)化成形如1999 1 1 32.000000的格式進(jìn)行數(shù)據(jù)歸檔,在歸檔閏秒及其開始使用日期的數(shù)據(jù)時要按照閏秒開始使用日期的時間先后順序依次歸檔。在具體的位置計算時,判斷當(dāng)前的日志是否超過跳秒日期,如果超過則閏秒值可以采用跳秒日期后的時間。文件內(nèi)容如圖5。

圖5 閏秒文件中的數(shù)據(jù)Fig.5 Entries in a local data file about leap seconds

(2)國際地球自轉(zhuǎn)服務(wù)數(shù)據(jù)文件

國際地球自轉(zhuǎn)服務(wù)數(shù)據(jù)文件采用二進(jìn)制存儲,以32個字節(jié)存儲一天的相應(yīng)數(shù)據(jù),第1行數(shù)據(jù)為2004年12月31日。按字節(jié)順序?qū)?yīng)的格式為:

字節(jié)類型定義2字節(jié)Short年1字節(jié)char月1字節(jié)char日4字節(jié)intMJD 8字節(jié)doublex 8字節(jié)doubley 8字節(jié)doubleut1-utc

iersSync系統(tǒng)自動維護(hù)的數(shù)據(jù),包括從2004年12月31日開始,一直到最新發(fā)布日期以后一年的數(shù)據(jù)。在發(fā)布日期以前的數(shù)據(jù)為實測值,發(fā)布日期以后的為預(yù)報值。每次更新完成后,系統(tǒng)會自動將更新的數(shù)據(jù)寫入文件。

采用二進(jìn)制存儲的主要目的在于提高數(shù)據(jù)的讀取速度,在讀取數(shù)據(jù)時,只需要計算觀測日期的簡化儒略日,減2004年12月31日的簡化儒略日,結(jié)果乘以32,就可以獲得文件指針的偏移值。通過類似于fseek的功能跳轉(zhuǎn)文件指針后讀取32字節(jié),就可以獲得對應(yīng)的觀測日期的數(shù)據(jù)。此外,通過二進(jìn)制存儲,也利于數(shù)據(jù)的更新,在每周的數(shù)據(jù)更新時,也只需要更新相應(yīng)的字節(jié)即可。

3 系統(tǒng)運(yùn)行與相關(guān)問題討論

3.1 系統(tǒng)運(yùn)行

整個程序采用Python開發(fā),可以簡單地集成到其它軟件中,也可以獨(dú)立運(yùn)行。在實際使用過程中,如果是重新建立初始數(shù)據(jù),將歷史資料全部補(bǔ)齊,下載的時間取決于網(wǎng)絡(luò)速度,全部文件的分拆大約需要15 min的時間。隨后的增量數(shù)據(jù)更新過程則比較快,一般單次更新的時間均小于10 s,已經(jīng)足夠保障中國太陽射電日像儀數(shù)據(jù)處理PIPELINE的要求。

為了實現(xiàn)定時的更新,可以利用Linux操作系統(tǒng)的crontab等,固定一個時間自動運(yùn)行程序。中國太陽射電日像儀是白天觀測,晚上數(shù)據(jù)處理,因此更新時間設(shè)在每日16∶00時,這樣不影響頭一天的位置計算,也不影響晚上的數(shù)據(jù)處理。

3.2 數(shù)據(jù)的準(zhǔn)確性檢查

為確保數(shù)據(jù)的準(zhǔn)確性,做到萬無一失,通過軟件測試、隨機(jī)抽樣和人工校對的方式對數(shù)據(jù)進(jìn)行校驗。在實際運(yùn)行過程中發(fā)現(xiàn)國際地球自轉(zhuǎn)服務(wù)組織的數(shù)據(jù)存在一些錯誤:提取的閏秒開始使用日期及其閏秒值的轉(zhuǎn)化形式中出現(xiàn)了如下1999 1 1 32.000000、1999 1 1 33.000000和2006 1 1 33.000000 3條有沖突的記錄,經(jīng)過手工校驗發(fā)現(xiàn)從2005-01-06到2005-12-29之間發(fā)布的數(shù)據(jù)中用的是1999-01-01開始的32.000000的閏秒,只有2006-01-05發(fā)布的數(shù)據(jù)中用的是1999-01-01開始的33.000000的閏秒,從2006-01-12到2008-12-31發(fā)布的數(shù)據(jù)中用的是2006-01-01開始的33.000000的閏秒。從核實發(fā)現(xiàn)2006-01-05發(fā)布的數(shù)據(jù)中的閏秒開始使用日期是錯誤的。

此外,通過數(shù)據(jù)校驗方法發(fā)現(xiàn)BULLETIN A中沒有發(fā)布2005-01-28到2005-02-03這7天的實測值,2010-04-29發(fā)布TextFile的2010-04-23到2010-04-29是無法訪問的。其它數(shù)據(jù)通過軟件測試和人工校對的方式確認(rèn)了實測值的記錄數(shù)是全數(shù)據(jù)生成。通過隨機(jī)抽樣的方式抽取實測值中的5%的樣本值,經(jīng)人工校對的方式發(fā)現(xiàn)沒有錯誤的數(shù)據(jù)。

3.3 基于日志文件的準(zhǔn)事務(wù)文件處理

為了使整個系統(tǒng)更為魯棒,避免過多的人工進(jìn)一步影響最終的數(shù)據(jù)文件的一致性與完整性,避免由于錯誤計算產(chǎn)生錯誤的科學(xué)觀測數(shù)據(jù),iersSync系統(tǒng)通過兩個日志文件(執(zhí)行日志文件-runlog、已更新日志文件updatelog)解決國際地球自轉(zhuǎn)服務(wù)組織的數(shù)據(jù)更新可靠性問題。如前所述,國際地球自轉(zhuǎn)服務(wù)組織的數(shù)據(jù)每周更新的實測值將覆蓋原有數(shù)據(jù)中的預(yù)報值,新的預(yù)報值又有可能追加到數(shù)據(jù)文件中。每一次的數(shù)據(jù)更新中,有可能出現(xiàn)網(wǎng)絡(luò)中斷、系統(tǒng)故障、斷電等異常情況,要確保iersSync在這些情況下,可以自動重新下載數(shù)據(jù)。確保下載的數(shù)據(jù)準(zhǔn)確無誤地更新到本地國際地球自轉(zhuǎn)服務(wù)組織數(shù)據(jù)文件中,是iersSync的核心問題,也是其重要特色。

執(zhí)行日志文件遵從“開始工作前寫入,工作完成清除”這一基本原則,如果在程序運(yùn)行時,發(fā)現(xiàn)某個文件還有內(nèi)容沒有被清除,則可以判斷為前一工作沒有正常結(jié)束,這個時候只需要簡單地重復(fù)處理這一工作即可。已更新日志文件用來避免每次運(yùn)行時都不斷地從頭開始,通過記錄最后一次更新成功的文件名稱,系統(tǒng)啟動時判斷是否需要更新當(dāng)前數(shù)據(jù),簡化了程序的更新,特別是有效地提高了程序執(zhí)行效率。

4 結(jié) 論

本文針對中國太陽射電日像儀數(shù)據(jù)處理要求,設(shè)計并實現(xiàn)了一套針對天文星表高精度位置計算的自動數(shù)據(jù)獲取與同步軟件iersSync,軟件可以訪問國際地球自轉(zhuǎn)服務(wù)組織官網(wǎng)下載數(shù)據(jù),從原始數(shù)據(jù)的復(fù)雜文本中提取相應(yīng)的參數(shù)數(shù)據(jù),并自動歸檔形成本地數(shù)據(jù)文件,滿足中國太陽射電日像儀高精度位置計算的要求。iersSync的運(yùn)行無需人工干預(yù),經(jīng)過嚴(yán)格測試與檢驗后,證明所獲取的數(shù)據(jù)準(zhǔn)確無誤,可以滿足中國太陽射電日像儀的數(shù)據(jù)計算處理需要。iersSync軟件的實現(xiàn),有如下應(yīng)用價值:

(1)解決了長期以來各望遠(yuǎn)鏡系統(tǒng)采用人工維護(hù)數(shù)據(jù)的問題,降低了數(shù)據(jù)錯誤的風(fēng)險。符合新一代天文望遠(yuǎn)鏡設(shè)備自主觀測的思想。

(2)為中國太陽射電日像儀數(shù)據(jù)處理打下了較好的基礎(chǔ),對當(dāng)前各天文望遠(yuǎn)鏡數(shù)據(jù)處理系統(tǒng)的開發(fā)與設(shè)計提供了良好的借鑒和參考價值。

(3)軟件采用開源的方式發(fā)布,供天文學(xué)家在類似的場合使用,如人造衛(wèi)星觀測等領(lǐng)域。

當(dāng)然,iersSync仍存在一些不足,當(dāng)前過于依賴國際地球自轉(zhuǎn)服務(wù)組織網(wǎng)站的數(shù)據(jù),今后也將考慮從其它網(wǎng)站如法國http://hpiers.obspm.fr/等獲取數(shù)據(jù),這樣可以進(jìn)一步強(qiáng)化系統(tǒng)的可靠性,這也是今后的工作重點(diǎn)。

致謝:衷心感謝在成文與系統(tǒng)實現(xiàn)過程中與中國科學(xué)院云南天文臺李語強(qiáng)老師的討論。

參考文獻(xiàn):

[1] 顏毅華,張堅,陳志軍,等.關(guān)于太陽厘米—分米波段頻譜日像儀研究進(jìn)展[J].天文研究與技術(shù)——國家天文臺臺刊,2006,3(2):91-98.

Yan Yihua,Zhang Jian,Chen Zhijun,et al.Progress on Chinese solar radioheliograph in cm-dm wavebands[J].Astronomical Research&Technology——Publications of National Astronomical Observatories of China,2006,3(2):91-98.

[2] Yan Y H,Zhang J,Huang G L.On the Chinese spectral radioheliograph(CSRH)project in cmand dm-wave range[C]//IEEE.Radio Science Conference.2004:391-392.

[3] 陳志軍,顏毅華,劉玉英,等.關(guān)于中國厘米—分米波頻譜日像儀(CSRH)選址與無線電環(huán)境監(jiān)測[J].天文研究與技術(shù)——國家天文臺臺刊,2006,3(2):168-175.

Chen Zhijun,Yan Yihua,Liu Yuying,et al.Site survey and RFI test for CSRH[J].Astronomical Research&Technology——Publications of National Astronomical Observatories of China,2006,3 (2):168-175.

[4] Kaplan G H,Bangert J A,Barron E G,et al.Naval Observatory Vector Astrometry Software (NOVAS)[C]//IAU Joint Discussion 7:Space-Time Reference Systems for Future Research at IAU General Assembly-Beijing.Version 3.1:Fortran,C,and Python Editions,2011.

Design and Implementation of a Dynamic System of Retrieving and Updating IERS Data

Shi Congming1,Wang Wei2,Wang Feng1,3,Deng Hui1,Ji Kaifan1
(1.Key Laboratory of Applicatios of Computer Technologies of the Yunnan Province,University of Science and Technology of Kunming,Kunming 650500,China,Email:wangfeng@cnlab.net;2.National Astronomical Observatories,Chinese Academy of Sciences,Beijing 100012,China;3.Yunnan Observatories,Chinese Academy of Sciences,Kunming 650011,China)

It is a fundamental issue in astronomical research to achieve high-precision calculations of target positions.To fulfill the requirements of high-precision calculations of positions in pipeline data processing for the Chinese Solar Radio Heliograph(CSRH),in this paper we propose a dynamic system of automatically retrieving and updating data to obtain useful parameter values from the IERS website.The method can automatically download and analyze a text file published on the IERS website.Values of the needed parameters,including the earth orientation,leap second,and polar motion,can be extracted from canonical expressions of the text file and saved to a specified local file.The values include measured and predicted ones.With the method a local database of IERS parameter records since December 31,2004 has been established.The database is being updated weekly in the automated mode by checking the IERS website. Our study provides a general method to maintain astronomical data essential to high-precision calculations of target positions.It avoids the conventional need to manually maintain such data.It is valuable to the design of pipeline data processing for the CSRH.The routines for the method were written with the Python language and can be easily integrated into other astronomical software packages.

IERS;Dynamic;Data retrieval;Update

TP393.092

A

1672-7673(2014)04-0396-08

2014-01-02;

2014-01-28

石聰明,男,碩士.研究方向:軟件架構(gòu),網(wǎng)絡(luò)安全,天文計算方法.Email:cnshicongming@gmail.com

王 鋒,男,教授.研究方向:天文技術(shù)與方法.Email:wangfeng@cnlab.net

猜你喜歡
數(shù)據(jù)文件射電實測值
誰能抓住“神秘天神”——快速射電暴?
軍事文摘(2022年12期)2022-07-13 03:10:22
射電星系
美國的綠岸射電望遠(yuǎn)鏡
軍事文摘(2021年22期)2022-01-18 06:22:52
±800kV直流輸電工程合成電場夏季實測值與預(yù)測值比對分析
常用高溫軸承鋼的高溫硬度實測值與計算值的對比分析
哈爾濱軸承(2020年1期)2020-11-03 09:16:22
市售純牛奶和巴氏殺菌乳營養(yǎng)成分分析
中國奶牛(2019年10期)2019-10-28 06:23:36
一種基于實測值理論計算的導(dǎo)航臺電磁干擾分析方法
電子制作(2018年23期)2018-12-26 01:01:22
數(shù)據(jù)文件恢復(fù)專題問答
數(shù)據(jù)文件安全管控技術(shù)的研究與實現(xiàn)
SQL數(shù)據(jù)文件恢復(fù)工具
万宁市| 新竹县| 辉县市| 潮安县| 栖霞市| 台中市| 南召县| 德兴市| 泸定县| 邯郸市| 怀化市| 临汾市| 巴林左旗| 共和县| 托克托县| 弋阳县| 临沂市| 高安市| 海宁市| 富裕县| 西乌| 洛南县| 澄迈县| 乐陵市| 呼和浩特市| 临猗县| 内江市| 海兴县| 遂宁市| 铅山县| 宣武区| 株洲县| 南开区| 宜宾市| 青田县| 苍溪县| 光泽县| 罗甸县| 深州市| 太谷县| 阜平县|