張凌源 黎鵬 楊柳
摘要:GNSS靜態(tài)數(shù)據(jù)預(yù)處理是GNSS靜態(tài)測量數(shù)據(jù)處理的重要一環(huán),現(xiàn)階段的GNSS靜態(tài)數(shù)據(jù)預(yù)處理方法以人工干預(yù)為主,自動化程度較低,數(shù)據(jù)處理的效率和準(zhǔn)確率均有待提高。為解決上述問題,提出了一套GNSS靜態(tài)數(shù)據(jù)自動化預(yù)處理方法,并基于Python語言開發(fā)靜態(tài)數(shù)據(jù)預(yù)處理軟件,完成了GNSS靜態(tài)數(shù)據(jù)檢查、RENIX數(shù)據(jù)歸類、RENIX數(shù)據(jù)改正、靜態(tài)數(shù)據(jù)質(zhì)量報表輸出等功能。長江水利委員會大江大河水文監(jiān)測系統(tǒng)建設(shè)工程實踐表明:使用該軟件后,大幅提高了靜態(tài)數(shù)據(jù)預(yù)處理效率,明顯降低了內(nèi)業(yè)人員的勞動強(qiáng)度,且有效保證了成果質(zhì)量。
關(guān)鍵詞:數(shù)據(jù)預(yù)處理;GNSS靜態(tài)測量;自動化;批量處理;TEQC;TBC
中圖法分類號:P128.1文獻(xiàn)標(biāo)志碼:ADOI:10.15974/j.cnki.slsdkb.2021.05.013
文章編號:1006 - 0081(2021)05 - 0054 - 04
1 GNSS靜態(tài)數(shù)據(jù)處理概述
在現(xiàn)代控制測量中,GNSS靜態(tài)測量方法相對于傳統(tǒng)測量方法具有高精度、全天候、無需通視等顯著優(yōu)勢,因而被廣泛應(yīng)用,已成為現(xiàn)代化測量過程中不可或缺的技術(shù)手段[1]。
在大型GNSS靜態(tài)測量項目中,因觀測時段繁多、數(shù)據(jù)體量巨大,導(dǎo)致人工預(yù)處理勞動強(qiáng)度大,處理效率和準(zhǔn)確率有待提高。研究GNSS靜態(tài)數(shù)據(jù)自動化預(yù)處理方法很有必要,借助自行開發(fā)靜態(tài)數(shù)據(jù)預(yù)處理軟件,對GNSS靜態(tài)數(shù)據(jù)檢查、RENIX數(shù)據(jù)歸類、RENIX數(shù)據(jù)改正、靜態(tài)數(shù)據(jù)質(zhì)量報表輸出等預(yù)處理流程,實現(xiàn)自動化,提高數(shù)據(jù)處理效率,保證成果質(zhì)量。
完整的GNSS靜態(tài)測量數(shù)據(jù)處理流程如圖1所示。從圖1可以看出,每個階段的GNSS靜態(tài)觀測數(shù)據(jù)是按觀測時段處理完成的。主要是因為按時段整理的GNSS靜態(tài)觀測數(shù)據(jù)具有更強(qiáng)的通用性和普適性,方便應(yīng)用于不同軟件的交互處理。
為簡化表述,下文中的GNSS靜態(tài)數(shù)據(jù)默認(rèn)為已經(jīng)按時段分類整理的GNSS靜態(tài)原始數(shù)據(jù)。
2 靜態(tài)數(shù)據(jù)預(yù)處理流程
靜態(tài)數(shù)據(jù)預(yù)處理步驟如下:
(1)利用靜態(tài)數(shù)據(jù)預(yù)處理軟件,根據(jù)觀測階段的測站信息對GNSS靜態(tài)數(shù)據(jù)進(jìn)行合理性檢查,生成檢測報告,根據(jù)報告完善GNSS靜態(tài)數(shù)據(jù)。
(2)根據(jù)上一步的GNSS靜態(tài)數(shù)據(jù),利用程序?qū)ENIX數(shù)據(jù)按時段整理歸類,并將測站信息和RENIX數(shù)據(jù)融合。
(3)執(zhí)行程序的靜態(tài)數(shù)據(jù)質(zhì)量報表輸出功能,生成數(shù)據(jù)質(zhì)量報表,剔除質(zhì)量較差的數(shù)據(jù)。
靜態(tài)數(shù)據(jù)預(yù)處理流程如圖2所示。
3 GNSS靜態(tài)數(shù)據(jù)預(yù)處理軟件功能
3.1 靜態(tài)數(shù)據(jù)檢查
在大型項目中,GNSS靜態(tài)觀測數(shù)據(jù)可能多達(dá)數(shù)萬個,在外業(yè)觀測階段的按時段歸類整理過程中極有可能出現(xiàn)紕漏。因此,需要對人工初步整理的靜態(tài)觀測數(shù)據(jù)進(jìn)行檢查,來彌補(bǔ)和糾正可能出現(xiàn)的紕漏,保證GNSS靜態(tài)數(shù)據(jù)的完整性和準(zhǔn)確性。GNSS靜態(tài)數(shù)據(jù)檢查之前需要準(zhǔn)備測站信息表和統(tǒng)一轉(zhuǎn)化的RENIX數(shù)據(jù)。針對人工歸類的不足,程序會從以下3個方面進(jìn)行檢查。
(1)測站信息表的合理性檢查。同時段的點名、觀測者、桿高等信息不可能或只有極小概率重復(fù)。
(2)GNSS靜態(tài)數(shù)據(jù)的同步性檢查。根據(jù)觀測時間判斷歸類是否正確。
(3)測站信息表與GNSS靜態(tài)數(shù)據(jù)的一致性檢查。根據(jù)二者的相互匹配結(jié)果判斷歸類的正確性。
在執(zhí)行GNSS靜態(tài)數(shù)據(jù)檢查之后,根據(jù)檢查報告,逐一完善GNSS靜態(tài)數(shù)據(jù),直至檢查通過。
3.2 RENIX數(shù)據(jù)歸類
利用TBC可以實現(xiàn)靜態(tài)觀測數(shù)據(jù)文件到RENIX數(shù)據(jù)文件的批量轉(zhuǎn)換,可以一次性轉(zhuǎn)換數(shù)千個文件。雖然轉(zhuǎn)換方便,但也存在弊端。TBC轉(zhuǎn)換的RENIX數(shù)據(jù)文件會輸出到同一個指定路徑,這將導(dǎo)致RENIX數(shù)據(jù)文件失去按時段歸類的特性;而采用分觀測時段逐步轉(zhuǎn)換又非常繁瑣,大型項目可能有數(shù)千個時段,人工操作耗時耗力。
鑒于上述原因,GNSS靜態(tài)數(shù)據(jù)預(yù)處理程序提供“RENIX數(shù)據(jù)歸類”的功能,將TBC批量轉(zhuǎn)換的RENIX格式文件參照上一步的GNSS靜態(tài)數(shù)據(jù)自動進(jìn)行歸類,通過這一步操作,可成功完成靜態(tài)數(shù)據(jù)到RENIX數(shù)據(jù)的轉(zhuǎn)換。轉(zhuǎn)換后的RENIX數(shù)據(jù)保留了按時段歸類的特性。數(shù)據(jù)轉(zhuǎn)換前后的文件組織結(jié)構(gòu)如圖3~4所示。
3.3 RENIX數(shù)據(jù)改正
在GNSS靜態(tài)數(shù)據(jù)處理流程中,在基線解算之前,點名、桿高等測站信息必須融合到靜態(tài)數(shù)據(jù)中?,F(xiàn)階段的處理方式以人工干預(yù)為主,存在勞動強(qiáng)度大、效率較低、準(zhǔn)確率無法保證等問題。針對這些突出問題,GNSS靜態(tài)數(shù)據(jù)預(yù)處理程序提供了“RENIX數(shù)據(jù)改正”功能,可根據(jù)測站信息自動改正RENIX數(shù)據(jù)文件,大幅度提高了靜態(tài)數(shù)據(jù)預(yù)處理效率。
3.4 輸出數(shù)據(jù)質(zhì)量報表
3.4.1 TEQC軟件介紹
TEQC是Unavco Faclity研制的公開免費軟件,建立在DOS操作命令基礎(chǔ)上,可以處理GNSS靜態(tài)觀測數(shù)據(jù)。它利用偽距觀測值和載波相位觀測值的線性組合來進(jìn)行GNSS數(shù)據(jù)中的誤差估計,在快速評定GNSS數(shù)據(jù)質(zhì)量方面且簡單易用、高效可靠的優(yōu)點,能提供電離層延遲誤差、電離層延遲變化率、信噪比、數(shù)據(jù)有效率、MP1、MP2等反映觀測數(shù)據(jù)質(zhì)量的指標(biāo)參數(shù)[2]。
3.4.2 信息提取
GNSS原始觀測數(shù)據(jù)包含儀器類型、儀器編號、空間信息、靜態(tài)觀測的開始時間、結(jié)束時間等基本信息。將原始觀測數(shù)據(jù)轉(zhuǎn)化為RENIX格式數(shù)據(jù)之后,對這些基本信息進(jìn)行提取,結(jié)合外業(yè)階段的測站信息,可以合成一個完整的測站信息表。但是僅包含這些基本信息,對后續(xù)的基線處理和網(wǎng)平差幫助有限,因此,前期處理時,需要對原始數(shù)據(jù)的觀測質(zhì)量輸出一個統(tǒng)計報表。
利用TEQC公開免費、DOS操作的特性,可以編寫腳本,將TEQC集成,在提取測站基礎(chǔ)信息的基礎(chǔ)上,再融合觀測數(shù)據(jù)質(zhì)量參數(shù),批量輸出靜態(tài)數(shù)據(jù)質(zhì)量報表,形成階段性成果,無論是作為項目成果提交,還是服務(wù)于后續(xù)的數(shù)據(jù)處理,都有重要意義。
4 工程實例
參照之前的處理流程與軟件功能介紹,選擇長江中游某E級基礎(chǔ)控制網(wǎng)測量項目進(jìn)行檢驗,該項目共包含46個時段,348個原始觀測文件,2 060個RENIX數(shù)據(jù)文件,外業(yè)觀測時間跨度為18 d,屬于中型靜態(tài)觀測項目。
在外業(yè)觀測階段已準(zhǔn)備好按時段歸類的靜態(tài)觀測數(shù)據(jù)、測站信息表、RENIX數(shù)據(jù)。執(zhí)行“靜態(tài)數(shù)據(jù)檢查”功能,檢查過程耗時13.16 s,得到檢查結(jié)果如圖5所示。
根據(jù)提示信息對上面的數(shù)據(jù)進(jìn)行核對完善,再執(zhí)行“RENIX數(shù)據(jù)分類”功能,對2 060個RENIX數(shù)據(jù)文件按觀測時段進(jìn)行歸類,該過程耗時71.00 s,如果是人工手動分類,耗時預(yù)估約為2 h,效率提升約100倍,分類完成之后再執(zhí)行“RENIX數(shù)據(jù)改正”功能,對RENXI數(shù)據(jù)中的348個O文件進(jìn)行改正,該過程耗時44.60 s,如果是人工手動逐文件改正,預(yù)估時間為2 h,效率提升約160倍,而且程序能保證數(shù)據(jù)改正準(zhǔn)確率為100%,數(shù)據(jù)改正示例如圖6~7所示。
通過文件改正前后對比可以看出,最關(guān)鍵的測站點名、天線高等測站信息已經(jīng)成功改正。
最后再執(zhí)行“質(zhì)量報告輸出功能”,示例如表1所示。
5 結(jié)論與建議
通過以上論述和樣本數(shù)據(jù)分析,可得出如下結(jié)論。
(1)本文提出的GNSS靜態(tài)數(shù)據(jù)批量預(yù)處理可以實現(xiàn)GNSS靜態(tài)數(shù)據(jù)的批量自動化處理,能夠有效減小靜態(tài)測量內(nèi)外業(yè)工作強(qiáng)度,大幅提高數(shù)據(jù)處理效率。
(2)GNSS靜態(tài)數(shù)據(jù)批量預(yù)處理流程可以通過關(guān)鍵信息提取功能,批量輸出測站信息綜合報表,為后續(xù)靜態(tài)數(shù)據(jù)處理提供有力的支撐。
對后續(xù)GNSS靜態(tài)數(shù)據(jù)批量預(yù)處理流程提出如下建議。
(1)加深對TEQC軟件的挖掘,利用TEQC對RENIX文件進(jìn)行批量的切割和合并,進(jìn)一步提高靜態(tài)數(shù)據(jù)預(yù)處理的質(zhì)量。
(2)轉(zhuǎn)換RENIX數(shù)據(jù)文件的功能也可以考慮兼容到預(yù)處理軟件中,形成一套完整的、獨立的數(shù)據(jù)預(yù)處理流程。
參考文獻(xiàn):
[1] 袁霆.? GPS靜態(tài)測量在控制測量中的應(yīng)用分析[J].? 中國設(shè)備工程, 2018(12):82-83.
[2] 李強(qiáng).? TEQC在GNSS短時間靜態(tài)定位數(shù)據(jù)預(yù)處理中的應(yīng)用研究[J]. 華北國土資源, 2015(4):108-110.
(編輯:唐湘茜)
Abstract:GNSS static data preprocessing plays an important role in GNSS static measurement data processing. The current GNSS static data preprocessing method is mainly through manual intervention,which is low in automation degree ,and the efficiency and accuracy of data processing need to be improved. In order to solve the above problems, an automatic preprocessing method for GNSS static data is proposed and static data preprocessing software based on the Python platform is developed, which can realize the functions of GNSS static data inspection, RENIX data classification, RENIX data correction, static data quality report output etc. The practice of Changjiang Water Resources Committee hydrological monitoring system for large rivers has shown that with the help of this program, the efficiency of static data preprocessing has been greatly improved, the labor intensity of the staff is significantly reduced, and the quality of the results is guaranteed .
Key words: data preprocessing; GNSS static measurement; automation; batch processing; TEQC; TBC