李正媛熊道慧劉高川劉春國梁毅強葉 青
1)中國北京100045中國地震臺網(wǎng)中心
2)中國北京100036中國地震局
基于大數(shù)據(jù)挖掘的地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析
李正媛1)熊道慧2)劉高川1)劉春國1)梁毅強2)葉 青1)
1)中國北京100045中國地震臺網(wǎng)中心
2)中國北京100036中國地震局
地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析工作應(yīng)用數(shù)據(jù)挖掘、大數(shù)據(jù)分析等信息技術(shù),基于中國數(shù)字化地震前兆臺網(wǎng),探索創(chuàng)建由數(shù)據(jù)分析模型、軟件硬件設(shè)備、數(shù)據(jù)庫、網(wǎng)絡(luò)通訊等構(gòu)成的挖掘處理系統(tǒng)。對海量前兆觀測數(shù)據(jù)進行挖掘處理,獲得地震前兆觀測事件記錄信息,并行于前兆臺網(wǎng)觀測數(shù)據(jù)產(chǎn)出流程,形成常態(tài)化地震前兆觀測事件記錄產(chǎn)出流程,為推進智能化地震前兆監(jiān)測、提升數(shù)字化地震臺網(wǎng)信息處理能力奠定基礎(chǔ)。
觀測數(shù)據(jù)跟蹤分析;地震前兆觀測事件記錄;大數(shù)據(jù)分析;數(shù)據(jù)挖掘
中國數(shù)字化地震前兆觀測臺網(wǎng)實現(xiàn)自動化觀測、觀測數(shù)據(jù)準實時匯集,全網(wǎng)2 800余套觀測儀器、測項分量8 000余項,每日產(chǎn)出數(shù)據(jù)信息量近2 GB,臺網(wǎng)監(jiān)測能力顯著提升。數(shù)字化觀測技術(shù)對傳統(tǒng)觀測、分析方式形成沖擊,主要表現(xiàn)為:①處理海量數(shù)據(jù)工作量成數(shù)倍增加,傳統(tǒng)分析方式難以為繼;②城鎮(zhèn)化建設(shè)的快速發(fā)展,對地震臺站觀測環(huán)境的人為干擾破壞日益嚴重,高密采樣數(shù)據(jù)的干擾信息難以分辨;③自動化觀測替代模擬觀測使臺站觀測作用弱化,如何發(fā)揮技術(shù)專長、突出監(jiān)測實踐優(yōu)勢作用難以體現(xiàn)。
2008年汶川8.0級地震發(fā)生后,《中國地震局關(guān)于加強地震監(jiān)測預報工作的意見》提出“地震臺站在完成保證觀測質(zhì)量、良好運行維護等主體任務(wù)的同時,應(yīng)發(fā)揮在異常核實、分析預報等方面的積極作用”①《中國地震局關(guān)于加強地震監(jiān)測預報工作的意見》[中震測發(fā)〔2010〕94號),明確地震臺站職能轉(zhuǎn)變的任務(wù)與內(nèi)容。另一方面,信息技術(shù)、網(wǎng)絡(luò)技術(shù)、大數(shù)據(jù)技術(shù)、數(shù)據(jù)挖掘技術(shù)等新技術(shù)的快速發(fā)展,為推進數(shù)字化地震前兆臺網(wǎng)數(shù)據(jù)的深度處理奠定了基礎(chǔ)。
地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析是涉及中國前兆臺網(wǎng)的系統(tǒng)性專項工作,主要工作內(nèi)容概括為3方面:①建立模型,研發(fā)地震前兆臺網(wǎng)觀測數(shù)據(jù)挖掘處理軟件平臺;②組織全臺網(wǎng)(站)開展觀測數(shù)據(jù)跟蹤挖掘分析,提取觀測事件記錄信息并存儲入數(shù)據(jù)庫;③利用地震信息網(wǎng)絡(luò)實現(xiàn)全臺網(wǎng)挖掘事件信息匯集、存儲、共享。
開展地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析工作,推進了數(shù)字化地震觀測向信息化的轉(zhuǎn)變,有利于克服數(shù)字化技術(shù)應(yīng)用過程中產(chǎn)生的矛盾,提升地震前兆臺網(wǎng)數(shù)據(jù)產(chǎn)出能力。得到的地震觀測事件記錄信息降低數(shù)據(jù)維度且物理意義明確:①可以直接、有效地支持和滿足深度應(yīng)用、臺網(wǎng)管理、信息重組等使用需要;②為地震預報分析提供更具針對性的事件記錄信息,減輕直接處理海量數(shù)據(jù)的工作強度;③以地震臺站監(jiān)測一線人員為主體,分析提取觀測事件記錄,有利于發(fā)揮專業(yè)能力,促進地震監(jiān)測工作職能由觀測為主,向觀測、應(yīng)用并重轉(zhuǎn)變。
自2010年起,國家地震前兆臺網(wǎng)中心組織各省地震局區(qū)域前兆臺網(wǎng)中心、學科臺網(wǎng)中心和地震臺站,圍繞數(shù)據(jù)挖掘處理方法、分析軟硬件與網(wǎng)絡(luò)支撐、全網(wǎng)技術(shù)推廣與組織機制等方面開展專題研究與工作創(chuàng)新,完成地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析各環(huán)節(jié)的專項任務(wù)。在方法探索(2011年,甘肅、新疆、山西省地震前兆臺網(wǎng))、擴大實驗(2012年,河北、云南等17?。ㄖ陛犑校┑卣鹎罢着_網(wǎng))、分布式網(wǎng)絡(luò)化系統(tǒng)流程構(gòu)建(2013年)3個研究階段后②③《關(guān)于組織開展地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤簡報編寫工作的通知》中震測函[2012]165號,歷經(jīng)2014年、2015年的應(yīng)用檢驗,形成常態(tài)化地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析工作模式與組織機制。
1.1 數(shù)據(jù)挖掘技術(shù)與知識信息
數(shù)據(jù)挖掘技術(shù)又稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn),通過對海量數(shù)據(jù)的挖掘處理及目標函數(shù)的信息重組、模型解釋等,獲取未知的、有價值的知識信息(陳晶等,2011;李正媛等,2011)。在信息科學中,信息是加以排列和處理的數(shù)據(jù);知識信息則是有意義的信息集合(王秀英等,2015;張晁軍等,2015)?;诖髷?shù)據(jù)的挖掘技術(shù),提供了新的認識視野(維克托·邁爾·舍恩伯格等,2012;涂子沛,2013),近年來數(shù)據(jù)挖掘技術(shù)在地震分析研究中的應(yīng)用,已初步顯現(xiàn)前景(程陳等,2013)。
地震前兆臺網(wǎng)能夠觀測到地殼運動、環(huán)境變化、人類活動等事件,并表達為一組量化觀測數(shù)據(jù)記錄集合。觀測事件記錄知識信息(以下簡稱為觀測事件記錄)是觀測數(shù)據(jù)記錄與事件屬性的結(jié)合,是基本信息單元。跟蹤分析工作的核心是從海量觀測數(shù)據(jù)中挖掘觀測數(shù)據(jù)記錄集合,通過事件屬性知識的“數(shù)據(jù)泛化”重構(gòu)觀測事件記錄。雖然觀測數(shù)據(jù)記錄集合與觀測事件記錄的數(shù)字特性具有一致性,但由于知識信息維度更廣且屬性意義明確,在數(shù)據(jù)挖掘、大數(shù)據(jù)應(yīng)用中更易于直接傳遞和廣泛使用(維克托·邁爾·舍恩伯格等,2012;涂子沛,2013)。
1.2 學科方法及觀測基礎(chǔ)
觀測數(shù)據(jù)記錄集合挖掘、觀測事件記錄重構(gòu)具備科學性、真實性及地震臺網(wǎng)觀測實踐基礎(chǔ)。各學科理論技術(shù)方法與各項量化指標,是數(shù)據(jù)挖掘模型、用戶目標函數(shù)及異常閾值確定的重要依據(jù)。一方面,形變、電磁、流體學科理論與處理算法,是數(shù)據(jù)分析、異常確定的基本參考背景,包括:重力、形變、水位等的潮汐模型,電磁場、電磁擾動模型及抽水、載荷等干擾模型等④地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析技術(shù)指南(征求意見稿),2013.12;另一方面,學科臺網(wǎng)的觀測數(shù)據(jù)質(zhì)量控制指標體系,構(gòu)成臺網(wǎng)變化態(tài)勢分析與噪聲水平大小判定的指標依據(jù),例如:地球潮汐理論模型擬合誤差指標、非潮汐變化穩(wěn)定性誤差指標、長期趨勢變化穩(wěn)定性指標等;第三方面,對地震前兆臺網(wǎng)各類觀測手段、觀測技術(shù)的實踐經(jīng)驗及認識成為重要的分析佐證(GB/T 19531.2—2004,GB/T 19531.3—2004,GB/T 19531.4—2004)。
1.3 觀測事件記錄確定
地震前兆觀測事件記錄定義準確客觀,兼顧觀測能力與后續(xù)應(yīng)用的需要,符合以下原則:①由1組觀測數(shù)據(jù)集合量化表示;②與發(fā)生的運動、變化、臺風、爆破、抽水等事件具有時空關(guān)聯(lián)性;③符合地震臺網(wǎng)觀測能力。
根據(jù)上述原則,通過全面分析總結(jié)形變、電磁、地下流體臺網(wǎng)觀測數(shù)據(jù)演變規(guī)律與特征,結(jié)合事件的物理性質(zhì)、學科認知程度,地震前兆臺網(wǎng)觀測事件記錄歸納確定為下述7類,即:正常演變背景、觀測系統(tǒng)故障、氣象因素干擾、場地環(huán)境干擾、人為活動干擾、地球物理事件和不明原因變化⑤⑥地震前兆觀測數(shù)據(jù)跟蹤分析技術(shù)規(guī)范系列之分析記錄(征求意見稿),2014.9。其中,正常演變背景記錄是觀測數(shù)據(jù)變化規(guī)律分析的基準,反映臺站的地球物理(化學)觀測數(shù)據(jù)序列居于正常變化狀態(tài),觀測量值特征符合理論預期或長期正常態(tài)變化趨勢;觀測系統(tǒng)故障記錄反映由于觀測系統(tǒng)的故障或異常狀態(tài)下,引起的觀測數(shù)據(jù)偏離;場地環(huán)境干擾記錄、人為活動干擾記錄則反映在觀測數(shù)據(jù)正常態(tài)下,疊加的場地環(huán)境、人為活動的干擾影響信號;地球物理事件記錄主要反映前兆臺網(wǎng)響應(yīng)的短期地球運動與變化過程;不明原因變化記錄是指無法判定觀測數(shù)據(jù)變化原因或判定證據(jù)不足,有待繼續(xù)觀測探明確切誘因的事件。
1.4 構(gòu)建事件記錄知識信息
如上所述,觀測事件記錄知識信息由前兆觀測數(shù)據(jù)記錄集合和事件屬性信息組成。通過對觀測數(shù)據(jù)的挖掘處理,獲得發(fā)生變化的觀測數(shù)據(jù)記錄集合;事件屬性信息則通過一系列觀測信息提煉得到,經(jīng)過定性概念描述、數(shù)字參數(shù)刻畫、圖形繪制展示等信息重構(gòu)實現(xiàn)⑥,這些信息闡述事件記錄的誘發(fā)因素、變化過程、變化特點、關(guān)聯(lián)情況等,規(guī)范約定的信息內(nèi)容包括:①臺站參數(shù)(臺站名稱、代碼)、測點代碼、測項名稱等信息;②時間參數(shù)(事件記錄的開始、結(jié)束時間);③觀測事件記錄類型、干擾源及干擾特征(干擾過程、強度、周期、影響方式)等,如:受臺風影響時,應(yīng)說明臺風名稱、級別、登陸及移動路線、時間過程與測站距離等;④數(shù)據(jù)記錄變化參數(shù)及特征(變化幅度大小、變化周期、變化過程、變化特點等);⑤輔助測項及關(guān)聯(lián)變化;⑥圖像繪制展示等信息。
地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析軟件設(shè)計為分布式架構(gòu),部署在各信息節(jié)點上,并行開展數(shù)據(jù)挖掘處理,結(jié)合監(jiān)測日常運行工作流程,發(fā)揮數(shù)字化臺網(wǎng)技術(shù)優(yōu)勢,提高數(shù)據(jù)挖掘處理效率。在技術(shù)構(gòu)架和組織形式上,地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析軟件符合大數(shù)據(jù)的“5V”特點,即“大量”(Volume)、“高速”(Velocity)、“多樣”(Variety)、“價值”(Value)、“真實性”(Veracity)(維克托·邁爾·舍恩伯格等,2012;涂子沛,2013)。
2.1 跟蹤分析軟件研制
地震前兆臺網(wǎng)(站)觀測數(shù)據(jù)跟蹤分析軟件由國家地震前兆臺網(wǎng)中心組織研制,支撐各級節(jié)點基于觀測數(shù)據(jù)庫準實時事件記錄挖掘處理工作。在2013—2015年,觀測數(shù)據(jù)跟蹤分析軟件經(jīng)過雛形研制、功能擴展、操作完善等版本的升級研發(fā),初步滿足多種類型前兆事件記錄的數(shù)據(jù)挖掘分析功能。通過人機交互判定,完成觀測數(shù)據(jù)記錄挖掘提取、觀測事件記錄重構(gòu)、圖件繪制、審核與修改、入庫存儲等工作,具備自動快速生成相關(guān)報表、圖集、報告及信息查詢等功能,滿足地震前兆臺網(wǎng)數(shù)據(jù)跟蹤分析處理的基本需要,保證各項工作順利開展。
2.2 網(wǎng)絡(luò)化流程創(chuàng)建
針對數(shù)字化地震地震前兆臺網(wǎng)的分布式技術(shù)系統(tǒng)結(jié)構(gòu)(周克昌等,2013),利用各節(jié)點具有的軟硬件、數(shù)據(jù)庫及地震信息網(wǎng)絡(luò)資源,將觀測數(shù)據(jù)跟蹤分析軟件、觀測事件記錄數(shù)據(jù)庫分別部署在臺站、區(qū)域前兆臺網(wǎng)中心、學科臺網(wǎng)中心和國家地震前兆臺網(wǎng)中心4級信息節(jié)點上,形成中國地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析工作系統(tǒng)。依托地震信息網(wǎng)絡(luò),實行全網(wǎng)觀測事件記錄的交換匯集,滿足節(jié)點之間的交互處理需求,按約定任務(wù)并行開展全國前兆地震臺網(wǎng)觀測數(shù)據(jù)跟蹤分析挖掘工作。在地震臺站,使用跟蹤分析軟件進行數(shù)據(jù)挖掘,提取觀測數(shù)據(jù)記錄集合,重構(gòu)觀測事件記錄,并存儲于臺站觀測事件記錄數(shù)據(jù)庫;在區(qū)域地震前兆臺網(wǎng)中心、學科臺網(wǎng)中心和國家地震前兆臺網(wǎng)中心,分級匯集觀測事件記錄,檢查記錄質(zhì)量,開展綜合分析,編制觀測月報、年報。國家地震前兆臺網(wǎng)中心負責中國地震臺網(wǎng)跟蹤分析系統(tǒng)架構(gòu)與推進協(xié)調(diào)工作,及時總結(jié)工作情況,優(yōu)化模型應(yīng)用并完善軟件。
地震前兆臺網(wǎng)觀測事件分析與觀測數(shù)據(jù)產(chǎn)出并行開展,在保證數(shù)字化地震臺網(wǎng)觀測數(shù)據(jù)正常產(chǎn)出的同時,得到對應(yīng)的觀測事件記錄信息,形成銜接數(shù)字化地震臺網(wǎng)觀測系統(tǒng)信息處理的應(yīng)用系統(tǒng)雛形。地震前兆臺網(wǎng)觀測事件分析流程見圖1。
圖1 地震前兆臺網(wǎng)觀測事件分析流程Fig.1 Workflow of seismic precursor network monitoring and data tracking analysis
2.3規(guī)范與組織實施
為推進地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析工作開展,中國地震局、監(jiān)測預報司印發(fā)相關(guān)工作通知、組織辦法等文件①②③;國家地震前兆臺網(wǎng)中心牽頭組織、區(qū)域地震前兆臺網(wǎng)中心、學科臺網(wǎng)中心協(xié)同參與,圍繞地震前兆觀測事件挖掘開展長期探索與研究工作,針對地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析工作、技術(shù)指南、事件描述要素標準、技術(shù)要求與評比方法等,制定相關(guān)技術(shù)約定與規(guī)范④—⑦,密集組織開展專題培訓與工作交流,在技術(shù)操作與組織機制方面落實,有效推進地震前兆觀測數(shù)據(jù)跟蹤分析工作。
2.4 工作成果
地震前兆臺網(wǎng)數(shù)據(jù)跟蹤分析工作于2014年納入地震前兆臺網(wǎng)監(jiān)測日常工作任務(wù),各級節(jié)點產(chǎn)出前兆觀測事件記錄、前兆臺網(wǎng)觀測事件報告(月、年)和觀測事件圖集等成果,其中2014年獲得25 920條、2015年獲得30 763條地震觀測事件記錄,均存儲在地震前兆臺網(wǎng)觀測事件記錄數(shù)據(jù)庫,是地震前兆數(shù)據(jù)跟蹤分析工作的基礎(chǔ)及核心成果。根據(jù)存儲的觀測事件記錄,各區(qū)域地震前兆中心、學科臺網(wǎng)中心和國家地震前兆臺網(wǎng)中心編制月報844份、年報80份,獲得大量數(shù)據(jù)跟蹤分析圖集等成果,上傳至國家地震前兆臺網(wǎng)中心網(wǎng)站共享服務(wù);部分報告提交至所屬單位地震預報部門,為地震預報應(yīng)用研究提供佐證。此外,通過設(shè)定事件選擇條件,從事件知識庫中抽取典型事件信息,編纂2014年、2015年地震前兆臺網(wǎng)典型觀測事件圖集,成為數(shù)據(jù)跟蹤分析工作示范實例,為快速、準確識別海量觀測數(shù)據(jù)的基本態(tài)勢及異常變化積累經(jīng)驗。
中國地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析工作2010年起步探索,在全臺網(wǎng)齊力推進下,步入常態(tài)化、規(guī)范化試行工作階段。中國地震前兆臺網(wǎng)開展觀測數(shù)據(jù)跟蹤分析,提升了地震監(jiān)測一線專業(yè)人員的數(shù)據(jù)分析能力需求,推動了數(shù)字化地震前兆臺網(wǎng)海量觀測數(shù)據(jù)的信息化處理進程,發(fā)展了地震前兆臺網(wǎng)觀測數(shù)據(jù)處理與產(chǎn)出能力,適應(yīng)了數(shù)據(jù)挖掘、大數(shù)據(jù)等信息技術(shù)創(chuàng)新發(fā)展的方向。另一方面,系統(tǒng)挖掘地震前兆臺網(wǎng)中直接反映學科現(xiàn)象與演變規(guī)律的各種前兆觀測事件記錄,有利于夯實數(shù)字化地震前兆臺網(wǎng)的基礎(chǔ)處理能力,發(fā)揮地震前兆臺網(wǎng)監(jiān)測效能。
開展地震前兆臺網(wǎng)觀測數(shù)據(jù)挖掘,探索新系統(tǒng)下地震前兆監(jiān)測與地震預報工作結(jié)合的分析應(yīng)用模式,建立數(shù)字化地震前兆臺網(wǎng)的數(shù)據(jù)挖掘、信息處理工作體系,需要經(jīng)歷不懈的研究探索、實踐檢驗、升級完善的長期過程,需要地震前兆監(jiān)測、臺網(wǎng)管理、地震預測預報等同仁的支持、參與及共同推進。
中國地震前兆臺網(wǎng)觀測數(shù)據(jù)跟蹤分析工作在中國地震局領(lǐng)導下,在中國地震臺網(wǎng)中心支持下,由國家地震前兆臺網(wǎng)中心牽頭,聯(lián)合形變臺網(wǎng)中心、重力臺網(wǎng)中心、地磁臺網(wǎng)中心、流體臺網(wǎng)中心、地電臺網(wǎng)中心、各省地震局(直轄市)前兆臺網(wǎng)中心、各前兆臺站、預報部門等相關(guān)專家共同推進開展,在此表示衷心感謝。
陳晶,李正媛,王麗娜,等.一種地震目錄中基于興趣度的關(guān)聯(lián)規(guī)則分析方法[J].計算機應(yīng)用研究,2011,28(6):2 078-2 081.
程陳,史文博.大數(shù)據(jù)挖掘分析在地震科研中的應(yīng)用[J].信息系統(tǒng)工程,2013,12(20):27-28.
李正媛,陳晶,王麗娜,等.一種基于誤差和關(guān)鍵點的地震前兆觀測數(shù)據(jù)異常挖掘算法[J].計算機應(yīng)用研究,2011,28(8):2 897-2 901.
涂子沛.大數(shù)據(jù):正在到來的數(shù)據(jù)革命,以及它如何改變政府、商業(yè)與我們的生活[M].南寧:廣西師范大學出版社,2013.
王秀英,張玲,張聰聰.探討地震前兆觀測中的大數(shù)據(jù)挖掘與應(yīng)用[J].震災(zāi)防御技術(shù),2015,10(1):39-45.
張晁軍,陳會忠,李衛(wèi)東,許洪華,彭遠黔.大數(shù)據(jù)時代對地震監(jiān)測預報問題的思考[J].地球物理學進展,2015,30(4):1 561-1 568.
周克昌,趙剛,王晨,等.中國地震前兆臺網(wǎng)觀測技術(shù)系統(tǒng)整合[J].中國地震,2013,29(2):270-275.
維克托·邁爾·舍恩伯格,肯尼思·庫克耶著,盛楊燕,周濤譯.大數(shù)據(jù)時代:生活、工作與思維的大變革[M].杭州:浙江人民出版社,2012.
Abstract
Using big data and data mining technology,basing on the national digital precursor network,we explore a set of mining processing system which is composed of data analysis model,software and hardware equipment,database,network communications.we mining and process these massive data and obtain the information of the precursor observation event record.This work parallel to the network observation data output flow and form the normalized output flow of precursor observation event record.Also,this work can lay a foundation for the construction of intelligent earthquake precursor monitoring and enhance the processing ability of digital network information.
The application of large data mining techniques in Earthquake Precursory Network Observation Data Tracking Analysis
Li Zhengyuan1),Xiong Daohui2),Liu Gaochuan1),Liu Chunguo1),Liang Yiqiang2)and Ye Qing1)
1) China Earthquake Networks Center,Beijing 100045,China
2) China Earthquake Administration,Beijing 100036,China
observation data tracking analysis,precursory observation event record,big data analysis,data mining
10.3969/j.issn.1003-3246.2016.03.001
李正媛(1959-12—),女,研究員,中國地震臺網(wǎng)中心前兆臺網(wǎng)部負責人,長期從事地震地殼形變研究、前兆臺網(wǎng)技術(shù)管理等工作