常 娟
(黑龍江省地質(zhì)調(diào)查研究總院,黑龍江 哈爾濱 150036)
隨著技術(shù)的發(fā)展,地質(zhì)勘查工作趨向智能化、信息化。GPS、RS的運用,大大提升地質(zhì)數(shù)據(jù)的精準性。隨著時間的推移,地質(zhì)數(shù)據(jù)的數(shù)量不斷增加,表現(xiàn)形式多樣化,在此背景下,傳統(tǒng)的技術(shù)手段已經(jīng)不符合現(xiàn)在對地質(zhì)數(shù)據(jù)的要求,地質(zhì)行業(yè)已經(jīng)邁向“大數(shù)據(jù)”時代。
(1)多樣性。地質(zhì)大數(shù)據(jù)有多樣性的特點,不但有地球物理這種大數(shù)據(jù),還有同為素年代學這種數(shù)量少的信息,都有所蘊含,并且呈現(xiàn)的方式也呈多樣性,如通過聲音、圖片、視頻或者原始信號等。利用地質(zhì)大數(shù)據(jù),可以實現(xiàn)自動分析數(shù)據(jù)信息,并進行總結(jié)和統(tǒng)計,進而讓人們更加清晰的認識到數(shù)據(jù)之間的聯(lián)系,最終起到幫助技術(shù)人員總結(jié)和探究重要信息的目的。
(2)快速性。大數(shù)據(jù)在地質(zhì)中的運用,研究人員可以通過信息技術(shù),對產(chǎn)生的數(shù)據(jù)進行搜索和處理等,進而提升工作效率,增加了數(shù)據(jù)分析的準確率[1]。并且,地質(zhì)數(shù)據(jù)中和,有很多需要快速反應(yīng)的數(shù)據(jù),如地震信息,需要快速分析和預測等,地質(zhì)大數(shù)據(jù)可以對地震反射和折射等重要參數(shù)進行快速分析,在地震前發(fā)布預警。這種快速性的特點,可以減少地質(zhì)災害為人們帶來的人身和財產(chǎn)損失。
(3)可靠性?,F(xiàn)在全球都面臨著地質(zhì)環(huán)境變化,如地質(zhì)災害、水土流失等,產(chǎn)生上述災害的原因有很多,如資源、生態(tài)等,如果只通過理論敘述,不能令人信服。地質(zhì)大數(shù)據(jù)是多個角度得出的,有復雜性和精準性等特點,這種形式更加依賴新科技,摒棄傳統(tǒng)因果管理,利用科學的數(shù)據(jù)進行分析和探究,進而挖掘出有價值的信息,有可靠的特點。
(4)因果性與非因果性。傳統(tǒng)對地質(zhì)環(huán)境的勘查和測量,產(chǎn)生的信息不準確,并且受技術(shù)的影響,信息的處理方面也不完善。一般情況下,人們使用抽查的方法進行分析和判斷,利用數(shù)學中概率判斷事件可行性,此類較傳統(tǒng)的因果關(guān)系推理方法,雖然有一定理論基礎(chǔ),但是受數(shù)據(jù)缺少的限制,計算的結(jié)果可能和實際不符,真實性不強。通過地質(zhì)大數(shù)據(jù)的運用,提供的信息更加完善,數(shù)據(jù)多且準確,對其處理能力也有了很大的進步,更加全面和科學等,準確的還原事件本身。
(1)儲存管理技術(shù)。結(jié)合地質(zhì)大數(shù)據(jù)的特點,因其有數(shù)據(jù)多樣化等特點,并且各個數(shù)據(jù)間關(guān)系復雜,包含表格表單數(shù)據(jù)、關(guān)系數(shù)據(jù)庫中的統(tǒng)計數(shù)據(jù)、文本數(shù)據(jù)、影像數(shù)據(jù)和矢量數(shù)據(jù)等。眾多的數(shù)據(jù),讓傳統(tǒng)數(shù)據(jù)處理、儲存和查詢方法不能再滿足工作要求,需要對其進行統(tǒng)一的管理和處理,完成多源異構(gòu)數(shù)據(jù)的合成,是處理地質(zhì)大數(shù)據(jù)信息化的主要基礎(chǔ)。因為地質(zhì)大數(shù)據(jù)有數(shù)量龐大和種類繁多的特點,進行相關(guān)工作時會涉及到各種維度的數(shù)據(jù)綜合處理,結(jié)合我國相關(guān)要求,明確各種數(shù)據(jù)之間的內(nèi)部聯(lián)系,進行統(tǒng)一的管理,結(jié)合粒度的層次,對數(shù)據(jù)庫進行多元化部署。在以往工作基礎(chǔ)上,完善并優(yōu)化數(shù)據(jù)更新手段,保證可以對統(tǒng)一數(shù)據(jù)中不同時態(tài)的數(shù)據(jù)進行保存,進而支撐數(shù)據(jù)的時態(tài)對比和歷史數(shù)據(jù)演變等。
儲存管理技術(shù)的使用,將地質(zhì)大數(shù)據(jù)查詢檢索分為四種:文件名查詢;內(nèi)容查詢;大致范圍查詢;分辨率查詢。并且都構(gòu)建在地質(zhì)大數(shù)據(jù)云儲存基礎(chǔ)上,可以快速找出所需的文件?,F(xiàn)在我國數(shù)據(jù)庫領(lǐng)域中,比較常用的是關(guān)系模型,此模型背景下研發(fā)出的產(chǎn)品較多,如SQL Server、DB2等等。大數(shù)據(jù)背景下,以Google中GFS、Hadoop中的HDFS為主,兩者都使用分布式儲存的方法進行數(shù)據(jù)的存儲,這兩類產(chǎn)品和以往的關(guān)系數(shù)據(jù)庫不同,比較適用于非結(jié)構(gòu)化數(shù)據(jù)存儲方式。
(2)數(shù)據(jù)挖掘技術(shù)。數(shù)據(jù)庫知識發(fā)現(xiàn),是在眾多數(shù)據(jù)集中,有效識別出來的具有新穎、有效和最終可被理解的過程,此處的數(shù)據(jù)挖掘,是數(shù)據(jù)庫知識發(fā)現(xiàn)中,數(shù)據(jù)收集和分析的過程,在有效計算范圍內(nèi),并在數(shù)據(jù)上呈現(xiàn)的一種特殊例舉形式。從數(shù)據(jù)的數(shù)量上分析,處理和挖掘的數(shù)量,可達到TB甚至是PB等級的數(shù)據(jù),并且有高維數(shù)據(jù)和各種動態(tài)數(shù)據(jù)等,因此需要挑選適合的算法和策略等完成任務(wù)。除此之外,數(shù)據(jù)的算法設(shè)計和相關(guān)參數(shù)的調(diào)整都是影響最終結(jié)果的因素,所以,數(shù)據(jù)挖掘技術(shù)運用的過程中,有很多不確定性因素,其工作的最終目的是將這些不確定因素帶來的影響降到最低。經(jīng)過實驗分析,此類不確定因素包括數(shù)據(jù)的采集和處理中的不確定性、數(shù)據(jù)挖掘任務(wù)具體內(nèi)容不確定性、數(shù)據(jù)挖掘方法和最后效果的不確定性等等,直接影響到最終結(jié)果[2]。
基于此,很多發(fā)達國家經(jīng)過長期的研究和創(chuàng)新,將并行計算、SOA等技術(shù)和地質(zhì)信息調(diào)查的建設(shè)中,創(chuàng)建一站式服務(wù)模式,使用在線編圖等系統(tǒng)。我國雖然在此方面技術(shù)比較落后,但是經(jīng)過對國外的借鑒和眾多科研團隊的研究,對地學數(shù)據(jù)的集成和共享也進行深入的調(diào)研,并取得一定成效。提升我國地質(zhì)大數(shù)據(jù)中對空間信息的查詢和獲取,至今為止,對全球八萬余次地震,進行數(shù)據(jù)挖掘,發(fā)現(xiàn)地震活躍帶和板塊邊緣相符,可知使用挖掘技術(shù)得出的數(shù)據(jù)和經(jīng)驗判斷基本符合[3]。
(3)可視化技術(shù)。地質(zhì)大數(shù)據(jù)運用的過程中,可視化是一個重要的手段,通過視頻等可以觀看的方法,為地質(zhì)大數(shù)據(jù)提供更全面展示。使用可視化思維,研究人員利用數(shù)據(jù)中的內(nèi)在關(guān)系,提出新的問題,進而產(chǎn)生新的觀念,將其融合,得出創(chuàng)新性的答案和方法。大數(shù)據(jù)的使用可以簡化模型的設(shè)計,利用大量的數(shù)據(jù),為構(gòu)建數(shù)據(jù)模型提供條件,甚者可以實現(xiàn)各個空間整體構(gòu)建的靜、動態(tài)模型。通過可視化將地質(zhì)現(xiàn)象和地質(zhì)環(huán)境更加直觀的向大眾展示。對于研究人員進行數(shù)據(jù)計算、評價決策和地質(zhì)現(xiàn)象分析等工作更加便捷,對于普通的而員工,便于復雜知識的學習?;诖髷?shù)據(jù)的特殊性,使用可視化技術(shù)的優(yōu)點為:實現(xiàn)圖像、影像的儲存和檢索;實現(xiàn)快速建模;地質(zhì)大數(shù)據(jù)的快速更新等?,F(xiàn)在功能比較優(yōu)良的三維地質(zhì)建模軟件,可以完成數(shù)據(jù)的建模、整合和分析等功能。如外國的GOCAD技術(shù);國內(nèi)的GeoMo3D技術(shù)等,這些建模方法雖然是靜態(tài)交互,但是在大數(shù)據(jù)背景下,其技術(shù)面向交互性和智能化發(fā)展。
綜上所述,地質(zhì)大數(shù)據(jù)如果可以科學的分析和運用,對城市建設(shè)、地質(zhì)災害預測和礦產(chǎn)資源勘測等方面有很大的作用。大數(shù)據(jù)背景下,研究人員要打破傳統(tǒng)思維,創(chuàng)新思想,通過可視化技術(shù)、數(shù)據(jù)挖掘技術(shù)等,令其真正為人們服務(wù),發(fā)揮地質(zhì)大數(shù)據(jù)的真正作用。