王軍 黃經(jīng)國 余丹 紀(jì)壽文 王方建
摘要:面對日益增長的地球物理觀測數(shù)據(jù),傳統(tǒng)的Oracle數(shù)據(jù)庫已經(jīng)力不從心。根據(jù)地球物理歷史數(shù)據(jù)可大量被讀取的使用特點,通過技術(shù)選型,以具備橫向擴展能力的分布式OLAP數(shù)據(jù)庫ClickHouse作為數(shù)據(jù)底座,重新設(shè)計適用于ClickHouse的地球物理觀測數(shù)據(jù)表結(jié)構(gòu)。經(jīng)過全庫遷移、增量遷移和數(shù)據(jù)對比,國家地球物理臺網(wǎng)中心的Oracle數(shù)據(jù)庫中約13 TB的數(shù)據(jù)已經(jīng)遷移到ClickHouse并每日更新。實際測試表明:ClickHouse顯著提升數(shù)據(jù)讀寫性能,增強了數(shù)據(jù)統(tǒng)計查詢能力,并且通過多副本保證了數(shù)據(jù)庫的一致性和安全性。
關(guān)鍵詞:ClickHouse;大數(shù)據(jù);地球物理臺網(wǎng);觀測數(shù)據(jù)
中圖分類號:P315-391.2?? 文獻標(biāo)識碼:A?? 文章編號:1000-0666(2023)01-0308-07
doi:10.20015/j.cnki.ISSN1000-0666.2023.0019
0 引言
2007年我國建成“十五”數(shù)字地震觀測網(wǎng)絡(luò),中國地震臺網(wǎng)中心是該網(wǎng)絡(luò)的數(shù)據(jù)匯集與存儲中心,匯集了地下流體、地電、形變、重力、地磁5個學(xué)科的全國地球物理觀測數(shù)據(jù)。這些數(shù)據(jù)都存儲在按“十五”數(shù)據(jù)庫結(jié)構(gòu)設(shè)計的Oracle10g數(shù)據(jù)庫中(周克昌等,2009)。隨著觀測儀器的增多和高采樣率儀器的入網(wǎng),目前存儲的數(shù)據(jù)已占用13 TB磁盤空間,如此龐大的數(shù)據(jù)庫逐漸顯現(xiàn)數(shù)據(jù)訪問速度較慢、使用不方便等問題,給數(shù)據(jù)的分析應(yīng)用帶來挑戰(zhàn)。一些研究表明,通過使用OCI接口(王軍等,2008,2016)、CLOB字段壓縮、并行化讀取等技術(shù)手段進行優(yōu)化(王建軍等,2019;劉堅等,2019;李井岡等,2008;陳曉琳等,2020),可以在一定程度上提升數(shù)據(jù)庫的讀寫速度。但受限于Oracle的單節(jié)點I/O瓶頸(盡管Oracle有RAC,但存儲仍是共享的)(谷長勇等,2011),這些優(yōu)化手段的效果隨著數(shù)據(jù)量的增長會逐漸減弱,沒有從根本上解決性能問題。
ClickHouse是一個開源、免費的聯(lián)機分析處理(On-Line Analytical Processing,簡稱OLAP)數(shù)據(jù)庫,相對于傳統(tǒng)的聯(lián)機事務(wù)處理(On-Line Transaction Processing,簡稱OLTP)數(shù)據(jù)庫,如Oracle和MySQL,ClickHonse具有按列存儲、使用預(yù)計算加速聚合函數(shù)查詢、自帶數(shù)據(jù)壓縮、向量化引擎、可以在多個服務(wù)器上分布式處理等優(yōu)點(朱凱,2020);同時,也比行式數(shù)據(jù)庫具有更高的性能(Wickramasekara et al,2020;Dwivedi et al,2012)。此外,ClickHouse還具備橫向擴展能力,可以通過向集群增加新的節(jié)點來提升數(shù)據(jù)處理能力。ClickHouse的缺點是不支持事務(wù)、不支持嚴(yán)格意義上的數(shù)據(jù)刪除和更新,但在實際應(yīng)用中影響不大或者可以采用一些技術(shù)手段加以克服。ClickHouse集群支持?jǐn)?shù)據(jù)自動復(fù)制,支持?jǐn)?shù)據(jù)的完整性和最終一致性;集群中的節(jié)點沒有主從之分,不會因為主服務(wù)器故障導(dǎo)致服務(wù)不可用。相對于Tdengine和IOTDB等分布式時序數(shù)據(jù)庫(王煥濤等,2021),ClickHouse的數(shù)據(jù)類型更豐富,對SQL(結(jié)構(gòu)化查詢語言,Structured Query Language)語句的支持更廣泛,系統(tǒng)也更成熟和穩(wěn)定(李亞臣,2021)。經(jīng)過選型對比,本文使用ClickHouse作為分析數(shù)據(jù)庫進行設(shè)計,并將原始數(shù)據(jù)和預(yù)處理數(shù)據(jù)向ClickHouse進行遷移,最后對Oracle數(shù)據(jù)庫和ClickHouse數(shù)據(jù)庫進行對比研究。
1 數(shù)據(jù)庫設(shè)計
1.1 基礎(chǔ)信息
原Oracle數(shù)據(jù)庫中保存著國家地球物理臺網(wǎng)的基礎(chǔ)信息,比如臺站、井泉、洞體、觀測室等,這些信息的完整性要求較高,而且含有多達上百兆字節(jié)的BLOB(Binary Large Object,二進制大對象)字段,如臺站建設(shè)報告,仍然需要存儲在關(guān)系數(shù)據(jù)庫中??紤]到ClickHouse自帶訪問MySQL數(shù)據(jù)庫的引擎,可以實現(xiàn)ClickHouse和MySQL的表的跨庫連接,所以把基礎(chǔ)信息遷移到MySQL中,表結(jié)構(gòu)仍然保持不變。
1.2“十五”觀測數(shù)據(jù)表結(jié)構(gòu)
“十五”O(jiān)racle數(shù)據(jù)庫中,觀測數(shù)據(jù)按測項、數(shù)據(jù)類型、采樣率進行分表設(shè)計存儲,表結(jié)構(gòu)類似。以水位數(shù)據(jù)為例,原始數(shù)據(jù)分鐘采樣表名為QZ_411_DYS_01,其中“411”是水位的測項代碼,“DYS”為原始數(shù)據(jù),“01”為采樣率,結(jié)構(gòu)設(shè)計見表1。存儲時序觀測數(shù)據(jù)的字段是obsvalue,類型是CLOB(Character Large Object,字符大對象),內(nèi)容是空格分隔的以ASCII碼表示的字符串?dāng)?shù)據(jù)。
1.3 ClickHouse的特性與表結(jié)構(gòu)設(shè)計
(1)本地表和分布式表
ClickHouse本地表是存儲在本地磁盤上的,對它的操作只影響本節(jié)點上的數(shù)據(jù)。分布式表可以理解為集群所有分片上的本地表的合并視圖,對分布式表的操作會根據(jù)分片規(guī)則映射到相應(yīng)的分片節(jié)點上。分片規(guī)則必須是以數(shù)值類型定義,實際應(yīng)用中使用數(shù)據(jù)的年份進行分片,即將相同年的數(shù)據(jù)放置在同一分片上。
(2)日期類型
ClickHouse的日期字段是DateTime類型,與標(biāo)準(zhǔn)的Unix時間戳一樣,不能表示1970年1月1日以前的日期。據(jù)了解,Tdengine、IOTDB等數(shù)據(jù)庫也不支持。由于Oracle中有1970年前的數(shù)據(jù),所以實際使用64位的整型數(shù)來存儲時間戳,含義與Unix時間戳一致,代表1970年1月1日0時以來的毫秒數(shù)(負(fù)數(shù)為1970年前),與Java語言中Date類型的getTime方法得到的時間戳相同。
(3)主鍵
ClickHouse的主鍵與傳統(tǒng)意義上的主鍵概念不同,它的主鍵主要用來建立索引查找數(shù)據(jù)更快,但是不具備唯一性約束,即相同主鍵的數(shù)據(jù)可以插入到同張表中。
(4)表引擎
ClickHouse最廣泛使用的表引擎是MergeTree家族,它有很多分支。比如ReplicatedMergeTree是指集群中的表,它可以自動在副本之間同步數(shù)據(jù)。ClickHouse不具備真正的更新和刪除功能,它的刪除和更新需通過后臺的合并來間接實現(xiàn),合并的時間不可預(yù)知。而在實際應(yīng)用中,原始和預(yù)處理數(shù)據(jù)都有少量的更新需求,使用ReplacingMergeTree引擎引入一個版本列可以保證最終數(shù)據(jù)表里相同主鍵的數(shù)據(jù)只保留1條。考慮到多副本的數(shù)據(jù)安全性,最終所有的本地表都用ReplicatedReplacingMergeTree表引擎來建立。
為保持與原Oracle數(shù)據(jù)庫設(shè)計的兼容,Oracle數(shù)據(jù)表中所有字段都保留,obsvalue字段則被拆分為時序數(shù)據(jù)格式單獨建表存放。為利用ClickHouse的高速查詢優(yōu)勢,將Oracle數(shù)據(jù)庫中所有原始和預(yù)處理記錄合并到一張表中,但不包含obsvalue字段。ClickHouse數(shù)據(jù)記錄表結(jié)構(gòu)見表2,分布式表與本地表字段相同。
(5)時序數(shù)據(jù)表
原Oracle中的obsvalue字段存儲的是以空格分隔的字符串?dāng)?shù)據(jù)塊。在ClickHouse中,該字段需要拆分成單個的數(shù)據(jù)按對應(yīng)的時間戳,并以每行一個數(shù)據(jù)方式存儲。為提高存儲和查詢效率,時序數(shù)據(jù)按測點、數(shù)據(jù)類型(原始、預(yù)處理或產(chǎn)品)和采樣率建表。為了保證數(shù)據(jù)遷移后的精度,時序數(shù)據(jù)用Decimal類型保存。以中國地震局地質(zhì)研究所白浮臺(代碼03002)測點3氣象三要素觀測儀原始分鐘采樣數(shù)據(jù)為例,本地表名為DYS_01_03002_3,分布式表名為DYS_01_03002_3_ALL。本地表結(jié)構(gòu)見表3,分布式表字段與本地表相同。
(6)產(chǎn)品數(shù)據(jù)表
產(chǎn)品數(shù)據(jù)表包括均值類產(chǎn)品數(shù)據(jù)和學(xué)科專業(yè)產(chǎn)品數(shù)據(jù)。均值類產(chǎn)品數(shù)據(jù)主要由預(yù)處理軟件產(chǎn)生,在Oracle中的表結(jié)構(gòu)比原始和預(yù)處理表僅缺少processingflag字段,所以均值產(chǎn)品數(shù)據(jù)在ClickHouse中可與原始和預(yù)處理數(shù)據(jù)一樣,將均值產(chǎn)品的觀測數(shù)據(jù)序列拆分到時序表(表3),將記錄中其它信息存放在數(shù)據(jù)記錄表(表2)中,用數(shù)據(jù)類型字段對均值產(chǎn)品類型進行區(qū)分。學(xué)科專業(yè)產(chǎn)品數(shù)據(jù)在Oralce中的表結(jié)構(gòu)與原始或預(yù)處理數(shù)據(jù)差異很大,需要根據(jù)各自特點分別設(shè)計,此處不再贅述。
(7)日志表
日志表包括儀器運行日志表和觀測日志表,這兩類表在Oracle中的表結(jié)構(gòu)按測項進行分表。因為日志表每行數(shù)據(jù)量較小,而且不含有LOB字段,所以在ClickHouse中可以將各測項合并到1張表。儀器運行日志表結(jié)構(gòu)見表4,觀測日志表結(jié)構(gòu)見表5。
2 歷史數(shù)據(jù)遷移
考慮到Oracle中最常用的是原始數(shù)據(jù)和預(yù)處理數(shù)據(jù),而且表結(jié)構(gòu)基本相同,所以先將原始和預(yù)處理數(shù)據(jù)遷移到ClickHouse數(shù)據(jù)庫。
2.1 數(shù)據(jù)目錄
在進行數(shù)據(jù)遷移之前,需要掌握Oracle中的數(shù)據(jù)量、數(shù)據(jù)分布等。由于Oracle中的表按照數(shù)據(jù)類型、測項代碼、采樣率進行分表,所以通過編寫PL/SQL過程來掃描數(shù)據(jù)庫中所有儀器的數(shù)據(jù)目錄并保存到Oracle中,數(shù)據(jù)目錄表結(jié)構(gòu)見表6。掃描過程為:①讀取數(shù)據(jù)庫中所有的原始和預(yù)處理數(shù)據(jù)表名。②對每張原始或預(yù)處理表,按照臺站代碼、測點編碼、測項分量代碼進行分組,查詢每個測項分量的數(shù)據(jù)起止時間、行數(shù)、字節(jié)數(shù)、時間戳最大值,將這些信息保存到數(shù)據(jù)目錄表。
2.2 數(shù)據(jù)遷移
數(shù)據(jù)遷移分為兩個階段:第一階段一次性遷移全量數(shù)據(jù);第二階段每天遷移增量數(shù)據(jù)。遷移的基本單位是ClickHouse中的時序數(shù)據(jù)表,即某測點的某采樣率的原始或預(yù)處理數(shù)據(jù),采用多線程方式并行提高遷移速度。
由于“九五”向“十五”并網(wǎng)等歷史原因,Oracle數(shù)據(jù)庫中的部分?jǐn)?shù)據(jù)時間戳字段為0,所以要進行一次全表數(shù)據(jù)遷移,完成全量數(shù)據(jù)遷移后,再針對每天Oracle增加的數(shù)據(jù)定時進行復(fù)制。全量數(shù)據(jù)遷移和增量數(shù)據(jù)遷移的流程相似,主要區(qū)別在于是否對數(shù)據(jù)按時間戳進行篩選。增量數(shù)據(jù)遷移的流程見圖1。
2.3 數(shù)據(jù)對比
為保證數(shù)據(jù)遷移的準(zhǔn)確性,筆者編寫程序?qū)racle與ClickHouse的數(shù)據(jù)進行對比。如果有錯誤就將信息輸出到日志文件,排查原因后重新遷移。分析得出,除程序自身的BUG外,大多為數(shù)據(jù)格式或數(shù)據(jù)精度造成的錯誤。
3 應(yīng)用效果
本次共遷移Oracle中265張表共5 355個測點的原始和預(yù)處理數(shù)據(jù),并從以下幾個方面將OLTP數(shù)據(jù)庫和ClickHouse數(shù)據(jù)庫進行對比。
3.1 磁盤占用
遷移前Oracle占用約13 TB磁盤空間,遷移后ClickHouse單個副本占用約4 TB節(jié)的三分之二空間。原因是Oracle數(shù)據(jù)庫同一觀測對象的時序數(shù)據(jù)重復(fù)部分較多,而ClickHouse是按列存儲并自帶數(shù)據(jù)壓縮。
3.2 服務(wù)器配置
ClickHouse是分布式分析數(shù)據(jù)庫,根據(jù)實際資源和數(shù)據(jù)安全需求,在中國地震臺網(wǎng)中心使用4臺服務(wù)器來部署ClickHouse,即2個分片2個副本的節(jié)點模式,節(jié)點服務(wù)器配置見表7。Oracle服務(wù)器為單節(jié)點。為減少網(wǎng)絡(luò)傳輸開銷,測試程序在服務(wù)器上運行,服務(wù)器配置與ClickHouse節(jié)點相同。
3.3 時序數(shù)據(jù)讀取
以地磁、形變、流體3個學(xué)科的各1套儀器對Oracle和ClickHouse時序數(shù)據(jù)讀取進行對比,結(jié)果見表8。由表8可知,ClickHouse讀取速度為Ovalle的5~6倍;對于相同的查詢?nèi)蝿?wù),ClickHouse的CPU占用率較Oracle稍高,IO等待率較Oracle低,內(nèi)存占用兩者相當(dāng)??梢姡瑪?shù)據(jù)量越大,ClickHouse的性能優(yōu)勢越明顯。
3.4 表的連接
ClickHouse支持表連接查詢,并提供ALL、ANY、ASOF 3種連接策略??紤]這樣的需求,查詢所有儀器的測項分量名稱、儀器名稱、臺站名稱和機構(gòu)名稱。該查詢需要連接臺站信息表、機構(gòu)信息表、儀器信息表、臺站儀器運行信息表、臺站測項分量信息表、測項分量信息表。該查詢Oracle用時約350 ms,ClickHouse用時約280 ms。此外,對表連接查詢性能要求較高的場合,ClickHouse可以使用Join和Dictionary表引擎將數(shù)據(jù)常駐內(nèi)存來加速查詢。
3.5 其它查詢
有些查詢需求,如查詢天津市2021年的數(shù)據(jù)條數(shù),在Oracle中需要遍歷所有測項相關(guān)的數(shù)據(jù)表,而在ClickHouse中僅需要一條SQL語句就可以完成;如查詢某時間段的數(shù)據(jù)均值,ClickHouse采用預(yù)計算技術(shù)因而可以毫秒級返回結(jié)果,而Oracle由于數(shù)據(jù)存儲在CLOB,無法完成此類查詢。
3.6 數(shù)據(jù)的更新問題
對Oracle這樣的OLTP系統(tǒng),事務(wù)完成就標(biāo)志著數(shù)據(jù)達到一致性狀態(tài)。而ClickHouse是后臺合并實現(xiàn)更新,合并時間不可預(yù)知。在合并完成前讀取數(shù)據(jù)有可能出現(xiàn)同一主鍵對應(yīng)多條記錄的情況,對此有兩種處理方式:①表名后使用final關(guān)鍵字表示要讀取最終一致的狀態(tài),即合并后的狀態(tài),但這會帶來較大的時間開銷。②應(yīng)用程序讀取時序數(shù)據(jù)時按數(shù)據(jù)時間戳和插入時間這兩列進行排序,將數(shù)據(jù)按時間戳對齊放到內(nèi)存時,如果存在同一主鍵多條記錄的情況,程序會使用最新的數(shù)據(jù)覆蓋掉之前的數(shù)據(jù),從而保證內(nèi)存的數(shù)據(jù)是最新的。從實際讀取測試的效果來看,與不加排序相比,這種方式帶來的時間開銷可以忽略。使用final關(guān)鍵字的開銷較大,大數(shù)據(jù)量時更為顯著,讀取時序數(shù)據(jù)時推薦使用第二種方法來解決最新數(shù)據(jù)問題。
3.7 數(shù)據(jù)的刪除問題
ClickHouse沒有事務(wù)的概念,不支持真正意義上的刪除,其刪除操作也是通過后臺合并實現(xiàn),這個過程是異步的。在業(yè)務(wù)場景中,預(yù)處理軟件刪除數(shù)據(jù)時可以通過將數(shù)據(jù)置空的方式,將刪除操作轉(zhuǎn)化為更新操作,由Replacing表引擎實現(xiàn)版本更新。極少數(shù)場景下,如果確實需要刪除數(shù)據(jù),可以手動觸發(fā)強制合并數(shù)據(jù)涉及的分區(qū),總體延時比OLTP系統(tǒng)高,但在可接受的范圍內(nèi)。
3.8 實時數(shù)據(jù)支持
近年來對地球物理實時數(shù)據(jù)的應(yīng)用需求逐漸增加,而現(xiàn)有Oracle原始數(shù)據(jù)表每行只能按塊存儲1 d的數(shù)據(jù),不能支持實時數(shù)據(jù)的持久化。在ClickHouse中可以將所有儀器的實時數(shù)據(jù)按行存儲到一張表,充分發(fā)揮ClickHouse每秒百萬行的讀寫速度優(yōu)勢。還可以設(shè)置TTL(time to live)自動刪除過期實時數(shù)據(jù)。
此外,遷移后的ClickHouse集群經(jīng)歷過一次磁盤故障的考驗,體現(xiàn)出良好的健壯性。
4 結(jié)論
本文使用ClickHouse作為國家地球物理臺網(wǎng)中心的應(yīng)用數(shù)據(jù)庫,按照地球物理臺網(wǎng)數(shù)據(jù)的使用特點,重新設(shè)計適合于ClickHouse的數(shù)據(jù)表結(jié)構(gòu),并將Oracle數(shù)據(jù)庫的265張表(5 355個測點)的原始和預(yù)處理數(shù)據(jù)遷移到ClickHouse,主要得出以下結(jié)論:
(1)數(shù)據(jù)遷移后,大數(shù)據(jù)量場景下時序數(shù)據(jù)讀取速度提升約5~10倍,占用磁盤空間僅為Oracle的三分之一,同時通過多副本增強了系統(tǒng)的高可用性和數(shù)據(jù)安全性。
(2)ClickHouse支持常用的表連接策略,連接性能與Oracle相當(dāng),并且支持與MySQL數(shù)據(jù)庫的跨庫連接。
(3)ClickHouse的數(shù)據(jù)更新問題可以使用Replacing表引擎以及數(shù)據(jù)讀取時在應(yīng)用端對齊的方法解決。
由于時序數(shù)據(jù)的存儲結(jié)構(gòu)發(fā)生較大變化,地球物理數(shù)據(jù)處理和分析軟件也需要做出相應(yīng)修改,ClickHouse的應(yīng)用還有很多工作要完成。ClickHouse可以跟其他大數(shù)據(jù)組件如Kafka、Pulsar等消息中間件,以及Spark、Flink等計算框架緊密集成,未來可以建設(shè)大數(shù)據(jù)架構(gòu)下的流批一體化地球物理數(shù)據(jù)處理平臺。
參考文獻:
陳曉琳,李盛樂,劉堅,等.2020.分布式數(shù)據(jù)庫Greenplum在地震前兆數(shù)據(jù)存儲中的應(yīng)用[J].地震研究,43(2):412-416.
谷長勇,吳逸云,單永紅,等.2011.Oracle 11g權(quán)威指南(2版)[M].北京:電子工業(yè)出版社.
李井岡,姚運生,李勝樂,等.2008.基于Oracle 的地震前兆數(shù)據(jù)庫表結(jié)構(gòu)對比[J].計算機工程與設(shè)計,29(1):243-245.
李亞臣.2021.基于ClickHouse的用戶事件分析系統(tǒng)的設(shè)計與實現(xiàn)[J].信息與電腦:33(9):4.
劉堅,李勝樂,王子影.2009.基于LZMA的數(shù)據(jù)庫壓縮存儲應(yīng)用研究[J].大地測量與地球動力學(xué),29(6):144-147.
王煥濤,周念,陳俊彥.2021.基于時序數(shù)據(jù)庫的氫能源動力監(jiān)測系統(tǒng)的設(shè)計[J].電子技術(shù)與軟件工程,(16):2.
王建軍,趙銀剛,劉高川.2019.地震前兆Oracle LOB數(shù)據(jù)壓縮與交換及其訪問效率研究[J].地震研究,42(3):447-453.
王軍,方召盟,何案華,等.2016.電擾動儀數(shù)據(jù)處理軟件的設(shè)計和實現(xiàn)[J].震災(zāi)防御技術(shù),11(3):667-673.
王軍,趙剛,何案華,等.2008.通過C++類封裝Oracle調(diào)用接口實現(xiàn)地?zé)釘?shù)據(jù)庫的快速建庫與訪問[J].地震研究,31(3):293-297.
周克昌,蔣春花,紀(jì)壽文,等.2010.地震前兆數(shù)據(jù)庫系統(tǒng)設(shè)計[J].地震,30(2):143-151.
朱凱.2020.ClickHouse原理解析與應(yīng)用實踐[M].北京:機械工業(yè)出版社.
Dwivedi A K,Lamba C S,Shukla S.2012.Performance analysis of column oriented database vs row oriented database[J].International Journal of Computer Applications,50(14):31-34.
Wickramasekara A,Liyanage P P,Kumarasinghe U.2020.A comparative study between the capabilities of MySQL and ClickHouse in low-performance Linux environment[C]//University of Colombo School of Computing.Conference Proceedings of the 20th International Conference on Advances in ICT for Emerging Regions(ICTer)-2020.Sri Lanka.
Application of the Analytical Database ClickHouse in the NationalGeophysical Observatory Network Center
WANG Jun,HUANG Jingguo,YU Dan,JI Shouwen,WANG Fangjian
(China Earthquake Networks Center,Beijing 100045,China)
Abstract
Traditional Oracle database has been unable to cope with the rapidly-growing seismic geophysical observation data.To meet the need of mass data processing of the historical geophysical data from the National Geophysical Observatory Network Center,through technology selection,the distributed OLAP database ClickHouse with horizontal expansion capability is used to redesign the structure of the data table which is suitable for ClickHouse.By full database migration,incremental migration,and data comparison,about 13 TB data in the Oracle database have been migrated to the ClickHouse database and have been keeping daily updating.Tests show that in ClickHouse,the performance of data reading and writing is significantly improved,the capability of data query is enhanced,and the consistency and security of the database is guaranteed through multiple copies.
Keywords:ClickHouse;big data;geophysical networks;observation data
JOURNAL OF SEISMOLOGICAL RESEARCH
Vol.46? No.2? Series No.206?? April,2023
CONTENTS
Discussion on the Importance of the Features for the Judgement of Earthquake Sequence Types Applicable to Machine LearningJIANG Haikun,WANG Jinhong(172)
Research Progress in Field of Earthquake Prediction by Machine Learning Based on Seismic DataWANG Jinhong,JIANG Haikun(187)
Analysis of the Present-day Activity of the Qingchuan Fault and Its VicinityWU Weiwei,LIANG Mingjian,LONG Feng,SU Jinrong,CHEN Xuefen(203)
Comparative Analysis of the Activity Characteristics and the Aftershock Forecasting Efficiency of Two Earthquake Sequencesin LushanBI Jinmeng,SONG Cheng,MA Yong(215)
Determination of Three Parameters of the 2021 Maduo MW7.4 Earthquake Using High-rate BDS/GPSZHANG Huai,NIE Zhaosheng,LIU Gang,XIONG Wei,NI Yipeng,HUANG Jun(225)
Retrospective Study on the Forecast of the 2021 Maduo MS7.4 Earthquake by PI MethodSONG Cheng,ZHANG Yongxian,ZHOU Shaohui,BI Jinmeng,XU Xiaoyuan(236)
Analysis of Soil Hydrogen Anomaly in the Huoshan Seismic Window AreaFANG Zhen,HUANG Xianliang,TAO Yuechao,LI Shenliang, ?TAO Fangyu,YANG Yuanyuan,ZHU Houlin,LU Dongliang(244)
Characteristics of 3D Velocity Structure in the Arcuate Tectonic Belt of Southeastern YunnanCAO Ying,F(xiàn)U Hong,QIAN Jiawei(260)
The Holocene Activity Evidence of Paleo-earthquakes in the Northwestern Segment of the Deqin-Zhongdian FaultCHANG Yuqiao,LI Xi,ZHOU Qingyun,BAI Xianfu,RAN Hua,LUO Weidong(270)
Seismic Resilience Analysis of Water Distribution Networks with Multi-components and Resilience Improvement StrategiesLIU Wei,WU Qianxiang(279)
Seismic Resilience Evaluation of the Traffic System Based on the Dynamic Bayesian NetworkCHEN Yiqin,HUANG Shuping(290)
Study on Intensity Parameters of the Monopole Communication Tower Subjected to the Pulse-like Ground MotionLI Bo,LI Xiaofei,WANG Zhijiang(299)
Landslide Recognition After the 2021 Haiti MS7.2 Earthquake Based on the Improved YOLOv4 AlgorithmFU Rao,HE Jing,LIU Gang(307)
Application of the Analytical Database ClickHouse in the National Geophysical Observatory Network CenterWANG Jun,HUANG Jingguo,YU Dan,JI Shouwen,WANG Fangjian(314)
收稿日期:2022-02-15.
基金項目:公共安全信息化工程(中國地震局建設(shè)項目)(12151013401).
第一作者簡介:王 軍(1979-),高級工程師,主要從事地震監(jiān)測數(shù)據(jù)管理與軟件開發(fā).E-mail:wangjun825@163.com.
王軍,黃經(jīng)國,余丹,等.2023.分析數(shù)據(jù)庫ClickHouse在國家地球物理臺網(wǎng)中心的應(yīng)用[J].地震研究,46(1):308-314,doi:10.20015/j.cnki.ISSN1000-0666.2023.0019.