孔潔+劉楊

摘要：隨著計算機技術的發(fā)展，越來越要求數(shù)據(jù)庫能夠快速響應并存儲海量數(shù)據(jù)，同時能夠高效收集、壓縮、存儲、分析數(shù)據(jù)。傳統(tǒng)的關系型數(shù)據(jù)庫不再能夠滿足要求，實時數(shù)據(jù)庫是實現(xiàn)海量數(shù)據(jù)采集的有效手段，實時數(shù)據(jù)庫通過采用實時數(shù)據(jù)壓縮算法以及特殊的歷史數(shù)據(jù)存儲索引機制，應對目前的需求。實時數(shù)據(jù)庫推動了信息化從傳統(tǒng)領域向新的領域發(fā)展，為企業(yè)生產(chǎn)、管理、數(shù)據(jù)分析、決策提供實時數(shù)據(jù)服務和多種數(shù)據(jù)管理。

關鍵詞：實時數(shù)據(jù)庫；索引；信息化

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2016）15-0008-02

1 實時數(shù)據(jù)庫簡介及應用背景

實時數(shù)據(jù)庫是一種特殊類型的數(shù)據(jù)庫，目前廣泛應用于電力、石油、石化、交通、航空、水利、環(huán)保等重要領域，在“信息化與工業(yè)化融合”過程中發(fā)揮著重要作用。

目前數(shù)據(jù)庫技術廣泛應用于工業(yè)控制、企業(yè)MES環(huán)境、智能交通、智能樓宇、通信等領域。這些應用的特點主要有：維護大量共享數(shù)據(jù)和控制數(shù)據(jù)；有很強的時間性，要求在規(guī)定的時刻或在一定的時間范圍內(nèi)完成處理；而且，所處理的數(shù)據(jù)有一定的有效時間，過時則會有新的數(shù)據(jù)產(chǎn)生，所以，這種應用對數(shù)據(jù)庫和實時處理功能及特性均有需求。但傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)主要處理永久、穩(wěn)定的數(shù)據(jù)，強調維護數(shù)據(jù)的完整性、一致性，考慮有關數(shù)據(jù)及其處理的定時限制。所以，傳統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)不能滿足這種實時應用的需要。

2 實時數(shù)據(jù)庫的特點

實時數(shù)據(jù)庫所面向的應用領域有如下特點：

1）單位時間內(nèi)響應的數(shù)據(jù)量很大

例如：一個企業(yè)的SIS系統(tǒng)使用實時數(shù)據(jù)庫來存儲數(shù)據(jù)，需要處理的測點數(shù)量超過一萬。這些測點的變化周期通常在1秒鐘之內(nèi)，即，超過一萬點的數(shù)據(jù)在1秒鐘之內(nèi)要保存到數(shù)據(jù)庫中。

2）存儲數(shù)據(jù)的量大

實時數(shù)據(jù)庫的核心就是對大量實時信息進行處理，大量的數(shù)據(jù)將占據(jù)大量的硬盤空間。如果同時處理一萬點的系統(tǒng)，每 1秒鐘存儲一次，每次單點占用 8個字節(jié)，那么保存10年的數(shù)據(jù)量將有 10000*8*10*365*86400=25228800000000字節(jié)，接近 23TGB。

3）時效性非常強

由于每個需要處理的測點的值都與時間相關，一秒鐘之后的數(shù)據(jù)與一秒鐘之前的數(shù)據(jù)很有可能就不一樣，所以在保存測點值的同時，必須通過某種方法將其對應的時間也紀錄起來。

3 實時數(shù)據(jù)庫的歷史數(shù)據(jù)存儲結構及索引機制

實時數(shù)據(jù)庫的歷史存儲模塊是整個實時數(shù)據(jù)庫的核心的部分。對用戶提供數(shù)據(jù)存儲和查詢的作用。該模塊面對的需求有以下特點：

1） 數(shù)據(jù)量巨大。如果數(shù)據(jù)不設置壓縮，一個測點一秒存儲一次，那么一天就有86400條記錄。每個數(shù)據(jù)庫有10萬個左右的測點。數(shù)據(jù)庫運行時間都在幾年以上。產(chǎn)生的數(shù)據(jù)量會很巨大。

2） 用戶對數(shù)據(jù)的訪問方式特殊，多數(shù)情況下用戶查詢一個測點一段時間的數(shù)據(jù)。如查看某個測點一天內(nèi)的趨勢。

3） 插入新數(shù)據(jù)并更新索引的效率必須非常高。因為在現(xiàn)實應用中實時數(shù)據(jù)庫不停的寫入新的實時數(shù)據(jù)。如果存儲并更新索引的效率低，會影響整個數(shù)據(jù)庫的效率。

4） 在不影響讀寫效率的前提下，必須盡可能地節(jié)省磁盤空間。

3.1 存儲結構及索引機制

針對以上的需求特點，設計了特殊的存儲和索引機制。主要特點如下：

1） 在磁盤中以頁為基本單位進行數(shù)據(jù)存儲。每個頁的大小為4K。

2） 按照每條記錄的時間戳建立索引，索引只訪問到頁，而不是頁內(nèi)的每條記錄。

3） 每個頁內(nèi)存放的記錄都是屬于一個測點。并且頁內(nèi)所有的記錄都按照時間戳嚴格升序排列。

4） 屬于同一個測點的所有的頁的時間區(qū)間，都不存在交集。如果由于特殊情況造成了交集，必須通過拆分、移動頁，來避免交集。

5） 對于已經(jīng)寫滿的歸檔文件采用B+樹的數(shù)據(jù)結構組織索引。如果歸檔文件已經(jīng)寫滿，重新生成B+樹的索引。提高查詢效率。

6） 對于當前活動的歸檔文件采用鏈表的數(shù)據(jù)結構組織索引。提高實時數(shù)據(jù)歸檔的效率。只需要將新的頁的地址添加到鏈表的尾部即可。如果采用B+的索引方式，需要進行復雜的樹的平衡操作，影響了寫的效率。

整個實時數(shù)據(jù)庫的存儲結構如圖1所示：

3.2 B+樹的索引機制

B+樹是B樹的一個變種，因此必須先介紹B樹。

B樹也叫平衡多路查找樹。B樹是一個平衡多路查找樹結構。與二叉查找樹，平衡二叉查找樹，紅黑樹等樹結構相比雖然查找的時間復雜度相同都是O（logN）。B樹是一種多叉的樹結構，樹的深度更低。降低了磁盤I/O頻率，從而提高了訪問及查詢效率。

一個n階的B 樹 （n叉樹）的特性如下：

1）樹中每個結點最多有n個孩子（n>=2）；

2）除根結點和葉子結點之外，其他每個結點至少有[ceil（n / 2）]個孩子（其中ceil（x）是一個取上限的函數(shù)）；

3）如果根結點不是葉子結點，則至少有2個孩子（特殊情況：沒有孩子的根結點，即根結點為葉子結點，整棵樹只有一個根節(jié)點）；

4）所有葉子結點都出現(xiàn)在同一層，葉子結點不包含任何關鍵字信息（可以看做是外部接點或查詢失敗的接點，而實際上這些結點不存在，指向這些結點的指針都為null）；

5）每個非終端結點中包含有m個關鍵字信息： （n，P0，K1，P1，K2，P2，…，Km，Pm）。其中：

a）Ki （i=1…n）為關鍵字，且關鍵字按順序升序排序K（i-1）< Ki。

b）Pi為指向子樹根的接點，且指針P（i-1）指向子樹種所有結點的關鍵字均小于Ki，但都大于K（i-1）。

c） 關鍵字的個數(shù)m必須滿足： [ceil（n/2）-1]<=m<=n-1。

B+樹：是B樹的一個變種，相對于B樹在每個葉子節(jié)點增加了指向下一個葉子節(jié)點的指針。

一棵n階的B+樹和n階的B樹的差異在于：

1）有m棵子樹的結點中含有m個關鍵字（B 樹是m棵子樹有m-1個關鍵字）

2）所有的葉子結點包含了全部關鍵字的信息，以及指向含有這些關鍵字記錄的指針，而且葉子結點本身依關鍵字的大小自小而大的順序鏈接。 （B 樹的葉子節(jié)點并沒有包括全部需要查找的信息）

3）所有非終端結點可以看成是索引部分，結點中僅含有其子樹根結點中最大（或最?。╆P鍵字。

B+樹廣泛應用于文件索引和數(shù)據(jù)庫索引中。無論是隨機查找還是順序查找，都表現(xiàn)出了很好的效率。

目前電廠廠級監(jiān)控信息系統(tǒng)SIS是實時數(shù)據(jù)庫主要應用領域。SIS系統(tǒng)是介于DCS系統(tǒng)和MIS系統(tǒng)之間的具有獨立功能的系統(tǒng)，它的核心是實時數(shù)據(jù)庫。實時數(shù)據(jù)庫向下負責集成各個不同控制系統(tǒng)的實時數(shù)據(jù)，而且能夠長期保存這些歷史數(shù)據(jù)。向上可以提供開放的實時數(shù)據(jù)庫和歷史數(shù)據(jù)服務，為ERP系統(tǒng)所用。實時數(shù)據(jù)庫開發(fā)的其他模塊，例如：生產(chǎn)過程監(jiān)控，廠級機組性能計算，經(jīng)濟指標分析，優(yōu)化運行操作指導，故障診斷等，可以幫助企業(yè)提高自身的生產(chǎn)力和競爭力。

參考文獻：

[1] 張志檀.實時數(shù)據(jù)庫原理及應用[M].中國石化出版社，2001.

[2] 張少敏，李志雄.一種面向智能電網(wǎng)的實時數(shù)據(jù)庫數(shù)據(jù)完整性方法[J].電力系統(tǒng)自動化，2013，37（13）：93-98.

[3] 李蔚，盛德仁.火電廠SIS系統(tǒng)中實時數(shù)據(jù)庫平臺的選擇[J].中國電機學報，2003，23（12）：218-221.

[4] 劉云生.實時數(shù)據(jù)庫系統(tǒng)[M].科學出版社，2012.

[5] 曹志英，李冠字，謝益武，等.企業(yè)現(xiàn)有應用系統(tǒng)的概念層數(shù)據(jù)整合技術與方法[J].計算機工程與應用，2003，39（8）：222-224.

[6] 錢笑宇.張彥武.工業(yè)實時數(shù)據(jù)庫的研究和設計[J].計算機工程，2005（l）：98-100.