張榮博,喬 紅,徐 蕾
(沈陽航空航天大學(xué) 計(jì)算機(jī)學(xué)院,沈陽 110136)
?
基于數(shù)據(jù)庫(kù)集群的飛參數(shù)據(jù)分布存儲(chǔ)技術(shù)研究
張榮博,喬 紅,徐 蕾
(沈陽航空航天大學(xué) 計(jì)算機(jī)學(xué)院,沈陽 110136)
針對(duì)飛參數(shù)據(jù)量快速增加及用于查詢和分析的數(shù)據(jù)使用特點(diǎn),提出采用數(shù)據(jù)庫(kù)集群存儲(chǔ)飛參數(shù)據(jù)的分布式數(shù)據(jù)存儲(chǔ)方案;提出一種按照飛機(jī)故障分析的數(shù)據(jù)使用特征進(jìn)行數(shù)據(jù)分區(qū)的飛參數(shù)據(jù)劃分方法。實(shí)驗(yàn)結(jié)果顯示,這種存儲(chǔ)方案縮短了查詢響應(yīng)時(shí)間。結(jié)論是利用數(shù)據(jù)庫(kù)集群存儲(chǔ)飛參數(shù)據(jù),支持對(duì)飛參數(shù)據(jù)的并行訪問,飛參數(shù)據(jù)的存儲(chǔ)擴(kuò)充容易;按照故障分析屬性的數(shù)據(jù)分區(qū)策略提高了故障分析時(shí)飛參數(shù)據(jù)的查詢效率。
飛參數(shù)據(jù);數(shù)據(jù)庫(kù)集群;分布存儲(chǔ);分區(qū);故障分析
飛參數(shù)據(jù)是指飛參記錄系統(tǒng)記錄下的飛機(jī)飛行參數(shù)[1],飛參記錄系統(tǒng)的快速發(fā)展使得飛參數(shù)據(jù)量呈爆炸式的增長(zhǎng)[2],飛參地面處理軟件中利用數(shù)據(jù)文件存儲(chǔ)和管理飛參數(shù)據(jù)的方式已經(jīng)不能滿足對(duì)海量飛參數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和查詢的應(yīng)用需求。飛參數(shù)據(jù)很多用于飛機(jī)的故障診斷、健康管理及飛行訓(xùn)練[3],主要使用方式是數(shù)據(jù)查詢和分析,因此飛參數(shù)據(jù)的存儲(chǔ)方式和查詢效率是設(shè)計(jì)飛參數(shù)據(jù)分析系統(tǒng)所要考慮的最重要因素之一。采用數(shù)據(jù)庫(kù)集群技術(shù)存儲(chǔ)飛參數(shù)據(jù)可以適應(yīng)數(shù)據(jù)快速增長(zhǎng)的擴(kuò)展性和數(shù)據(jù)高效率查詢的要求[4]。
數(shù)據(jù)庫(kù)集群節(jié)點(diǎn)中的數(shù)據(jù)分布主要有劃分和復(fù)制兩種方式[5]。飛參數(shù)據(jù)存儲(chǔ)采用劃分方式,即數(shù)據(jù)是分區(qū)的且只有一個(gè)副本。數(shù)據(jù)分區(qū)方法又分為水平分區(qū)和垂直分區(qū)兩種[6],水平分區(qū)[7]是對(duì)數(shù)據(jù)庫(kù)關(guān)系表進(jìn)行選擇操作,水平分區(qū)方法通常是按數(shù)據(jù)量或以時(shí)間段作為主鍵進(jìn)行分區(qū);Hassan I.Abdalla在文獻(xiàn)[8]中介紹了一種利用查詢頻率和數(shù)據(jù)訪問模式信息將數(shù)據(jù)進(jìn)行水平分區(qū)的方法。數(shù)據(jù)的水平分區(qū)具有數(shù)據(jù)劃分方法簡(jiǎn)單,數(shù)據(jù)查詢效率高,支持并行操作等優(yōu)點(diǎn)。
商用數(shù)據(jù)庫(kù)具有最多列數(shù)限制,當(dāng)數(shù)據(jù)屬性個(gè)數(shù)超過這一限制時(shí),需要對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)表進(jìn)行垂直分區(qū)。垂直分區(qū)是通過投影操作把關(guān)系的屬性分為若干組,每個(gè)垂直分區(qū)只保持關(guān)系的部分屬性[9]。Ali A.Amer[10]提出一種對(duì)數(shù)據(jù)庫(kù)集群的數(shù)據(jù)表做靜態(tài)垂直分區(qū)的方案,將集群中的數(shù)據(jù)庫(kù)服務(wù)器根據(jù)用戶的通訊成本進(jìn)行分組,通訊成本低的用戶和服務(wù)器構(gòu)成一組,然后根據(jù)用戶對(duì)數(shù)據(jù)屬性的訪問量做數(shù)據(jù)屬性垂直分區(qū);E.S.Abuelyaman[11]提出根據(jù)數(shù)據(jù)訪問相關(guān)性統(tǒng)計(jì)進(jìn)行數(shù)據(jù)屬性分區(qū),當(dāng)數(shù)據(jù)訪問的行為特征變化時(shí),數(shù)據(jù)屬性的分區(qū)方案也隨之變化。
數(shù)據(jù)庫(kù)集群中存儲(chǔ)的數(shù)據(jù)在做了水平或垂直分區(qū)之后,若數(shù)據(jù)的訪問能夠比較均勻地分布在集群的不同服務(wù)器節(jié)點(diǎn)上,將獲得高效的數(shù)據(jù)訪問速度;反之會(huì)導(dǎo)致部分節(jié)點(diǎn)負(fù)載過大,數(shù)據(jù)傳輸集中,限制查詢響應(yīng)時(shí)間[12]。飛參數(shù)據(jù)結(jié)構(gòu)規(guī)范、關(guān)聯(lián)度大,在數(shù)據(jù)查詢時(shí),為減少對(duì)數(shù)據(jù)庫(kù)集群中不同數(shù)據(jù)分區(qū)的訪問量,針對(duì)飛參數(shù)據(jù)的關(guān)聯(lián)性和使用特征,提出將飛參數(shù)據(jù)按照飛機(jī)故障分析的數(shù)據(jù)使用特征進(jìn)行數(shù)據(jù)分區(qū)的分布式數(shù)據(jù)存儲(chǔ)方案。實(shí)驗(yàn)結(jié)果表明,該數(shù)據(jù)分布存儲(chǔ)方案一定程度地減輕了對(duì)飛參數(shù)據(jù)多分區(qū)訪問導(dǎo)致的效率降低的問題。
在飛機(jī)飛行過程中,飛參記錄系統(tǒng)通常每20毫秒記錄一組數(shù)據(jù),其中包括飛機(jī)的航向姿態(tài)系統(tǒng)、飛行控制系統(tǒng)、慣性導(dǎo)航系統(tǒng)、發(fā)動(dòng)機(jī)、儀表、燃油、液壓、電源等系統(tǒng)[13]中的幾百個(gè)飛行參數(shù),這些數(shù)據(jù)以飛參采集時(shí)間為索引,飛機(jī)的一次飛行任務(wù)將產(chǎn)生幾十萬甚至百萬組數(shù)據(jù)記錄。利用這些數(shù)據(jù)進(jìn)行飛機(jī)的故障分析時(shí),需要對(duì)一段時(shí)間內(nèi)飛參數(shù)據(jù)進(jìn)行分析,或?qū)Σ煌瑫r(shí)期的飛參做對(duì)比分析,若將這些數(shù)據(jù)存儲(chǔ)在一個(gè)數(shù)據(jù)庫(kù)表中,則不能支持并行查詢,若提取數(shù)據(jù)的時(shí)間跨度大,數(shù)據(jù)查詢時(shí)間較長(zhǎng)。且隨著飛參數(shù)據(jù)量的不斷增大存儲(chǔ)量需要不斷擴(kuò)充。采用數(shù)據(jù)庫(kù)集群技術(shù)可以很好解決上述問題。
1.1 數(shù)據(jù)庫(kù)集群系統(tǒng)結(jié)構(gòu)
數(shù)據(jù)庫(kù)集群采用基于中間件的無共享數(shù)據(jù)體系結(jié)構(gòu)[14],由集群中間件和多個(gè)獨(dú)立的數(shù)據(jù)庫(kù)服務(wù)器節(jié)點(diǎn)構(gòu)成,節(jié)點(diǎn)間通過網(wǎng)絡(luò)互聯(lián),集群中間件向用戶提供統(tǒng)一的系統(tǒng)映像。數(shù)據(jù)庫(kù)集群體系結(jié)構(gòu)如圖1所示。
圖1 飛參數(shù)據(jù)庫(kù)集群體系結(jié)構(gòu)
飛參數(shù)據(jù)按照數(shù)據(jù)的分區(qū)策略進(jìn)行了垂直和水平分區(qū),集群數(shù)據(jù)庫(kù)服務(wù)器中存放一個(gè)或者多個(gè)分區(qū)數(shù)據(jù),數(shù)據(jù)的分區(qū)存儲(chǔ)位置對(duì)用戶是透明的,用戶對(duì)飛參數(shù)據(jù)的查詢請(qǐng)求統(tǒng)一地由集群中間件進(jìn)行解析并進(jìn)行數(shù)據(jù)查詢?nèi)蝿?wù)的分配;集群中的數(shù)據(jù)庫(kù)服務(wù)器節(jié)點(diǎn)可將查詢結(jié)果直接返回到提出請(qǐng)求的用戶節(jié)點(diǎn)中,進(jìn)而緩解集群中間件的數(shù)據(jù)傳輸量。
集群中間件進(jìn)行查詢?nèi)蝿?wù)分配時(shí),根據(jù)服務(wù)器實(shí)際的查詢負(fù)載做服務(wù)器中的負(fù)載均衡[15]。在每個(gè)服務(wù)器中記錄最近時(shí)間段內(nèi)服務(wù)器中數(shù)據(jù)查詢?cè)L問量,若當(dāng)前查詢?nèi)蝿?wù)所在服務(wù)器的查詢?cè)L問量超過設(shè)定的閾值,則將當(dāng)前訪問的數(shù)據(jù)分區(qū)移動(dòng)到最近具有低訪問量且存儲(chǔ)余量可以容納新的數(shù)據(jù)分區(qū)的服務(wù)器節(jié)點(diǎn)中,同時(shí)修改集群中間件中的數(shù)據(jù)映像。
隨著飛參數(shù)據(jù)的增加,當(dāng)集群中數(shù)據(jù)庫(kù)服務(wù)器節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)量達(dá)到飽和時(shí),可以在集群中增加新的數(shù)據(jù)庫(kù)服務(wù)器節(jié)點(diǎn),這種方式的存儲(chǔ)擴(kuò)充只需要在集群中間件中增加新節(jié)點(diǎn)數(shù)據(jù)存儲(chǔ)的映像,便可實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的擴(kuò)展性需求。
1.2 數(shù)據(jù)分區(qū)方法
飛參數(shù)據(jù)具有數(shù)據(jù)屬性多,數(shù)據(jù)量大的特點(diǎn),利用數(shù)據(jù)庫(kù)集群存儲(chǔ)飛參數(shù)據(jù)時(shí),需要在數(shù)據(jù)庫(kù)集群節(jié)點(diǎn)中將飛參數(shù)據(jù)進(jìn)行分區(qū)存儲(chǔ)。采用水平和垂直分區(qū)兩種方式對(duì)飛參數(shù)據(jù)進(jìn)行劃分。
飛參數(shù)據(jù)水平分區(qū)采用最少分區(qū)的原則,且保證飛機(jī)一次飛行的參數(shù)必須放在一個(gè)分區(qū)中;設(shè)商用數(shù)據(jù)庫(kù)表可存儲(chǔ)最大記錄數(shù)為T,現(xiàn)有的飛參數(shù)據(jù)集為S,對(duì)S做水平分區(qū)算法如下:
1)k=1;Sk=Φ;Nk=0;//初始化分區(qū)計(jì)數(shù)為1,分區(qū)的數(shù)據(jù)集合Sk為空,Sk中元素個(gè)數(shù)為0;
2)while(S≠Φ){
3)在S中取出一架飛機(jī)一次飛行的飛行參數(shù)≥Sf;Nf=|Sf|;//Nf為集合Sf的基數(shù)
4)if(Nk+Nf 5)else {k=k+1;Sk=Sf;Nk=Nf;} // 構(gòu)造一個(gè)新的分區(qū); 6)} 7)獲得k個(gè)分區(qū)S1,…,Sk; 上述算法將已有的飛參數(shù)據(jù)盡可能少地水平切分成k個(gè)分區(qū),當(dāng)需要加入一次新的飛行參數(shù)時(shí),首先將增加的數(shù)據(jù)放在最后一個(gè)分區(qū)Sk中,若加入數(shù)據(jù)導(dǎo)致該分區(qū)的記錄數(shù)據(jù)量超出限制,則生成一個(gè)新的分區(qū)存入新增加的數(shù)據(jù)。 對(duì)于飛參數(shù)據(jù),若將所有數(shù)據(jù)屬性直接作為數(shù)據(jù)庫(kù)表的屬性列比較簡(jiǎn)單,但實(shí)際上受數(shù)據(jù)庫(kù)資源所限,商用數(shù)據(jù)庫(kù)都有最大列數(shù)限制,并且列數(shù)太多,查詢速度會(huì)變慢。對(duì)ORACLE數(shù)據(jù)庫(kù)中數(shù)據(jù)表中屬性列數(shù)量與數(shù)據(jù)訪問速度之間關(guān)系的實(shí)驗(yàn)發(fā)現(xiàn),當(dāng)屬性列大于一定值時(shí)(沒有達(dá)到屬性列的上限),對(duì)數(shù)據(jù)表的訪問速度會(huì)降低。設(shè)數(shù)據(jù)庫(kù)中數(shù)據(jù)表屬性列數(shù)量限制閾值為T,當(dāng)數(shù)據(jù)表屬性列數(shù)量超過T時(shí),需要對(duì)數(shù)據(jù)表進(jìn)行垂直分區(qū)。 飛機(jī)故障分析是飛參數(shù)據(jù)主要的應(yīng)用之一[2],在對(duì)飛參數(shù)據(jù)進(jìn)行垂直分區(qū)時(shí),一個(gè)故障分析所用到的相關(guān)屬性最好分布在一個(gè)垂直分區(qū)中,會(huì)提高數(shù)據(jù)的查詢效率。例如,設(shè)分析飛機(jī)故障F1和F2所需要的飛參屬性集分別為F1={r1,1,r1,2,…,r1,m}和F2={r2,1,r2,2,…,r2,n},集合F1∩F2的基數(shù)值大于F1與其他故障屬性集合交集的基數(shù)值,若集合F1∪F2的基數(shù)小于數(shù)據(jù)庫(kù)表的屬性列限制,則將集合F1∪F2中的屬性分在一個(gè)垂直分區(qū)中。 即將故障分析所用到的屬性盡可能少地分到不同的分區(qū)中。設(shè)需要分析的飛機(jī)故障屬性集合構(gòu)成線性表listF=(F1,F2,…,Fi,…,Fn),其中Fi(1 設(shè)飛參數(shù)據(jù)屬性集合為R,數(shù)據(jù)屬性個(gè)數(shù)為N,飛參數(shù)據(jù)屬性的垂直分區(qū)算法如下: 1)初始化數(shù)據(jù)垂直分區(qū)計(jì)數(shù)k=1;第一個(gè)分區(qū)屬性集合Sk=Φ; 2)while(listF!=Φ){ 3)取故障表listF的第一個(gè)元素≥Fi; 4)Sk=Sk∪Fi;listF=listF-Fi 5)記錄Sk中合并的故障屬性集合數(shù)m=1;合并的故障標(biāo)記pos[M]=i; 6)while(|Sk| 7)max=0;col=0;// 記錄當(dāng)前與Sk中屬性交集最大的故障標(biāo)記; 8)for(j=1,s=0;j≤n;j++)//查找與Sk中屬性交集最大的故障標(biāo)記; 9)if(Fj∈listF){ 10)for(p=1;p≤m;p++)s=s+M[pos[p]][j]; 11)if(s>max){ max=s;col=j;} // 更新當(dāng)前與Sk中屬性交集最大的故障標(biāo)記; 12)} 13)if(col!=0){Sk=Sk∪Fcol;listF=listF-Fcol;} 14)} 15)if(listF!=Φ){R=R-Sk;k=k+1;Sk=Φ;} 16)} 17)if(|Sk| 18)R=R-Sk;//在屬性集合去除上述過程中最后一個(gè)分區(qū)的屬性。 19)s=|R|/T; 20)將R中剩余屬性再平均分成s片 算法中,計(jì)算Sk中已有屬性和新加入故障屬性集Fj的共有屬性個(gè)數(shù)時(shí),是假設(shè)Fj與前面加入到Sk中的故障屬性集(Fpos[p],1≤p≤m)的共有屬性均不相同,否則,這種計(jì)算只是近似計(jì)算。 實(shí)現(xiàn)數(shù)據(jù)庫(kù)集群的飛參數(shù)據(jù)分布存儲(chǔ)方案以驗(yàn)證方案的有效性。數(shù)據(jù)庫(kù)集群由一臺(tái)服務(wù)器(曙光A840r-G)上搭建的三臺(tái)虛擬機(jī)構(gòu)成,虛擬機(jī)配置為:1核CPU、 3G內(nèi)存、 80G硬盤、100Mbps網(wǎng)絡(luò)帶寬、Windows XP系統(tǒng)、Oracle 10g數(shù)據(jù)庫(kù)系統(tǒng);數(shù)據(jù)庫(kù)中間件運(yùn)行環(huán)境為:4核CPU、4G內(nèi)存、80G硬盤、100Mbps網(wǎng)絡(luò)帶寬、Windows 7系統(tǒng),客戶端為三臺(tái)普通PC機(jī)。 實(shí)驗(yàn)針對(duì)利用飛參數(shù)據(jù)完成飛機(jī)狀態(tài)測(cè)評(píng)的應(yīng)用需求,集群服務(wù)器中存儲(chǔ)多次飛行的飛參數(shù)據(jù),飛參數(shù)據(jù)屬性為612個(gè),仿真對(duì)10個(gè)常見飛機(jī)故障進(jìn)行數(shù)據(jù)分析的數(shù)據(jù)查詢請(qǐng)求,每個(gè)飛機(jī)故障涉及多個(gè)飛參屬性,屬性數(shù)量分布為{80,111,40,115,20,66,65,95,77,91},實(shí)驗(yàn)測(cè)試不同的數(shù)據(jù)存儲(chǔ)方案對(duì)數(shù)據(jù)訪問效率的影響程度。 (1)數(shù)據(jù)庫(kù)中數(shù)據(jù)表屬性列數(shù)量和數(shù)據(jù)訪問速度之間關(guān)系的實(shí)驗(yàn)。在ORACLE數(shù)據(jù)庫(kù)中建立n個(gè)屬性列數(shù)量以20為單位依次遞增的表,分別向每個(gè)表內(nèi)插入100萬條數(shù)據(jù),記錄所用時(shí)間。進(jìn)行三次實(shí)驗(yàn)取其時(shí)間平均值,得出數(shù)據(jù)庫(kù)表屬性列數(shù)量與表操作所用的時(shí)間關(guān)系,結(jié)果如圖2所示。結(jié)果表明,當(dāng)數(shù)據(jù)庫(kù)表屬性列數(shù)據(jù)小于200時(shí),數(shù)據(jù)操作時(shí)間與屬性列增加近似呈線性關(guān)系,當(dāng)數(shù)據(jù)庫(kù)表屬性列大于400時(shí),操作時(shí)間會(huì)快速增加,因此在系統(tǒng)中設(shè)數(shù)據(jù)表屬性列數(shù)閾值T=220。 圖2 數(shù)據(jù)庫(kù)表屬性列數(shù)量與表數(shù)據(jù)插入時(shí)間關(guān)系 (2)數(shù)據(jù)垂直分區(qū)方案性能實(shí)驗(yàn)。基于上述數(shù)據(jù)庫(kù)集群環(huán)境,對(duì)飛參數(shù)據(jù)進(jìn)行分區(qū),其中水平方向只分一個(gè)最大分區(qū),垂直方向分別按照故障屬性分區(qū)及等分分區(qū)的方法分成兩個(gè)分區(qū),在每個(gè)數(shù)據(jù)庫(kù)服務(wù)器中放置一個(gè)經(jīng)過分區(qū)的數(shù)據(jù)表;兩種方法的仿真時(shí)間相同,在客戶端按照等概率隨機(jī)選擇故障并按照故障查詢條件對(duì)故障數(shù)據(jù)進(jìn)行查詢,系統(tǒng)仿真運(yùn)行結(jié)束后,計(jì)算不同分區(qū)方案下讀取一條數(shù)據(jù)記錄所用的平均時(shí)間。實(shí)驗(yàn)結(jié)果如圖3所示。結(jié)果表明當(dāng)數(shù)據(jù)表中數(shù)據(jù)記錄增加時(shí),按照故障屬性分區(qū)存儲(chǔ)方案縮短了數(shù)據(jù)查詢響應(yīng)時(shí)間。 圖3 兩種數(shù)據(jù)分區(qū)方案中訪問一條數(shù)據(jù) (3)數(shù)據(jù)庫(kù)集群中服務(wù)器數(shù)量對(duì)比實(shí)驗(yàn)。采用故障屬性分區(qū)存儲(chǔ)方案,在實(shí)驗(yàn)(2)中其他條件與方法不變的前提下,變更數(shù)據(jù)庫(kù)集群中服務(wù)器數(shù)量,實(shí)驗(yàn)驗(yàn)證不同服務(wù)器數(shù)量對(duì)數(shù)據(jù)訪問性能的影響。數(shù)據(jù)庫(kù)集群中分別設(shè)置1個(gè)服務(wù)器(存儲(chǔ)3個(gè)分區(qū)數(shù)據(jù))、2個(gè)服務(wù)器(分別存儲(chǔ)1個(gè)分區(qū)和2個(gè)分區(qū))和3個(gè)服務(wù)器,比較不同環(huán)境下的數(shù)據(jù)訪問性能,實(shí)驗(yàn)結(jié)果如圖4所示。結(jié)果表明,服務(wù)器數(shù)量的增加,增加了數(shù)據(jù)的并行訪問量,進(jìn)而縮短了數(shù)據(jù)查詢的響應(yīng)時(shí)間,當(dāng)數(shù)據(jù)表中數(shù)據(jù)記錄量大時(shí),效果更加明顯。 圖4 數(shù)據(jù)庫(kù)集群中服務(wù)器數(shù)量對(duì)數(shù)據(jù)查詢 (4)負(fù)載均衡性能對(duì)比實(shí)驗(yàn)?;谏鲜鰯?shù)據(jù)庫(kù)集群環(huán)境,采用故障屬性分區(qū)存儲(chǔ)方案;初始時(shí),利用數(shù)據(jù)復(fù)制的方法在集群的每個(gè)服務(wù)器中放置50個(gè)飛參數(shù)據(jù)分區(qū),數(shù)據(jù)訪問閾值設(shè)為每30分鐘200次數(shù)據(jù)分區(qū)訪問,定義客戶端的一次故障查詢?yōu)橐粋€(gè)事務(wù),由三個(gè)客戶端并行地按照故障正態(tài)分布隨機(jī)選擇故障提出數(shù)據(jù)查詢事務(wù)請(qǐng)求。圖5給出加入負(fù)載均衡策略后數(shù)據(jù)查詢的事務(wù)運(yùn)行時(shí)間與無此策略時(shí)運(yùn)行時(shí)間的對(duì)比,其中數(shù)據(jù)查詢事務(wù)運(yùn)行時(shí)間是多個(gè)客戶端運(yùn)行時(shí)間的平均值。結(jié)果表明若查詢的事務(wù)量接近數(shù)據(jù)訪問閾值時(shí),數(shù)據(jù)遷移的代價(jià)使系統(tǒng)的性能并沒有提高;隨著數(shù)據(jù)查詢事務(wù)量的增加,動(dòng)態(tài)負(fù)載均衡策略能夠平衡服務(wù)器中的查詢負(fù)載,提高系統(tǒng)數(shù)據(jù)查詢的整體效率。 圖5 飛參數(shù)據(jù)查詢中使用負(fù)載均衡方案性能對(duì)比 飛參數(shù)據(jù)在飛機(jī)研制、試飛、訓(xùn)練、維護(hù)及事故調(diào)查等工作中起著非常重要的作用。本文針對(duì)海量飛參數(shù)據(jù)存儲(chǔ)的擴(kuò)展性需求與數(shù)據(jù)使用特點(diǎn),提出利用數(shù)據(jù)庫(kù)集群存儲(chǔ)飛參數(shù)據(jù)的系統(tǒng)結(jié)構(gòu);針對(duì)飛參數(shù)據(jù)在飛機(jī)故障分析中的應(yīng)用需求,提出了一種按照飛機(jī)故障分析的數(shù)據(jù)使用特征進(jìn)行數(shù)據(jù)分區(qū)的分布式數(shù)據(jù)存儲(chǔ)方案。實(shí)驗(yàn)結(jié)果表明,利用數(shù)據(jù)庫(kù)集群存儲(chǔ)飛參數(shù)據(jù),在不同用戶訪問不同分區(qū)飛參數(shù)據(jù)時(shí)支持并行操作,飛參數(shù)據(jù)的存儲(chǔ)擴(kuò)充容易;按照故障屬性的數(shù)據(jù)分區(qū)策略提高了故障分析時(shí)飛參數(shù)據(jù)的查詢效率。 系統(tǒng)在設(shè)置數(shù)據(jù)庫(kù)集群服務(wù)器數(shù)量時(shí),只考慮了數(shù)據(jù)存儲(chǔ)量對(duì)服務(wù)器數(shù)量的需求,沒有進(jìn)行大用戶量的數(shù)據(jù)并行訪問性能測(cè)試。因此集群服務(wù)器數(shù)量對(duì)比實(shí)驗(yàn)只在定性分析方面存在參考價(jià)值。 [1]Andrew Hill Eurocontrol.A flight data management concept[J].IEEE A & E SYSTEMS MAGAZINE,2004:11-16. [2]曲建嶺,唐昌盛,李萬泉.飛參數(shù)據(jù)的應(yīng)用研究現(xiàn)狀及發(fā)展趨勢(shì)[J].計(jì)測(cè)技術(shù),2007,27(6):1-4. [3]唐崇凱,曲建嶺,高峰.飛參判據(jù)及其應(yīng)用[J].計(jì)算機(jī)工程,2011,05:281-283. [4]Narayanan S,Catalyurek U,Kurc T,et al.Applying database support for large scale data driven science in distributed environments.in:Proceedings of the Fourth International Work shop on Grid Computing.Los Alamitos:IEEE Computer Society,2003:141-148. [5]王建行.數(shù)據(jù)存儲(chǔ)技術(shù)在分布式數(shù)據(jù)庫(kù)中的應(yīng)用[J].科技信息,2010(26):224. [6]Sanjay Agrawal,Vivek Narasayya,Beverly Yang.Integrating vertical and horizontal partitioning into automated physical database design.ACM SIGMOD,2004:1-58113-859-8/04/06. [7]Abdalla H,Tounsi M,Marir F.Using a greedy-based approach for solving data allocation problem in a distributed environment[C].International Conference on Parallel and Distributed Processing Techniques and Applications(PDPTA′08),2008. [8]Hassan I.Abdalla,Ali A.Amer.Dynamic horizontal fragmentation,replication and allocation model In DDBSs[C].IEEE International Conference on Information Technology and e-Services,2012:978-1-4673-1166-3/12. [9]Shahidul Islam Khan,Dr.A.S.M.Latiful Hoque.A new technique for database fragmentation in distributed systems.International Journal of Computer Applications,2010:20-24. [10]Ali A.Amer,Hassan I.Abdalla.An integrated design scheme for performance optimization in distributed environments[C].IEEE International Conference on Education and e-Learning Innovations,2012:978-1-4673-2225-6/12. [11]Abuelyaman E S.An optimized scheme for vertical partitioning of a distributed database.Int[J].Journal of Computer Science & Network Security,2008,8(1):2008:310-316. [12]Weihua Gong,Yuanzhen Wang.Load balancing of OLTP on heterogeneous database cluster[C].IEEE International Conference On Advanced Communication Technology,2006. [13]卿立勇.基于飛行數(shù)據(jù)的飛機(jī)故障預(yù)測(cè)與故障診斷系統(tǒng)研究[D].南京:南京航空航天大學(xué),2007. [14]龔衛(wèi)華.數(shù)據(jù)庫(kù)集群系統(tǒng)的關(guān)鍵技術(shù)研究[D].武漢:華中科技大學(xué),2006. [15]Paul Werstein,Hailing Situ,Zhiyi Huang.Load balancing in a cluster computer[C].IEEE International Conference onParallel and Distributed Computing,Applications and Technologies(PDCAT′06),2006. (責(zé)任編輯:劉劃 英文審校:劉紅江) Research on flight data distributed storage based on the database cluster ZHANG Rong-bo,QIAO Hong,XU Lei (College of Computer Science,Shenyang Aerospace University,Shenyang 110136,China) According to the flight data increasing rapidly and the feature of query and analysis,a distributed data storage scheme using database cluster to store flight data is proposed.A flight data partition method for data fragmentation is also put forward based on the data feature of the plane failure analysis.The experiment result shows that the scheme reduces the query time.In conclusion,using database cluster to store flight data supports the parallel access to the flight data,expands data storage easily;data partition method based on failure analysis feature improves the fight data query efficiency when doing failure analysis. flight data;database cluster;distributed storage;data partition;failure analysis 2014-11-13 國(guó)家自然科學(xué)基金青年基金項(xiàng)目(項(xiàng)目編號(hào):61303016) 張榮博(1978-),男,山東萊陽人,講師,主要研究方向:信息安全技術(shù),E-mail:zhangrb@sau.edu.cn。 2095-1248(2015)02-0075-05 TP391 A 10.3969/j.issn.2095-1248.2015.02.0152 實(shí)驗(yàn)及結(jié)果分析
3 結(jié)語