国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計

2018-01-20 18:56涂俊英李志敏
現(xiàn)代電子技術(shù) 2018年1期
關(guān)鍵詞:云計算大數(shù)據(jù)

涂俊英+李志敏

摘 要: 當(dāng)前云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計方法是通過使用分布式數(shù)據(jù)庫存儲跨區(qū)域的云計算數(shù)據(jù)和全局?jǐn)?shù)據(jù)存儲管理目錄實現(xiàn)的,運行系統(tǒng)復(fù)雜,成本高昂。為此,提出基于HBase的云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計方法,首先對云計算下非結(jié)構(gòu)化大數(shù)據(jù)進行分析,完成云計算下非結(jié)構(gòu)化大數(shù)據(jù)提取,為云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)框架設(shè)計創(chuàng)造條件,并介紹HBase的特點,得到基于HBase非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)架構(gòu)及運行流程,然后進行云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲結(jié)構(gòu)模型總體設(shè)計及非結(jié)構(gòu)化大數(shù)據(jù)分布式結(jié)構(gòu)分析,采用負載均衡控制方法進行云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)冗余數(shù)據(jù)特征壓縮及信息存儲優(yōu)化算法設(shè)計,完成云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計。通過仿真實驗證明,所提方法能夠有效降低云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲花費的時間,保證存儲的數(shù)據(jù)可用、不丟失,方便云計算下非結(jié)構(gòu)化大數(shù)據(jù)的使用,具有較強的使用價值。

關(guān)鍵詞: 云計算; 非結(jié)構(gòu)化; 大數(shù)據(jù); 均衡控制; 運行流程; 存儲系統(tǒng)設(shè)計

中圖分類號: TN919?34; TP333 文獻標(biāo)識碼: A 文章編號: 1004?373X(2018)01?0173?05

Abstract: The current design method of the unstructured large data storage system under cloud computing is realized by using the distributed database for cloud computing cross?regional storage and global data storage management directory, which has complex system operation and high cost. So a design method of the HBase?based unstructured large data storage system under cloud computing is proposed. The unstructured large data under cloud computing is analyzed, and extracted to create the condition for the framework design of the unstructured large data storage system under cloud computing. Based on the characteristics of HBase, the architecture and operation flow of the unstructured large data storage system based on HBase are obtained. The overall design of the unstructured large data storage structure model under cloud computing and unstructured large data distributed structural analysis are carried out. The load balancing control method is used to compress the redundant data feature and design the information storage optimization algorithm of the unstructured large data storage system under cloud computing to realize the design of the unstructured large data storage system under cloud computing. The simulation results show that the proposed method can effectively reduce the storage time of the unstructured large data under cloud computing and ensure the available and subsistent data stored in database, is convenient for the use of the unstructured large data under cloud computing, and has high use value.

Keywords: cloud computing; unstructure; large data; balancing control; operation flow; storage system design

0 引 言

隨著計算機互聯(lián)網(wǎng)技術(shù)的普及,云計算被廣泛應(yīng)用在科技、醫(yī)療、軍事等各個領(lǐng)域[1],在人們生活中占據(jù)著越來越重要的作用,隨著網(wǎng)絡(luò)中數(shù)據(jù)的增多,對非結(jié)構(gòu)化大數(shù)據(jù)進行存儲具有重要意義[2?3],有利于非機構(gòu)化大數(shù)據(jù)的保護,保證非結(jié)構(gòu)化大數(shù)據(jù)的可用[4]。本文提出一種基于多通道的云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng),完成云計算下非結(jié)構(gòu)化大數(shù)據(jù)硬件設(shè)計及邏輯設(shè)計[5],這種方法是云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲的重要方法,是解決該問題的有效途徑,也成為業(yè)內(nèi)人士研究的焦點問題,研究取得了豐碩的成果[6?7]。

文獻[8]提出一種基于FPGA和Serial ATA橋接芯片的云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計方法,利用FPGA對IP核控制JM20330芯片進行設(shè)計,從而完成由IDE到SATA接口的轉(zhuǎn)換,提供單接口傳輸通道,并支持熱插拔,實現(xiàn)脫機情況下對SATA硬盤的操作,從而完成云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)的設(shè)計。但這種方法對硬件要求高,不利于系統(tǒng)維護工作的開展。endprint

文獻[9]提出一種基于分布式的云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計方法,通過將數(shù)據(jù)劃分成大小相同的非結(jié)構(gòu)化大數(shù)據(jù)文件塊,利用多副本的形式分布存儲在不同地理位置以實現(xiàn)更好的容錯機制,從而提供高可用的持久化的數(shù)據(jù)存儲。但這種進行非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計的方法可能導(dǎo)致非結(jié)構(gòu)化大數(shù)據(jù)內(nèi)容丟失。

文獻[10]提出一種基于NAND FLASH存儲介質(zhì)的云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計方法,該設(shè)計方法是通過硬件系統(tǒng)以及軟件系統(tǒng)的設(shè)計完成的,在云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)的軟件設(shè)計中提出將數(shù)據(jù)管理算法應(yīng)用于NAND閃存,利用二級地址的映射關(guān)系對非結(jié)構(gòu)化大數(shù)據(jù)進行處理,均勻損耗。該方法在對非結(jié)構(gòu)化大數(shù)據(jù)進行存儲時,可能會導(dǎo)致原大數(shù)據(jù)內(nèi)容信息失真。

針對上述問題,本文提出一種基于HBase的云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計方法,首先對云計算下非結(jié)構(gòu)化大數(shù)據(jù)進行分析,完成云計算下非結(jié)構(gòu)化大數(shù)據(jù)提取,為云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)框架設(shè)計創(chuàng)造條件,并介紹HBase的特點,得到基于HBase非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)架構(gòu)及運行流程,然后進行云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲結(jié)構(gòu)模型總體設(shè)計及非結(jié)構(gòu)化大數(shù)據(jù)分布式結(jié)構(gòu)分析,采用負載均衡控制方法進行云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)冗余數(shù)據(jù)特征壓縮及信息存儲優(yōu)化算法設(shè)計。完成云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計。通過仿真實驗證明,所提方法能夠有效降低云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲花費的時間,保證存儲的數(shù)據(jù)可用、不丟失,方便云計算下非結(jié)構(gòu)化大數(shù)據(jù)的使用,具有較強的實用性。

1 云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計

非結(jié)構(gòu)化數(shù)據(jù)具有存儲方式不一,數(shù)據(jù)格式多樣,業(yè)務(wù)流程多樣,數(shù)據(jù)難以標(biāo)準(zhǔn)化,信息量大等特點,通過分層的網(wǎng)絡(luò)結(jié)構(gòu)對云計算下非結(jié)構(gòu)化大數(shù)據(jù)進行存儲,將云計算下非結(jié)構(gòu)化大數(shù)據(jù)分成應(yīng)用層、會話層、數(shù)據(jù)層、路由層和物理層5個功能層。應(yīng)用層提供云計算下非結(jié)構(gòu)化大數(shù)據(jù)應(yīng)用接口;會話層具備較多權(quán)限以及安全執(zhí)行能力,該層根據(jù)不同等級的安全情況,制定不同形式的安全方案以確保數(shù)據(jù)的安全;數(shù)據(jù)層的作用是統(tǒng)一管理云計算下非結(jié)構(gòu)化數(shù)據(jù)及其元數(shù)據(jù);路由層的主要作用是保證各個設(shè)備間連接并完成路徑計算。

1.1 云計算下非結(jié)構(gòu)化大數(shù)據(jù)分析

云計算下非結(jié)構(gòu)化大數(shù)據(jù)分析主要包括與應(yīng)用程序一起集成的云計算客戶端、云計算后端處理服務(wù)器和報表系統(tǒng)。通過將云計算數(shù)據(jù)庫集成在同一云計算數(shù)據(jù)庫,利用接收云計算下非結(jié)構(gòu)化大數(shù)據(jù)的服務(wù)器和處理非結(jié)構(gòu)化大數(shù)據(jù)的服務(wù)器以及報表系統(tǒng),完成云計算下非結(jié)構(gòu)化大數(shù)據(jù)分析。

云計算客戶端以組件的形式集成在云計算軟件中,用戶在安裝云計算軟件的同時,將客戶端安裝在電腦中,將用戶操作記錄,并發(fā)送出去。

接收服務(wù)器部署在云計算環(huán)境中,其關(guān)鍵作用是負責(zé)接收客戶端傳送過來的最優(yōu)數(shù)據(jù),并將這些數(shù)據(jù)信息保存在固定的文件中,之后在特定的時間將這些文件傳輸?shù)街付ǖ哪夸浿小?/p>

操作數(shù)據(jù)預(yù)處理。設(shè)計它的目的是接收來自服務(wù)器Event Collect層傳送來的數(shù)據(jù)信息,并且按照事件的類型來標(biāo)記這些數(shù)據(jù)信息記錄。

云計算環(huán)境下非結(jié)構(gòu)化大數(shù)據(jù)的采集是云計算環(huán)境下非結(jié)構(gòu)化大數(shù)據(jù)存儲的基礎(chǔ)。隨著互聯(lián)網(wǎng)技術(shù)和應(yīng)用的發(fā)展以及各種終端設(shè)備的普及,數(shù)據(jù)的來源范圍越來越大,非結(jié)構(gòu)化大數(shù)據(jù)的產(chǎn)量也隨之增多,非結(jié)構(gòu)化數(shù)據(jù)之間的關(guān)聯(lián)也越來越復(fù)雜,這也是非結(jié)構(gòu)化大數(shù)據(jù)中“大”的體現(xiàn),所以需要提高云計算下非結(jié)構(gòu)化大數(shù)據(jù)采集的速度和精度要求。

云計算下非結(jié)構(gòu)化大數(shù)據(jù)的處理與集成主要是對前一步采集到的非結(jié)構(gòu)化大數(shù)據(jù)進行適當(dāng)?shù)念A(yù)處理,包括格式化、去噪以及進一步集成存儲。因為云計算下非結(jié)構(gòu)化大數(shù)據(jù)的采集步驟不一樣,采集到的數(shù)據(jù)結(jié)構(gòu)并不統(tǒng)一,不利于后續(xù)非結(jié)構(gòu)性大數(shù)據(jù)的存儲利用。并且,不將一些無效廢結(jié)構(gòu)性大數(shù)據(jù)去除,還會影響數(shù)據(jù)分析的精度和可靠性,所以,將非結(jié)構(gòu)化大數(shù)據(jù)統(tǒng)一格式并且去除無效數(shù)據(jù)是非常必要的。

在完成了對云計算下非結(jié)構(gòu)化大數(shù)據(jù)的采集和處理后,需要對非結(jié)構(gòu)性大數(shù)據(jù)進行分析。通過分析,將云計算下非結(jié)構(gòu)化大數(shù)據(jù)的價值體現(xiàn)出來。云計算下非結(jié)構(gòu)化大數(shù)據(jù)分析的對象是上一步云計算下處理與集成后的統(tǒng)一格式的非結(jié)構(gòu)化大數(shù)據(jù),針對有價值的云計算下非結(jié)構(gòu)化大數(shù)據(jù)進行存儲。圖1為云計算下非結(jié)構(gòu)化大數(shù)據(jù)分析過程。

通過上述分析,完成云計算下非結(jié)構(gòu)化大數(shù)據(jù)的提取,方便云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計,為存儲系統(tǒng)框架的構(gòu)建創(chuàng)造條件。

1.2 云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)框架設(shè)計

云計算是一種分布式計算,通過將網(wǎng)絡(luò)中的計算節(jié)點作為資源池,對網(wǎng)絡(luò)資源進行整合,并利用特定軟件對資源進行管理。Hadoop是云計算的核心技術(shù),其中HBase是Hadoop的重要組成部分。

HBase是分布式、面向列的存儲系統(tǒng),提供實時讀寫和隨機訪問大數(shù)據(jù)集。HBase自動把表橫切成不同的區(qū)域,每個區(qū)域包含表的所有行的一個子集。HBase由一個主節(jié)點協(xié)調(diào)一個或多個區(qū)域服務(wù)器組成。HBase主節(jié)點負責(zé)引導(dǎo)初始安裝、分配區(qū)域給區(qū)域服務(wù)器,恢復(fù)區(qū)域服務(wù)器的故障,主節(jié)點負載較輕。區(qū)域服務(wù)器負責(zé)0到多個區(qū)域,響應(yīng)客戶端的讀寫請求。HBase的實現(xiàn)依賴于Zookeeper來協(xié)調(diào)管理,Zookeeper負責(zé)選取一個節(jié)點為Master,剩下的節(jié)點為 region server。

基于HBase非結(jié)構(gòu)化大數(shù)據(jù)庫存儲系統(tǒng)架構(gòu)采用分布式架構(gòu)中的主從模式,保證數(shù)據(jù)庫的可擴展性與數(shù)據(jù)的強一致性。

基于HBase的云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)如圖2所示。

云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)通過互聯(lián)網(wǎng)采集云計算下的海量數(shù)據(jù),通過后臺系統(tǒng)實現(xiàn)非結(jié)構(gòu)化大數(shù)據(jù)的自主存儲。具體存儲平臺如圖3所示。

通過上述論述進行非結(jié)構(gòu)化大數(shù)據(jù)存儲平臺設(shè)計,從而完成云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲平臺設(shè)計。endprint

1.3 云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲算法設(shè)計

在對云計算網(wǎng)絡(luò)中非結(jié)構(gòu)化數(shù)據(jù)存儲結(jié)構(gòu)分析時,根據(jù)云計算下非結(jié)構(gòu)化大數(shù)據(jù)調(diào)度模型和云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲概念相似度特征,得到云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲分布的二元域[F2]分布規(guī)則。針對云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)的不同用戶偏好,構(gòu)建非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)的多用戶規(guī)則調(diào)度模型為:

[fij=wtδt+wcδc+wqδq+wsδs] (1)

式中:[wt+wc+wq+ws=1;][t]表示非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)中進行數(shù)據(jù)采集的時間;[c]表示非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)中滿足用戶存儲需求的代價;[q]表示存儲系統(tǒng)中非結(jié)構(gòu)化大數(shù)據(jù)存儲的質(zhì)量;[s]表示非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)存儲損耗;[w]表示非結(jié)構(gòu)化大數(shù)據(jù)節(jié)點總數(shù);[δ]表示云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲數(shù)據(jù)包。

設(shè)定[k]表示非結(jié)構(gòu)化大數(shù)據(jù)源數(shù)量,存在[k+ε]個非結(jié)構(gòu)化大數(shù)據(jù)節(jié)點,從中收集了[k+ε]個非結(jié)構(gòu)化大數(shù)據(jù)存儲數(shù)據(jù)包,其中[ε>0]為常數(shù)。為便于描述,這[k+ε]個非結(jié)構(gòu)化大數(shù)據(jù)存儲數(shù)據(jù)包用[Yi]表示,[i=1,2,…,k+ε]。因為每個存儲數(shù)據(jù)包都是源數(shù)據(jù)包的線性組合,因此,任意一個[Yi,][i=1,2,…,n]都可以表示為:

[Yi=gi[X1,X2,…,Xk]] (2)

式中:[X1,X2,…,Xk]表示[k]個非結(jié)構(gòu)化大數(shù)據(jù)源數(shù)據(jù)包;[gi]表示一個獨立的且取值在二元域[F2={0,1}]上的行向量,即非結(jié)構(gòu)化大數(shù)據(jù)的存儲數(shù)據(jù)包[Yi]的生成行向量。[gij]表示[gi]的每個元素,[j=1,2,…,k,]其取值都是獨立的,其定義的分布可表示為:

[Pr(gij=r)=alnkk,r=11-alnkk,r=0 ] (3)

式中:[alnkk]表示非結(jié)構(gòu)化大數(shù)據(jù)節(jié)點概率;[r]表示兩個節(jié)點的距離。

[G(k+ε)×k]表示[k+ε]個非結(jié)構(gòu)化大數(shù)據(jù)存儲數(shù)據(jù)包構(gòu)成的[(k+ε)×k]階矩陣,即[k+ε]個非結(jié)構(gòu)化大數(shù)據(jù)存儲數(shù)據(jù)包的生成矩陣,則:

[G(k+ε)×k=[g1,g2,…,gk+ε]T] (4)

借助生成矩陣,[k+ε]個非結(jié)構(gòu)化大數(shù)據(jù)存儲數(shù)據(jù)包可以表述為:

[Y1Y2?Yk+ε=G(k+ε)×k?X1X2?Xk] (5)

用[Pfailure]表示二元域[F2]上的生成矩陣[G(k+ε)×k]列不滿秩的概率,當(dāng)[G(k+ε)×k]的每個非結(jié)構(gòu)化大數(shù)據(jù)元素的取值服從公式(3)定義的分布時,則[Pfailure]可表示為:

[Pfailure≤w=1kkwk+ε] (6)

假設(shè)[ρ]表示生成矩陣[G(k+ε)×k]中每個元素值為1的概率,當(dāng)[alnkk=12]時,對[Pfailure]進行簡化,可以表示為:

[Pfailure≤12ε] (7)

若[s]表示非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)存儲損耗,[w]表示非結(jié)構(gòu)化大數(shù)據(jù)節(jié)點總數(shù),則有:

[s=0,2,…,wws=2w-1] (8)

通過上述算法,完成云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲算法設(shè)計,從而完成非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計。

2 仿真實驗結(jié)果與分析

為了證明本文提出的基于HBase的云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計方法的有效性,以Intel P4 2 GB處理器為硬件環(huán)境,Matlab 2008a為平臺,通過模擬非結(jié)構(gòu)化大數(shù)據(jù)存儲情況,進行仿真實驗。運用對比法將本文所提系統(tǒng)設(shè)計方法與文獻[9]提出的基于分布式的云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計方法存儲性能進行比較,從而完成實驗。

分別利用本文所提云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計方法和文獻[9]提出的基于分布式的云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計方法進行非結(jié)構(gòu)化存儲需要的時間進行對比分析,對比結(jié)果如表1表示。

從表1和圖4可以看出,存儲同樣大小的非結(jié)構(gòu)化大數(shù)據(jù),本文提出的存取系統(tǒng)設(shè)計方法與文獻[9]提出的存儲系統(tǒng)設(shè)計方法相比,存儲花費時間更短。說明本文所提方法存儲速度快。

將表1用圖形方式進行表示,得出結(jié)果如圖4所示。

在進行非結(jié)構(gòu)化大數(shù)據(jù)存儲時,存在多個非結(jié)構(gòu)化大數(shù)據(jù),當(dāng)完全存儲非結(jié)構(gòu)化大數(shù)據(jù)時,則稱該非結(jié)構(gòu)化大數(shù)據(jù)存儲完整,存儲的完整度表示存儲完整數(shù)量與總非結(jié)構(gòu)化大數(shù)據(jù)數(shù)量的比值。分別利用本文所提存儲系統(tǒng)設(shè)計方法與文獻[9]所提存儲系統(tǒng)設(shè)計方法對非結(jié)構(gòu)化大數(shù)據(jù)進行存儲性能對比,得到非結(jié)構(gòu)化大數(shù)據(jù)存儲完整量結(jié)果如表2所示,非結(jié)構(gòu)化大數(shù)據(jù)存儲完整度如圖5所示。

通過表2可以看出,對相同數(shù)量的非結(jié)構(gòu)化大數(shù)據(jù)進行存儲,本文所提方法完整存儲非結(jié)構(gòu)化大數(shù)據(jù)的數(shù)量較多。從圖5可以看出,本文所提存儲系統(tǒng)設(shè)計方法進行存儲時,對非結(jié)構(gòu)化大數(shù)據(jù)存儲的完整度平均在90%,而采用文獻[9]所提系統(tǒng)設(shè)計方法進行存儲時,對非結(jié)構(gòu)化大數(shù)據(jù)存儲的完整度在80%左右,說明本文所提云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計方法能夠較好地保證非結(jié)構(gòu)化大數(shù)據(jù)存儲的完整性。綜合上述實驗,可以得到本文所提方法能夠有效地提高云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲的速度及完整性,具有較強的使用價值。

3 結(jié) 語

隨著云計算的廣泛使用,云計算數(shù)據(jù)越來越多,對非結(jié)構(gòu)化大數(shù)據(jù)存儲愈來愈受到人們的重視,針對傳統(tǒng)云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲存在運行系統(tǒng)復(fù)雜,成本高昂的問題,提出基于HBase的云計算下非結(jié)構(gòu)化大數(shù)據(jù)存儲系統(tǒng)設(shè)計方法,能夠提高非結(jié)構(gòu)化大數(shù)據(jù)存儲的速度與完整性,具有較強的使用價值。

參考文獻

[1] 陳志華,劉曉勇.云計算下大數(shù)據(jù)非結(jié)構(gòu)的穩(wěn)定性檢索方法[J].現(xiàn)代電子技術(shù),2016,39(6):58?61.endprint

CHEN Zhihua, LIU Xiaoyong. Methods of unstructured big data stability retrieval in cloud computing [J]. Modern electronics technique, 2016, 39(6): 58?61.

[2] 吳凱峰,劉萬濤,李彥虎,等.基于云計算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用[J].中國電力,2015,48(2):111?116.

WU Kaifeng, LIU Wantao, LI Yanhu, et al. Cloud?computing based power big data analysis technology and its application [J]. Electric power, 2015, 48(2): 111?116.

[3] 王敬東.面向大數(shù)據(jù)的數(shù)字圖書館數(shù)據(jù)庫緩存模型設(shè)計[J].圖書情報工作,2014,58(22):95?99.

WANG Jingdong. Design of digital library database cache model oriented to big data [J]. Library and information service, 2014, 58(22): 95?99.

[4] 李洪奇,朱麗萍,孫國玉,等.面向海量小文件的分布式存儲系統(tǒng)設(shè)計與實現(xiàn)[J].計算機工程與設(shè)計,2016,37(1):86?92.

LI Hongqi, ZHU Liping, SUN Guoyu, et al. Design and implementation of distributed mass small file storage system [J]. Computer engineering and design, 2016, 37(1): 86?92.

[5] 吳燕波,薛琴,向大為,等.云平臺下的NoSQL分布式大數(shù)據(jù)存儲技術(shù)與應(yīng)用[J].現(xiàn)代電子技術(shù),2016,39(9):44?47.

WU Yanbo, XUE Qin, XIANG Dawei, et al. NoSQL distributed big data storage technology and its application under cloud platform [J]. Modern electronics technique, 2016, 39(9): 44?47.

[6] 劉帆.關(guān)系數(shù)據(jù)庫中實時高效元數(shù)據(jù)存儲算法優(yōu)化研究[J].科學(xué)技術(shù)與工程,2017,17(17):255?260.

LIU Fan. A relational database real?time efficient data storage algorithm optimization research [J]. Science technology and engineering, 2017, 17(17): 255?260.

[7] 楊俊杰,廖卓凡,馮超超.大數(shù)據(jù)存儲架構(gòu)和算法研究綜述[J].計算機應(yīng)用,2016,36(9):2465?2471.

YANG Junjie, LIAO Zhuofan, FENG Chaochao. Survey on big data storage framework and algorithm [J]. Journal of computer applications, 2016, 36(9): 2465?2471.

[8] 王東強,王曉霞.云存儲中大數(shù)據(jù)優(yōu)化粒子群聚類算法[J].電子設(shè)計工程,2017,25(2):26?30.

WANG Dongqiang, WANG Xiaoxia. Large data optimization particle swarm clustering algorithm based on cloud storage [J]. Electronic design engineering, 2017, 25(2): 26?30.

[9] 李德有,趙立波,解晨光.Hadoop構(gòu)建的銀行海量數(shù)據(jù)存儲系統(tǒng)研究[J].哈爾濱理工大學(xué)學(xué)報,2015,20(4):60?65.

LI Deyou, ZHAO Libo, XIE Chenguang. The research of a big data storage system constructed with Hadoop [J]. Journal of Harbin University of Science and Technology, 2015, 20(4): 60?65.

[10] 洑涵妤.基于云計算的安全數(shù)據(jù)存儲系統(tǒng)的設(shè)計與實現(xiàn)[J].煤炭技術(shù),2010,29(12):169?171.

FU Hanyu. Design and implementation of secure data storage system based on cloud computing [J]. Coal technology, 2010, 29(12): 169?171.endprint

猜你喜歡
云計算大數(shù)據(jù)
志愿服務(wù)與“互聯(lián)網(wǎng)+”結(jié)合模式探究
云計算與虛擬化
基于云計算的移動學(xué)習(xí)平臺的設(shè)計
大數(shù)據(jù)環(huán)境下基于移動客戶端的傳統(tǒng)媒體轉(zhuǎn)型思路
實驗云:理論教學(xué)與實驗教學(xué)深度融合的助推器
云計算中的存儲虛擬化技術(shù)應(yīng)用
基于大數(shù)據(jù)背景下的智慧城市建設(shè)研究
數(shù)據(jù)+輿情:南方報業(yè)創(chuàng)新轉(zhuǎn)型提高服務(wù)能力的探索