程子傲 王丹華

摘 要：現(xiàn)階段，我國(guó)的科學(xué)技術(shù)得到了迅猛發(fā)展，促使信息資源的網(wǎng)絡(luò)化廣為流行起來(lái)。基于此，越來(lái)越多的人開(kāi)始高度重視起云計(jì)算技術(shù)和云數(shù)據(jù)管理技術(shù)的應(yīng)用。最近幾年，網(wǎng)絡(luò)應(yīng)用技術(shù)的發(fā)展速度極快，在此形勢(shì)下，數(shù)據(jù)信息量日益增大，如何存儲(chǔ)這些數(shù)據(jù)信息就變得尤為重要，而應(yīng)用云數(shù)據(jù)管理技術(shù)則能將這一問(wèn)題有效解決。本文筆者結(jié)合自身工作實(shí)踐經(jīng)驗(yàn)，詳細(xì)分析了云計(jì)算技術(shù)和云數(shù)據(jù)管理技術(shù)，旨在借助此次研究，促進(jìn)云計(jì)算和云數(shù)據(jù)管理技術(shù)的進(jìn)一步發(fā)展。

關(guān)鍵詞：云計(jì)算 云數(shù)據(jù) Dynamo技術(shù)

中圖分類號(hào)：TP315 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2018）01（a）-0149-02

不斷增加的數(shù)據(jù)信息量，逐漸提高了人們對(duì)計(jì)算機(jī)存儲(chǔ)的要求，而由于各種信息應(yīng)用程序的出現(xiàn)，致使人們對(duì)數(shù)據(jù)管理和信息系統(tǒng)計(jì)算的要求越來(lái)越高。為了使人們的需求得到滿足，云計(jì)算應(yīng)運(yùn)而生，作為一種新型技術(shù)，云計(jì)算的應(yīng)用使人們利用計(jì)算機(jī)的方式得到了有效改變，完善了計(jì)算機(jī)的各種功能。云計(jì)算可以高效存儲(chǔ)海量信息，而對(duì)于這一點(diǎn)而言，云數(shù)據(jù)管理技術(shù)又衍生了出來(lái)，這種技術(shù)的應(yīng)用可以更加方便快捷地查找數(shù)據(jù)，從而將數(shù)據(jù)的利用率有效提高，及時(shí)地將可靠的應(yīng)用數(shù)據(jù)提供給人們。

1 云計(jì)算

1.1 云計(jì)算的概述

云計(jì)算即為借助把諸多的計(jì)算分布到分布式計(jì)算機(jī)上，使虛擬化的計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)得以實(shí)現(xiàn)，進(jìn)而讓數(shù)據(jù)的計(jì)算運(yùn)行相似于互聯(lián)網(wǎng)，可以立足于實(shí)際需求對(duì)系統(tǒng)和資源進(jìn)行訪問(wèn)。然而云計(jì)算并不是借助遠(yuǎn)程服務(wù)器或本地計(jì)算機(jī)進(jìn)行計(jì)算，而是類似于計(jì)算機(jī)網(wǎng)絡(luò)內(nèi)部將分布式處理計(jì)算完成，這種方式就和電廠集中供電模式相似，有機(jī)結(jié)合低成本的運(yùn)算單元，可以將計(jì)算能力和數(shù)據(jù)處理能力極大提高。云計(jì)算的計(jì)算模式具有極強(qiáng)的透明性，用戶只需要將自己的要求提交給系統(tǒng)，平臺(tái)和云計(jì)算軟件會(huì)自動(dòng)進(jìn)行處理，對(duì)于云計(jì)算的具體方法，用戶不需要對(duì)其進(jìn)行了解就能將高效、快速的大數(shù)據(jù)處理實(shí)現(xiàn)[1]。

1.2 體系結(jié)構(gòu)

云計(jì)算具有極為龐大且復(fù)雜的體系結(jié)構(gòu)，其整個(gè)工作過(guò)程是借助“云”將一個(gè)龐大的計(jì)算機(jī)輔助工作網(wǎng)絡(luò)形成的。這個(gè)網(wǎng)絡(luò)利用虛擬技術(shù)的支持，串聯(lián)起各個(gè)不同的服務(wù)器，然后再整合這些服務(wù)器資源，之后再立足于用戶需求和選擇進(jìn)行合理分配，提供給用戶一個(gè)龐大的服務(wù)器集群，從而使用戶的存儲(chǔ)需求和計(jì)算需求得到滿足。云計(jì)算的整個(gè)體系結(jié)構(gòu)有管理系統(tǒng)、服務(wù)項(xiàng)目、用戶和服務(wù)器集群4個(gè)部分。

2 云數(shù)據(jù)管理技術(shù)

2.1 云數(shù)據(jù)基本特征

第一，容量大?，F(xiàn)階段，三網(wǎng)整合等廣泛運(yùn)用，并得到了迅速發(fā)展，大多數(shù)系統(tǒng)普遍采用傳感設(shè)備收集大量數(shù)據(jù)信息，從而使得整個(gè)數(shù)據(jù)量呈現(xiàn)出幾何增長(zhǎng)趨勢(shì)。如何變革現(xiàn)階段數(shù)據(jù)管理技術(shù)或者引入新的數(shù)據(jù)管理技術(shù)來(lái)對(duì)大規(guī)模數(shù)據(jù)進(jìn)行全面管理，并迅速?gòu)钠渲蝎@取有效信息已經(jīng)成為了現(xiàn)階段我們思考的重點(diǎn)問(wèn)題。第二，結(jié)構(gòu)差異性。針對(duì)云計(jì)算的廣泛運(yùn)用，社會(huì)各個(gè)行業(yè)獲取數(shù)據(jù)信息的方式、設(shè)備有所差異，獲取數(shù)據(jù)的表現(xiàn)結(jié)構(gòu)與形式差異較大。各種類型的傳感設(shè)備（聲音傳感器、溫度傳感器等）在獲取數(shù)據(jù)的格式方面也有所差別。因?yàn)檫@些因素的存在，使得各行各業(yè)對(duì)數(shù)據(jù)管理模式也不相同。第三，不確定性。云數(shù)據(jù)不確定特征主要表現(xiàn)在語(yǔ)義匹配的不確定、查詢處理的不確定等方面。為了獲取更精確的信息，必須去粗取精，以此來(lái)確保后續(xù)數(shù)據(jù)的準(zhǔn)確性、客觀性。

2.2 云數(shù)據(jù)管理技術(shù)分析

2.2.1 Dynamo技術(shù)

Dynamo技術(shù)不僅擁有獨(dú)立的數(shù)據(jù)庫(kù)、分布式存儲(chǔ)系統(tǒng)，而且還擁有專門的粗糙系統(tǒng)Hash表分布式、鍵值結(jié)構(gòu)，基于此Dynamo技術(shù)能夠同底層支持與AWS相連接，與此同時(shí)可以不同暴露在外網(wǎng)。Dynamo技術(shù)的優(yōu)勢(shì)表現(xiàn)在其通過(guò)提供N、R、W三個(gè)常見(jiàn)參數(shù)，同時(shí)按照實(shí)際情況調(diào)整需求，比較典型的Dynamo技術(shù)主要是Apache Cassandra、Project Voldemort和Risk，其中R代表能夠?qū)崿F(xiàn)讀取一致、讀取成功的個(gè)數(shù)；N代表副本個(gè)數(shù)；W代表能夠?qū)懭氤晒Φ膫€(gè)數(shù)，然而并不規(guī)定副本個(gè)數(shù)完全成功，當(dāng)讀取成的個(gè)數(shù)+寫入成功個(gè)數(shù)>副本個(gè)數(shù)，就能夠確保所獲得的數(shù)據(jù)相同；當(dāng)讀取成的個(gè)數(shù)+寫入成功個(gè)數(shù)<副本個(gè)數(shù)，這樣獲得的數(shù)據(jù)則不會(huì)一致。另外，針對(duì)不同版本的對(duì)象，Dynamo技術(shù)也可提供記錄功能和處理功能，其運(yùn)行機(jī)制在于把不同版本的使用供給自己，然后使得自己實(shí)現(xiàn)超過(guò)對(duì)方靈活性的目標(biāo)。

2.2.2 GFS 技術(shù)

GFS技術(shù)是指一個(gè)大規(guī)模文件計(jì)算系統(tǒng)，其主要是為谷歌計(jì)算提供大規(guī)模有效的數(shù)據(jù)存儲(chǔ)空間，逐漸成為了谷歌云計(jì)算解決的主要方法。GFS把整個(gè)系統(tǒng)劃分為客戶端、數(shù)據(jù)塊服務(wù)器、主服務(wù)器3種，這樣運(yùn)用程序便能夠直接使用這些函數(shù)，并同數(shù)據(jù)庫(kù)聯(lián)系起來(lái)，對(duì)整個(gè)系統(tǒng)數(shù)據(jù)進(jìn)行有效保存。GFS按照固定大小將文件進(jìn)行分塊存儲(chǔ)，每一塊便組成為一個(gè)數(shù)據(jù)塊，并配以相關(guān)索引號(hào)。當(dāng)客戶端對(duì)GFS進(jìn)行訪問(wèn)時(shí)，應(yīng)先對(duì)節(jié)點(diǎn)進(jìn)行訪問(wèn)，然后獲得相關(guān)數(shù)據(jù)信息，這一數(shù)據(jù)存儲(chǔ)方法有效地控制的數(shù)據(jù)流，而且大大提高了云數(shù)據(jù)整體管理技術(shù)。

2.2.3 Big Table技術(shù)

該技術(shù)是一種云數(shù)據(jù)管理技術(shù)，由Google公司研發(fā)，其最用在于結(jié)構(gòu)化全部數(shù)據(jù)。Big Table技術(shù)實(shí)質(zhì)上是一種分布式存儲(chǔ)系統(tǒng)，在對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行管理時(shí)也將其拓展到了較大規(guī)模，例如在幾千臺(tái)服務(wù)器上都能夠?qū)崿F(xiàn)Petabytes規(guī)模?，F(xiàn)階段，我們?nèi)粘Ｊ褂玫降拇蠖鄶?shù)程序均是以Big Table為基礎(chǔ)，例如Google Earth、Orkut、RSS 閱讀器等。Big Table也是一種稀疏、有序的映射表，其伸縮性特征顯著。其運(yùn)行過(guò)程中包含了行、列和時(shí)間戳三個(gè)重要元素。其中列能夠進(jìn)一步提高可續(xù)性；行包含了各種內(nèi)容標(biāo)準(zhǔn)，多個(gè)行能夠組建成一個(gè)小表；時(shí)間戳能夠?qū)Σ煌姹镜臄?shù)據(jù)進(jìn)行儲(chǔ)存。

Big Table的主要組成部分有連接各個(gè)客戶端的、主服務(wù)器和Table服務(wù)器。其中主服務(wù)器的主要作用是將相應(yīng)的任務(wù)下達(dá)給Table服務(wù)器，對(duì)其添加狀態(tài)和垃圾回收等進(jìn)行探測(cè)。Table服務(wù)器主要負(fù)責(zé)對(duì)Table的請(qǐng)求予以處理，并對(duì)較大的Table進(jìn)行分割，使需求的目的得以達(dá)到。在使用的過(guò)程中，客戶端可以和Table服務(wù)器進(jìn)行直接交流。Big Table將任務(wù)完成后，每個(gè)Table服務(wù)器只分得到一個(gè)Table，由主服務(wù)器監(jiān)控此過(guò)程，及時(shí)對(duì)負(fù)載平衡進(jìn)行調(diào)節(jié)。

3 結(jié)語(yǔ)

對(duì)于現(xiàn)代社會(huì)而言，計(jì)算機(jī)和云數(shù)據(jù)管理技術(shù)具有廣闊的發(fā)展市場(chǎng)，能夠?qū)Υ笠?guī)模非確定性數(shù)據(jù)進(jìn)行有效處理，為企業(yè)的發(fā)展提供數(shù)據(jù)信息支持，同時(shí)值得注意的是，計(jì)算機(jī)和云數(shù)據(jù)管理技術(shù)的運(yùn)用也面臨著嚴(yán)峻的考驗(yàn)，要求企業(yè)應(yīng)準(zhǔn)確管理企業(yè)數(shù)據(jù)信息，并獲得簡(jiǎn)單明了的數(shù)據(jù)處理結(jié)果，避免計(jì)算錯(cuò)誤的現(xiàn)象出現(xiàn)。全面了解云計(jì)算機(jī)和云數(shù)據(jù)處理技術(shù)，對(duì)云數(shù)據(jù)管理方式進(jìn)行明確，從而促使其更好地服務(wù)于現(xiàn)代社會(huì)的發(fā)展。

參考文獻(xiàn)

[1] 譚鑫.大數(shù)據(jù)云計(jì)算技術(shù)及其應(yīng)用展望[J].中國(guó)管理信息化，2016，19（19）：178-179.

[2] 張麗敏.基于云計(jì)算的云數(shù)據(jù)管理技術(shù)研究[J].自動(dòng)化與儀器儀表，2017（1）：177-179.

[3] 周麗英.云計(jì)算時(shí)代下的數(shù)據(jù)管理技術(shù)探討[J].中國(guó)管理信息化，2017，20（15）：171-172.