加州大學(xué)圣迭亞哥分校 鄭 然

云計(jì)算指的是我們通過(guò)網(wǎng)絡(luò)按照自己的需求擴(kuò)展性地獲取資源的過(guò)程，而在這個(gè)過(guò)程中，我們將提供資源的網(wǎng)絡(luò)稱為云。網(wǎng)絡(luò)上的資源的存儲(chǔ)量可以說(shuō)是非常大的，可以隨時(shí)進(jìn)行獲取，滿足自身的需求，然后按照使用狀況進(jìn)行付費(fèi)，這種模式就像我們使用水電一樣進(jìn)行資料的使用。在近幾年，因?yàn)樵朴?jì)算具有擴(kuò)展性高、安全方便、價(jià)格低廉以及規(guī)模龐大等優(yōu)點(diǎn)，應(yīng)用的推廣得到了極大的發(fā)展。

一、數(shù)據(jù)的計(jì)算

1．Map-Reduce

Map-Reduce技術(shù)的運(yùn)用極大地提高了我們的工作效能，如我們需要找出一本電子書中某個(gè)詞組的出現(xiàn)頻率，在傳統(tǒng)方法中，我們可能需要制作一個(gè)程序，然后將其部署到若干臺(tái)計(jì)算機(jī)上，再將該書分為若干個(gè)等分，每一臺(tái)計(jì)算機(jī)進(jìn)行一個(gè)人的工作，雖然速度也夠快，但是工作程序相對(duì)會(huì)麻煩很多，我們需要人工在計(jì)算機(jī)上進(jìn)行復(fù)制，人工地將書本進(jìn)行分割，最后還要進(jìn)行整理。但是使用Map-Reduce的話就會(huì)簡(jiǎn)便很多，我們可以使用框架將文件集的拆分、程序的復(fù)制以及整理工作都定義好，而我們做的只是對(duì)整個(gè)任務(wù)進(jìn)行定義，Map-Reduce自然會(huì)替我們完成所有工作。

該計(jì)算模型主要面向的是并行計(jì)算分布樣式的計(jì)算環(huán)境，其借助了LISP以及其他相關(guān)函數(shù)語(yǔ)言的相關(guān)功能，將原先使用復(fù)雜的大規(guī)模集群分布計(jì)算方法分割成兩個(gè)相對(duì)簡(jiǎn)明的函數(shù)階段，即Map函數(shù)階段與Reduce函數(shù)計(jì)算，使用兩個(gè)階段協(xié)同合作的方法來(lái)支撐云計(jì)算的計(jì)算力。Map-Reduce 的主要功能包括以下幾種：

（1）數(shù)據(jù)的劃分以及計(jì)算任務(wù)的調(diào)度

系統(tǒng)會(huì)將一個(gè)完成的作業(yè)中的整體數(shù)據(jù)分割成若干個(gè)數(shù)據(jù)塊兒，每個(gè)數(shù)據(jù)塊兒針對(duì)某個(gè)任務(wù)，然后自動(dòng)對(duì)計(jì)算節(jié)點(diǎn)進(jìn)行調(diào)度，以此來(lái)處理更多的數(shù)據(jù)塊。

（2）數(shù)據(jù)與代碼的相互定位

為了盡量減少數(shù)據(jù)通信，Map-Reduce的一個(gè)基本原則就是本地化地進(jìn)行數(shù)據(jù)處理，即單一的計(jì)算節(jié)點(diǎn)要對(duì)其本地磁盤的數(shù)據(jù)盡可能地進(jìn)行處理，這樣就在一定程度上實(shí)現(xiàn)了代碼端向數(shù)據(jù)端的轉(zhuǎn)移。

（3）對(duì)系統(tǒng)進(jìn)行優(yōu)化

為了減少數(shù)據(jù)通信所造成的消耗，需要數(shù)據(jù)進(jìn)入Reduce節(jié)點(diǎn)之前進(jìn)行一定程度的合并處理。除此之外，系統(tǒng)還需要進(jìn)行一定量的計(jì)算性能方面的優(yōu)化，從多個(gè)計(jì)算任務(wù)中選取完成效率最高的完成者作為結(jié)果。

（4）計(jì)算檢測(cè)與數(shù)據(jù)恢復(fù)

在使用低端商務(wù)服務(wù)器構(gòu)成的Map-Reduce計(jì)算集群中，硬件方面和軟件方面都會(huì)突然性出現(xiàn)錯(cuò)誤，所以Map-Reduce需要能通過(guò)計(jì)算檢測(cè)出錯(cuò)節(jié)點(diǎn)，并且調(diào)配新的節(jié)點(diǎn)，以應(yīng)對(duì)出錯(cuò)節(jié)點(diǎn)的計(jì)算任務(wù)。

2．故障檢測(cè)

雖然在整個(gè)云計(jì)算系統(tǒng)中，單個(gè)節(jié)點(diǎn)失能的概率不是很大，但是因?yàn)檎麄€(gè)集群中的節(jié)點(diǎn)數(shù)量十分龐大，這樣就會(huì)擴(kuò)大系統(tǒng)的失效率，在日常工作中，我們主要采取兩種方法對(duì)失效的節(jié)點(diǎn)進(jìn)行檢測(cè)：

（1）PUSH

整個(gè)系統(tǒng)中的節(jié)點(diǎn)會(huì)按照一定頻率向檢測(cè)者發(fā)送“存活”信息，如果檢測(cè)者還能收到該信息，則證明該節(jié)點(diǎn)仍然沒(méi)有失效，但是如果在規(guī)定的周期內(nèi)，節(jié)點(diǎn)沒(méi)有發(fā)送信息，則認(rèn)為該節(jié)點(diǎn)已經(jīng)死亡，則需要采取措施加以解決。

（2）PULL

顧名思義，與PUSH法相反，由檢測(cè)者對(duì)各個(gè)節(jié)點(diǎn)發(fā)出“詢問(wèn)”信息，各個(gè)節(jié)點(diǎn)在收到檢測(cè)者發(fā)來(lái)的信息后會(huì)進(jìn)行回復(fù)，如果檢測(cè)者在預(yù)定的時(shí)間內(nèi)沒(méi)有收到該節(jié)點(diǎn)的信息回復(fù)，則認(rèn)為該節(jié)點(diǎn)已經(jīng)死亡。另外，網(wǎng)絡(luò)問(wèn)題異界硬件問(wèn)題都會(huì)導(dǎo)致節(jié)點(diǎn)失效的現(xiàn)象發(fā)生。

對(duì)兩種方法進(jìn)行比較各有優(yōu)劣，PULL方法的長(zhǎng)處在于可以在將要進(jìn)行任務(wù)分配時(shí)進(jìn)行主動(dòng)性質(zhì)的檢測(cè)，而PUSH方式的長(zhǎng)處在于通信量相對(duì)較小，在具體使用的過(guò)程中，可以根據(jù)系統(tǒng)的要求來(lái)進(jìn)行方法的選擇。

3．冗余技術(shù)

冗余技術(shù)存在的意義在于能夠有效防止因?yàn)楣?jié)點(diǎn)失效而出現(xiàn)的服務(wù)中斷現(xiàn)象，比如谷歌的GFS主要就是利用了冗余計(jì)算來(lái)達(dá)到提高自身容錯(cuò)率的目的，當(dāng)用戶輸入的文件被分塊的時(shí)候，各個(gè)分塊會(huì)被分別制作復(fù)制品存放在不同的數(shù)據(jù)服務(wù)器中，而系統(tǒng)本身仍然會(huì)根據(jù)唯一的那個(gè)ID來(lái)進(jìn)行數(shù)據(jù)的操作。

二、數(shù)據(jù)的存儲(chǔ)

1．存儲(chǔ)系統(tǒng)

在傳統(tǒng)類型的數(shù)據(jù)庫(kù)中，數(shù)據(jù)的模式大多被提前進(jìn)行定義，而其數(shù)據(jù)的完整性大多需要通過(guò)約束關(guān)系來(lái)實(shí)現(xiàn)，以此來(lái)確保數(shù)據(jù)不會(huì)重復(fù)進(jìn)行存儲(chǔ)，并且用這個(gè)關(guān)系將所有的數(shù)據(jù)進(jìn)行關(guān)聯(lián)。Key 數(shù)據(jù)的存儲(chǔ)系統(tǒng)內(nèi)部由不同的“域”組成，這就相當(dāng)于我們常用到的表格，而其改進(jìn)是一個(gè)域，可以有不同的形態(tài)屬性。不同域之間的關(guān)系以及單個(gè)域內(nèi)各項(xiàng)數(shù)據(jù)的關(guān)系是不進(jìn)行預(yù)先定義的，所有相關(guān)的內(nèi)容都被存儲(chǔ)在域中，而且每個(gè)域中的數(shù)據(jù)數(shù)量和內(nèi)容也都不同，這樣就可以用來(lái)匹配云服務(wù)的不同指令類型，提供足夠的數(shù)據(jù)資源。

2．副本的一致性

冗余技術(shù)也被應(yīng)用在了數(shù)據(jù)的存儲(chǔ)過(guò)程中，在將副本發(fā)送到各個(gè)節(jié)點(diǎn)中時(shí)，如果主版本的各個(gè)節(jié)點(diǎn)都沒(méi)有失效，那么更新后的操作也會(huì)在其副本中得到體現(xiàn)。如果主版本節(jié)點(diǎn)失效，那么更新后的操作就不能順利發(fā)送到所有副本，這樣數(shù)據(jù)就會(huì)不一致，而這里我們就可以使用各個(gè)版本的時(shí)間排序來(lái)實(shí)現(xiàn)版本計(jì)算器的功能，如果節(jié)點(diǎn)已經(jīng)失效，那么就可以利用其存在來(lái)判斷更新操作在節(jié)點(diǎn)中的版本的分支種類，然后進(jìn)行沖突的解決。

三、云計(jì)算數(shù)據(jù)存儲(chǔ)與計(jì)算在企業(yè)中的需求可行性

1.企業(yè)想要積極運(yùn)用云計(jì)算達(dá)到應(yīng)有效果，需要對(duì)自身數(shù)據(jù)存儲(chǔ)平臺(tái)采取三層結(jié)構(gòu)的設(shè)計(jì)，以數(shù)據(jù)預(yù)處理、云計(jì)算以及數(shù)據(jù)挖掘平臺(tái)為分層，以此來(lái)優(yōu)化平臺(tái)功能以實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)以及挖掘的功能。具體圖示如下：

2.在系統(tǒng)功能的設(shè)計(jì)方面，需要使用云計(jì)算技術(shù)合理地對(duì)數(shù)據(jù)平臺(tái)進(jìn)行設(shè)置，需要由以下幾部分組成：數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、模式規(guī)則以及應(yīng)用接口，以此來(lái)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)和挖掘功能。

3.在數(shù)據(jù)庫(kù)的設(shè)計(jì)方面，要充分利用關(guān)系數(shù)據(jù)庫(kù)的特征，減少冗余數(shù)據(jù)出現(xiàn)的幾率，盡量在單一的地方進(jìn)行數(shù)據(jù)存儲(chǔ)，然后通過(guò)主鍵以及外鍵來(lái)進(jìn)行動(dòng)態(tài)視圖的構(gòu)建，這樣可以在編寫程序時(shí)方便進(jìn)行查詢檢索代碼的設(shè)定。

就像人類社會(huì)中的其他類型產(chǎn)業(yè)一樣，云計(jì)算也需要在發(fā)展的過(guò)程中逐漸標(biāo)準(zhǔn)化，相關(guān)基礎(chǔ)設(shè)施也會(huì)逐漸得到完善。我們有理由相信，隨著互聯(lián)網(wǎng)在我們生活中的占比和重要性越發(fā)凸顯，云計(jì)算的用戶和規(guī)模將會(huì)得到進(jìn)一步的擴(kuò)大，而云計(jì)算也必將成為我們生活中不可或缺的組成。