李慧玲（長治學(xué)院，山西長治， 046000）

?

基于云計算環(huán)境下的大規(guī)模數(shù)據(jù)處理技術(shù)研究

李慧玲
（長治學(xué)院，山西長治， 046000）

摘要：隨著計算機技術(shù)與互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)信息和數(shù)據(jù)量日益增長。諸多領(lǐng)域當(dāng)中，都具有極大規(guī)模的數(shù)據(jù)信息。而在這些領(lǐng)域當(dāng)中，需要對這些大規(guī)模數(shù)據(jù)進(jìn)行處理和計算，需要完成極其龐大的運算量?；诖耍捎没谠朴嬎悱h(huán)境下的大規(guī)模數(shù)據(jù)處理技術(shù)，能夠有效的打破這些限制，從而實現(xiàn)更加高效、快速的數(shù)據(jù)計算。

關(guān)鍵詞：云計算環(huán)境；大規(guī)模數(shù)據(jù)；處理技術(shù)

1　大規(guī)模廉價計算平臺

利用虛擬化技術(shù)，能夠?qū)崿F(xiàn)大規(guī)模廉價計算平臺，將存儲、應(yīng)用程序、網(wǎng)絡(luò)、計算等資源作為虛擬化實體。利用虛擬化技術(shù)，在單個節(jié)點計算平臺中進(jìn)行應(yīng)用，并利用虛擬化技術(shù)有效的利用和組織閑置的計算平臺。對閑散的計算資源進(jìn)行抽象，使之形成相互之間完全獨立的虛擬服務(wù)器實例，從而獨立的完成數(shù)據(jù)處理和計算。通過這種方式，就能夠?qū)崿F(xiàn)底層硬件的虛擬化。

虛擬化創(chuàng)建和發(fā)布存儲、計算等資源之后，利用相應(yīng)的虛擬化解決方案，在虛擬計算節(jié)點資源池當(dāng)中進(jìn)行部署，就能夠進(jìn)行應(yīng)用和管理。建設(shè)大規(guī)模計算平臺的過程，也是云計算環(huán)境下大規(guī)模數(shù)據(jù)處理的一個重要步驟。具體來說，首先要對數(shù)據(jù)處理需要的資源進(jìn)行參數(shù)化的配置，根據(jù)相應(yīng)的要求進(jìn)行定制。對于資源提供者或數(shù)據(jù)處理用戶來說，在對計算節(jié)點資源池進(jìn)行應(yīng)用和部署之前，應(yīng)當(dāng)對其進(jìn)行選擇，并對相應(yīng)參數(shù)進(jìn)行設(shè)置。通過這一過程，用戶能夠獲取自己需要的資源。在不同的操作模式下，資源提供者能夠?qū)Φ讓佑嬎阗Y源相關(guān)屬性進(jìn)行部署，從而為用戶提供參數(shù)服務(wù)。在設(shè)置參數(shù)完成定制之后，以此為基礎(chǔ)，在大規(guī)模數(shù)據(jù)處理的時候，部署存儲和計算資源，同時設(shè)定計算流程和數(shù)據(jù)處理方案。將相關(guān)參數(shù)設(shè)置信息在存儲和計算資源的配置文件當(dāng)中進(jìn)行寫入之后，以此對計算流程進(jìn)行分配，從而在計算節(jié)點中啟動相關(guān)的資源，并且管理和部署計算節(jié)點的定制處理服務(wù)。

在大規(guī)模數(shù)據(jù)處理當(dāng)中，需要應(yīng)用很多軟硬件資源，對這些資源要進(jìn)行管理和監(jiān)測。部署工具通過網(wǎng)絡(luò)連接到目標(biāo)計算節(jié)點和計算流程，然后執(zhí)行大規(guī)模數(shù)據(jù)處理方案。然后根據(jù)相應(yīng)的方案，通過代碼對存儲和計算資源進(jìn)行分配和執(zhí)行?；谕獠繑?shù)據(jù)處理資源管理實施方案，在各個計算節(jié)點上都能夠?qū)崿F(xiàn)對大規(guī)模數(shù)據(jù)處理的實施和部署。在監(jiān)測完成之后，需要對計算資源和存儲資源的虛擬化分配進(jìn)行激活，進(jìn)而對整個計算流程進(jìn)行激活。將部署在計算節(jié)點進(jìn)行進(jìn)行啟動，利用網(wǎng)絡(luò)在各個計算節(jié)點發(fā)送數(shù)據(jù)處理命令，從而完成調(diào)度和部署計算流程的工作。在完成激活之后，將計算流程在各個計算節(jié)點進(jìn)行執(zhí)行。

2　Map Reduce技術(shù)的支持

在云計算環(huán)境下，對規(guī)模數(shù)據(jù)處理具有對大規(guī)模廉價服務(wù)器集群進(jìn)行應(yīng)用的特點，以此通過分布式、并行式等方式進(jìn)行數(shù)據(jù)處理。在Map Reduce的開發(fā)過程中，只需對Map、Reduce兩個接口進(jìn)行定義，在對大規(guī)模數(shù)據(jù)進(jìn)行讀取之后，通過計算機集群，對用戶編寫程序進(jìn)行運行，拆分大規(guī)模數(shù)據(jù)集合，使之形成若干數(shù)據(jù)片段，從而得到一系列鍵值對。然后向一個Map任務(wù)中分配一個數(shù)據(jù)片段，在Map Reduce框架下，向大規(guī)模計算集群中的節(jié)點進(jìn)行子任務(wù)的分配。最后，結(jié)合得到的鍵值對進(jìn)行計算，生成鍵值對集合，向Reduce當(dāng)中進(jìn)行輸出。如果數(shù)據(jù)包含相同的鍵值，在同一個節(jié)點，會有一個新的二元組合集合運行產(chǎn)生。

Reduce當(dāng)中每一個Reduce任務(wù)，都會向二元組集合當(dāng)中進(jìn)行分配，輸入集合片段，運行Reduce函數(shù)，輸出二元組鍵值對。在集群中的節(jié)點上，該框架會再次分發(fā)Reduce任務(wù)，并在Reduce任務(wù)中分配和處理中間結(jié)果數(shù)據(jù)片段。在任何一個階段當(dāng)中，負(fù)載均衡機制、容錯機制等會對數(shù)據(jù)處理執(zhí)行情況進(jìn)行監(jiān)測，在數(shù)據(jù)處理當(dāng)中，確保錯誤任務(wù)自動向其它計算平臺節(jié)點中分配。如果數(shù)據(jù)處理任務(wù)失敗，也能夠自動重新進(jìn)行計算。在大規(guī)模數(shù)據(jù)處理當(dāng)中，是高度并行操作Map的，這一步驟對于大規(guī)模數(shù)據(jù)的高效處理來說，具有不可忽視的意義。在實際應(yīng)用中，其在大規(guī)模數(shù)據(jù)處理中能夠體現(xiàn)出很多方面的優(yōu)勢[4]。

具體來說，基于云計算環(huán)境下，對規(guī)模數(shù)據(jù)信息大都能夠達(dá)到TB級別或GB級別，在Hadoop框架當(dāng)中，能夠采用HDFS對大規(guī)模數(shù)據(jù)進(jìn)行支持，能夠提供高數(shù)據(jù)寬帶，同時能夠在大規(guī)模廉價計算集群中的節(jié)點進(jìn)行擴展。基于云計算環(huán)境，能夠?qū)Υ笠?guī)模數(shù)據(jù)處理的要求加以滿足，從而得到更為良好的效果。

3　云計算環(huán)境下大規(guī)模數(shù)據(jù)處理的框架模型

在大規(guī)模數(shù)據(jù)資源和計算資源當(dāng)中，基于相關(guān)數(shù)據(jù)處理的需求，在大規(guī)模數(shù)據(jù)處理當(dāng)中，對云計算技術(shù)、計算機網(wǎng)絡(luò)技術(shù)進(jìn)行引入，基于分布管理或集中管理的大量廉價計算機集群，進(jìn)行高性能計算平臺的建立，并在云計算環(huán)境下，建立大規(guī)模數(shù)據(jù)處理框架模型，從而發(fā)揮出操作簡單、性價比高、可擴展、動態(tài)性良好等特點。在框架模型當(dāng)中，主要包含了兩級結(jié)構(gòu)，其一是虛擬資源體系、大規(guī)模廉價計算機集群，其二是大規(guī)模數(shù)據(jù)處理分析的處理監(jiān)測管理體系、數(shù)據(jù)處理服務(wù)請求、以及相應(yīng)的基礎(chǔ)架構(gòu)。在第一級結(jié)構(gòu)當(dāng)中，利用限制的計算機資源，對虛擬資源層和物理設(shè)備進(jìn)行構(gòu)建，從而形成最底層的物力資源。然后類型一致的物力資源進(jìn)行虛擬化的處理，形成同構(gòu)的數(shù)據(jù)處理資源池或接近于同構(gòu)的數(shù)據(jù)處理資源池?；诖耍梢赃M(jìn)行性價比、可擴展性、動態(tài)性都十分良好的高性能計算平臺。

在第二級結(jié)構(gòu)當(dāng)中，最為重要的就是軟件體系?；诘谝患墭?gòu)建的虛擬資源體系和大規(guī)模廉價計算機集群，能夠形成虛擬化的回收、負(fù)載均衡、容錯處理、配置等相關(guān)功能，為大規(guī)模數(shù)據(jù)處理提供服務(wù)。基于統(tǒng)一管理和統(tǒng)一調(diào)度虛擬資源，可采用Hadoop核心技術(shù)，對數(shù)據(jù)處理接口進(jìn)行編寫。通過這種方式，在不同的學(xué)科和領(lǐng)域當(dāng)中，能夠提供相應(yīng)的大規(guī)模數(shù)據(jù)處理服務(wù)，從而使用戶能夠享有良好的計算平臺軟件支持，對于分布式并行數(shù)據(jù)處理計算任務(wù)，能夠在各個虛擬計算節(jié)點之間實現(xiàn)。最后，通過云服務(wù)的形式，向終端用戶提供最終結(jié)果。

在這一框架的設(shè)計與實現(xiàn)當(dāng)中，對Hadoop分布式開源計算機框架進(jìn)行了應(yīng)用，對其中的HDFS分布式文件系統(tǒng)，以及Map Reduce進(jìn)行應(yīng)用，從而對大規(guī)模數(shù)據(jù)處理業(yè)務(wù)進(jìn)行處理和協(xié)調(diào)。具體來說，首先需要對大規(guī)模的計算機集群環(huán)境進(jìn)行構(gòu)造。在計算節(jié)點當(dāng)中，對放置在Map Reduce任務(wù)進(jìn)行映射，對大規(guī)模數(shù)據(jù)進(jìn)行劃分，使之形成若干子塊，并對數(shù)據(jù)塊的數(shù)量、規(guī)格等會參數(shù)加以掌握。通過HDFS功能，可以在每一個計算節(jié)點當(dāng)中，對數(shù)據(jù)塊副塊進(jìn)行智能的放置，同時針對各個節(jié)點，對具體的角色進(jìn)行設(shè)計。然后在Hadoop所提供的分布式文件系統(tǒng)HDFS當(dāng)中，對大規(guī)模數(shù)據(jù)進(jìn)行載入，對于Map Reduce當(dāng)中的數(shù)據(jù)處理任務(wù)，通過Hadoop向各個計算節(jié)點當(dāng)中進(jìn)行轉(zhuǎn)移。在大規(guī)模數(shù)據(jù)處理的過程當(dāng)中，需要利用Reduce函數(shù)、Map函數(shù)、以及相關(guān)的程序進(jìn)行分布化處理。在Hadoop當(dāng)中，為了對Map Reduce進(jìn)行運行，提供了一個API進(jìn)行支持。最后，需要對大規(guī)模數(shù)據(jù)處理的結(jié)果進(jìn)行反饋，利用用戶驗證接口，通過相應(yīng)的云服務(wù)平臺，型用戶反饋大規(guī)模數(shù)據(jù)的處理結(jié)果，從而完成用戶的實際需求。

4　結(jié)論

在當(dāng)前信息化的時代背景當(dāng)中，計算機和網(wǎng)絡(luò)的廣泛應(yīng)用，使得各個領(lǐng)域中的數(shù)據(jù)量和信息量與日俱增。而對于這些海量的大規(guī)模數(shù)據(jù)來說，利用傳統(tǒng)的數(shù)據(jù)處理方式，往往難以取得十分理想的處理效果。基于此，可在云計算環(huán)境下，開發(fā)和利用相應(yīng)的大規(guī)模數(shù)據(jù)處理技術(shù)，以此來支持社會各個領(lǐng)域當(dāng)中的大規(guī)模數(shù)據(jù)處理需要，從而數(shù)字化的時代當(dāng)中，始終保持較高的工作效率和良好的工作效果。

參考文獻(xiàn)

[1]張興旺,李晨暉,秦曉珠. 云計算環(huán)境下大規(guī)模數(shù)據(jù)處理的研究與初步實現(xiàn)[J]. 現(xiàn)代圖書情報技術(shù),2011,04:17-23.

[2]盧小賓,王濤. Google三大云計算技術(shù)對海量數(shù)據(jù)分析流程的技術(shù)改進(jìn)優(yōu)化研究[J]. 圖書情報工作,2015,03:6-11+102.

李慧玲（1979-），女，山西省武鄉(xiāng)縣人，碩士研究生，講師，從事計算機應(yīng)用、云計算研究

Research on large scale data processing technology based on cloud computing environment

Li Huiling
(Changzhi University,Shanxi Changzhi,046000)

Abstract：With the development of computer technology and Internet technology, network information and data is increasing.In many areas,it has a great scale of data information.In these areas,the need for these large-scale data processing and computing,the need to complete a very large amount of computation.Based on this,the large-scale data processing technology based on cloud computing environment,can effectively break the restrictions,so as to achieve more efficient and fast data computing.

Keywords：cloud computing environment;large scale data;processing technology

作者簡介