馮文健 柳州鐵道職業(yè)技術(shù)學(xué)院 蒙煥念 廣西科技師范學(xué)院

1. VMware Esxi和Hadoop的具體分析

VMware Esxi在某種程度上是建立在具體服務(wù)器硬件上的虛擬機(jī)系統(tǒng)，在一定程度上其穩(wěn)定性能相對(duì)較好，在服務(wù)器硬件上也不會(huì)消耗過(guò)多的設(shè)備性能。在VMware Esxi上是可以進(jìn)行多個(gè)服務(wù)器硬件虛擬機(jī)的創(chuàng)建的，在對(duì)于每一個(gè)虛擬機(jī)的獨(dú)立應(yīng)用程序以及操作系統(tǒng)當(dāng)中是可以去實(shí)現(xiàn)多個(gè)虛擬機(jī)的創(chuàng)建的。在一定程度上去安裝好Exsi系統(tǒng)之后，能夠去通過(guò)Vsohere Client登錄到Esxi系統(tǒng)上面去進(jìn)行實(shí)際的管理，列如在次系統(tǒng)上去構(gòu)建快照以及虛擬機(jī)等方面。在Haoop中其開(kāi)源分布式的系統(tǒng)構(gòu)建主要是為了給具體的程序提供較為穩(wěn)定，可靠的數(shù)據(jù)服務(wù)以及接口，其數(shù)據(jù)服務(wù)和接口主要包含了兩個(gè)方面第一是Haoop MapReduce與Hadoop Distributed HDFS。其中HDFS是hadoop的分布式文件系統(tǒng)，其主要運(yùn)用的是從構(gòu)建中去構(gòu)建一個(gè)控制節(jié)點(diǎn)以及多個(gè)數(shù)據(jù)控制節(jié)點(diǎn)所構(gòu)成的。其中namenode管理文件在系統(tǒng)命名當(dāng)中其被命名為空間，在一定程度上是記錄著文件當(dāng)中的各環(huán)節(jié)數(shù)據(jù)節(jié)點(diǎn)中的所有信息。在某種程度上datanode存放著相關(guān)的具體數(shù)據(jù)，然后在根據(jù)其所需要的實(shí)際數(shù)據(jù)模塊進(jìn)行系統(tǒng)的構(gòu)建。在Hadoop中的mapredue的分布式計(jì)算系統(tǒng)引擎是可以去實(shí)現(xiàn)對(duì)于大數(shù)據(jù)的實(shí)際進(jìn)行具體的處理，在某種程度上其思想是必須要分為reduc和map階段中對(duì)與系統(tǒng)所輸入的并行地割所分成的多個(gè)任務(wù)，然后要讓reduce去負(fù)責(zé)對(duì)于map環(huán)節(jié)中的全部結(jié)果進(jìn)行匯總的反饋。

2. 具體系統(tǒng)平臺(tái)的搭建

2.1 具體創(chuàng)建虛擬機(jī)和安裝Linux系統(tǒng)

在大數(shù)據(jù)平臺(tái)中使用Linux系統(tǒng)的版本是最新的版本，在實(shí)際安裝過(guò)程中所要注意的是，不能夠去忽視了對(duì)于該系統(tǒng)的靜態(tài)ip以及主機(jī)名稱(chēng)和啟動(dòng)時(shí)間等相關(guān)問(wèn)題。在某種程度哈桑要在IBM的服務(wù)器上去構(gòu)建一個(gè)獨(dú)立的虛擬機(jī)，這樣能夠讓其在剩余的服務(wù)器上去選擇所需求的虛擬機(jī)，在相信對(duì)構(gòu)建的虛擬機(jī)中較為熟練的系統(tǒng)中，去創(chuàng)建完成本地的鏡像文件在安裝Linux，然而在系統(tǒng)鏡像文件當(dāng)中能夠去支持多個(gè)虛擬機(jī)上的系統(tǒng)文件，這也就是說(shuō)明了可以同時(shí)在一個(gè)服務(wù)器上去安裝多個(gè)虛擬機(jī)，這樣能夠在很大程度上去提高安裝的效率，這樣也能夠在一定程度節(jié)省安裝時(shí)間。

2.2 服務(wù)器硬件和其他方面的準(zhǔn)備工作

在一定程度上對(duì)于VMware Esxi和Hadoop大數(shù)據(jù)平臺(tái)的搭建中所需要的服務(wù)器硬件條件是需要在服務(wù)器中安裝若干個(gè)IBM的服務(wù)器，然而根據(jù)具體的需求對(duì)IBM的服務(wù)器的實(shí)際性能進(jìn)行檢測(cè)，這樣能夠讓其作為主節(jié)點(diǎn)，對(duì)于其他方面的聯(lián)想服務(wù)器都是需要進(jìn)行獨(dú)立的創(chuàng)建出新的節(jié)點(diǎn)的，這樣能夠讓系統(tǒng)平臺(tái)正常穩(wěn)定的運(yùn)行。在某種程度上對(duì)于多種服務(wù)器的管理必須要進(jìn)行統(tǒng)一化的管理，要想進(jìn)行統(tǒng)一管理就必須要在服務(wù)器上安裝VMware Esxi系統(tǒng)，這樣能夠讓計(jì)算機(jī)主機(jī)上的靜態(tài)IP，用戶(hù)名密碼等環(huán)節(jié)做好提前的設(shè)置，做好這些，最后用戶(hù)就可以進(jìn)行遠(yuǎn)程的客戶(hù)端實(shí)際操作了。在VMware Esxi和Hadoop大數(shù)據(jù)平臺(tái)搭建研究中可以在計(jì)算機(jī)中安裝光盤(pán)，在安裝過(guò)程中所需要注意的就是要針對(duì)系統(tǒng)進(jìn)行安裝成功之后對(duì)于服務(wù)器進(jìn)行重新其中的操作，若是在一定程度上沒(méi)有成功的啟動(dòng)光盤(pán)或者是沒(méi)有啟動(dòng)計(jì)算機(jī)設(shè)備，那么這種情況就必須要對(duì)系統(tǒng)進(jìn)行重新的安裝，在對(duì)于系統(tǒng)安裝成果之后還需要就行用戶(hù)的相關(guān)設(shè)置，對(duì)于主機(jī)的名稱(chēng)和用戶(hù)的相關(guān)登錄密碼和IP賬號(hào)等進(jìn)行參數(shù)匹配的設(shè)置，這樣能夠讓用戶(hù)在遠(yuǎn)程進(jìn)行客戶(hù)端的實(shí)際操作，此外還可以在客戶(hù)端上安裝client，這樣能夠讓計(jì)算機(jī)管理員的實(shí)際操作工作變得更為簡(jiǎn)單化。

2.3 Hadoop的實(shí)際安裝程序

在之前的Linux系統(tǒng)當(dāng)中進(jìn)行配置期間已經(jīng)對(duì)于靜態(tài)IP，主機(jī)名和NTP進(jìn)行了具體的配置，所以在某種程度上對(duì)于Hadoop配置過(guò)程中只需要配置相應(yīng)的文件就可以了，這個(gè)時(shí)候就需要在配置完成之后安裝爪洼程序和相應(yīng)的設(shè)置來(lái)對(duì)SSH進(jìn)行客戶(hù)端的登錄操作，在一定程度上讓該平臺(tái)中安裝時(shí)候可以充分運(yùn)用命令安裝，在實(shí)際安裝成功之后還必須要在etc這個(gè)配置文件當(dāng)中進(jìn)行環(huán)境的具體變量。在實(shí)際安裝好JDK之后還必須要對(duì)ssh的密碼登錄進(jìn)行相應(yīng)的設(shè)置，在ssh無(wú)線(xiàn)密碼設(shè)置環(huán)節(jié)中要在主節(jié)點(diǎn)上面去生成一個(gè)密鑰對(duì)，然后在將其分為私鑰以及公鑰這兩種，從而在一定程度上將公鑰復(fù)制到slawe中，這樣能夠在某種程度上去要求集群中創(chuàng)建一個(gè)較好的ssh文件，與此同時(shí)還能夠?qū)⑾嚓P(guān)的權(quán)限修改成為相應(yīng)的具體數(shù)據(jù)信號(hào)，此后就能夠簡(jiǎn)單快捷的去生成無(wú)線(xiàn)密碼的密鑰對(duì)，從而將公鑰追加到授權(quán)的key程序當(dāng)中，這樣能夠讓其不間斷的讓數(shù)據(jù)傳送到其他環(huán)節(jié)節(jié)點(diǎn)當(dāng)中，在啟用對(duì)公鑰私鑰進(jìn)行配對(duì)人活在那個(gè)過(guò)程中，要將命令改為pubkey Authentication yes，這樣能夠在一定程度上讓VMware Esxi和Hadoop大數(shù)據(jù)平臺(tái)的搭建變得更為便利。

在后續(xù)安裝程序當(dāng)中需要配置Hadoop當(dāng)中的文件，要對(duì)文件進(jìn)行相應(yīng)的配置前去下載好Hadoop的源碼，然后將其編譯成為六十四位的Hadoop，同時(shí)還需要在這個(gè)程序當(dāng)中去創(chuàng)建多個(gè)文件，其主要?jiǎng)?chuàng)建的文件名稱(chēng)是tmp，dfs/data以及name等。上述程序完成之后就需要對(duì)Hadoop的配置文件進(jìn)行具體的配置了，在配置文件中有7個(gè)，還有些是默認(rèn)沒(méi)有的文件，將這些文件通過(guò)復(fù)制的template來(lái)獲取受到相應(yīng)的程序。在最后就是需要修改好Hadoop的配置文件來(lái)將集群上的節(jié)點(diǎn)進(jìn)行復(fù)制。在這個(gè)時(shí)候會(huì)出現(xiàn)文件開(kāi)發(fā)的相關(guān)問(wèn)題，伴隨著數(shù)據(jù)業(yè)務(wù)的流量不斷擴(kuò)大，有很多的程序文件是需要在某種程度上去進(jìn)行具體的修改之后的使用的，這樣會(huì)讓所有節(jié)點(diǎn)當(dāng)中的文件都會(huì)被修改，這種情況的出現(xiàn)會(huì)加大工作人員的工作量，為了能夠在一定程度上降低這種低效率的工作方法，在基于VMware Esxi和Hadoop大數(shù)據(jù)平臺(tái)的構(gòu)建中可以充分將crontab進(jìn)行相應(yīng)的結(jié)合，這樣能夠在某種程度上去實(shí)現(xiàn)hadoop的文件同步，這樣能夠在進(jìn)行首次文件同步是去實(shí)現(xiàn)文件的復(fù)制而將所傳輸?shù)奈募?nèi)容進(jìn)行改動(dòng)，從而在對(duì)文件內(nèi)容傳輸改動(dòng)過(guò)程中能夠同時(shí)對(duì)文件進(jìn)行壓縮的方式，這樣能夠讓實(shí)際工作效率有送提升，從而提升其經(jīng)濟(jì)效益的變化。

結(jié)語(yǔ)：總而言之，在VMware Esxi和Hadoop進(jìn)行大數(shù)據(jù)平臺(tái)的搭建研究過(guò)程中，充分考慮到具體成本和對(duì)集群監(jiān)控的方式運(yùn)用，在對(duì)機(jī)械設(shè)備的性能進(jìn)行最大化的利用，這樣能夠讓大數(shù)據(jù)平臺(tái)的搭建展現(xiàn)出更為完美的一面，對(duì)于Linux進(jìn)行選擇中不能忘記相關(guān)的參數(shù)配置，這樣能夠在一定程度上讓其更好的去發(fā)揮Hadoop的實(shí)際作用，從而讓系統(tǒng)平臺(tái)得到更好的管理。