文/于翔

虛擬技術(shù)降低分布式存儲系統(tǒng)部署成本

文/于翔

校園網(wǎng)存儲系統(tǒng)可充分利用虛擬化與分布式技術(shù)的特點，采用多層次的模塊化應(yīng)用，使整個存儲系統(tǒng)從硬件架構(gòu)到軟件的應(yīng)用方式變得更加靈活和易擴(kuò)展，同時又因為虛擬化與分布式技術(shù)本身的安全特性，系統(tǒng)在數(shù)據(jù)安全性上具有先天優(yōu)勢，從而實現(xiàn)低成本部署數(shù)據(jù)存儲服務(wù)系統(tǒng)，為校園網(wǎng)絡(luò)建設(shè)提供低成本、高擴(kuò)容的存儲保證。

系統(tǒng)凸顯低成本、高擴(kuò)容

天津城市建設(shè)學(xué)院通過Ubuntu系統(tǒng)搭建開源的Hadoop存儲應(yīng)用基礎(chǔ)，在服務(wù)器虛擬化平臺上運行，從而獲得能夠擁有更快、更穩(wěn)定、更安全的硬件保障，使用iSCSI技術(shù)，盡可能降低存儲部署成本，使其能夠方便靈活地被使用。該系統(tǒng)是基于虛擬化的分布式校園網(wǎng)存儲系統(tǒng)，利用VMware虛擬化平臺將服務(wù)器硬件存儲資源進(jìn)行整合，通過建立Lun將服務(wù)器的磁盤陣列進(jìn)行劃分，組成多個磁盤邏輯，然后通過在Lun上安裝Ubuntu操作系統(tǒng)及搭建iSCSI服務(wù)器端，使得存儲硬件資源能夠靈活地應(yīng)用在Hadoop系統(tǒng)中。Hadoop將部署在虛擬化硬件平臺上構(gòu)成一個分布式的文件系統(tǒng)，通過WebDAV協(xié)議建立與客戶端服務(wù)器的應(yīng)用通信。用戶可以通過訪問客戶端服務(wù)器將文件通過WebDAV以HTTPS方式傳輸?shù)紿adoop存儲集群中保存。

該系統(tǒng)的設(shè)計充分利用虛擬化與分布式技術(shù)的特點，采用多層次的模塊化應(yīng)用使得整個存儲系統(tǒng)從硬件架構(gòu)到軟件的應(yīng)用方式都變得靈活和易擴(kuò)展，同時又因為虛擬化與分布式技術(shù)本身的安全特性，系統(tǒng)在數(shù)據(jù)安全性上具有先天優(yōu)勢，從而實現(xiàn)數(shù)據(jù)存儲服務(wù)的部署低成本，為校園網(wǎng)絡(luò)建設(shè)提供低成本、高擴(kuò)容的存儲保證。

采用云存儲與iSCSI技術(shù)

存儲系統(tǒng)采用底層云存儲技術(shù)與應(yīng)用層iSCSI技術(shù)，為用戶提供跨系統(tǒng)應(yīng)用平臺支持。工作原理如圖1所示。

系統(tǒng)由多臺數(shù)據(jù)存儲服務(wù)器通過iSCSI網(wǎng)絡(luò)構(gòu)成一個龐大的數(shù)據(jù)存儲服務(wù)集群，每臺存儲服務(wù)器都由磁盤陣列通過iSCSI協(xié)議與點播服務(wù)器建立通信，在點播服務(wù)器本地生成一個磁盤鏡像。虛擬化的VMware將服務(wù)器硬件存儲資源進(jìn)行整合，通過建立Lun將服務(wù)器的磁盤陣列進(jìn)行劃分，組成多個磁盤邏輯，然后通過在Lun建立存儲資源池并提供給應(yīng)用服務(wù)器。

采用VMware ESXi Server虛擬系統(tǒng)作為應(yīng)用服務(wù)器集群底層系統(tǒng)，各應(yīng)用服務(wù)器系統(tǒng)可在VMware虛擬系統(tǒng)上建立邏輯上的關(guān)聯(lián)。VMware允許多個操作系統(tǒng)并行運行在一臺高性能服務(wù)器上，與多個高性能服務(wù)器運行同一任務(wù)，同時通過網(wǎng)絡(luò)對操作系統(tǒng)進(jìn)行備份和管理，能夠依據(jù)應(yīng)用服務(wù)使用狀況對操作系統(tǒng)實施遷移和復(fù)制，從而擴(kuò)大網(wǎng)絡(luò)應(yīng)用處理帶寬。

我們在VMware層上安裝Ubuntu系統(tǒng)平臺以及搭建Hadoop分布式存儲系統(tǒng)。Hadoop系統(tǒng)能將數(shù)據(jù)同時分割成許多小塊和備份，并通過點播服務(wù)器（NameNode）將其存放于不同的數(shù)據(jù)存儲服務(wù)器中。在Hadoop的系統(tǒng)中有一臺Master，它主要負(fù)責(zé)NameNode的工作以及JobTracker的工作。JobTracker的主要職責(zé)就是啟動、跟蹤和調(diào)度各個Slave的任務(wù)執(zhí)行。每一臺Slave通常具有Data Node的功能并負(fù)責(zé)TaskTracker的工作。TaskTracker根據(jù)應(yīng)用要求來結(jié)合本地數(shù)據(jù)執(zhí)行Map任務(wù)以及Reduce任務(wù)。

在NameNode上部署WebDAV（Webbased Distributed Authoring and Versioning）應(yīng)用，實現(xiàn)應(yīng)用服務(wù)器對存儲資源的通信，從而讓用戶調(diào)用Hadoop上的數(shù)據(jù)。WebDAV是基于HTTP 1.1的一個通信協(xié)議。它為HTTP 1.1添加了一些擴(kuò)展（就是在GET、POST、HEAD等幾個HTTP標(biāo)準(zhǔn)方法以外添加了一些新的方法），使得應(yīng)用程序可以直接將文件寫到應(yīng)用服務(wù)器（Application Server）上，從而替代傳統(tǒng)的FTP傳輸文件模式。

存儲系統(tǒng)結(jié)構(gòu)設(shè)計

整個存儲系統(tǒng)硬件設(shè)備由多臺應(yīng)用服務(wù)器與iSCSI存儲陣列以總線型網(wǎng)絡(luò)構(gòu)成。應(yīng)用服務(wù)器上安裝VMware ESXi系統(tǒng)，通過嵌入VMkernel代碼，讓該系統(tǒng)通過標(biāo)準(zhǔn)網(wǎng)絡(luò)適配器連接iSCSI存儲設(shè)備，在資源池中建立iSCSI SAN資源。在VMware ESXi的平臺上根據(jù)應(yīng)用需求虛擬出兩個服務(wù)器集群（如圖2），一部分集群作為應(yīng)用群，為系統(tǒng)提供內(nèi)網(wǎng)DNS服務(wù)、應(yīng)用服務(wù)、監(jiān)控服務(wù)等；另一部分作為Hadoop集群，作為整個系統(tǒng)的應(yīng)用存儲平臺為用戶提供存儲操作。兩個集群在存儲應(yīng)用上主要通過WebDAV協(xié)議建立通信。

該系統(tǒng)采用硬件層虛擬化與軟件層分布式存儲系統(tǒng)的方式，目的是實現(xiàn)整個存儲系統(tǒng)在硬件資源與軟件資源上的分布式靈活部署特點。通過硬件虛擬化可以合理地調(diào)配硬件資源，使用Hadoop的存儲平臺可以根據(jù)需求在已有的硬件平臺上實現(xiàn)分布式多點多片存儲，在保證系統(tǒng)可擴(kuò)容前提下，對數(shù)據(jù)儲存的容災(zāi)性和整個系統(tǒng)穩(wěn)定性上有了新的提升。

系統(tǒng)應(yīng)用分為兩部分

基于服務(wù)器虛擬化（VMware）系統(tǒng)，制作出的云存儲陣列，其中“云主機(jī)”控制云系統(tǒng)內(nèi)的服務(wù)器集群，進(jìn)行數(shù)據(jù)的寫入與讀出，由“云主機(jī)”提供的API接口（主要是WebDAV協(xié)議也可采用其他協(xié)議）進(jìn)行與客戶應(yīng)用服務(wù)器之間的數(shù)據(jù)存儲、數(shù)據(jù)備災(zāi)、數(shù)據(jù)應(yīng)用，這樣能夠盡可能地利用“云”的效率。

在圖2中，系統(tǒng)應(yīng)用主要分為存儲服務(wù)與應(yīng)用服務(wù)兩部分。存儲服務(wù)主要以Hadoop系統(tǒng)為主，通過應(yīng)用服務(wù)中的局域網(wǎng)D N S構(gòu)建頭結(jié)點與存儲結(jié)點關(guān)系，在局域網(wǎng)內(nèi)建立私有云存儲集群。WebDAV部署在Hadoop頭結(jié)點服務(wù)器上，通過建立映射可在Windows或Linux系統(tǒng)上建立本地文件夾，從而實現(xiàn)為應(yīng)用服務(wù)器提供存儲服務(wù)功能。用戶通過訪問應(yīng)用服務(wù)器間接獲得云存儲資源，例如：一臺擁有WebDAV協(xié)議共享網(wǎng)絡(luò)硬盤的考試報名系統(tǒng)，其MSSQL數(shù)據(jù)庫存儲在Hadoop中，隨著用戶注冊信息的逐年增加，系統(tǒng)可根據(jù)容量需求進(jìn)行分布式擴(kuò)容存儲容量。

本系統(tǒng)通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。通過虛擬化技術(shù)將iSCSI與云存儲系統(tǒng)結(jié)合，為大型企業(yè)和機(jī)構(gòu)提供異地數(shù)據(jù)存儲服務(wù)，并且通過云存儲系統(tǒng)平臺為企業(yè)提供跨平臺服務(wù)應(yīng)用解決方案，實現(xiàn)部署靈活、可擴(kuò)展性和安全性高的特點，從而降低數(shù)據(jù)存儲、應(yīng)用和維護(hù)成本。

（作者單位為天津城市建設(shè)學(xué)院）

Hadoop

Hadoop這個名字不是一個縮寫，它是一個虛構(gòu)的名字。該項目的創(chuàng)建者，Doug Cutting如此解釋Hadoop：“這個名字是我孩子給一個棕黃色的大象樣子的填充玩具命名的。我的命名標(biāo)準(zhǔn)就是簡短，容易發(fā)音和拼寫，沒有太多的意義，并且不會被用于別處。小孩子是這方面的高手。”

Hadoop 由 Apache Software Foundation 公司于2005 年秋天作為Lucene的子項目Nutch的一部分正式引入。它受到最先由Google Lab開發(fā)的Map/Reduce和Google File System(GFS)的啟發(fā)。2006年3月份，Map/Reduce和Nutch Distributed File System(NDFS) 分別被納入稱為Hadoop的項目中。Hadoop是最受歡迎的在Internet上對搜索關(guān)鍵字進(jìn)行內(nèi)容分類的工具，但它也可以解決許多要求極大伸縮性的問題。例如，如果要grep一個10TB的巨型文件，會出現(xiàn)什么情況？在傳統(tǒng)的系統(tǒng)上，這將需要很長的時間。但是Hadoop在設(shè)計時就考慮到這些問題，采用并行執(zhí)行機(jī)制，因此能大大提高效率。

Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。但是Hadoop是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。Hadoop是可靠的，因為它假設(shè)計算元素和存儲會失敗，因此它維護(hù)多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。Hadoop是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop還是可伸縮的，能夠處理PB級數(shù)據(jù)。此外，Hadoop依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。Hadoop帶有用Java語言編寫的框架，因此運行在Linux生產(chǎn)平臺上是非常理想的。Hadoop上的應(yīng)用程序也可以使用其他語言編寫，比如 C++。