編者按:新的一年,“高手論技”繼續(xù)伴隨大家前行,身處一線的你,就那些技術(shù)上最常遇到的故障、最需要解決的難題、最成熟的應(yīng)用……都可以在此暢所欲言,各抒己見。是繼續(xù)圍觀還是現(xiàn)身說法,新浪微群http://q.t.sina.com.cn/264976,期待您的共同參與。
關(guān)于云計算的討論早已經(jīng)沸沸揚揚,各種互聯(lián)網(wǎng)服務(wù)都在向“云”靠攏,云平臺、云服務(wù)、云查殺、云端……各種大“云”小“云”雨后春筍般露出頭角,似乎與云不沾邊就已經(jīng)落伍于時代。本刊也開辟過多期云計算輔助教學(xué)的專欄,但“云”的技術(shù)實現(xiàn)尤其是在校園網(wǎng)上的技術(shù)實現(xiàn)還未曾涉及。本期高手論將繼續(xù)漫談私有云。
應(yīng)用沙龍
私有云漫談
主持人:
邱元陽河南省安陽縣職業(yè)中專
嘉賓:
劉宗凡廣東省四會市四會中學(xué)
劉樹明廣東省深圳市第二實驗學(xué)校
第四屆云計算中國峰會剛剛結(jié)束,而有關(guān)云計算的話題仍熱度依舊。由于公有云的高昂代價和安全性缺陷,目前國內(nèi)的云架構(gòu)主要還是主打私有云。
● 今天你“云”了嗎?
邱元陽:云計算通過大量的分布式計算機,經(jīng)過網(wǎng)絡(luò)將服務(wù)延伸到了我們生活的各個角落,不知不覺中,我們已經(jīng)置身于云服務(wù)的包圍中了。云存儲、云查殺、云安全、云搜索、云終端……各種“云”的名詞不斷涌現(xiàn),似乎我們的網(wǎng)絡(luò)生活,無不與“云”密切相關(guān)。
劉樹明:很多的“云”口號,其實并不關(guān)云計算的事,只是一種時尚和跟風(fēng)。
邱元陽:概念泛化的結(jié)果,使得云服務(wù)包羅萬象,基本上各種網(wǎng)絡(luò)應(yīng)用都被收納于“云”的旗下。
劉宗凡:云計算普遍被認為是計算機、互聯(lián)網(wǎng)之后的第三次重要革命,將對未來產(chǎn)生不可估量的影響。目前對云計算還沒有一個完全統(tǒng)一的認識,標準尚未形成,各個企業(yè)有不同的定義。“云計算”的內(nèi)涵還在不斷發(fā)展,所以,中國與發(fā)達國家相比,在云計算方面雖然整體上落后一些,但大致仍處于同一起跑線上。正是因為這樣,對于沒有趕上前兩次革命的中國,云計算更是充滿了挑戰(zhàn)和機遇。云計算將是中國高科技行業(yè)走向潮頭的“最后的機會”。云計算帶來的不僅僅是技術(shù)變革,更會是一場社會變革。
劉樹明:但是,云計算是昂貴的。
劉宗凡:對于建設(shè)公有云來說,成本無疑是昂貴的。在今年3月13日,北京市與內(nèi)蒙古自治區(qū)在北京飯店舉行“京錫共建戰(zhàn)略性新興產(chǎn)業(yè)體系合作協(xié)議”簽字儀式,共建云計算數(shù)據(jù)中心產(chǎn)業(yè)鏈的核心目標是:京蒙兩地用5年左右的時間,建成500萬臺服務(wù)器規(guī)模的超大云計算數(shù)據(jù)中心,使內(nèi)蒙古成為全球首屈一指的國際信息港,有力提升中國在全球云計算產(chǎn)業(yè)中的主導(dǎo)地位。合作協(xié)議全部項目總投資將達2000億元。
劉樹明:除了前期投資,云計算數(shù)據(jù)中心的資源消耗也是非常驚人的。以100萬臺服務(wù)器的規(guī)模計算,如果每臺服務(wù)器的功耗為250W,使機器保持在正常溫度工作需要的電量約為其功耗的1~2倍,以1倍計算,服務(wù)器功耗加降溫功耗約500W,則一年需要耗電約為:100萬×365×24×0.5=4380000000度,以工業(yè)用電每度1元計算,每年僅電費就將近50億元。為了減少降溫所需要消耗的能源,谷歌將其云計算數(shù)據(jù)中心部署在比利時寒冷的荒野(如下圖),讓其自然冷卻。僅此一舉就將為公司節(jié)約大量資金,且對環(huán)境的保護和能源的節(jié)約來說意義重大。
邱元陽:由此看來,我國面對云計算的機遇,既要迎頭趕上,也要避免盲目建設(shè),造成資源和能源的浪費。
劉宗凡:不過,云服務(wù)的使用是廉價的。
劉樹明:是的。雖然建設(shè)、維護大型公有云非常昂貴,但我們對云服務(wù)的使用是按需取用的,如建設(shè)自來水廠和鋪設(shè)水管等并不便宜,但我們卻能使用到廉價的自來水。
劉宗凡:舉個例子,《紐約時報》想把創(chuàng)刊后的1100萬篇文章從TIF格式轉(zhuǎn)換為PDF格式。這需要大量的計算,如果自建系統(tǒng),可能需要幾個月的時間,而且花費不菲,但是它租用亞馬遜的云計算中心,短短24小時就完成了任務(wù),耗資僅僅240美元。
邱元陽:正因為公有云建設(shè)的代價高昂,才有了私有云的發(fā)展空間。
● 是是非非私有云
劉樹明:既然使用公有云的服務(wù)非常便宜,那么私有云還有存在的必要嗎?
劉宗凡:云計算數(shù)據(jù)的處理和存儲都在云平臺上進行,計算資源的擁有者與使用者相分離已成為云計算模式的固有特點,由此而產(chǎn)生的用戶對自己數(shù)據(jù)的安全存儲和隱私性的擔憂是不可避免的。具體來說,用戶數(shù)據(jù)甚至包括涉及隱私的內(nèi)容在遠程計算、存儲、通信過程中都有被故意或非故意泄露的可能,亦存在由斷電或宕機等故障引發(fā)的數(shù)據(jù)丟失問題,甚至對于不可靠的云基礎(chǔ)設(shè)施和服務(wù)提供商,還可能通過對用戶行為的分析推測,獲知用戶的隱私信息。
劉樹明:也就是說,除了使用代價,還要考慮信息安全性問題。
劉宗凡:可以說現(xiàn)在云計算的核心就是安全問題。數(shù)據(jù)安全對企業(yè)來說,就是它的生命。雖然云計算的核心就是保證數(shù)據(jù)的安全,但還是不能確保萬一。對于企業(yè)來說重要數(shù)據(jù)的丟失或泄漏將涉及企業(yè)的生死存亡。因此,不少企業(yè)舍棄廉價的公有云服務(wù),不遺余力建設(shè)自己的私有云。雖然私有云也無法做到絕對安全,但建立在防火墻后的私有云,它的穩(wěn)定性、安全性、可靠性、服務(wù)質(zhì)量、資源管理的便利性都比公有云更讓企業(yè)放心。
邱元陽:不管公有云是多么強大、廉價,私有云都有其存在的價值。它將成為公有云的一個有益的補充,甚至比公有云有著更廣闊的前景。
劉宗凡:較之通過Internet進行訪問來提供給公眾使用的公有云,私有云一般在防火墻之內(nèi),專為某企業(yè)提供運營服務(wù),因此在安全性、法規(guī)遵從以及服務(wù)質(zhì)量方面更加具有保障,也更加容易集成現(xiàn)有應(yīng)用,降低運營成本。但是公有云使用成本更低,管理負擔更輕,在容量分配等方面更具有優(yōu)勢??梢栽谒接性坪凸性浦g,通過一種混合云的方式,提供企業(yè)發(fā)展所需要的IT服務(wù),沒有必要把所有的應(yīng)用全部構(gòu)建在私有云中。對于有些應(yīng)用而言,私有云成本過高,而且在安全、可靠性方面沒有很高的要求,就適合使用公有云的服務(wù)。
劉樹明:在我們可以了解到的IT信息中,私有云主要還是在企業(yè)中應(yīng)用,學(xué)校的校園網(wǎng)上似乎還比較少見。
邱元陽:一方面,私有云的建設(shè)成本較高,尤其是采用現(xiàn)有大公司的成套解決方案時。如果自建,對于基礎(chǔ)教育的中小學(xué)來說,人員與技術(shù)力量無法達到,一般也沒有更多可以提供的云服務(wù),但是對于高等院校和職業(yè)學(xué)校,它的優(yōu)勢卻具有很大的吸引力。
劉宗凡:如果校園網(wǎng)的管理人員有能力自己建設(shè)私有云,它的代價將變得很低,而且基于虛擬化的應(yīng)用在安全性和服務(wù)器節(jié)約以及硬件成本、運維成本上較之傳統(tǒng)校園網(wǎng)都有非常大的優(yōu)勢。
邱元陽:如果私有云的技術(shù)壁壘被打破,會很快從企業(yè)普及到大學(xué)校園網(wǎng),甚至中職學(xué)校的校園網(wǎng),而且很可能會成為校園網(wǎng)絡(luò)的趨勢。
● 私有云的信息安全
劉樹明:云計算存在著先天不足,那便是它的隱私與安全。云計算給信息安全帶來了巨大的挑戰(zhàn),一方面計算和數(shù)據(jù)資源的集中化對信息安全提出了新的要求,另一方面云計算改變了傳統(tǒng)的IT網(wǎng)絡(luò)模式,傳統(tǒng)的網(wǎng)絡(luò)安全產(chǎn)品失去了部署位置。
劉宗凡:私有云的安全有這樣幾個核心問題:
1.身份與權(quán)限控制
在虛擬、復(fù)雜的環(huán)境下,如何保證自己的應(yīng)用、數(shù)據(jù)依然清晰可控,使得身份與權(quán)限控制非常重要。
2.Web安全防護
用戶使用云計算,以Web應(yīng)用作為唯一的接口,各種Web攻擊直接影響到私有云的發(fā)展。
3.虛擬化的安全
虛擬化是云計算最重要的技術(shù)支持之一,云計算和傳統(tǒng)IT環(huán)境最大的區(qū)別就在于其虛擬的計算環(huán)境,使得其安全問題和以前相比更加難以解決。
邱元陽:云時代,大家更加關(guān)心的是云存儲的安全性。華碩所倡導(dǎo)的企業(yè)私有云Turnkey Solution解決方案是目前全球唯一整合了云端平臺、企業(yè)應(yīng)用軟件和服務(wù)器系統(tǒng)的完整方案,不但將數(shù)據(jù)儲存于企業(yè)防火墻內(nèi),同時擁有SSL加密、智能云端數(shù)據(jù)過濾以及金融VIP安全等級的OTP動態(tài)密碼身份認證、異地備援與多點機房架構(gòu),再加上AES數(shù)據(jù)加密機制,為用戶提供了安全可靠的數(shù)據(jù)防護。另外,HP的私有云解決方案也是包括了軟硬件和服務(wù)、安全在內(nèi)的完整方案。
● 私有云的存儲系統(tǒng)
劉樹明:說到云計算,始終都繞不開存儲這個基礎(chǔ)支撐組件,dSaaS(data-Storage-as-a-Service)更是把存儲提到了首要的位置。而從我們目前能得到的信息來看,現(xiàn)在越來越多的公司在云存儲應(yīng)用方面已經(jīng)解決得相當好了,我能了解的國內(nèi)的應(yīng)用得比較好的公司就有金山(金山快盤)、迅雷(迅雷離線下載服務(wù))和騰訊(文件中轉(zhuǎn)站、QQ郵箱超大附件上傳等)等公司。
邱元陽:云服務(wù)帶來的一個重大變革是從以設(shè)備為中心轉(zhuǎn)向以信息為中心,而大量的信息,需要海量的存儲,存儲容量的單位GB都顯得有些不夠用了,進而出現(xiàn)TB(TeraByte)、PB(PetaByte)、EB(Exa Byte)、ZB(ZettaByte)、YB(YottaByte)、NB(NonaByte)、DB(DoggaByte)等容量單位。2010年人類創(chuàng)造的數(shù)據(jù)總量約為1.2ZB。在私有云部署中,網(wǎng)絡(luò)存儲也是不可或缺的,校園網(wǎng)存儲系統(tǒng)的容量一般在20TB左右就夠用了。
劉宗凡:網(wǎng)絡(luò)存儲從結(jié)構(gòu)上大致分為三種:直連式存儲(DAS:Direct Attached Storage)、網(wǎng)絡(luò)附著存儲(NAS:Network Attached Storage)和存儲網(wǎng)絡(luò)(SAN:Storage Area Network)。
DAS也包括了SAS(Sever Attached Storage,服務(wù)器連接存儲),其存儲產(chǎn)品是作為計算機的附屬部分,采用直接連接存儲結(jié)構(gòu),如作為服務(wù)器的內(nèi)部硬件驅(qū)動,是計算機系統(tǒng)中最常用的數(shù)據(jù)存儲方法。
NAS采用直接與網(wǎng)絡(luò)介質(zhì)相連的特殊設(shè)備實現(xiàn)數(shù)據(jù)存儲,這些設(shè)備都分配有IP地址,所以客戶機可以直接訪問或通過充當數(shù)據(jù)網(wǎng)關(guān)的服務(wù)器對其進行存取訪問。NAS設(shè)備非常易于部署,適合數(shù)據(jù)的長距離傳輸,其基于網(wǎng)絡(luò)的文件級鎖定提供了高級并發(fā)訪問保護的功能,因而很適于低成本的網(wǎng)絡(luò)存儲,如在校園網(wǎng)和辦公自動化環(huán)境中的存儲系統(tǒng)。NAS有文件操作和管理系統(tǒng),其基本應(yīng)用是文件和數(shù)據(jù)的共享。
SAN是指存儲設(shè)備相互連接且與一臺服務(wù)器或一個服務(wù)器群相連的網(wǎng)絡(luò),可以看作是通過網(wǎng)線連接的磁盤陣列,具備磁盤陣列的所有主要特征,如高容量、高效能、高可靠性等。SAN屬于高性能的網(wǎng)絡(luò)存儲,安裝容易、部署快速,對服務(wù)器要求低,具有更快的響應(yīng)速度和更高的數(shù)據(jù)帶寬,但只能獨享數(shù)據(jù)存儲池。
劉樹明:從結(jié)構(gòu)模型看,私有云的存儲系統(tǒng)由以下四層組成。
1.存儲層
存儲層是云存儲最基礎(chǔ)的部分。存儲設(shè)備可以是FC光纖通道存儲設(shè)備,可以是NAS和iSCSI等IP存儲設(shè)備,也可以是 SCSI或SAS等DAS存儲設(shè)備。存儲設(shè)備之上是一個統(tǒng)一存儲設(shè)備管理系統(tǒng),可以實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理,以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護。
2.基礎(chǔ)管理層
基礎(chǔ)管理層是云存儲最核心的部分,也是最難以實現(xiàn)的部分?;A(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù),實現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作,使多個存儲設(shè)備可以對外提供同一種服務(wù),并提供更大、更強、更好的數(shù)據(jù)訪問性能。CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶所訪問,同時,通過各種數(shù)據(jù)備份、容災(zāi)技術(shù)和措施可以保證云存儲中的數(shù)據(jù)不會丟失,保證云存儲自身的安全和穩(wěn)定。
這里非常值得一提的是Sun公司推出的非常優(yōu)秀的開源文件系統(tǒng)ZFS,現(xiàn)在最新的版本已經(jīng)升級到了2.8。它的優(yōu)點大家都可以很容易在網(wǎng)絡(luò)上查到,這里就不多說了,我感到非常驚異的是它的RAID-Z池的容錯性能(注:RAID-Z包括RAID-Z1、RAID-Z2、RAID-Z3,分別容許1、2、3個硬盤損壞)。我們都知道RAID5陣列能在容許一塊硬盤損壞的情況下盡量節(jié)省磁盤空間(可能會犧牲一些性能),我拿7塊硬盤在FreeBsd9.0操作系統(tǒng)下面做試驗時發(fā)現(xiàn),它比RAID5更優(yōu)異的性能是它在人為拔走一塊硬盤的情況下,仍然可以讀寫數(shù)據(jù)(RAID5只能讀不能寫),只是整個Zpool的空間被減去了拔走的那塊硬盤的容量而已。插回硬盤后,能夠自動Resilvering(“縫合”的意思),恢復(fù)整個Zpool的功能和容量。
3.應(yīng)用接口層
應(yīng)用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據(jù)實際業(yè)務(wù)類型,開發(fā)不同的應(yīng)用服務(wù)接口,提供不同的應(yīng)用服務(wù)。比如視頻監(jiān)控應(yīng)用平臺、IPTV和視頻點播應(yīng)用平臺、網(wǎng)絡(luò)硬盤應(yīng)用平臺、遠程數(shù)據(jù)備份應(yīng)用平臺等。
4.訪問層
任何一個授權(quán)用戶都可以通過標準的公共應(yīng)用接口來登錄云存儲系統(tǒng),享受云存儲服務(wù)。云存儲運營單位不同,云存儲提供的訪問類型和訪問手段也不同。
劉宗凡:實際上,上面這四層中的第一層相當于物理硬件,第二層相當于系統(tǒng)層,這兩層除了云系統(tǒng)管理人員,一般的用戶是看不到的。第三層是應(yīng)用接口層,它為存儲系統(tǒng)開放接口,提供對外的服務(wù)。這層對用戶來說表面上也是不透明的,它通常是通過WEB2.0技術(shù)和第四層的訪問層進行交互。我們可以使用網(wǎng)絡(luò)抓包工具捕捉到它們的會話過程,不過它們的會話過程通常都經(jīng)過了加密,我們只能監(jiān)聽到它們有會話動作,無法確定會話內(nèi)容,更不能獲取它們之間的通訊協(xié)議。第四層直接和終端用戶進行交互,像金山快盤和迅雷就是通過客戶端軟件的形式面向用戶,而騰訊的產(chǎn)品通常是通過在用戶機器上安裝WEB瀏覽器插件的方式向用戶提供服務(wù)。
邱元陽:簡單地看,虛擬化加集群再加網(wǎng)絡(luò)存儲,就構(gòu)成了私有云的框架,而私有云中的各種應(yīng)用和服務(wù),還要依賴于存儲系統(tǒng)。
劉樹明:云存儲不是要取代現(xiàn)有的磁盤陣列,而是為了應(yīng)對高速成長的數(shù)據(jù)量與帶寬而產(chǎn)生的新的形態(tài)的存儲系統(tǒng),因此云存儲在設(shè)計時通常會考慮以下幾點:
1.容量、帶寬的擴容是否簡便
擴容不能停機,會自動將新的存儲節(jié)點容量納入原來的存儲池,不需要做繁雜的設(shè)定。
2.帶寬是否線性增長
私有云要考慮未來帶寬的增長,因此私有云存儲產(chǎn)品設(shè)計的好壞會產(chǎn)生很大的差異,有些十幾個節(jié)點便達到飽和,這樣對未來帶寬的擴容就有不利的影響,這一點要事先弄清楚,否則等到發(fā)現(xiàn)不符合需求時,已經(jīng)買了幾百TB,后悔就來不及了。
3.管理是否容易
騰訊公司的服務(wù)器數(shù)量超過了10萬臺,Google據(jù)說超過了100萬臺。我們學(xué)校這樣的單位雖然說遠遠達不到這個數(shù)字,但是500~1000名教職工的學(xué)校還是有很多的。這些單位隨著數(shù)據(jù)量的逐步增多,服務(wù)器增長到100臺以上是很平常的事情,管理超過100臺服務(wù)器的存儲就是一項巨大的工作,一不小心就可能導(dǎo)致某些應(yīng)用的崩潰。如果采用私有云方案,節(jié)約服務(wù)器數(shù)量的同時,使用網(wǎng)絡(luò)存儲系統(tǒng),就可以把應(yīng)用遷移到云存儲,管理的就是一臺存儲,而不是100臺甚至更多臺存儲。管理一臺存儲不容易出錯,分別管理幾百臺要不出錯就很難了。因此云存儲的應(yīng)用是一個必然的趨勢,存儲管理是否容易也應(yīng)考慮。
邱元陽:實際上很多時候,我們在不知不覺中也使用了網(wǎng)絡(luò)存儲。除了各種網(wǎng)盤、網(wǎng)絡(luò)空間、郵箱、網(wǎng)上相冊等,就連在局域網(wǎng)教學(xué)環(huán)境中使用的微軟的虛擬應(yīng)用程序,實際上也是使用了網(wǎng)絡(luò)存儲,學(xué)生端不用專門安裝軟件,完全從服務(wù)器讀取軟件配置環(huán)境和程序。而“云端”系統(tǒng)則可以讓我們直接從互聯(lián)網(wǎng)上來使用各種綠色或“綠化”的軟件(因為版權(quán)問題,這種形式還不能推廣)。
劉宗凡:在校園網(wǎng)中建立云存儲也是有必要的。我們平時有很多資料是大家都需要用到的,如常用軟件(Windows安裝盤,Office安裝包之類)、視頻、電影等,如果每個人要用的時候都去網(wǎng)上下載,幾百名教職工就要下載幾百份,這給校園網(wǎng)帶來的外網(wǎng)帶寬壓力是非常巨大的,如果我們建立云端,將共享文件實行統(tǒng)一管理,并采用哈希摘要建立索引,自動查詢用戶需要的資料,優(yōu)先使用私有云端現(xiàn)有文件庫,就能大大減少外網(wǎng)壓力,同時也能極大地節(jié)省用戶遠程下載所花費的時間。如果采用一些類似Samba的協(xié)議,允許用戶直接打開云端文件,用戶壓根兒都不需要將一些大型資料下載到本機,更是大大節(jié)省了時間和硬盤空間。
● 結(jié)語
在第四屆云計算中國峰會上,國家信息中心專家委員會主任寧家駿指出:“我們一定不能人‘云亦‘云,一定要化‘云為雨?!苯ㄔO(shè)不是目的,應(yīng)用才是根本,化“云”為雨,讓私有云真正為我們所用,為教育服務(wù),才是我們的目標。