孫皓晨 喬曉敏 李大朋

（國網(wǎng)綠源水力發(fā)電公司太平灣發(fā)電廠 遼寧丹東 118000）

虛擬化是指最初在真實環(huán)境中運(yùn)行的計算機(jī)系統(tǒng)或組件，這些系統(tǒng)或組件在虛擬處理環(huán)境中運(yùn)行，并且可以在虛擬環(huán)境中實現(xiàn)與真實環(huán)境中相同的效果。常用的應(yīng)用程序虛擬化技術(shù)包括服務(wù)器硬件虛擬化、用戶桌面虛擬化、軟件定義的存儲設(shè)備虛擬化、信息系統(tǒng)應(yīng)用系統(tǒng)虛擬化和NSX網(wǎng)絡(luò)虛擬化［1］。

桌面虛擬化更適合今天的高科技公司。最初安裝在本地計算機(jī)上的桌面系統(tǒng)集成到支持?jǐn)?shù)據(jù)中心，用于部署和管理，軟件更新和升級會更加便捷、高效。用戶可以使用先進(jìn)的有線、無線網(wǎng)絡(luò)系統(tǒng)及加密VPN 傳輸方法隨時訪問業(yè)務(wù)桌面在場所和環(huán)境中，開展業(yè)務(wù)運(yùn)營。桌面虛擬化技術(shù)的廣泛應(yīng)用可以有效降低運(yùn)營成本，顯著提高工作效率，實現(xiàn)真正的綠色計算。

1 技術(shù)背景

1.1 技術(shù)產(chǎn)生的背景

在高性能計算機(jī)中，應(yīng)用的多樣性和復(fù)雜性決定了高性能體系結(jié)構(gòu)的多階段和多階段異構(gòu)開發(fā)。在實踐中，全面、多層次的異質(zhì)性帶來了許多需要解決的問題，即發(fā)展困難、軟硬件支持、系統(tǒng)可靠性、應(yīng)用可移植性、高效管理等。一個個緊迫的技術(shù)問題仍未解決。

虛擬編程技術(shù)不僅可以實現(xiàn)有效的異構(gòu)資源集成，創(chuàng)造應(yīng)用開發(fā)環(huán)境，提高計算效率和負(fù)載轉(zhuǎn)移，它也有助于提高系統(tǒng)的可靠性、容錯性和安全性。在高性能計算機(jī)系統(tǒng)中，應(yīng)用具有廣闊的發(fā)展前景。

1.2 虛擬化備份技術(shù)的研究現(xiàn)狀

VMware 最初引入了虛擬化備份技術(shù)。由于虛擬化應(yīng)用程序在商業(yè)和工業(yè)上的普及，主流備份產(chǎn)品通常支持基于VMware、Hyper-V、Citrix 和Xen 或KVM 的虛擬化。除了虛擬機(jī)映像之外，虛擬備份是虛擬數(shù)據(jù)備份最重要的基本手段。許多啟動虛擬化的用戶經(jīng)常將虛擬機(jī)快照視為備份，這實際上是一個嚴(yán)重的錯誤，原因如下。

（1）快照永遠(yuǎn)不能成為虛擬本地備份的解決方案。

（2）一旦圖像恢復(fù)到以前的狀態(tài)，就永遠(yuǎn)無法恢復(fù)到當(dāng)前狀態(tài)。

（3）一旦虛擬機(jī)磁盤文件損壞，快照也將無效。

（4）快照只能基于整個虛擬機(jī)映像進(jìn)行恢復(fù)，不能恢復(fù)到文件或應(yīng)用程序級別。

（5）快照只能用于幫助保護(hù)快速虛擬化恢復(fù)。

（6）并非所有虛擬機(jī)都可以使用快照，且并非所有虛擬機(jī)都可以使用備份。

（7）過多的快照可能會顯著影響虛擬機(jī)性能，若頻繁創(chuàng)建或刪除快照，虛擬機(jī)數(shù)據(jù)可能會損壞。

目前，備份虛擬化平臺有兩種常見的備份解決方案，一個沒有代理備份，另一個有代理（Agent）來操作系統(tǒng)備份。

1.3 虛擬功能監(jiān)控技術(shù)研究現(xiàn)狀

從云計算的早期開始，對虛擬機(jī)的監(jiān)控就一直是一個熱門話題。從云服務(wù)提供商的角度來看，它必須盡可能多地接收有關(guān)虛擬機(jī)（VM）運(yùn)行的信息，以確保每個虛擬機(jī)的正常運(yùn)行，這保證了整個云計算平臺的安全性和可靠性。從用戶的角度來看，還需要了解虛擬機(jī)的操作狀態(tài)。因此，對虛擬機(jī)的監(jiān)控至關(guān)重要。

目前，虛擬機(jī)安全監(jiān)控主要有兩種體系結(jié)構(gòu)。第一種是基于虛擬機(jī)內(nèi)窺鏡技術(shù)的監(jiān)控體系結(jié)構(gòu)，即監(jiān)控單元位于虛擬機(jī)監(jiān)控程序中，使用虛擬機(jī)內(nèi)省技術(shù)發(fā)現(xiàn)其他虛擬機(jī)。第二種是基于虛擬安全主動監(jiān)控體系結(jié)構(gòu)技術(shù)，是用于主動安全監(jiān)控的虛擬體系結(jié)構(gòu)，在被監(jiān)控的虛擬機(jī)中引入某些鉤子功能，并切換到獨立的虛擬安全［2］。關(guān)于虛擬機(jī)安全監(jiān)控的應(yīng)用，基于虛擬機(jī)安全監(jiān)管的相關(guān)研究可分為兩類：內(nèi)部監(jiān)管和外部監(jiān)管。內(nèi)部控制是指將大型計算機(jī)加載到虛擬機(jī)，以記錄目標(biāo)虛擬機(jī)的內(nèi)部事件，并且核心單元的安全受到管理程序Hypervisor 來保護(hù)；外部監(jiān)視指的是由Hypervisor捕獲目標(biāo)虛擬機(jī)上的事件，以便在虛擬機(jī)外部檢測到它。

2 技術(shù)方案及原理

2.1 設(shè)計原理及理論依據(jù)

《國家電網(wǎng)公司信息系統(tǒng)非功能性需求規(guī)范（試行）》（國網(wǎng)新通〔2013〕第404號）規(guī)定了國家電網(wǎng)公司信息系統(tǒng)穩(wěn)定性的標(biāo)準(zhǔn)。通過部署虛擬化平臺Vsphere6.5 enterprise plus，實現(xiàn)集群的高可用性對現(xiàn)有應(yīng)用業(yè)務(wù)的集成，簡化運(yùn)維環(huán)境，提高企業(yè)硬件利用率；通過部署虛擬機(jī)數(shù)據(jù)備份（VMware vSphere Data Protection Advanced，下文簡稱VDP），解決現(xiàn)有備份方式帶來的故障恢復(fù)時間較長的問題；通過部署Vmware環(huán)境性能運(yùn)維監(jiān)控（VMware vCenter Operations Manage，下文簡稱VCOPS），對虛擬平臺底層應(yīng)用和虛擬機(jī)及所承載的硬件環(huán)境進(jìn)行監(jiān)控，使該成果具有全新靈活的業(yè)務(wù)支撐架構(gòu)和擴(kuò)展性，它可以適應(yīng)不同信息定位平臺的規(guī)模和應(yīng)用需求，提高企業(yè)冗余度和高可用性，縮短故障恢復(fù)時間［3］。

2.2 技術(shù)方案

針對虛擬化平臺的運(yùn)維監(jiān)控和安全備份，主要從3個方面進(jìn)行創(chuàng)新改造。

（1）在存儲虛擬化方面。該創(chuàng)新成果對業(yè)務(wù)系統(tǒng)的存儲方面進(jìn)行了兩次分割，重新改造存儲空間規(guī)劃，規(guī)劃成3個存儲池，每個存儲池?fù)碛?.6T存儲空間，采用RAID5，并均各另備兩塊熱備盤，分別作為業(yè)務(wù)系統(tǒng)運(yùn)行、虛擬機(jī)備份、虛擬監(jiān)控3個功能池使用。虛擬存儲提供了集中管理高容量網(wǎng)絡(luò)存儲系統(tǒng)（如服務(wù)器）的能力，避免了托管擴(kuò)展的問題。虛擬存儲技術(shù)使存儲資源管理更加靈活，集中管理和卸載不同類型的存儲，有效保護(hù)用戶以前的存儲投資。

（2）在虛擬化備份方面。該項目使用（VMware vSphere Data Protection Advanced，VDP）解決現(xiàn)有備份方法導(dǎo)致的長恢復(fù)時間問題。一般企業(yè)在應(yīng)用虛擬化技術(shù)之前都是采用若干臺物理服務(wù)器與業(yè)務(wù)系統(tǒng)一一對應(yīng)的關(guān)系，采用每天或者每周定期對逐句庫進(jìn)行自動或手動備份，主要是為了避免丟失基本數(shù)據(jù)庫數(shù)據(jù)、各種物理平臺故障，或查找新的物理服務(wù)器、重新安裝操作系統(tǒng)、配置應(yīng)用程序軟件，以及隨后導(dǎo)出和安裝以前在新應(yīng)用程序中無處不在的數(shù)據(jù)庫備份，備份和恢復(fù)時間通常長達(dá)1d，最快也要半天的時間。當(dāng)應(yīng)用虛擬化平臺后，備份方式變得十分多樣，但大多都是采用虛擬自帶的快照功能。所謂的快照功能是使系統(tǒng)更容易恢復(fù)到以前的狀態(tài)，這樣防止因運(yùn)維操作或業(yè)務(wù)系統(tǒng)故障或其他嚴(yán)重情況發(fā)生時，快照功能可以在第一時間彌補(bǔ)這一缺陷。但該功能有兩個明顯的弊端：一是只能恢復(fù)到快照發(fā)生的時間；二是快照所占的存儲空間特別大，一般不建議長時間保持快照，采用隨用隨照的方式，所以快照功能更加適合用于運(yùn)維操作備份使用，而不建議作為系統(tǒng)日常備份工作用。

該項目使用VDP 虛擬備份方法，專用于備份虛擬主機(jī)實例包。使用時間策略，根據(jù)虛擬機(jī)的業(yè)務(wù)需求進(jìn)行單獨備份，以同步讀寫數(shù)據(jù)并保存最新更改的副本。使用VDP 備份的優(yōu)點包括以下幾點：第一，應(yīng)用程序快速恢復(fù)，如果想立即在虛擬平臺上備份預(yù)覽文件，應(yīng)用程序恢復(fù)時間可以在幾分鐘內(nèi)完成；第二，無安裝因素，由于VDP 訪問基于存儲庫的基塊，這減少了管理連接并簡化了工作；第三，自動備份驗證，VDP可以驗證備份，以查看已備份的操作系統(tǒng)是否可以正常運(yùn)行，以及應(yīng)用程序可以正常運(yùn)行。

（3）在虛擬化監(jiān)控方面。該創(chuàng)新項目通過部署VCOPS，對虛擬平臺底層應(yīng)用和虛擬機(jī)及所承載的硬件環(huán)境進(jìn)行監(jiān)控。VcOps 管理Vcenter 服務(wù)器和由Vcenter Server 管理的Vmware ESXi 或ESX 服務(wù)器，監(jiān)控Vcenter Server、Vmware ESXi 服務(wù)器和存儲，以跟蹤ESXi上虛擬機(jī)的當(dāng)前使用情況和存儲使用情況，并使用這些資源定義每個主機(jī)、虛擬機(jī)、存儲和網(wǎng)絡(luò)的特定條件。在Vcenter數(shù)據(jù)中心，VCOPS以工具欄的形式提供相關(guān)信息，可以在PDF或CSV中的任何位置引用。

3 核心技術(shù)與創(chuàng)新點

（1）簡化虛擬化平臺運(yùn)維管理，簡化平臺運(yùn)維監(jiān)控。該項目創(chuàng)新地采用B/S 架構(gòu)的管理操作環(huán)境，降低了運(yùn)維管理端的門口，提高管理平臺對運(yùn)維計算機(jī)的兼容性，使運(yùn)維不再局限單一的裝有客戶端的PC，而是面向廣泛的運(yùn)維范圍。創(chuàng)新地劃分3個功能分明的存儲池的同時，又能保證3 個存儲池之間的互相遷移，使其既能滿足功能劃分的需求，又能實現(xiàn)數(shù)據(jù)的整合與智能遷移［4］。

（2）為虛擬機(jī)創(chuàng)建自動備份機(jī)制，以在幾分鐘內(nèi)減少備份和恢復(fù)時間。該項目創(chuàng)新地創(chuàng)建VDP 虛擬備份平臺，將虛擬機(jī)備份實現(xiàn)完整備份、增量備份的時間策略管理，壓縮了備份數(shù)據(jù)在存儲空間的占用，并將傳統(tǒng)的業(yè)務(wù)系統(tǒng)故障恢復(fù)時間從天級降至分鐘級，甚至對于僅需增量備份恢復(fù)的虛擬機(jī)，它的恢復(fù)時間不足1min，在保證數(shù)據(jù)安全性的同時，顯著提高了交易系統(tǒng)的連續(xù)性和穩(wěn)定性，并減輕了手動備份的壓力。

（3）創(chuàng)建虛擬化底層硬件及虛擬環(huán)境監(jiān)控，實現(xiàn)虛擬資源分配的智能分析。該項目創(chuàng)新地應(yīng)用Vmware Vcops智能性能監(jiān)控與容量管理，可以從虛擬環(huán)境的任何級別的任何對象（從自定義虛擬機(jī)和磁盤到集群和數(shù)據(jù)中心）收集、存儲和分析數(shù)據(jù)，然后提供性能分析和容量管理報告，并會智能提出資源分配建議，及時調(diào)整相應(yīng)的磁盤、CPU、內(nèi)存等，以確保虛擬機(jī)發(fā)揮最大的利用價值。

4 虛擬化平臺安全問題措施及技術(shù)應(yīng)用

4.1 數(shù)據(jù)加密

數(shù)據(jù)加密技術(shù)是一種高科技技術(shù)，利用這種技術(shù)，能夠有效防止數(shù)據(jù)被盜取問題發(fā)生，也可以有效管理數(shù)據(jù)存儲的安全性。開發(fā)人員在前端客戶端采用SSL加密方式，用于避免虛假網(wǎng)站和網(wǎng)絡(luò)釣魚等各種不同類型安全風(fēng)險產(chǎn)生；而在系統(tǒng)后端則采用數(shù)據(jù)加密技術(shù)，可以有效預(yù)防數(shù)據(jù)被黑客篡改的問題發(fā)生。在虛擬服務(wù)平臺的數(shù)據(jù)安全管理中，合理保證數(shù)據(jù)存儲的安全性和穩(wěn)定性尤為重要，合理有效地將數(shù)據(jù)加密技術(shù)應(yīng)用于數(shù)據(jù)存儲管理，可以合理保證數(shù)據(jù)的安全性和數(shù)據(jù)的檢索效率?；趥鹘y(tǒng)技術(shù)的數(shù)據(jù)加密的應(yīng)用，可以合理地改變數(shù)據(jù)的結(jié)構(gòu)特征，但對數(shù)據(jù)發(fā)現(xiàn)和剖析的不同階段有不利影響。因此，在利用加密技術(shù)過程中，要盡可能地通過關(guān)鍵詞檢索形式進(jìn)行加密，而檢索方法建議采用精確匹配或者是模糊搜索方法等。

4.2 虛擬化平臺技術(shù)應(yīng)用

虛擬化安全技術(shù)是其最重要的關(guān)鍵技術(shù)之一，虛擬化安全措施的關(guān)鍵點如下。

（1）數(shù)據(jù)分離技術(shù)：通過NAS數(shù)據(jù)共享及安全保護(hù)機(jī)制，實現(xiàn)虛擬系統(tǒng)數(shù)據(jù)與用戶數(shù)據(jù)的實時分離存儲及按需分級備份，確保虛擬系統(tǒng)與用戶數(shù)據(jù)相互之間互不干擾。

（2）保護(hù)虛擬機(jī)：在同一服務(wù)平臺上操作多個虛擬機(jī)時，必須對虛擬機(jī)數(shù)據(jù)實施保護(hù)，物理硬件在應(yīng)用層是一種共享資源，不同虛擬機(jī)之間的通道是被屏蔽的。對于內(nèi)存和存儲模塊等硬件配置，也需要保護(hù)技術(shù)。

（3）封堵虛擬機(jī)系統(tǒng)漏洞：在IaaS云服務(wù)基礎(chǔ)設(shè)施的支持下，該系統(tǒng)可以作為一個虛擬機(jī)安全檢查系統(tǒng)，檢查系統(tǒng)漏洞并根據(jù)檢查結(jié)果動態(tài)升級補(bǔ)丁，從而確保虛擬機(jī)安全得到合理的維護(hù)。

（4）虛擬機(jī)安全管理：虛擬云基礎(chǔ)設(shè)施建設(shè)的一個重要用途是促進(jìn)負(fù)載平衡和在線維護(hù)。云服務(wù)平臺有動態(tài)遷移服務(wù)，在遷移過程中，虛擬機(jī)的順利運(yùn)行很重要。除虛擬機(jī)檢測外，定義轉(zhuǎn)移觸發(fā)閾值和驗證轉(zhuǎn)移節(jié)點的合法性是避免轉(zhuǎn)移過程中的網(wǎng)絡(luò)攻擊的必要措施。要合理分析虛擬化平臺的安全風(fēng)險，有針對性地制定合理、高效的防護(hù)措施，這樣有益于祛除虛擬化平臺隱藏的安全風(fēng)險，讓虛擬化平臺發(fā)揮最大化價值。

5 應(yīng)用范圍及效果

該技術(shù)可承載與企業(yè)的重要業(yè)務(wù)數(shù)據(jù)存儲，所有存儲設(shè)備均采用SAN 網(wǎng)絡(luò)架構(gòu)，與業(yè)務(wù)網(wǎng)絡(luò)采用隔離運(yùn)行，可確保數(shù)據(jù)安全，同時，存儲可以防止使用企業(yè)帶寬。虛擬備份平臺VDP 已對企業(yè)底層虛擬平臺及所有在運(yùn)虛擬機(jī)實現(xiàn)策略備份，經(jīng)調(diào)試，完整備份時間為10min 左右，增量備份時間約為5min［5］。虛擬監(jiān)控平臺Vcops已經(jīng)對虛擬環(huán)境和虛擬機(jī)進(jìn)行了實時監(jiān)控和儀表智能分析，為運(yùn)維人員運(yùn)行監(jiān)控提供了智能分析決策。

IT基礎(chǔ)設(shè)施虛擬化技術(shù)是一項應(yīng)用前景廣闊的技術(shù)，它對改善能源企業(yè)的IT 基礎(chǔ)設(shè)施具有重要意義：提高資源利用率，降低管理成本，提高企業(yè)應(yīng)用程序的靈活性和可擴(kuò)展性，并提高資源交付的效率［6］。企業(yè)利用虛擬技術(shù)實現(xiàn)關(guān)鍵應(yīng)用系統(tǒng)監(jiān)控及數(shù)據(jù)備份的技術(shù)，成功探索虛擬技術(shù)在提高運(yùn)維效率、提升數(shù)據(jù)安全及節(jié)約資產(chǎn)成本的方面起到的作用。經(jīng)過已投運(yùn)1年之久的實際論證，該創(chuàng)新成果對企業(yè)業(yè)務(wù)系統(tǒng)管理及數(shù)據(jù)安全防護(hù)具有確認(rèn)的顯著的優(yōu)勢。

6 成果用途和特點

這項技術(shù)用于企業(yè)系統(tǒng)的設(shè)計和數(shù)據(jù)存儲，技術(shù)中的虛擬備份系統(tǒng)VDP和虛擬監(jiān)控Vcops應(yīng)用于對企業(yè)業(yè)務(wù)系統(tǒng)虛擬機(jī)、存儲及虛擬環(huán)境和集群主機(jī)硬件的監(jiān)控，并對使用情況進(jìn)行智能分析，對資源分配提供智能優(yōu)化調(diào)整建議。該技術(shù)經(jīng)過投運(yùn)使用后，具有如下的特點。

（1）簡化數(shù)據(jù)備份過程，減少故障恢復(fù)時間。在本技術(shù)應(yīng)用以前，業(yè)務(wù)系統(tǒng)運(yùn)行方式為一臺服務(wù)器對應(yīng)一個業(yè)務(wù)系統(tǒng)，如果需要備份，需要另外配置一臺完全相同服務(wù)器，采用冷備或者熱備的方式運(yùn)行，數(shù)據(jù)備份均為人工完全備份，占用服務(wù)器資源十分巨大，且易造成業(yè)務(wù)數(shù)據(jù)丟失、人工備份不及時、空間重復(fù)占用較大等問題。該創(chuàng)新成果應(yīng)用后，備份方式可根據(jù)策略選擇日、周、月等自動備份，而且僅在第一次采用完全備份，之后，只備份額外的內(nèi)容，節(jié)省大量存儲空間，備份文件會自動替換。項目應(yīng)用之前，對于實體主機(jī)業(yè)務(wù)數(shù)據(jù)的故障恢復(fù)至少需要占用1d以上的時間，但該創(chuàng)新成果應(yīng)用后，交易系統(tǒng)可以通過虛擬機(jī)備份文件進(jìn)行恢復(fù)，時間可以控制在幾分鐘內(nèi)。

（2）實現(xiàn)虛擬監(jiān)控，智能分析運(yùn)行狀態(tài)。該創(chuàng)新成果將這個虛擬化平臺的虛擬環(huán)境和底層承載硬件進(jìn)行了統(tǒng)一平臺的數(shù)據(jù)收集，引入Vcops 虛擬平臺監(jiān)控機(jī)制。Vcops 平臺采用人機(jī)交互式圖形界面與B/S 運(yùn)維架構(gòu)，針對性能優(yōu)化、容量優(yōu)化、故障排除、CPU、內(nèi)存、磁盤爭用及警示提供直觀統(tǒng)一的界面，可以保證運(yùn)維人員直觀、準(zhǔn)確地判斷系統(tǒng)運(yùn)行情況。并且Vcops 平臺可以智能收集各虛擬機(jī)運(yùn)行所占資源進(jìn)行日志收集，智能給出各虛擬機(jī)當(dāng)前健康狀態(tài)，并對所分配的內(nèi)存、CPU、磁盤空間等資源情況給予智能調(diào)整建議。Vcops平臺還可以針對虛擬機(jī)、底層硬件等各不同方面的運(yùn)行生成相應(yīng)運(yùn)維報告，方便運(yùn)維工作匯報和管理使用。當(dāng)前，Vcops已成功與VDP和虛擬化平臺Vcenter管理平臺實現(xiàn)信息交互聯(lián)動。

（3）中央存儲管理提高數(shù)據(jù)存儲的安全性。該技術(shù)將企業(yè)所有業(yè)務(wù)數(shù)據(jù)進(jìn)行了統(tǒng)一的存儲，建立了3個存儲池，分別作為業(yè)務(wù)數(shù)據(jù)、備份、監(jiān)控3 個功能使用，且存儲池之間可以互相遷移，每兩個池都有完全承載所有數(shù)據(jù)存儲的能力，為設(shè)備提供了停機(jī)檢修的機(jī)會。每個存儲池均采用raid 5+2 配置，提高了設(shè)備容錯率和數(shù)據(jù)安全性。另外，該創(chuàng)新成果搭建了基于光纖交換機(jī)的SAN 網(wǎng)絡(luò)，避免了數(shù)據(jù)存儲對業(yè)務(wù)帶寬的占用，也提高了數(shù)據(jù)的安全性。

7 結(jié)語

目前，虛擬化平臺發(fā)展迅速，但與此同時，越來越多的安全問題已經(jīng)成為網(wǎng)絡(luò)安全領(lǐng)域亟待解決的關(guān)鍵問題。盡管大型虛擬化平臺有很多優(yōu)勢，但云計算的發(fā)展是基于其安全性的不斷提高，在虛擬化平臺上出現(xiàn)安全問題的情況下，很難實施初始安全解決方案。主要的虛擬化平臺需要認(rèn)識到它們目前面臨的各種安全風(fēng)險，并根據(jù)漏洞的類型提出適當(dāng)?shù)膶Σ?。在未來，分布式計算及云計算正在推廣的今天，更隨著大二層敏捷網(wǎng)絡(luò)的推廣應(yīng)用，IT 基礎(chǔ)設(shè)施虛擬化為企業(yè)推廣智能電網(wǎng)技術(shù)奠定了堅實的基礎(chǔ)，具有廣泛的推廣價值。