蘇朋程

(貴州師范大學 教務處，貴州 貴陽 550025)

云計算研究虛擬化技術的研究

蘇朋程

(貴州師范大學 教務處，貴州 貴陽 550025)

虛擬化是云計算的本質核心問題，由于所涉及的技術問題寬泛，從縱向及橫向綜合進行分析。結合云桌面應用系統(tǒng)實例、網(wǎng)絡中間層驅動開發(fā)實例、Windows操作系統(tǒng)驅動例子程序FileDisk.c及HttpDisk.c，通過分析操作系統(tǒng)內核，研究云計算原理、體系結構，以及云計算實現(xiàn)的技術基礎，從硬件的虛擬化、系統(tǒng)的虛擬化兩個方面展開研究，并在此基礎上結合驅動技術調用操作系統(tǒng)內核接口實現(xiàn)部分操作系統(tǒng)內核功能。采用網(wǎng)絡中間驅動技術實現(xiàn)了虛擬網(wǎng)卡，同時結合其他云計算系統(tǒng)的應用及對其維護經(jīng)驗，分析了云計算虛擬技術底層有關問題及解決辦法，得出云計算虛擬化技術設計及實現(xiàn)的分層結構、調用操作系統(tǒng)內核接口可解決系統(tǒng)藍屏并提高實時響應效率的結論。實例應用表明，云計算的體系結構的構建及實現(xiàn)是基于軟件、硬件及系統(tǒng)虛擬化的。

云計算；虛擬技術；內核；網(wǎng)絡中間層驅動技術

0 引 言

云計算是繼分布式計算、并行計算、網(wǎng)格計算等發(fā)展而來的一個新計算模式，具有分布式及并行處理等優(yōu)點，同時還具備負載均衡、資源共享、便于維護等特點?；谶@些優(yōu)點及特點，近年來，云計算越來越受到學術界及IT行業(yè)的重視，相關技術日益成熟并實現(xiàn)產(chǎn)品商業(yè)化，云計算產(chǎn)品已投入到教育、醫(yī)療、交通等行業(yè)。隨著云計算產(chǎn)品投入實際應用范圍的增多，出現(xiàn)

了硬件兼容、虛擬設備的穩(wěn)定性及可靠性問題，客戶機電腦系統(tǒng)藍屏、物理設備與虛擬設備的實時響應問題。要解決這些問題，需要從云計算虛擬底層技術進行分析，因為云計算系統(tǒng)只是提供了應用層面的功能及操作，虛擬技術屏蔽了應用層與硬件之間的驅動工作機理，給用戶提供了各種虛擬應用。一般說來，云計算體系結構分為三層[1]：應用層、平臺層和基礎設施層?；A設施層即要研究的“虛擬技術底層”，該層經(jīng)過虛擬化的硬件資源和相關管理功能的集合，實現(xiàn)了內部流程自動化和資源管理優(yōu)化，從而向上層應用提供動態(tài)、靈活的基礎設施層服務[2]。文獻[3]采用虛擬機管理層、功能層、邏輯層、調度層、GUI層等七層結構研究了虛擬化條件下云平臺故障排除問題。通過大量文獻，并結合高校的云計算工程實例，以及作者所實現(xiàn)的虛擬網(wǎng)絡接口卡等例程，分析總結了云計算的核心技術——虛擬化技術。

1 云計算虛擬技術框架

虛擬化概念及技術起源于20世紀50年代，20世紀60年代，IBM360系統(tǒng)首次采用了虛擬化平臺Hypervisor。國外有以IBM、VMare、Xen/Citrix和Microsoft為代表的虛擬化業(yè)界的四大廠商，國內有聯(lián)想、華為等公司使用自己的源代碼開發(fā)出了虛擬化產(chǎn)品，他們提供了成熟、多方位、廣泛的虛擬化產(chǎn)品，實現(xiàn)了從服務器、存儲、網(wǎng)絡到桌面、虛擬應用，甚至數(shù)據(jù)中心的虛擬化。

云計算模式的虛擬化，從宏觀層面可以分為系統(tǒng)虛擬化、網(wǎng)絡虛擬化、服務器虛擬化、虛擬機等等；從微觀層面可分為CPU、內存、磁盤、網(wǎng)卡、I/O設備的虛擬化。根據(jù)虛擬技術底層開發(fā)的過程來看，宏觀層面的虛擬化是建立在對計算機相關設備虛擬化的基礎上的。云計算體系結構分為三層，因此，虛擬技術框架可以對應分為三層，從底層向上分別為：基礎設施層、硬件虛擬層、應用虛擬層?；A設施層為硬件虛擬層、應用虛擬層提供基礎設施保障，實現(xiàn)硬件設備在操作系統(tǒng)內核的無縫綁定與釋放；硬件虛擬層實現(xiàn)對硬件設備的虛擬化，向下提供接口調用操作系統(tǒng)內核功能，向上提供接口與應用軟件實現(xiàn)應用虛擬化；應用虛擬層，即應用系統(tǒng)的虛擬化，在基礎設施層、硬件虛擬層的支持下，結合應用軟件、網(wǎng)絡通信，應用得以實現(xiàn)虛擬化，如虛擬桌面。

云計算虛擬技術所實現(xiàn)的硬件、操作系統(tǒng)多樣化，因此，有關公司、學術機構采用的具體實現(xiàn)技術也不完全一樣，但它們有一個共同點，那就是離不開對物理設備的虛擬化、調用已有操作系統(tǒng)內核功能[4]。例如虛擬化存儲，袁東風等研究了基于KVM的B/S架構虛擬化[5]，實現(xiàn)對磁盤的虛擬化，如新建和刪除虛擬磁盤，并將虛擬磁盤名作為參數(shù)傳遞給Web服務器。KVM全稱為Kernel-based Virtual Machine，由此可看出虛擬技術離不開對操作系統(tǒng)內核功能的調用。對于操作系統(tǒng)內核功能的調用，Windows操作系統(tǒng)提供了文件驅動開發(fā)包用于實現(xiàn)對磁盤文件的虛擬化開發(fā)，可虛擬出新的文件磁盤盤符；微軟公司提供的NDIS網(wǎng)絡驅動開發(fā)包，用于實現(xiàn)網(wǎng)絡協(xié)議、將網(wǎng)絡設備虛擬化，筆者采用NDIS網(wǎng)絡中間層驅動技術，實現(xiàn)了對RJ45接口類型網(wǎng)絡接口卡的虛擬化。

2 設備虛擬化

2.1 網(wǎng)絡接口卡虛擬化

網(wǎng)絡接口卡虛擬化要完成兩個主要功能，一是需要綁定物理設備，即綁定物理網(wǎng)絡接口卡，通過網(wǎng)絡中間驅動層的協(xié)議接口實現(xiàn)對物理網(wǎng)絡接口卡的控制，即對物理網(wǎng)絡接口卡收發(fā)的網(wǎng)絡數(shù)據(jù)進行數(shù)據(jù)成幀處理，控制通過它的網(wǎng)絡數(shù)據(jù)出或入；二是要通過網(wǎng)絡中間層驅動提供的微端口向上一層協(xié)議層(TCP/IP協(xié)議)提供微端口，即虛擬的網(wǎng)絡接口卡，實現(xiàn)對物理網(wǎng)絡數(shù)據(jù)包的重新封裝，可以實現(xiàn)對網(wǎng)絡數(shù)據(jù)的加解密等功能，通過重寫微軟提供的中間層驅動程序passthru.c源程序里的receive()和send()函數(shù)實現(xiàn)。這樣，網(wǎng)絡中間層驅動程序就實現(xiàn)了網(wǎng)絡接口卡虛擬化，安裝好驅動程序后，在電腦控制面板的網(wǎng)絡適配器的屬性處可看見新增了一個跟物理網(wǎng)絡接口卡一模一樣的圖標，這就是虛擬網(wǎng)卡。虛擬網(wǎng)卡的名稱是通過安裝驅動程序的inf安裝文件里“設備名稱”指定的。

物理網(wǎng)卡、虛擬網(wǎng)卡、應用程序接口關系結構圖如圖1所示。

圖1 物理網(wǎng)卡、虛擬網(wǎng)卡、應用程序接口關系結構圖

文中采用微軟公司提供的DDK(Driver Development Kit)開發(fā)出了虛擬網(wǎng)卡驅動程序Passthru.sys，實驗對象為Windows XP操作系統(tǒng)，實驗結果見圖2。

2.2 虛擬機內存

虛擬機內存可以理解成虛擬內存，是虛擬機使用的內存。虛擬內存是通過驅動技術對操作系統(tǒng)所使用的物理內存將部分除外的空閑部分綁定后返回給用戶的又一個虛擬設備，即虛擬機內存。在虛擬機里，它和物理機系統(tǒng)一樣是獨立的線性連續(xù)可尋址的存儲單元，具有獨自的虛擬機內存地址，與物理內存地址存在映射對應關系。驅動程序實現(xiàn)物理內存與虛擬機內存的映射轉換。在此基礎上[6]，虛擬機Xen使用影子頁表實現(xiàn)對虛擬內存與物理內存的映射轉換[7]，實現(xiàn)用戶虛擬內存、虛擬機內存、物理內存三者之間的相互映射轉換，具體分析如下。

圖2 虛擬網(wǎng)卡實驗安裝結果圖

硬件抽象層中的虛擬機系統(tǒng)存在三個層次內存概念：一是用戶虛擬內存，虛擬機系統(tǒng)運行的服務、進程所訪問的內存，即用戶應用程序在虛擬機系統(tǒng)運行時所使用的內存[8]；二是虛擬機實時內存，即虛擬機運行環(huán)境的物理內存；三是物理內存，即物理主機的內存。三者之間的映射關系如圖3所示。

圖3 虛擬機系統(tǒng)的內存映射關系圖

因此，云計算虛擬技術的內存調度是兩級調度，從用戶的角度自上而下為：第一級，用戶應用程序所使用內存到虛擬機實時內存的調度；第二級，虛擬機內存調度物理內存。在第二級的內存調度方面，主要是通過內核驅動技術在底層實現(xiàn)對物理內存的綁定、創(chuàng)建、使用自旋鎖對某段地址空間的內存獨占使用，使用完畢釋放該自旋鎖以達到釋放虛擬機系統(tǒng)所獨占內存。在第一級，可以通過API接口實現(xiàn)用戶程序對虛擬機內存的申請使用、釋放。目前，內存的底層分配問題得到了解決，而且在虛擬機之間對何時分配內存、如何分配等問題也有大量研究。文獻[6]研究了虛擬機之間的內存調度算法，通過邏輯地址空間和全局擴展地址空閑空間構成，以提高內存資源利用率。虛擬機內存與物理內存之間是一一映射的關系，而且虛擬機內存與物理內存之間是無地址沖突的。

2.3 磁盤文件虛擬化

從物理磁盤文件到虛擬機文件系統(tǒng)的映射，可通過三層映射轉換實現(xiàn)尋址讀寫功能[6]。磁盤文件虛擬化，與網(wǎng)絡驅動開發(fā)類似，微軟提供了文件系統(tǒng)驅動開發(fā)包IFS DDK，并提供了相關例程filedisk.c、httpdisk.c。文件系統(tǒng)可分為本地文件系統(tǒng)、網(wǎng)絡文件系統(tǒng)，filedisk.c用于開發(fā)本地文件系統(tǒng)，httpdisk.c用于開發(fā)網(wǎng)絡文件系統(tǒng)，用戶可以根據(jù)實際需要在這兩個源程序文件的相關函數(shù)中添加特定功能的源代碼，實現(xiàn)虛擬文件系統(tǒng)，以及對文件的加解密等功能。在上述兩個源程序文件中，可實現(xiàn)文件系統(tǒng)的操作有：磁盤文件創(chuàng)建、磁盤文件加載、磁盤文件的控制(打開、讀寫)、磁盤文件的卸載。與本地文件系統(tǒng)不同的是，網(wǎng)絡文件系統(tǒng)創(chuàng)建了遠程磁盤設備對象，具體實現(xiàn)技術方面增加了網(wǎng)絡套接字的鏈接及斷開，遠程磁盤存儲空間的創(chuàng)建、讀寫、釋放等功能。本地文件系統(tǒng)、網(wǎng)絡文件系統(tǒng)在底層技術方面，都采用了IRP實現(xiàn)對物理磁盤的綁定后向用戶提供一個虛擬的磁盤設備，并且需要解決對共享存儲空間的獨占及共享問題。無論是微軟所提供的DDK開發(fā)工具，還是開源文件系統(tǒng)OpenStack、Hadoop、Linux工具，都不可避免調用操作系統(tǒng)的內核接口[7]。

2.4 指令集虛擬化

指令集虛擬化對于大家來說并不陌生，Java虛擬機之所以能跨操作系統(tǒng)運行，是因為Java虛擬機運行時執(zhí)行其指令，將Java源程序解釋成字節(jié)碼，這些字節(jié)碼經(jīng)過瀏覽器這一應用程序解釋成目標代碼后運行。虛擬服務器、微軟虛擬機的運行同樣也執(zhí)行虛擬指令，虛擬指令集是將各種處理器的指令翻譯為虛擬指令，是對原處理器指令的重新構建。虛擬指令可屏蔽不同型號CPU處理器指令之間的差異，該項功能正是云計算架構在不同的硬件設備、不同系統(tǒng)、不同平臺上的底層技術基礎及優(yōu)點。

2.5 其他設備虛擬化

其他設備的虛擬化包括CPU、光驅等設備的虛擬化。虛擬光驅的應用已歷經(jīng)多年，如以VMare公司推出的虛擬光驅為代表，應用于多操作系統(tǒng)的安裝等。CPU虛擬化主要應用在云計算服務器上，根據(jù)云端應用數(shù)量的多少動態(tài)分配CPU資源，在虛擬系統(tǒng)軟件及硬件的支持下，CPU可虛擬出2n指數(shù)級的數(shù)量，但實際應用環(huán)境中其數(shù)量有限，必須根據(jù)實際需求進行分配。CPU的虛擬化需要電腦主板硬件支持，否則不可實現(xiàn)。

3 系統(tǒng)及應用虛擬化

系統(tǒng)及應用虛擬化是虛擬技術在宏觀層面的實現(xiàn)結果，是在上述設備、磁盤文件等虛擬化實現(xiàn)的基礎之上，如虛擬機、虛擬服務器。虛擬機是一套完整的計算機軟硬件虛擬系統(tǒng)，包括操作系統(tǒng)、內存、CPU、硬盤等軟硬件。虛擬計算機概念最早由IBM公司在二十世紀六七十年代提出。虛擬化技術通過在現(xiàn)有硬件平臺上增加一層虛擬機監(jiān)控器(VirtualMachineMonitor，VMM)軟件來實現(xiàn)對系統(tǒng)的虛擬化[8-11]。應用虛擬化在教育行業(yè)中的方式之一是虛擬云桌面，如廣州杰賽科技的云桌面系統(tǒng)。該系統(tǒng)采用KVM架構，其核心是建立在Linux內核基礎上的虛擬機，虛擬桌面以模板的方式建立并保存在云服務器上，教師可根據(jù)不同的教學需求安裝不同的教學軟件后保存為新的模板。采用基于KVM架構的虛擬云桌面的優(yōu)點是：系統(tǒng)安全穩(wěn)定，病毒感染減少，便于教學軟硬件的集中維護，節(jié)省硬件及人力資源投入。

4 云計算技術虛擬技術底層關鍵問題分類及解決辦法

4.1 穩(wěn)定性及可靠性問題

由于虛擬設備、虛擬系統(tǒng)是建立在硬件設備、操作系統(tǒng)基礎之上，在技術實現(xiàn)方面需要綁定物理設備，而且同時要調用操作系統(tǒng)中斷、內存資源等，因此不可避免地與操作系統(tǒng)因搶占中斷資源、內存讀寫而發(fā)生沖突，表現(xiàn)為電腦藍屏、死機。要解決此類問題，必須在底層(操作系統(tǒng)內核)綁定硬件設備，可以采用操作系統(tǒng)開發(fā)公司提供的驅動開發(fā)工具、開發(fā)平臺進行設備虛擬化、應用虛擬化。

4.2 物理設備與虛擬設備實時響應問題

虛擬設備有本地虛擬設備、遠程虛擬設備之分，遠程虛擬設備是遠程服務器上為用戶定制的虛擬桌面上顯示的設備，容易將本地虛擬設備與遠程虛擬設備混淆。虛擬設備的響應速度遠比不上實際硬件設備，虛擬設備是通過程序在功能上模擬實現(xiàn)硬件設備的功能，對于如虛擬桌面這樣的應用來說，其桌面上顯示的如揚聲器等設備，即使用鼠標調整其音量大小，也會出現(xiàn)用于其綁定的硬件設備位于遠端網(wǎng)絡中心機房而在本地無法聽見聲音效果等現(xiàn)象。此外，對虛擬桌面的應用軟件實時響應問題，特別是圖形、視頻類教學軟件，這些軟件對服務器的CPU主頻、內存、網(wǎng)絡帶寬都有較高要求，因此會導致教學出現(xiàn)實時性差、網(wǎng)絡延遲等問題。可以利用從服務器方面增加如內存、更換更高主頻的CPU，在網(wǎng)絡方面通過端口匯聚以增加網(wǎng)絡交換機的背板帶寬、增加校園骨干網(wǎng)到樓的光纖數(shù)量及其帶寬等方式予以解決。針對應用于教育行業(yè)的虛擬桌面VDI系統(tǒng)，在學生客戶機運行Photoshop、3Dmax等圖形教學軟件，以解決虛擬服務器的瓶頸問題，在硬件方面國內外推出了GPU，提高了網(wǎng)絡通信及圖形處理速度及效率[12]。

4.3 系統(tǒng)藍屏問題

系統(tǒng)藍屏問題比較復雜，有操作系統(tǒng)本身的原因，也有軟硬件兼容的原因，實際問題應具體分析。

(1)中斷請求沖突。根據(jù)系統(tǒng)藍屏的提示信息，知道其主要原因是硬件對于中斷請求入口地址與系統(tǒng)的中斷請求入口地址相沖突(操作系統(tǒng)啟動時出現(xiàn)藍屏，提示信息中有地址訪問沖突，沖突地址為0x0000**)，可修改硬件設備的中斷請求的入口地址。

(2)硬件未通過微軟公司的認證。對于該問題，在安裝硬件驅動程序時，如果此硬件設備驅動未通過微軟公司的認證，系統(tǒng)會給出提示消息，解決辦法就是獲得微軟公司的認證通過。虛擬化涉及硬件、軟操作系統(tǒng)，因此，在中斷請求、內存的申請使用[13]、CPU及系統(tǒng)時間片的使用方面[14]，如果處理不當，將會導致系統(tǒng)藍屏。

(3)目標內存、磁盤被其他程序鎖定使用，當虛擬化軟件訪問該內存、磁盤時會導致藍屏。在實際使用虛擬云桌面的過程中，不可避免會遇到藍屏情況，解決辦法是：

①對于Windows系統(tǒng)，修改IRP結構的指向相應設備對象(device object)的指針，修改為指向其他地址空間的內存或空閑磁盤；

②增加I/O通道數(shù)量，避免虛擬化與操作系統(tǒng)爭用I/O中斷而導致藍屏，此方案是筆者所在學校建設云實驗室使用華為技術有限公司的云計算應用系統(tǒng)技術的解決方案；

③對于如Linux等開源工具，可重寫操作系統(tǒng)內核程序、云系統(tǒng)軟件并編譯替換之。

5 結束語

近年來，云計算產(chǎn)品層出不窮，應用廣泛。云計算可在已有軟硬件資源上實施整合實現(xiàn)，高效地利用現(xiàn)存的軟硬件資源，涉及存儲、數(shù)據(jù)處理、計算、網(wǎng)絡通信等領域，在底層技術實現(xiàn)方面則必須無縫地與硬件綁定和釋放，同時在內核層必須與操作系統(tǒng)協(xié)調地調配軟硬件資源，在應用層如何高效地與應用軟件實時動態(tài)交互，做到穩(wěn)定、安全可靠、高效是云計算的重點研究課題，虛擬技術底層問題是其核心重點。隨著技術的日趨完善，云計算與大數(shù)據(jù)將完美地結合在一起，其產(chǎn)品將廣泛地應用到人們的工作、學習、商貿、生活及娛樂等領域。其中，最核心的仍然是虛擬化技術，虛擬化的對象及內容也越來越多，相關技術將統(tǒng)一標準化，虛擬化所支持的應用系統(tǒng)也日趨穩(wěn)定完善。通過調查大量文獻，在總結已有研究成果的基礎上，結合高校云計算系統(tǒng)實際工程的建設及維護工程，使人們對云計算系統(tǒng)及其核心技術有一個系統(tǒng)本質的認識，在開發(fā)云計算應用工程或維護工作中有一個重點把握方向。

[1] 汪 愷,張功萱,周秀敏.基于容器虛擬化技術研究[J].計算機技術與發(fā)展,2015,25(8):138-141.

[2] Chapman M, Magenheimer D J, Ranganathan P. MagiXen:combining binary translation and virtualization[R].[s.l.]:[s.n.],2007.

[3] 崔競松,路昊宇,郭 遲,等.基于事件驅動機制的虛擬化故障檢測恢復系統(tǒng)[J].計算機工程,2015,41(2):7-11.

[4] Smith E， Nair R． The architecture of virtual machines[J]．Computer，2005，38(5):32-38．

[5] 黨 飛,江銘炎,袁東風.基于KVM的B/S架構虛擬化管理系統(tǒng)[J].計算機工程與設計,2013,34(6):2252-2256.

[6] 蔡志強,丁麗萍,賀也平.一種基于虛擬機的動態(tài)內存泄露檢測方法[J].計算機應用與軟件,2012,29(9):10-13.

[7] Devine S W,Bugnion E,Rosenblum M.Virtualization system including a virtual machine monitor for a compute with a segmented architecture：US,6397242 B1[P].2002-05-28.

[8] King S T,Dunlap G W,Chen P M.Debugging operating systems with time-traveling virtual machine[C]//Proc of the 2005 USENIX annual technical conference.[s.l.]:USENIX,2005:1-15.

[9] 李雪竹,陳國龍.云計算虛擬化平臺的內存資源全局優(yōu)化研究[J].計算機工程,2015,41(7):55-59.

[10]Intelvirtualization technology: hardware support for efficient processor virtualization[S].[s.l.]:[s.n.],2006.

[11] 魯志軍,祖立軍.云計算虛擬化環(huán)境下開源鏡像對比分析[J].計算機應用與軟件,2015,32(8):84-87.

[12] 張玉潔,呂相文,張云洲.GPU虛擬化環(huán)境下的數(shù)據(jù)通信策略研究[J].計算機技術與發(fā)展,2015,25(8):24-28.

[13] 趙少卡,李立耀,凌 曉,等.基于OpenStack的清華云平臺構建與調度方案設計[J].計算機應用,2013,33(12):3335-3338.

[14] 王 凱,侯紫峰.Xen虛擬CPU空閑調度算法[J].計算機研究與發(fā)展,2013,50(11):2429-2435.

Investigation on Cloud Computing for Virtualization Technology

SU Peng-cheng

(Department of Teaching,Guizhou Normal University,Guiyang 550025,China)

Virtualization is the essential core of the cloud computing.Because the technical issues involved are broad,analysis with the vertical and horizontal integration point of view have been conducted.Some cases and examples have been investigated,such as cloud desktop application system which is used in colleges and universities,NDIS programming cases,and windows operating system driver programming cases both FileDisk.c and HttpDisk.c.The research processing has been carried on two factors,one of which is virtualization of hardware,the other is virtualization of system,and in the research processing,several factors are to be considered,such as the kernel operating system,the theory of cloud computing and structure,and the implementation techniques of cloud computing.Based on analyzing these programming cases and examples,the bottom technologies concerned with cloud computing and virtualization problems have been resolved.Experimental results show that to design and implement cloud computing and virtualization are based on layered structure system,also based on invoking operation system kernel interface,not only Blue Screen of Death can be solved but also computing and virtualization system efficiency can be promoted in this way.Results of practical application show that the architecture and implementation of cloud computing architecture is based on software,hardware and system virtualization.

cloud computing;virtualization technology;kernel;intermediate NDIS drivers technology

2016-04-25

2016-08-17

時間：2017-03-07

貴州省科技計劃基金項目(黔科合J字[2011]2216)

蘇朋程(1976-)，男，碩士，高級實驗師，研究方向為大數(shù)據(jù)、云計算。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170307.0920.008.html

TP316

A

1673-629X(2017)04-0029-05

10.3969/j.issn.1673-629X.2017.04.007