權(quán)鵬宇 車文剛 余任 周志元

摘要：隨著大數(shù)據(jù)時(shí)代的發(fā)展，人們越來越重視保存歷史數(shù)據(jù)，通過海量的歷史數(shù)據(jù)挖掘數(shù)據(jù)潛藏的價(jià)值。在云計(jì)算與大數(shù)據(jù)發(fā)展的背景下，虛擬化資源產(chǎn)生的大量狀態(tài)文件、日志信息將為云平臺(tái)的故障診斷與預(yù)測提供了有力地預(yù)測與快速定位依據(jù)。通過建立探針機(jī)制的挖掘虛擬化資源池日志等信息，找出其中潛在的關(guān)聯(lián)信息。本文構(gòu)建云計(jì)算資源池的大數(shù)據(jù)分析模型，通過利用大數(shù)據(jù)技術(shù)對資源池各管理層日志進(jìn)行關(guān)聯(lián)性分析，快速對故障和性能瓶頸進(jìn)行探查，準(zhǔn)確給出探查出的每層資源故障路後或性能瓶頸軌跡，以智能化的方式替換隨機(jī)性和經(jīng)驗(yàn)性的人工模式?通過注入云計(jì)算操作系統(tǒng)的控制臺(tái)接口和日志、利用SDN技術(shù)對網(wǎng)絡(luò)流量進(jìn)行采集、通過存儲(chǔ)虛擬化控制工具采集存儲(chǔ)性能和日志，再結(jié)合現(xiàn)有應(yīng)用性能分析系統(tǒng)API接口開發(fā)，研發(fā)基于探針技術(shù)的資源池故障及性能分析探針系統(tǒng)。通過該模型系統(tǒng)能對不同資源類型的數(shù)據(jù)和日志進(jìn)行綜合分析，從這些數(shù)據(jù)中捕獲隱患信息和故障發(fā)生點(diǎn)的位置信息并予以可視化表示。

關(guān)鍵詞：大數(shù)據(jù)；虛擬化；資源池探針；故障檢測

中圖分類號：TP391.9文獻(xiàn)標(biāo)識碼ADOI：10.3969/j.issn.l003-6970.2017.08.026

本文著錄格式：權(quán)鵬宇，車文剛，余任，等云資源池探針的故障檢測方法研究[J]軟件，2017，38（8）：13本141

引言

在云計(jì)算與大數(shù)據(jù)發(fā)展的背景下，虛擬化資源產(chǎn)生的大量狀態(tài)文件、日志信息將為云平臺(tái)的故障診斷與預(yù)測提供了有力地預(yù)測與快速定位依據(jù)。通過建立探針機(jī)制的挖掘虛擬化資源池日志等信息，找出其中潛在的關(guān)聯(lián)信息。

故障診斷的目的是尋找故障發(fā)生的原因或故障位置，加快修復(fù)過程。故障和失效的關(guān)系往往異常的復(fù)雜，很難直接描述從故障到失效直接的關(guān)系。故障診斷通過檢測診斷對象的故障模式，提取故障特征，根據(jù)預(yù)定的推理原則，評估故障信息，向上層做出提示，以便于故障修復(fù)。

云計(jì)算環(huán)境中，數(shù)據(jù)量龐大，人工直接進(jìn)行故障診斷在很大程度上依賴于系統(tǒng)管理員的經(jīng)驗(yàn)，其可靠性很難保證，所以人工無法應(yīng)對云資源需求。由于沒有參考，診斷錯(cuò)誤很難被發(fā)現(xiàn)與更正。為了避免人為因素帶來的影響與誤差，對于故障診斷現(xiàn)多使用一定的模型來進(jìn)行，如神經(jīng)網(wǎng)絡(luò)、模糊邏輯等。使用故障診斷模型可以降低由專家經(jīng)驗(yàn)等人為因素所帶來的偶然性與主觀性，提高診斷的精確度。

1.2 探針監(jiān)測基礎(chǔ)信息資源

由于計(jì)算機(jī)的CPU、內(nèi)存、網(wǎng)絡(luò)和磁盤資源的消耗不僅能夠反映出機(jī)器當(dāng)前運(yùn)行的狀態(tài)，還能幫助判斷主機(jī)當(dāng)前是否出現(xiàn)異常，通過建立探針技術(shù)方式獲取CPU、內(nèi)存、網(wǎng)絡(luò)和磁盤資源是整個(gè)故障與可靠性。

基于上述原因，本文提出了基于各型號虛擬化產(chǎn)品提供的事件API作二次開發(fā)，通過采集事件的分級和告警做故障的判斷、日志分析、運(yùn)行狀態(tài)判斷，可在資源池中物理服務(wù)器眾多、承載大量虛擬服務(wù)器的情況下，快速發(fā)現(xiàn)已發(fā)生的故障，并提供控制臺(tái)準(zhǔn)確預(yù)測和定位故障。

1 系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)架構(gòu)設(shè)計(jì)

通過建立主動(dòng)式監(jiān)測探針，獲取云計(jì)算操作系統(tǒng)的控制臺(tái)接口和日志、利用SNMP協(xié)議對網(wǎng)絡(luò)資源信息進(jìn)行采集、通過存儲(chǔ)虛擬化控制工具以及SNMP協(xié)議訪問存儲(chǔ)設(shè)備OID號采集存儲(chǔ)設(shè)備的性能數(shù)據(jù)通過存儲(chǔ)虛擬化控制工具采集存儲(chǔ)性能和日志，再結(jié)合VMwarev Sphere接口開發(fā)數(shù)據(jù)源探針，實(shí)現(xiàn)對資源池內(nèi)的虛擬資源（計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源），以及承載虛擬資源的主機(jī)設(shè)備、網(wǎng)絡(luò)設(shè)備等對象的信息遠(yuǎn)程探針。故障監(jiān)控系統(tǒng)主要由數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)分析系統(tǒng)和數(shù)據(jù)可視化三個(gè)子系統(tǒng)組成。系統(tǒng)總體架構(gòu)如圖1所示：

分析與快速定位的基石。目前關(guān)于單點(diǎn)故障檢測技術(shù)已經(jīng)很成熟，通過資源監(jiān)控來監(jiān)測CPU壓力、網(wǎng)絡(luò)帶寬得出當(dāng)前虛擬機(jī)的運(yùn)行情況。云平臺(tái)下虛擬化資源池包括計(jì)算資源池、網(wǎng)絡(luò)資源池和存儲(chǔ)資源池，通過底層監(jiān)控系統(tǒng)獲得虛擬機(jī)CPU、內(nèi)存、磁盤10等指標(biāo)。虛擬機(jī)網(wǎng)絡(luò)包括網(wǎng)絡(luò)ICMP報(bào)文、丟包率等。以下羅列了部分計(jì)算資源、存儲(chǔ)資源、磁盤IO資源、進(jìn)程資源、網(wǎng)絡(luò)資源信息參數(shù)。

2 探針部署

2.1 數(shù)據(jù)采集整體架構(gòu)

通過建立主動(dòng)式監(jiān)測探針，獲取云計(jì)算操作系統(tǒng)的控制臺(tái)接口和日志、利用SNMP協(xié)議對網(wǎng)絡(luò)流量進(jìn)行采集、通過存儲(chǔ)虛擬化控制工具采集存儲(chǔ)性能和日志，再結(jié)合現(xiàn)有應(yīng)用性能分析系統(tǒng)AI>I接口開發(fā)數(shù)據(jù)源探針，實(shí)現(xiàn)對資源池內(nèi)的虛擬資源（計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源），以及承載虛擬資源的主機(jī)設(shè)備、網(wǎng)絡(luò)設(shè)備等對象的信息遠(yuǎn)程探針。數(shù)據(jù)采集子系統(tǒng)的架構(gòu)如圖2所示：

數(shù)據(jù)采集流程如圖3所示。

2.2 數(shù)據(jù)采集策略

傳統(tǒng)的數(shù)據(jù)采集方式通過設(shè)置一定的時(shí)間間隔，定時(shí)的對虛擬機(jī)性能指標(biāo)進(jìn)行采集。如果設(shè)置的數(shù)據(jù)采集的時(shí)間間隔較小，數(shù)據(jù)采集頻率較大。則會(huì)嚴(yán)重消耗虛擬機(jī)資源。影響用戶的正常使用。如果設(shè)置的數(shù)據(jù)采集的時(shí)間間隔較大，數(shù)據(jù)采集的頻率較小，單位時(shí)間內(nèi)采集到的虛擬機(jī)數(shù)據(jù)少，也會(huì)不能很好的反映出虛擬機(jī)的實(shí)際運(yùn)行情況。對此需要采用自適應(yīng)的方法保證平臺(tái)的穩(wěn)定。我們需要根據(jù)基于時(shí)間軸收集日志系統(tǒng)數(shù)據(jù)。對整體虛擬化平臺(tái)分析潛在的關(guān)聯(lián)故障關(guān)系。

數(shù)據(jù)采集器使用自適應(yīng)數(shù)據(jù)采集策略對虛擬機(jī)的性能指標(biāo)進(jìn)行采集。數(shù)據(jù)采集器使用的數(shù)據(jù)采集策略如圖4所示，包含粗粒度數(shù)據(jù)采集和細(xì)粒度數(shù)據(jù)采集。在粗粒度的數(shù)據(jù)采集過程中，設(shè)置的數(shù)據(jù)采集的時(shí)間間隔較大，數(shù)據(jù)采集頻率較低，這種模式下對虛擬機(jī)的性能影響較少；在細(xì)粒度的數(shù)據(jù)采集過程中，設(shè)置的數(shù)據(jù)采集的時(shí)間間隔較小，數(shù)據(jù)采集的頻率較高，這種模式下對虛擬機(jī)的性能影響較大，但單位時(shí)間內(nèi)采集的數(shù)據(jù)較大，虛擬機(jī)的實(shí)際運(yùn)行狀況的反映更加全面、準(zhǔn)確。

2.3 計(jì)算資源探針部署

VMwarev Sphere利用虛擬化功能將數(shù)據(jù)中心轉(zhuǎn)化

為簡化的云計(jì)算基礎(chǔ)架構(gòu)，使IT組織能夠提供靈活可靠的IT服務(wù)。VMwarev Sphere虛擬化并匯總多個(gè)系統(tǒng)間的基礎(chǔ)物理硬件資源，同時(shí)為數(shù)據(jù)中心提供大量虛擬資源。作為云操作系統(tǒng)，VMwarev Sphere可作為無縫動(dòng)

態(tài)操作環(huán)境管理大型基礎(chǔ)架構(gòu)（如CPU，存儲(chǔ)器河網(wǎng)絡(luò)），同時(shí)還管理復(fù)雜的數(shù)據(jù)中心。本項(xiàng)目從vCenter的數(shù)據(jù)庫中將歷史數(shù)據(jù)直接導(dǎo)出根據(jù)從vCenter數(shù)據(jù)庫導(dǎo)出的數(shù)據(jù)建立拓?fù)潢P(guān)系圖，并用歷史數(shù)據(jù)進(jìn)行學(xué)習(xí)，建立故障模型。

2.4 網(wǎng)絡(luò)資源探針部署

傳統(tǒng)交換機(jī)的設(shè)備與端口數(shù)據(jù)通過SNMP協(xié)議接口采集，當(dāng)前SNMP開發(fā)工具很多，常見的有：SNMP4J、SNVIII++、Winsnmp等。本系統(tǒng)可采用Java實(shí)現(xiàn)的SNMP4J。

SNMP4J開源項(xiàng)目采用Java實(shí)現(xiàn)，為SNMP編程提供了良好框架，支持SNMPvl、SNMPv2c和SNMPv3版本。SNMP4J既同時(shí)提供命令產(chǎn)生和命令響應(yīng)，封裝了SNMP的底層編程接口，含有多個(gè)SNMP中重要的協(xié)議處理類。而且有多線程、易維護(hù)、易使用、可擴(kuò)展的優(yōu)勢。SNMP數(shù)據(jù)采集的接口數(shù)據(jù)信息如圖5所示：

3 數(shù)據(jù)分析

構(gòu)建云計(jì)算業(yè)務(wù)資源池的大數(shù)據(jù)分析模型，通過利用大數(shù)據(jù)技術(shù)對資源池各管理層日志進(jìn)行關(guān)聯(lián)性分析，快速對故障和性能瓶頸進(jìn)行探查，準(zhǔn)確給出探查出的每層資源故障路徑或性能瓶頸軌跡，以智能化的方式替換隨機(jī)性和經(jīng)驗(yàn)性的人工模式。通過注人云計(jì)算操作系統(tǒng)的控制臺(tái)接口和日志、利用SDN技術(shù)對網(wǎng)絡(luò)流量進(jìn)行采集、通過存儲(chǔ)虛擬化控制工具采集存儲(chǔ)性能和日志，再結(jié)合現(xiàn)有應(yīng)用性能分析系統(tǒng)API接口開發(fā)，結(jié)合現(xiàn)有虛擬化平臺(tái)中已經(jīng)部署的監(jiān)控模塊，設(shè)計(jì)并實(shí)現(xiàn)一款基于探針技術(shù)和大數(shù)據(jù)分析技術(shù)的資源故障監(jiān)控系統(tǒng)，在客戶操作系統(tǒng)中部署探針程序獲取日志數(shù)據(jù)，通過使用大數(shù)據(jù)分析技術(shù)對日志數(shù)據(jù)進(jìn)行分析，建立并訓(xùn)練故障模型，從而對關(guān)聯(lián)故障的故障源進(jìn)行定位，以及識別出引發(fā)故障的行為模式從而提供故障預(yù)警功能，并予以可視化表示。

數(shù)據(jù)分析模塊研究資源池各類型探針獲得的檢測數(shù)據(jù)并構(gòu)成障診斷分析模型。采用大數(shù)據(jù)分析技術(shù)對采集的各項(xiàng)指標(biāo)數(shù)據(jù)進(jìn)行分析，構(gòu)建一個(gè)適應(yīng)多種數(shù)據(jù)類型分析和預(yù)測的算法模型，通過該模型能對不同資源類型的數(shù)據(jù)和日志進(jìn)行綜合分析，從這些數(shù)據(jù)中捕獲隱患信息和故障發(fā)生點(diǎn)的位置信息，通過將這些信息加工處理后以標(biāo)準(zhǔn)方式提供云計(jì)算的管理系統(tǒng)或IT服務(wù)的管理監(jiān)控系統(tǒng)進(jìn)行呈現(xiàn)，及時(shí)發(fā)現(xiàn)安全隱患和加快故障處繊率和質(zhì)量。

數(shù)據(jù)分析模塊劃分為數(shù)據(jù)預(yù)處理，故障分析，趨勢預(yù)測三個(gè)部分。數(shù)據(jù)分析流程圖如圖6所示。

步驟如下：

（1）采集虛擬機(jī)各項(xiàng)指標(biāo)的正常異常和故障數(shù)據(jù)作為樣本。定義為節(jié)點(diǎn)在某時(shí)刻的狀態(tài)，其中xit為刻畫節(jié)點(diǎn)性能指標(biāo)的第i類變量?？坍嫻?jié)點(diǎn)性能的指標(biāo)主要包含計(jì)算、內(nèi)存、網(wǎng)絡(luò)及存儲(chǔ)等方面。

（2）進(jìn)行預(yù)處理由于采集的性能指標(biāo)具有復(fù)雜、高維、冗余等特征，所以首先需要進(jìn)行標(biāo)準(zhǔn)化處理并提取數(shù)據(jù)集的主要特征。

（3）針對主要特征選擇數(shù)據(jù)分析模式，并利用其它帶標(biāo)簽的和不帶標(biāo)簽的數(shù)據(jù)樣本訓(xùn)練分類器建立故障診斷模型和預(yù)測模型。

（4）進(jìn)行故障診斷對診斷為故障的數(shù)據(jù)進(jìn)行故障定位，對異常數(shù)據(jù)進(jìn)行趨勢預(yù)測。

3.1 數(shù)據(jù)預(yù)處理

由于不同的系統(tǒng)度量值的原始數(shù)據(jù)范圍非常不同，需要對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。數(shù)據(jù)標(biāo)準(zhǔn)化也就是統(tǒng)計(jì)數(shù)據(jù)的指數(shù)化。數(shù)據(jù)標(biāo)準(zhǔn)化處理主要包括數(shù)據(jù)同趨化處理和無量綱化處理兩個(gè)方面。數(shù)據(jù)同趨化處理主要解決不同性質(zhì)數(shù)據(jù)問題對不同性質(zhì)指標(biāo)直接加總不能正確反映不同作用力的綜合結(jié)果。數(shù)據(jù)無量綱化處理主要解決數(shù)據(jù)的可比性。在此擬采用指數(shù)化處理方法。指數(shù)化處理以指標(biāo)的最大值和最小值的差距進(jìn)行數(shù)學(xué)計(jì)算，其結(jié)果介于0到1之間具體計(jì)算公式如下。

3.2 故障診斷

故障分析診斷通過分析系統(tǒng)歷史運(yùn)行情況建立故障te型，在故障發(fā)生時(shí)目纟及時(shí)報(bào)警并進(jìn)一步確定最可能發(fā)生故障的節(jié)點(diǎn)或組件、程序，縮小對于故障發(fā)生原因的搜索空間。

為了識別整個(gè)故障發(fā)生過程中出現(xiàn)的特征，針對采集的系統(tǒng)數(shù)據(jù)進(jìn)行建模，構(gòu)建特征識別器.特征識別器實(shí)際上是一個(gè)分類器，將日志中體現(xiàn)的特征映射為預(yù)設(shè)的故障類型.常見的分類器構(gòu)造方法包括決策樹分類法、神經(jīng)網(wǎng)絡(luò)、貝葉斯分類法等?；舅悸肥沁x擇一種學(xué)習(xí)算法用來確定分類模型，從而擬合樣本數(shù)據(jù)中故障類型和屬性集之間的映射關(guān)系，這樣面對未知故障類型的樣本數(shù)據(jù)時(shí)，可以基于此分類模型預(yù)測樣本的故障類型。

在構(gòu)建分類器的過程中，需要將數(shù)據(jù)劃分為訓(xùn)練集和檢驗(yàn)集，訓(xùn)練集是標(biāo)識了故障類型的數(shù)據(jù)用來建模，檢驗(yàn)集未標(biāo)識故障類型，用來檢驗(yàn)?zāi)Ｐ偷挠行?。有效性可用精確率和召回率進(jìn)行衡量。

4 故障檢測模型設(shè)計(jì)

4.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，由非線性變換單元組成的BP神經(jīng)網(wǎng)絡(luò)，不僅結(jié)構(gòu)簡單，而且具有良好的非線性映射能力。

利用神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力，建立故障的征兆與原因之間的映射關(guān)系，即神經(jīng)網(wǎng)絡(luò)模型，使用神經(jīng)網(wǎng)絡(luò)模型在新的數(shù)據(jù)到來時(shí)，可以由故障征兆快速的推理出故障原因。

在建立神經(jīng)網(wǎng)絡(luò)模型時(shí)需確定隱層節(jié)點(diǎn)數(shù)量、隱層數(shù)目可以采用遺傳算法對BP神經(jīng)網(wǎng)絡(luò)隱含層進(jìn)行優(yōu)化。一個(gè)三層的BP網(wǎng)絡(luò)已能映射或逼近任何有理函數(shù)，故可采用含有一個(gè)隱層的BP網(wǎng)絡(luò)。

采用含有標(biāo)簽的節(jié)點(diǎn)狀態(tài)向量訓(xùn)練神經(jīng)網(wǎng)絡(luò)6，由學(xué)習(xí)數(shù)據(jù)輸入向量的長度n確定網(wǎng)絡(luò)輸入層節(jié)點(diǎn)數(shù)為n；由學(xué)習(xí)實(shí)例輸出向量的長度m確定網(wǎng)絡(luò)輸出層的節(jié)點(diǎn)數(shù)為m；定義各層間的初始連接權(quán)重矩陣，第1層連接到第1+1層的連接矩陣為。

4.1.1 神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

采用含有標(biāo)簽的節(jié)點(diǎn)狀態(tài)向量訓(xùn)練神經(jīng)網(wǎng)絡(luò)，由學(xué)習(xí)數(shù)據(jù)輸入向量的長度n確定網(wǎng)絡(luò)輸入層節(jié)點(diǎn)數(shù)為n；由學(xué)習(xí)實(shí)例輸出向量的長度m確定網(wǎng)絡(luò)輸出層的節(jié)點(diǎn)數(shù)為m；定義各層間的初始連接權(quán)重矩陣，第1層連接到第1+1層的連接矩陣為。根據(jù)經(jīng)驗(yàn)公式隱層神經(jīng)元數(shù)量分布在一定范圍內(nèi)。

對幾種選取方式進(jìn)行了測試。經(jīng)測試隱層節(jié)點(diǎn)選?。╝ttribs+classes）/2準(zhǔn)確率最高。此外對神經(jīng)網(wǎng)絡(luò)的其他各項(xiàng)參數(shù)包括激勵(lì)函數(shù)和連接方式均進(jìn)行了測試和調(diào)整。

4.2 決策樹算法

決策樹是一種簡單有效的分類技術(shù)，通常用于處理多屬性數(shù)據(jù)的分類問題?？梢酝ㄟ^決策樹算法建立故障模型分析故障類型。

為了提取故障特征，我們需要使用正常情況下的特征向量與故障發(fā)生時(shí)間窗口內(nèi)采集的特征向量作為基本分析單元輸入，經(jīng)訓(xùn)練輸出決策樹及規(guī)則。以此得到能夠判別故障類型的模型。

基于邏輯分析的決策樹方法最重要的特點(diǎn)是能把復(fù)雜決策過程分解為簡單決策過程的累加，依此提供易于解釋的解決方法。決策樹是一個(gè)類似于流程圖的樹結(jié)構(gòu)。把決策樹方法引入故障診斷，可以生成故障判別樹，獲得精練的判別規(guī)則，為故障的歸類提供有力的決策依據(jù)。

4.2.1 決策樹算法步驟

Quinlan在1993年提出了ID3算法的改進(jìn)版C4.5算法。C4.5算法采用信息增益率來代替信息增益作為屬性選擇的標(biāo)準(zhǔn)，同時(shí)還增加了悲觀剪枝，連續(xù)型屬性處理，缺失值屬性處理和產(chǎn)生規(guī)則等功能。

特征A對訓(xùn)練數(shù)據(jù)集的信息增益率定義為其信息增益與訓(xùn)練數(shù)據(jù)集D關(guān)于特征A的值的熵之比，其中：

是特征A取值的數(shù)算法選擇最大的屬性，作為分支屬性，解決了選取作為分支屬性導(dǎo)致的多值屬性偏向的問題。

具體算法步驟如下：

輸入：訓(xùn)練樣本，候選屬性的集合為attribute_list

輸/5：由輸入訓(xùn)練樣本產(chǎn)生一棵決策樹（1）創(chuàng)建節(jié)點(diǎn)N；

（2）如果訓(xùn)練集為空，在返回節(jié)點(diǎn)N標(biāo)記為Failure；

（3）如果訓(xùn)練集中的所有記錄都屬于同一個(gè)類別，則以該類別標(biāo)記節(jié)點(diǎn)N；

（4）如果候選屬性為空，則返回N作為葉節(jié)

點(diǎn)，標(biāo)記為訓(xùn)練集中最普通的類；

（5）foreach候選屬性attribute_list；

（6）if候選屬性是聯(lián)系的then；

（7）對該屬性進(jìn)行離散化；

（8）選擇候選屬性attribute_list中具有最高信息增益的屬性D；

（9）標(biāo)記節(jié)點(diǎn)N為屬性D；

（10）foreach屬性D的一致值d；

（11）由節(jié)點(diǎn)N長出一個(gè)條件為D=d的分支；

（12）設(shè)s是訓(xùn)練集中D=d的訓(xùn)練樣本的集合；

（13）ifs為空；

（14）加上一個(gè)樹葉，標(biāo)記為訓(xùn)練集中最普通

的類；

（15）else加上一個(gè)有返回的點(diǎn)。

4.2.2 決策樹剪枝

當(dāng)由此得到一棵完全生長的決策樹后，C4.5采用了一種后剪枝方法。該方法可以避免樹的高度無節(jié)制地增長，防止數(shù)據(jù)過度擬合，同樣也是用訓(xùn)練樣本本身來估計(jì)剪枝前后的誤差，從而決定是否真正進(jìn)行剪枝10，其實(shí)質(zhì)是為了消除訓(xùn)練產(chǎn)生的集中孤立點(diǎn)和噪聲方法中使用的公式如下：

當(dāng)由此得到一棵完全生長的決策樹后，C4.5采用了一種后剪枝方法。該方法可以避免樹的高度無節(jié)制地增長，防止數(shù)據(jù)過度擬合，同樣也是用訓(xùn)練樣本本身來估計(jì)剪枝前后的誤差，從而決定是否真正進(jìn)行剪枝，其實(shí)質(zhì)是為了消除訓(xùn)練產(chǎn)生的集中孤立點(diǎn)和噪聲方法中使用的公式如下：

通過判斷剪枝前后e的大小，從而決定是否需要剪枝。

4.3 關(guān)聯(lián)規(guī)則算法

云計(jì)算資源池的節(jié)點(diǎn)異常模式挖掘?qū)τ诳焖僭\斷資源池異常和挖掘節(jié)點(diǎn)中參數(shù)之間的隱藏關(guān)系具有重要作用，本文提出了基于改進(jìn)的Edat關(guān)聯(lián)規(guī)則算法處理資源池節(jié)點(diǎn)之間的關(guān)系，挖掘其中的高位-高位、低位-高位模式，并且與傳統(tǒng)Eclat算法進(jìn)行了比較。通過實(shí)驗(yàn)驗(yàn)證了算法的有效性和高效性。未來將通過資源池節(jié)點(diǎn)狀態(tài)信息挖掘異常模式以提前預(yù)測節(jié)點(diǎn)異常，以及提供節(jié)點(diǎn)異常分類、節(jié)點(diǎn)定位等服務(wù)。

4.3.1 關(guān)聯(lián)規(guī)則定義

定義1關(guān)聯(lián)規(guī)則是具有X—Y形式的蘊(yùn)含關(guān)系，X和Y在關(guān)聯(lián)規(guī)則中分別稱之為先導(dǎo)和后繼。X—Y表示如果X成立那么Y—定成立，其中X和Y為項(xiàng)目集合。

定義2支持度support（X—Y）表示在事務(wù)數(shù)據(jù)庫中包含XuY項(xiàng)目集的事務(wù)占全體數(shù)據(jù)庫事務(wù)的百

分比，即：support（xuY）=support（x—y）=p（xuY），

其中XuY表示一條事務(wù)中同時(shí)包含X和Y。

定義3置信度confidence（X—Y）表tk事務(wù)數(shù)據(jù)

庫中包含XuY的項(xiàng)目集事務(wù)數(shù)目占包含X的項(xiàng)目

集事務(wù)數(shù)目的比重。即：

4.3.2 關(guān)聯(lián)規(guī)則定理

定理1非頻繁項(xiàng)集的超集一定是非頻繁項(xiàng)集。

證明：設(shè)表示項(xiàng)目集合，根據(jù)定義1、定義，那么假設(shè)support（X->Y）

定理2任何繁項(xiàng)集的非空子集也是頻繁項(xiàng)集。

證明：設(shè)表示項(xiàng)目集合，根據(jù)定義1、定義2，，假設(shè)即是頻繁的。那么對于一個(gè)項(xiàng)目集合Z，其中，且中包含的項(xiàng)目數(shù)要少于或等于X和Y合并項(xiàng)目數(shù)，那么也是頻繁的。

4.3.2 模型參數(shù)定義

由于各物理設(shè)備或虛擬主機(jī)運(yùn)行情況不同，并且不同的物理設(shè)備的參數(shù)也不相同，所以需要首先確定各個(gè)節(jié)點(diǎn)狀態(tài)信息模式評判標(biāo)準(zhǔn)，本文通過統(tǒng)計(jì)各個(gè)節(jié)點(diǎn)狀態(tài)信息在歷史數(shù)據(jù)中低位運(yùn)行狀態(tài)、正常運(yùn)行狀態(tài)和高位運(yùn)行狀態(tài)比重進(jìn)行模式劃分，實(shí)現(xiàn)所有的狀態(tài)信息轉(zhuǎn)化成可處理數(shù)據(jù)模型。

定義1 對于云計(jì)算環(huán)境

表示云計(jì)算環(huán)境中資源池中所有節(jié)點(diǎn)集合。P中節(jié)點(diǎn)包括虛擬主機(jī)、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)服務(wù)器等。本文統(tǒng)一用其IP地址作為其唯一標(biāo)識符。數(shù)據(jù)集合表示時(shí)間戳，表示數(shù)據(jù)集收集了t個(gè)時(shí)間戳節(jié)點(diǎn)狀態(tài)信息集合。

定義2，其中表示節(jié)點(diǎn)中存在的參數(shù)種類，如CPU狀態(tài)、內(nèi)存狀態(tài)、虛擬網(wǎng)卡端口狀態(tài)等，其中。

定義3定義其中valuei表不低位狀態(tài)，value2表亦正常狀態(tài)，value3表示高位狀態(tài)。

定義4高位-高位模式表示在云計(jì)算環(huán)境中一個(gè)處于高位運(yùn)行的節(jié)點(diǎn)集合會(huì)導(dǎo)致另外一個(gè)高位運(yùn)行節(jié)點(diǎn)集合的產(chǎn)生，在真實(shí)的生產(chǎn)環(huán)境中即一個(gè)節(jié)點(diǎn)的異常會(huì)導(dǎo)致另外一個(gè)節(jié)點(diǎn)的異常，如分布式業(yè)務(wù)系統(tǒng)，往往一臺(tái)虛擬主機(jī)的異常會(huì)導(dǎo)致其他虛擬主機(jī)狀態(tài)異常。這種模式反映了虛擬主機(jī)由于內(nèi)在的關(guān)聯(lián)，一臺(tái)虛擬主機(jī)的異常往往會(huì)產(chǎn)生連鎖反應(yīng)，導(dǎo)致其他虛擬主機(jī)異常。

定義5低位-高位模式表示在云計(jì)算環(huán)境中一個(gè)處于低位運(yùn)行的節(jié)點(diǎn)集合會(huì)導(dǎo)致另外一個(gè)高位運(yùn)行節(jié)點(diǎn)集合的產(chǎn)生，在真實(shí)的生產(chǎn)環(huán)境中，如一臺(tái)物理主機(jī)中存在多臺(tái)虛擬主機(jī)，其中多臺(tái)虛擬主機(jī)一直處于空閑狀態(tài)，而一臺(tái)虛擬主機(jī)處于高位運(yùn)行，此種模式反映了需要將其虛擬主機(jī)上的業(yè)務(wù)系統(tǒng)轉(zhuǎn)移到其他虛擬主機(jī)上以減輕虛擬主機(jī)運(yùn)行壓力。

5 結(jié)論

面向業(yè)務(wù)應(yīng)用資源池的故障分析與檢測是一個(gè)具有重要理論價(jià)值和實(shí)際應(yīng)用價(jià)值的重點(diǎn)研究課題。隨著云計(jì)算的發(fā)展，虛擬化技術(shù)將各種物理資源抽象為邏輯上的資源，隱藏了各種物理上的限制，為在更細(xì)粒度上對其進(jìn)行管理和應(yīng)用提供了可能性，大量的應(yīng)用和用戶數(shù)據(jù)都部署在云端，云計(jì)算的可靠性面臨著巨大的挑戰(zhàn)。因此必須從故障預(yù)警和快速故障定位兩個(gè)方面加強(qiáng)資源池運(yùn)維相關(guān)技術(shù)研究以提高計(jì)算資源池的運(yùn)行穩(wěn)定性和承載能力。

本系統(tǒng)利用SNMP協(xié)議對網(wǎng)絡(luò)資源、存儲(chǔ)資源進(jìn)行采集、通過存儲(chǔ)虛擬化控制工具采集計(jì)算資源性能和日志，再結(jié)合現(xiàn)有應(yīng)用性能分析系統(tǒng)API接口開發(fā)，獲取系統(tǒng)有用信息。構(gòu)建云計(jì)算資源池的大數(shù)據(jù)分析模型，通過使用大數(shù)據(jù)分析技術(shù)對日志數(shù)據(jù)進(jìn)行分析，建立并訓(xùn)練故障模型，從而對關(guān)聯(lián)故障的故障源進(jìn)行定位，以及識別出引發(fā)故障的行為模式從而提供故障告警功能。由以上分析可見推廣探針系統(tǒng)具有良好的可行性和經(jīng)濟(jì)性。是以智能化的方式替換隨機(jī)性和經(jīng)驗(yàn)性的人工模式的良好方法。