呂垚 向華偉 王林 何映軍

摘 要：云南電網(wǎng)有限責(zé)任公司信息中心（以下簡(jiǎn)稱云南電網(wǎng)公司）擁有多個(gè)不同廠商IT監(jiān)控系統(tǒng)，由于運(yùn)維監(jiān)控?cái)?shù)據(jù)沒有統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范，導(dǎo)致監(jiān)控?cái)?shù)據(jù)的利用率不高，尤其是各種硬件設(shè)備、網(wǎng)絡(luò)、中間件和數(shù)據(jù)庫等指標(biāo)數(shù)據(jù)存在時(shí)間序列異常等問題，對(duì)監(jiān)控告警和分析服務(wù)造成了很大的影響，通過基于有監(jiān)督學(xué)習(xí)算法和無監(jiān)督學(xué)習(xí)算法相結(jié)合的運(yùn)維監(jiān)控?cái)?shù)據(jù)治理技術(shù)研究，實(shí)現(xiàn)IT運(yùn)維監(jiān)控?cái)?shù)據(jù)的標(biāo)準(zhǔn)化和規(guī)范化，提高了IT運(yùn)維監(jiān)控?cái)?shù)據(jù)的質(zhì)量，為運(yùn)維監(jiān)控?cái)?shù)據(jù)的關(guān)聯(lián)分析、根因分析和告警提供有力的支撐，從而實(shí)現(xiàn)云南電網(wǎng)公司IT端到端的全鏈路監(jiān)控能力。

關(guān)鍵詞：有監(jiān)督算法;無監(jiān)督算法;運(yùn)維監(jiān)控;數(shù)據(jù)治理

中圖分類號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-2064（2019）02-0040-02

0 引言

云南電網(wǎng)公司IT運(yùn)維監(jiān)控有多個(gè)IT監(jiān)控系統(tǒng)。但每個(gè)系統(tǒng)相對(duì)獨(dú)立，并且數(shù)據(jù)種類繁多和數(shù)據(jù)格式不統(tǒng)一，存在網(wǎng)絡(luò)數(shù)據(jù)、應(yīng)用性能數(shù)據(jù)、機(jī)房數(shù)據(jù)、服務(wù)器數(shù)據(jù)、平臺(tái)性能數(shù)據(jù)、數(shù)據(jù)庫性能數(shù)據(jù)和終端數(shù)據(jù)等，存在著數(shù)據(jù)分散、數(shù)據(jù)量大和數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范不統(tǒng)一等特點(diǎn)，造成數(shù)據(jù)共享困難等實(shí)際問題，導(dǎo)致運(yùn)維監(jiān)控?cái)?shù)據(jù)的開發(fā)利用滿足不了運(yùn)維監(jiān)控業(yè)務(wù)的需要。通過基于有監(jiān)督學(xué)習(xí)算法和無監(jiān)督學(xué)習(xí)算法相結(jié)合的運(yùn)維監(jiān)控?cái)?shù)據(jù)治理技術(shù)研究，從數(shù)據(jù)采集、治理、存儲(chǔ)和分析服務(wù)四個(gè)步驟分析處理監(jiān)控?cái)?shù)據(jù)，重點(diǎn)闡述了結(jié)合了機(jī)器學(xué)習(xí)算法的數(shù)據(jù)治理技術(shù)和方法，實(shí)現(xiàn)了數(shù)據(jù)質(zhì)量的提高。

1 機(jī)器學(xué)習(xí)算法

本文涉及到的機(jī)器學(xué)習(xí)算法分為有監(jiān)督學(xué)習(xí)算法和無監(jiān)督學(xué)習(xí)算法，根據(jù)運(yùn)維監(jiān)控?cái)?shù)據(jù)的特點(diǎn)，采用One Class SVM算法和Random Forest相結(jié)合的方法來處理數(shù)據(jù)，One Class SVM算法特點(diǎn)是不需要人工干預(yù)，但是可能導(dǎo)致和實(shí)際不匹配的結(jié)果，Random Forest可以不斷標(biāo)注樣本，使得結(jié)果更加準(zhǔn)確，需要人工干預(yù)，所以結(jié)合兩種算法的優(yōu)點(diǎn)來實(shí)現(xiàn)數(shù)據(jù)的處理，具體兩種算法如下：

1.1 One Class SVM算法

One Class SVM由SVM算法演化而來，為了正確應(yīng)用One Class SVM，簡(jiǎn)單介紹SVM的主要原理：在線性可分條件下直接進(jìn)行分箱，如果是在線性無法分解的情況，通過非線性關(guān)系映射，從低維線性不可分解的樣本變?yōu)檩敵隹臻g的高維特征空間，進(jìn)而達(dá)到使其線性可分的目的，最后對(duì)高維特征空間采用線性算法，并且對(duì)所有樣本的非線性特征樣本進(jìn)行線性分析[1]。

One Class SVM屬于無監(jiān)督算法使用了超平面的思想，適用于連續(xù)數(shù)據(jù)的異常檢測(cè)和對(duì)樣本進(jìn)行一定比例的篩選，可以尋找高維平面區(qū)分正常點(diǎn)與異常點(diǎn)。本文利用One Class SVM異常值檢測(cè)、解決極度不平衡數(shù)據(jù)，公式如下：

min||w||2+ εi-ρ subject to

（w*Φ（xi））≥ρ-εi i=1，2，…，1εi≥0

1.2 Random Forest

隨機(jī)森林由多棵CART（Classification And Regression Tree）構(gòu)成的。對(duì)于CART每一棵樹，存在訓(xùn)練集中的樣本頻繁多次出現(xiàn)在一棵樹的訓(xùn)練集中，當(dāng)然也存在從未出現(xiàn)在一棵樹的訓(xùn)練集中。當(dāng)訓(xùn)練某一棵樹的節(jié)點(diǎn)時(shí)，選用特征值是從所有特征中根據(jù)預(yù)先設(shè)定比例隨機(jī)地?zé)o放回的抽取的，設(shè)總的特征數(shù)量為M，占比分別是sqrt（M），1/2sqrt（M），2sqrt（M），隨機(jī)森林（Random Forest）的訓(xùn)練過程如下：

（1）訓(xùn)練集S，測(cè)試集T，特征維數(shù)F。首先確定各個(gè)參數(shù)：即將用到的CART的數(shù)量t，每一棵的深度d，每個(gè)節(jié)點(diǎn)特征數(shù)量f，停止前提：節(jié)點(diǎn)上最少樣本數(shù)s，節(jié)點(diǎn)上最少的信息增益m，相對(duì)于序號(hào)為1-t棵樹，i=1-t。（2）從訓(xùn)練集S中取出放回的抽取大小和S一樣的訓(xùn)練集S（i），以此作為根節(jié)點(diǎn)的樣本，從根節(jié)點(diǎn)開始訓(xùn)練。（3）假如在當(dāng)前節(jié)點(diǎn)上滿足終止條件，就把當(dāng)前節(jié)點(diǎn)設(shè)置為葉子節(jié)點(diǎn)，假如是分類問題，該葉子節(jié)點(diǎn)的可能輸出為當(dāng)前節(jié)點(diǎn)樣本集合中數(shù)量最多一類c（j），概率P為c（j）當(dāng)前樣本集的占比比;假如是回歸分析問題，可能輸出為當(dāng)前節(jié)點(diǎn)樣本集各個(gè)樣本值的平均值。隨后不斷訓(xùn)練其他節(jié)點(diǎn)。假如當(dāng)前節(jié)點(diǎn)不能滿足終止條件，可以從F維特征中無放回的隨機(jī)選取f維特征向量。從f維特征向量，查找出分類效果最好的一維特征k及其閾值th，目前節(jié)點(diǎn)上樣本值的第k維特征小于th的樣本，劃分到左節(jié)點(diǎn)，另外劃分到右節(jié)點(diǎn)，不斷訓(xùn)練其它剩余節(jié)點(diǎn)。（4）重復(fù)（2）（3）直到所有節(jié)點(diǎn)都訓(xùn)練（標(biāo)記為葉子節(jié)點(diǎn)不訓(xùn)練）。（5）重復(fù)（2）、（3）、（4）直到所有CART都被訓(xùn)練過。

2 整體實(shí)現(xiàn)

2.1 數(shù)據(jù)采集

數(shù)據(jù)來源于開源監(jiān)控工具zabbix和其它廠家的監(jiān)控?cái)?shù)據(jù)以及各類日志數(shù)據(jù)，鑒于數(shù)據(jù)源和數(shù)據(jù)格式的多樣性，制定了數(shù)據(jù)采集的方法和步驟，支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的采集。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)及半結(jié)構(gòu)化數(shù)據(jù)，通過選擇不同的采集模型，建立合適的數(shù)據(jù)采集策略[2]。下面介紹了兩種數(shù)據(jù)采集方法，一種是對(duì)各監(jiān)控指標(biāo)數(shù)據(jù)進(jìn)行采集，另外一種對(duì)日志數(shù)據(jù)進(jìn)行采集。

2.1.1 各監(jiān)控指標(biāo)數(shù)據(jù)源采集

對(duì)于監(jiān)控?cái)?shù)據(jù)根據(jù)數(shù)據(jù)源的格式，采用相應(yīng)的分析方法，建立相應(yīng)的數(shù)據(jù)模型，制定出合適的數(shù)據(jù)采集策略，硬件指標(biāo)數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、中間件數(shù)據(jù)、數(shù)據(jù)庫性能數(shù)據(jù)和應(yīng)用業(yè)務(wù)質(zhì)量數(shù)據(jù)等。

2.1.2 日志采集

日志采集采用Flume和kafka相結(jié)合的方法進(jìn)行日志采集，flume的數(shù)據(jù)采集模塊功能強(qiáng)大，兼容大多數(shù)的數(shù)據(jù)源，能夠減少開發(fā)量，kafka可以作為日志緩存的中間件，對(duì)flume起到補(bǔ)充作用。Flume是一個(gè)可靠性高和分布式的海量日志采集的系統(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù);同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。由于flume采集數(shù)據(jù)的速度和數(shù)據(jù)處理的速度不一定同步，利用kafka作為數(shù)據(jù)緩沖中間件處理flume動(dòng)作流數(shù)據(jù)。

2.2 數(shù)據(jù)治理

運(yùn)維系統(tǒng)中通常是兩大類監(jiān)控?cái)?shù)據(jù)源是：指標(biāo)數(shù)據(jù)和日志文本數(shù)據(jù)。指標(biāo)數(shù)據(jù)大多數(shù)是時(shí)序數(shù)據(jù)，包括指標(biāo)采集時(shí)間和對(duì)應(yīng)指標(biāo)的值;日志文本數(shù)據(jù)大多數(shù)是半結(jié)構(gòu)化文本格式，如程序日志、中間件日志等。隨著運(yùn)維系統(tǒng)規(guī)模的變大和數(shù)據(jù)格式復(fù)雜度的變高，各個(gè)運(yùn)維監(jiān)控系統(tǒng)產(chǎn)生數(shù)據(jù)量越來越大，運(yùn)維人員很難從大量監(jiān)控?cái)?shù)據(jù)中查找數(shù)據(jù)質(zhì)量問題。通過有監(jiān)督學(xué)習(xí)算法和無監(jiān)督學(xué)習(xí)算法相結(jié)合的運(yùn)維監(jiān)控?cái)?shù)據(jù)治理技術(shù)的實(shí)現(xiàn)，可以自動(dòng)、實(shí)時(shí)和精準(zhǔn)地從監(jiān)控?cái)?shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)異常，并對(duì)異常數(shù)據(jù)進(jìn)行處理，為后續(xù)的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)服務(wù)打下堅(jiān)實(shí)的基礎(chǔ)[3]。

2.2.1 分析問題

運(yùn)維監(jiān)控?cái)?shù)據(jù)的分析通常分為指標(biāo)數(shù)據(jù)和日志數(shù)據(jù)，指標(biāo)數(shù)據(jù)通常為時(shí)序數(shù)據(jù)，日志數(shù)據(jù)通常是結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。運(yùn)維監(jiān)控?cái)?shù)據(jù)異常通常分為數(shù)據(jù)源異常、單指標(biāo)異常、多指標(biāo)異常和日志數(shù)據(jù)異常。數(shù)據(jù)源有時(shí)會(huì)出現(xiàn)難以預(yù)測(cè)的結(jié)果，產(chǎn)生異常數(shù)據(jù)，這些異常數(shù)據(jù)往往會(huì)引起整個(gè)指標(biāo)統(tǒng)計(jì)值的頻繁波動(dòng)，使得統(tǒng)計(jì)結(jié)果不準(zhǔn)確和用戶體驗(yàn)不好。通常的運(yùn)維監(jiān)控系統(tǒng)會(huì)時(shí)常出現(xiàn)兩種情況：（1）單指標(biāo)異常：如果時(shí)間閾值設(shè)置過高，會(huì)導(dǎo)致遺漏告警增多，如果時(shí)間閾值設(shè)置太低，告警太多引發(fā)告警風(fēng)暴。（2）多指標(biāo)異常：在運(yùn)維過程中，單獨(dú)分析某個(gè)指標(biāo)是正常，但是綜合多個(gè)指標(biāo)來分析，往往就是異常的數(shù)據(jù)。有時(shí)單獨(dú)分析某個(gè)指標(biāo)異常的，但是綜合多個(gè)指標(biāo)來分析往往是正常的。

日志數(shù)據(jù)通常是在特定條件下觸發(fā)生成的（比如中間件停止服務(wù)、重新啟動(dòng)服務(wù)和啟動(dòng)服務(wù)），并符合一定的格式（半結(jié)構(gòu)化文本）。傳統(tǒng)的日志檢測(cè)有兩種方式：根據(jù)日志級(jí)別（如一般、警告、重要）進(jìn)行報(bào)警，往往告警級(jí)別設(shè)置不合適，不能夠滿足實(shí)際需求，導(dǎo)致數(shù)據(jù)準(zhǔn)確性差;通過設(shè)置規(guī)則引擎，匹配日志中預(yù)先已經(jīng)規(guī)定好的字符串進(jìn)行匹配并報(bào)警，但該方法的局限性依賴人工經(jīng)驗(yàn)，只可以發(fā)現(xiàn)既定模式的異常，無法發(fā)現(xiàn)未知的異常。

2.2.2 處理問題

鑒于上述監(jiān)控?cái)?shù)據(jù)的問題，采取以下措施：針對(duì)單指標(biāo)數(shù)據(jù)和日志數(shù)據(jù)，使用統(tǒng)計(jì)算法3-sigma和EWMA（指數(shù)加權(quán)移動(dòng)平均）和機(jī)器學(xué)習(xí)結(jié)合方法處理這兩類數(shù)據(jù)，機(jī)器學(xué)習(xí)方法用到了上述有監(jiān)督學(xué)習(xí)算法Random Forest和無監(jiān)督學(xué)習(xí)算法One Class SVM。

2.2.3 解決問題

首先針對(duì)數(shù)據(jù)源的特點(diǎn)進(jìn)行分類，先用統(tǒng)計(jì)算法3-sigma和EWMA（指數(shù)加權(quán)移動(dòng)平均）模型實(shí)現(xiàn)數(shù)據(jù)的分類。3σ準(zhǔn)則又稱為拉依達(dá)準(zhǔn)則，如果一組檢測(cè)數(shù)據(jù)僅僅含有隨機(jī)誤差，計(jì)算處理并得出標(biāo)準(zhǔn)偏差，按既定概率統(tǒng)計(jì)，并指定一個(gè)區(qū)間在正態(tài)分布中σ代表標(biāo)準(zhǔn)差，μ代表均值。x=μ是坐標(biāo)圖像的對(duì)稱軸。如果3σ分布在（μ-σ，μ+σ）中，概率為0.6827;如果3σ在（μ-2σ，μ+2σ）中，概率為0.9545;如果3σ分布在（μ-3σ，μ+3σ）中，概率為0.9973，結(jié)論：Y軸取值范圍幾乎全部集中在（μ-3σ，μ+3σ）區(qū)間內(nèi)。

EWMA是指數(shù)加權(quán)移動(dòng)平均值的控制圖。每個(gè)EWMA點(diǎn)都結(jié)合來自3-sigma分組。定制EWMA控制圖進(jìn)而檢測(cè)過程中大小的偏移，每個(gè)EWMA點(diǎn)都根據(jù)自定義的加權(quán)因子結(jié)合了以前所有信息數(shù)據(jù)。通過更改使用的權(quán)重以及限制的s數(shù)量，構(gòu)建該控制圖，控制圖可以檢測(cè)過程中所有數(shù)據(jù)大小的偏移。鑒于此，使用EWMA來監(jiān)控正態(tài)3-sigma過程中的數(shù)據(jù)，得出偏離目標(biāo)的較小偏移。算法表示：設(shè)計(jì)權(quán)重系數(shù)λ，0<λ<1，如果λ越大，則Y（t）越大，t-1時(shí)刻相應(yīng)就越小。

EWMA（t）=λY（t）+（1-λ）EWMA（t-1） for t=1，2，…，n.

利用機(jī)器學(xué)習(xí)算法和統(tǒng)計(jì)算法相結(jié)合的方法去分類處理數(shù)據(jù)，使用統(tǒng)計(jì)算法和One Class SVM無監(jiān)督算法過濾掉大量正樣本，為了使結(jié)果更加準(zhǔn)確，對(duì)樣本庫進(jìn)行人工標(biāo)注，人工標(biāo)注正負(fù)樣本，然后通過特征工程提取特征值，通過設(shè)置有監(jiān)督算法Random Forest的參數(shù)進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的提高。

2.3 數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)服務(wù)

數(shù)據(jù)存儲(chǔ)分為指標(biāo)數(shù)據(jù)和日志數(shù)據(jù)，對(duì)于時(shí)間序列數(shù)據(jù)（性能指標(biāo)），主要以時(shí)間維度進(jìn)行查詢分析數(shù)據(jù)，選用主流的rrdtool時(shí)序數(shù)據(jù)庫;對(duì)于日志文件，數(shù)據(jù)需要進(jìn)行實(shí)時(shí)全文檢索和分詞搜索，選用主流的ElasticSearch引擎。通過開發(fā)豐富、靈活的API接口實(shí)現(xiàn)數(shù)據(jù)服務(wù)，前端web展示調(diào)用API即可。

3 結(jié)語

本文通過無監(jiān)督學(xué)習(xí)算法One Class SVM和有監(jiān)督學(xué)習(xí)算法Random Forest，并結(jié)合統(tǒng)計(jì)算法3-sigma和EWMA實(shí)現(xiàn)了指標(biāo)數(shù)據(jù)和日志數(shù)據(jù)質(zhì)量的提高，為實(shí)現(xiàn)IT端到端的監(jiān)控能力打下堅(jiān)實(shí)基礎(chǔ)。

參考文獻(xiàn)

[1] 簡(jiǎn)宋全，李青海，黃心蕊，秦于欽.基于One Class SVM的電信用戶流失情況研究[J].現(xiàn)代計(jì)算機(jī)，2017（29）：32-34.

[2] 秦燕，周湘貞.實(shí)例分析基于異構(gòu)數(shù)據(jù)源的XML數(shù)據(jù)轉(zhuǎn)換方法[J].西南師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2018（3）：77-82.

[3] 韋建杰.云計(jì)算環(huán)境下的數(shù)據(jù)采集模型分析[J].信息通訊，2014（7）：142.