国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

機器學習在網(wǎng)絡性能預測中的應用

2021-09-16 06:49張勉知葉曉斌程亞鋒馬丹丹姚麗紅劉惜吾中國聯(lián)通廣東分公司廣東廣州510627
郵電設計技術 2021年8期
關鍵詞:性能指標預測值聯(lián)通

張勉知,葉曉斌,程亞鋒,馬丹丹,姚麗紅,劉惜吾(中國聯(lián)通廣東分公司,廣東廣州 510627)

1 概述

近年來,AI技術蓬勃發(fā)展,5G網(wǎng)絡建設不斷推進,如何利用前瞻技術協(xié)同各專業(yè)實現(xiàn)運維的智能轉型成為運營商面臨的重大挑戰(zhàn)之一。面對復雜的四代共生網(wǎng)絡和海量設備,廣東聯(lián)通致力于推進多個AI創(chuàng)新項目的研究及落地應用,成功為市場線提供快速支撐。

本文構建了不同的機器學習模型,對承載網(wǎng)、核心網(wǎng)、無線網(wǎng)、主機等網(wǎng)絡的多個黃金性能指標進行自學習自監(jiān)控,能夠指導運維人員提前發(fā)現(xiàn)特大隱患及故障,打破專業(yè)壁壘,并輔助網(wǎng)絡變更等工作順利開展。本文闡述了廣東聯(lián)通利用機器學習在網(wǎng)絡性能預測中的應用進展,重點就3 種時間序列預測模型和相應的閾值設定方法進行介紹。

2 研究現(xiàn)狀

傳統(tǒng)的運營與維護手段耗時耗力,依靠人工分析的模式已無法應對復雜網(wǎng)絡和海量設備的性能監(jiān)控要求。另一方面,網(wǎng)管只能顯示網(wǎng)絡上的參數(shù)和運行異常,并不能告知當前的業(yè)務狀態(tài),一線以及專業(yè)間的溝通壁壘無法打通。隨著業(yè)務向多樣化、差異化的方向不斷推進,網(wǎng)絡擴容、設備入網(wǎng)等場景的網(wǎng)絡變更需求與日俱增。網(wǎng)絡性能指標的異常監(jiān)控在網(wǎng)絡、業(yè)務及新需求的主動感知和預測中起著越來越重要的作用。如何對海量網(wǎng)絡性能指標進行實時監(jiān)控、減少人工參與并以更高效率實現(xiàn)故障的提前發(fā)現(xiàn),是運營商應對行業(yè)競爭、實現(xiàn)運維轉型過程中亟需解決的關鍵問題。

近年來,機器學習算法的理論基礎已日趨完備。其中,時間序列預測模型受到眾多研究人員的關注,已被廣泛應用于工程技術、醫(yī)學工程、經(jīng)濟學和網(wǎng)絡通信等多個領域中,并取得了不錯的成果。傳統(tǒng)的建模方法包括線性回歸[1-2]、差分自回歸移動平均模型(ARIMA)[3-4]、三次指數(shù)平滑法(Holt-Winters)和卡爾曼濾波等,這些模型概念清晰,發(fā)展比較成熟,國內外已有許多預測實例。隨著人工智能技術的發(fā)展,基于神經(jīng)網(wǎng)絡的時間序列預測方法得到快速發(fā)展。

3 基于機器學習的網(wǎng)絡性能預測

3.1 模型框架

網(wǎng)絡性能指標(即時間序列)具備穩(wěn)定性或規(guī)則性,過去態(tài)勢會順延到未來?;谶@一核心思想,為實現(xiàn)各指標的實時監(jiān)控,本文綜合考慮數(shù)據(jù)特性、建模復雜性、預測精度及應用場景等,構建合適的算法框架以挖掘指標變化規(guī)律,通過對歷史數(shù)據(jù)的特征學習,對網(wǎng)絡性能指標進行精準預測,并選取合適的閾值設定方法,最終實現(xiàn)異常事件的提前告警?;跈C器學習進行網(wǎng)絡性能預測的主要步驟如下。

a)數(shù)據(jù)采集及清洗:實現(xiàn)各性能指標的歷史數(shù)據(jù)采集,并進行必要的預處理操作,如數(shù)據(jù)缺失值、異常值剔除或填補等。

b)模型訓練:用歷史數(shù)據(jù)訓練時間序列預測模型,實現(xiàn)數(shù)據(jù)的精準擬合。

c)指標預測:利用訓練好的模型實現(xiàn)未來一段時間的指標預測。

d)異常告警:選取閾值設定方法,依據(jù)預測值與實際值的差異,進行實時的異常告警。

廣東聯(lián)通在多個AI 創(chuàng)新項目中分別采用經(jīng)典的線性回歸、ARIMA+Boosting 模型及Holt-Winters 算法,并分別選取3σ、動態(tài)閾值、靜態(tài)閾值方法,實現(xiàn)對現(xiàn)網(wǎng)指標的時間序列預測、異常告警功能,取得了不錯的應用效果。下面對3套解決方案進行詳細介紹。

3.2 線性回歸在性能指標預測中的應用

隨著業(yè)務向多樣化、差異化的方向發(fā)展,網(wǎng)絡變更(割接)已成為運營商的日常操作,用于應對中繼擴容、設備入網(wǎng)等多個場景需求。廣東聯(lián)通現(xiàn)已研發(fā)并推出了AI 網(wǎng)絡無人駕駛系統(tǒng),解決割接任務耗時久、風險高、效率低的問題。本方案采用基于機器學習算法的自學習自檢測模塊判別割接是否成功。本方案采用簡單線性回歸模型對過去7 天、5 min 顆粒度的割接設備上聯(lián)端口流量進行擬合,輸出未來一天數(shù)據(jù)的預測結果。

在對流量異常判定的過程中,本方案采用基于3σ準則的動態(tài)閾值方式實現(xiàn)告警的觸發(fā)。3σ 準則又稱為拉依達準則,它是先假設一組檢測數(shù)據(jù)只含有隨機誤差,對其進行計算處理得到標準偏差,按一定概率確定一個區(qū)間,認為凡超過這個區(qū)間的誤差,就不屬于隨機誤差而是粗大誤差。定義誤差率Δ=|預測值-實際值|/預測值×100%。通過對歷史流量數(shù)據(jù)誤差率的計算,得到誤差率的平均值μ 和方差σ,若當前時刻的誤差率Δ 滿足|Δ-μ|≥3σ,則認為此時流量為異常狀態(tài),觸發(fā)割接驗證失敗。圖1 為使用線性回歸對IDC 設備某客戶業(yè)務流量的預測結果,并基于3σ準則進行異常觸發(fā),箭頭處發(fā)現(xiàn)流量異常??梢钥闯觯摲椒軌蜉^好地擬合指標變化趨勢,并能有效檢測出異常情況,實現(xiàn)割接后健康度決策。

圖1 基于線性回歸的IDC設備業(yè)務流量預測結果

3.3 ARIMA在性能指標預測中的應用

廣東聯(lián)通通過大數(shù)據(jù)+AI 能力,進行流量建模,幫助網(wǎng)絡部門對網(wǎng)絡和業(yè)務流量進行預測,指導網(wǎng)絡精準擴容。本文運用ARIMA 算法實現(xiàn)流量數(shù)據(jù)回歸分析,并構建Boosting 模型來提高時間序列的預測精度。利用過去一周的歷史數(shù)據(jù)進行模型訓練,對未來24 h的流量速率進行趨勢預測。預測值=0.5×ARIMA 預測值+0.5×Boosting 預測值。廣東聯(lián)通針對4 地(市)的移動網(wǎng)絡出口流量進行了預測,表1 對比了ARIMA 及ARIMA+Boosting 模型的準確率,從結果可以看出,Boosting 極大優(yōu)化了預測性能,準確率有近20%的提升。

表1 ARIMA、ARIMA+Boosting預測準確率對比

本文采用靜態(tài)閾值實現(xiàn)流量異常告警的邏輯是計算誤差率,當誤差率大于設定閾值時發(fā)出告警。誤差率Δ=|預測值-實際值|/預測值,設定當誤差率大于一個固定閾值時發(fā)出告警。這種告警方法有一個很大的弊端,即可能出現(xiàn)預測曲線波峰區(qū)域實際值與預測值偏差大卻未有告警,而波谷區(qū)域實際值與預測值偏差較小,卻大量告警的現(xiàn)象。

針對上述問題,本方案采用一種動態(tài)閾值方法實現(xiàn)異常告警。在采用前一周的歷史數(shù)據(jù)訓練模型時,通過統(tǒng)計計算數(shù)據(jù)集85 分位(P85)的值,其中85 分位是指將流量數(shù)據(jù)從小到大排序,落在數(shù)據(jù)集長度85%位置的流量速率值。流量異常判斷依據(jù)如下。

誤差率Δ=|預測值-實際值|/H≥ξ,其中H=(P85+預測值)/2,ξ為設定的閾值。

如圖2(a)所示,ARIMA+Boosting 模型能對周期性變動的流量實現(xiàn)準確的預測,但是對于數(shù)據(jù)隨機波動的細節(jié)部分,擬合效果有待提高。從圖2(b)可以看出,在預測曲線波谷區(qū)域,采用改進的動態(tài)閾值方法的誤差率值比靜態(tài)閾值時要小,可以減小波谷區(qū)域的誤告警率。

3.4 Holt-Winters在性能指標預測中的應用

為向一線提供黃金網(wǎng)絡指標輕觸點,解決特大隱患、故障定位困難的問題,廣東聯(lián)通開展了大網(wǎng)黃金性能指標的監(jiān)控、分析,研發(fā)并推出了“AI 端到端分析指標墻”應用系統(tǒng)。該系統(tǒng)自2019 年7 月份試用以來,發(fā)現(xiàn)典型網(wǎng)絡隱患多起,和廣州、深圳、佛山等多個分公司建立了長期有效的聯(lián)動機制。該系統(tǒng)已完成廣東全省核心網(wǎng)、承載網(wǎng)、傳送網(wǎng)、互聯(lián)網(wǎng)主機系統(tǒng)的單專業(yè)及跨專業(yè)黃金網(wǎng)絡指標收集及其趨勢自學習自監(jiān)控,并制定了閾值告警規(guī)則觸發(fā)異常告警。目前已上線微信機器人,實現(xiàn)業(yè)務告警的自動推送。

具體而言,該系統(tǒng)對城域網(wǎng)/承載網(wǎng)/物聯(lián)網(wǎng)流量、分組網(wǎng)附著用戶數(shù)及成功率、物聯(lián)網(wǎng)/固網(wǎng)寬帶用戶數(shù)、DNS 請求量等多個指標進行歷史數(shù)據(jù)采集。本方案運用Holt-Winters 算法,取過去一周的數(shù)據(jù)進行模型訓練,實現(xiàn)未來一天的數(shù)據(jù)預測。為保證告警的準確性、有效性,該系統(tǒng)設定強告警規(guī)則,即當預測值、實際值和預測值的差值分別大于相應閾值才判定為指標異常。針對不同的指標,各專業(yè)按照告警規(guī)則設定不同的閾值實現(xiàn)異常預警?;贖olt-Winters+靜態(tài)閾值方法的部分性能指標預測結果如圖3 所示,曲線圖中紅色部分表明該時刻檢測到指標異常。由圖3可以看出,該框架能對多種指標進行精準預測,幫助運維人員提前發(fā)現(xiàn)故障。

圖3 跨專業(yè)、多指標的Holt-Winters預測結果圖

4 結束語

本文從時間序列分析這一關鍵技術入手,介紹了廣東聯(lián)通針對現(xiàn)網(wǎng)問題提出的3 套解決方案,方案均取得了較好的賦能結果并具有泛化、自適應能力。本文通過構建線性回歸+3σ、ARIMA+Boosting+動態(tài)閾值和Holt-Winters+靜態(tài)閾值模型,實現(xiàn)了網(wǎng)絡性能指標預測及異常觸發(fā)。上述3種時間序列預測模型能夠準確擬合多種指標,值得一提的是,即使各指標呈現(xiàn)出非線性特性,簡單線性回歸模型也展現(xiàn)了不錯的預測效果,且具有計算速度快的優(yōu)勢。根據(jù)實際應用經(jīng)驗,對于有遞增或遞減變化趨勢的時間序列,建議采用Holt-Winters 算法。靜態(tài)閾值方法通過制定嚴格的告警規(guī)則實現(xiàn)指標異常觸發(fā),靈活性差,需人工設定多個閾值。而設定動態(tài)閾值具有靈活性好、誤告警率低的優(yōu)點。因此在設定閾值時,通常建議使用動態(tài)閾值實現(xiàn)異常檢測。

綜上所述,針對重要和特大故障提前發(fā)現(xiàn)及網(wǎng)絡變更等運維問題,本文介紹了廣東聯(lián)通網(wǎng)絡性能指標預測方案,借助機器學習算法,實現(xiàn)設備流量、DNS、RADIUS、RRC 等網(wǎng)絡和業(yè)務指標的現(xiàn)網(wǎng)數(shù)據(jù)分析,切實解決了傳統(tǒng)運維故障、性能看不見的問題,展現(xiàn)出較好的賦能效果。

猜你喜歡
性能指標預測值聯(lián)通
加拿大農業(yè)部下調2021/22年度油菜籽和小麥產量預測值
AI講座:ML的分類方法
風起軒轅——聯(lián)通五千年民族血脈
自體熒光內鏡對消化道腫瘤診斷臨床應用分析
一張圖讀懂聯(lián)通兩年混改
微信搭臺“聯(lián)通” 代表履職“移動”
自動控制系統(tǒng)的優(yōu)劣評價分析
基于Ganglia和Nagios的云計算平臺智能監(jiān)控系統(tǒng)
洪泽县| 南溪县| 盘锦市| 鄂托克旗| 新巴尔虎左旗| 绵竹市| 平湖市| 裕民县| 德化县| 彭州市| 新源县| 富阳市| 淄博市| 千阳县| 芒康县| 渭源县| 宽甸| 拉萨市| 潼关县| 漾濞| 易门县| 堆龙德庆县| 二连浩特市| 高唐县| 团风县| 文登市| 大余县| 桐柏县| 东光县| 罗江县| 开原市| 宜章县| 隆化县| 上高县| 色达县| 青冈县| 聂荣县| 阿瓦提县| 利辛县| 绥化市| 云和县|