隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)的飛速發(fā)展,催生了大數(shù)據(jù)時(shí)代的到來(lái),大數(shù)據(jù)已經(jīng)進(jìn)入了我們的生活,正在改變著我們的生活。大數(shù)據(jù)已遍布在世界的每一個(gè)角落,正在漸漸滲入各個(gè)行業(yè),我們每個(gè)人都將與之息息相關(guān)。
我們正處在一個(gè)數(shù)據(jù)主宰一切的時(shí)代,大數(shù)據(jù)不但是資產(chǎn)也是一種工具,它可以反映用戶(hù)過(guò)去的行為軌跡,也可以預(yù)測(cè)用戶(hù)將來(lái)的行為傾向。對(duì)于企業(yè)來(lái)說(shuō),大數(shù)據(jù)技術(shù)的發(fā)展是一個(gè)機(jī)遇,合理的運(yùn)用大數(shù)據(jù)將有助于企業(yè)洞察外部市場(chǎng),適時(shí)做出外部市場(chǎng)與內(nèi)部的調(diào)整,提高決策速度和精準(zhǔn)度,也可以將數(shù)據(jù)進(jìn)行變現(xiàn)轉(zhuǎn)化為企業(yè)價(jià)值。
移動(dòng)互聯(lián)網(wǎng)的發(fā)展以及智能終端的普及,使電信運(yùn)營(yíng)商的大數(shù)據(jù)呈現(xiàn)爆炸式的增長(zhǎng)。截至2018年底,三大運(yùn)營(yíng)商用戶(hù)規(guī)模突破15億,每天產(chǎn)生海量的業(yè)務(wù)數(shù)據(jù),數(shù)據(jù)具有多樣性、實(shí)時(shí)性、安全性和準(zhǔn)確性的特點(diǎn),數(shù)據(jù)質(zhì)量較高。
本文通過(guò)分析電信運(yùn)營(yíng)商的大數(shù)據(jù)資產(chǎn),研究該如何掌握和運(yùn)用這些數(shù)據(jù)資源,在提升運(yùn)營(yíng)商自身運(yùn)維和運(yùn)營(yíng)能力的同時(shí),將數(shù)據(jù)資產(chǎn)進(jìn)行變現(xiàn),尋找新的利潤(rùn)增長(zhǎng)點(diǎn),從大數(shù)據(jù)中獲得收益。
電信運(yùn)營(yíng)商大數(shù)據(jù)經(jīng)過(guò)多年的積累,擁有諸如財(cái)務(wù)、業(yè)務(wù)量等結(jié)構(gòu)化數(shù)據(jù),也有圖片、文本、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)。從運(yùn)營(yíng)商大數(shù)據(jù)來(lái)源看,有來(lái)自自身網(wǎng)絡(luò)產(chǎn)生的通信業(yè)務(wù)類(lèi)、網(wǎng)絡(luò)信令類(lèi)、資源類(lèi)、告警類(lèi)、設(shè)備性能類(lèi)、互聯(lián)網(wǎng)內(nèi)容類(lèi)、日志類(lèi)等數(shù)據(jù),也有從營(yíng)銷(xiāo)渠道獲得的公眾客戶(hù)、政企客戶(hù)和家庭客戶(hù)的用戶(hù)數(shù)據(jù)、訂購(gòu)數(shù)據(jù)、營(yíng)銷(xiāo)數(shù)據(jù)、客服數(shù)據(jù)、終端數(shù)據(jù)等。用戶(hù)從開(kāi)戶(hù)、充值到通話、短信、上網(wǎng)等使用通信服務(wù)的行為均產(chǎn)生了大量的數(shù)據(jù),這些大數(shù)據(jù)被采集、關(guān)聯(lián)、合成處理后存儲(chǔ)在電信運(yùn)營(yíng)商的IT系統(tǒng)中。電信運(yùn)營(yíng)商建設(shè)的可用于采集數(shù)據(jù)的系統(tǒng)主要包括以下幾類(lèi):
業(yè)務(wù)支撐系統(tǒng)主要是實(shí)現(xiàn)對(duì)電信業(yè)務(wù)、電信資費(fèi)、電信營(yíng)銷(xiāo)的管理,以及對(duì)客戶(hù)的管理和服務(wù)。業(yè)務(wù)支撐系統(tǒng)主要包括:業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)、客戶(hù)關(guān)系管理系統(tǒng)、業(yè)務(wù)支撐網(wǎng)運(yùn)營(yíng)管理系統(tǒng)、集團(tuán)客戶(hù)業(yè)務(wù)綜合運(yùn)營(yíng)平臺(tái)、客服系統(tǒng)等。業(yè)務(wù)支撐系統(tǒng)產(chǎn)生并采集的數(shù)據(jù)包括用戶(hù)數(shù)據(jù)、訂購(gòu)關(guān)系數(shù)據(jù)、話單數(shù)據(jù)、渠道數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、營(yíng)銷(xiāo)數(shù)據(jù)、客服數(shù)據(jù)、終端數(shù)據(jù)等。
網(wǎng)管支撐系統(tǒng)主要是實(shí)現(xiàn)運(yùn)營(yíng)商業(yè)務(wù)網(wǎng)絡(luò)開(kāi)通管理、網(wǎng)絡(luò)資源調(diào)度、網(wǎng)絡(luò)數(shù)據(jù)配置、網(wǎng)絡(luò)與業(yè)務(wù)監(jiān)控、故障處理、網(wǎng)絡(luò)質(zhì)量分析、網(wǎng)絡(luò)優(yōu)化等。網(wǎng)管支撐系統(tǒng)主要包括:專(zhuān)業(yè)網(wǎng)管系統(tǒng)(話務(wù)網(wǎng)管、數(shù)據(jù)網(wǎng)管、傳輸網(wǎng)管)、綜合資源管理系統(tǒng)、電子運(yùn)維系統(tǒng)、無(wú)線網(wǎng)優(yōu)平臺(tái)、故障管理系統(tǒng)、綜合分析系統(tǒng)、全業(yè)務(wù)支撐系統(tǒng)、信令監(jiān)測(cè)系統(tǒng)、自動(dòng)撥測(cè)系統(tǒng)等。網(wǎng)管支撐系統(tǒng)產(chǎn)生并采集的數(shù)據(jù)包括運(yùn)營(yíng)商網(wǎng)絡(luò)的資源數(shù)據(jù)、性能數(shù)據(jù)、告警數(shù)據(jù)、MR數(shù)據(jù)、工單數(shù)據(jù)、信令數(shù)據(jù)等。
管理信息系統(tǒng)是面向企業(yè)管理的支撐系統(tǒng),包括財(cái)務(wù)管理、人力資源、供應(yīng)鏈管理、辦公自動(dòng)化、信息共享、管理決策支持、企業(yè)風(fēng)險(xiǎn)管理等。管理信息系統(tǒng)主要包括:統(tǒng)一信息平臺(tái)、企業(yè)資源管理系統(tǒng)、合同管理系統(tǒng)、預(yù)算管理系統(tǒng)、電子采購(gòu)系統(tǒng)、資產(chǎn)管理系統(tǒng)、預(yù)算管理系統(tǒng)等。管理信息系統(tǒng)產(chǎn)生并采集的數(shù)據(jù)包括人力資源數(shù)據(jù)、資產(chǎn)數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、合同數(shù)據(jù)、預(yù)算數(shù)據(jù)、銀行交互數(shù)據(jù)、投資數(shù)據(jù)等。
電信運(yùn)營(yíng)商DPI系統(tǒng)主要包括4G統(tǒng)一DPI系統(tǒng)和互聯(lián)網(wǎng)統(tǒng)一DPI系統(tǒng),DPI系統(tǒng)主要是通過(guò)DPI設(shè)備對(duì)4G網(wǎng)絡(luò)及互聯(lián)網(wǎng)鏈路上的流量進(jìn)行采集和識(shí)別,對(duì)上網(wǎng)數(shù)據(jù)包進(jìn)行深度檢測(cè),可以實(shí)現(xiàn)流量分析、日志合成、非法VoIP檢測(cè)等。日志留存系統(tǒng)包括上網(wǎng)日志留存系統(tǒng)、WLAN日志留存系統(tǒng)等,日志留存系統(tǒng)主要是對(duì)通過(guò)4G網(wǎng)絡(luò)、家庭寬帶、WLAN網(wǎng)絡(luò)等登錄互聯(lián)網(wǎng)的上網(wǎng)日志信息進(jìn)行采集記錄。DPI及日志留存系統(tǒng)采集的數(shù)據(jù)主要包括位置數(shù)據(jù)、上網(wǎng)數(shù)據(jù)、開(kāi)關(guān)機(jī)數(shù)據(jù)、流量數(shù)據(jù)、尋呼數(shù)據(jù)、漫游數(shù)據(jù)等。
電信運(yùn)營(yíng)商增值業(yè)務(wù)平臺(tái)是在基本業(yè)務(wù)(話音業(yè)務(wù))的基礎(chǔ)上,針對(duì)不同的用戶(hù)群和市場(chǎng)需求開(kāi)通的可供用戶(hù)選擇使用的業(yè)務(wù)。增值業(yè)務(wù)平臺(tái)包括:12580綜合信息服務(wù)平臺(tái)、139郵箱業(yè)務(wù)平臺(tái)、MM平臺(tái)、和飛信業(yè)務(wù)平臺(tái)、手機(jī)報(bào)業(yè)務(wù)平臺(tái)、終端管理平臺(tái)、手機(jī)導(dǎo)航業(yè)務(wù)平臺(tái)、手機(jī)視頻業(yè)務(wù)平臺(tái)、手機(jī)閱讀平臺(tái)等。增值業(yè)務(wù)平臺(tái)產(chǎn)生的數(shù)據(jù)主要包括用戶(hù)數(shù)據(jù)、訂購(gòu)數(shù)據(jù)、登錄數(shù)據(jù)、點(diǎn)擊數(shù)據(jù)、使用數(shù)據(jù)、數(shù)字內(nèi)容數(shù)據(jù)等。
電信運(yùn)營(yíng)商大數(shù)據(jù)資產(chǎn)統(tǒng)計(jì)情況如表1所示。
目前各行各業(yè)都在開(kāi)展大數(shù)據(jù)管理,互聯(lián)網(wǎng)公司大數(shù)據(jù)已全面發(fā)力,開(kāi)始涉足電信大數(shù)據(jù)傳統(tǒng)領(lǐng)域。京東通過(guò)大數(shù)據(jù)涉獵城市規(guī)劃,阿里巴巴通過(guò)大數(shù)據(jù)搶灘智慧城市,騰訊通過(guò)大數(shù)據(jù)布局政務(wù)行業(yè),百度通過(guò)大數(shù)據(jù)涉足交通規(guī)劃,滴滴出行通過(guò)大數(shù)據(jù)探索園區(qū)規(guī)劃等等。
運(yùn)營(yíng)商該構(gòu)建怎樣的大數(shù)據(jù)平臺(tái),應(yīng)用好大數(shù)據(jù)一方面提升企業(yè)自身的運(yùn)維和運(yùn)營(yíng)能力,一方面拓展垂直行業(yè)的應(yīng)用,尋找新的利潤(rùn)增長(zhǎng)點(diǎn),從大數(shù)據(jù)中獲得最大收益?下文將給出運(yùn)營(yíng)商大數(shù)據(jù)平臺(tái)的建設(shè)方案。
電信運(yùn)營(yíng)商建設(shè)的大數(shù)據(jù)平臺(tái)可采用如圖1所示的五層架構(gòu):數(shù)據(jù)采集、計(jì)算中心、開(kāi)放框架、門(mén)戶(hù)和運(yùn)維管理。
表1 電信運(yùn)營(yíng)商大數(shù)據(jù)資產(chǎn)表
圖1 大數(shù)據(jù)平臺(tái)架構(gòu)圖
數(shù)據(jù)采集層用于實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)統(tǒng)一的任務(wù)調(diào)度和數(shù)據(jù)采集,數(shù)據(jù)采集層是大數(shù)據(jù)平臺(tái)的基礎(chǔ),統(tǒng)一采集承擔(dān)整個(gè)集中化大數(shù)據(jù)平臺(tái)的各類(lèi)源數(shù)據(jù)的采集,以及跨中心之間,跨平臺(tái)與租戶(hù)之間,跨異構(gòu)集群之間的多樣類(lèi)型的數(shù)據(jù)轉(zhuǎn)換,統(tǒng)一數(shù)據(jù)入口、統(tǒng)一接口數(shù)據(jù)的存儲(chǔ)與分發(fā),同時(shí)保障數(shù)據(jù)入口安全、外部用戶(hù)使用數(shù)據(jù)資產(chǎn)的管理等職責(zé)。
針對(duì)不同類(lèi)型的數(shù)據(jù)源,采用不同的數(shù)據(jù)采集技術(shù),分析及建議如下:
對(duì)于離線的文件數(shù)據(jù)、合成的XDR數(shù)據(jù)等可采用FTP方式進(jìn)行采集,F(xiàn)TP技術(shù)可支持?jǐn)帱c(diǎn)續(xù)傳、異構(gòu)網(wǎng)絡(luò)之間的文件傳送特性,具有操作簡(jiǎn)單、安全性高、使用方便等優(yōu)點(diǎn);對(duì)于日志數(shù)據(jù)可采用Flume技術(shù)進(jìn)行采集,F(xiàn)lume是一個(gè)提供高可用、高可靠,可分布式處理海量日志采集、聚合和傳輸?shù)南到y(tǒng),具有效率高、擴(kuò)展性強(qiáng)的特性;對(duì)于DPI實(shí)時(shí)信令數(shù)據(jù)可采用DPDK技術(shù)、kafka流處理技術(shù)等進(jìn)行采集,DPDK是用于快速數(shù)據(jù)包處理的函數(shù)庫(kù)與驅(qū)動(dòng)集合,可以極大提高數(shù)據(jù)處理性能和吞吐量;Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它可以處理消費(fèi)者在網(wǎng)站中的所有動(dòng)作流數(shù)據(jù),可用于互聯(lián)網(wǎng)DPI系統(tǒng)數(shù)據(jù)采集;對(duì)于文本搜索和WEB網(wǎng)頁(yè)爬蟲(chóng)可采用Nutch技術(shù),Nutch是一個(gè)開(kāi)源的搜索引擎,可提供搜索引擎所需的全部工具。
計(jì)算中心層主要是對(duì)數(shù)據(jù)采集層提供的原始數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換和加載處理,以及對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)整合,形成標(biāo)準(zhǔn)化、模型化的數(shù)據(jù),用于支撐上層應(yīng)用開(kāi)發(fā)。計(jì)算中心層是大數(shù)據(jù)平臺(tái)的核心,建議采用Hadoop和MPP等技術(shù)對(duì)非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分布式計(jì)算和存儲(chǔ)。
計(jì)算中心層承擔(dān)著對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)、模型化和標(biāo)簽化處理的任務(wù),生成針對(duì)企業(yè)自身運(yùn)營(yíng)、網(wǎng)絡(luò)維護(hù)、網(wǎng)絡(luò)優(yōu)化以及面向政府、金融、教育、交通、零售、旅游等不同垂直行業(yè)應(yīng)用的數(shù)據(jù)集,通過(guò)計(jì)算中心層對(duì)各類(lèi)數(shù)據(jù)集定義標(biāo)簽,建立標(biāo)簽庫(kù)和模型庫(kù),引入寬帶信令、互聯(lián)網(wǎng)內(nèi)容信令、外部數(shù)據(jù)等內(nèi)容,借助大數(shù)據(jù)化思維方式,對(duì)客戶(hù)標(biāo)簽進(jìn)行優(yōu)化和擴(kuò)展,更好地為市場(chǎng)、客服、政企等部門(mén)提供數(shù)據(jù)支撐,補(bǔ)充對(duì)外應(yīng)用標(biāo)簽,拓展外部合作領(lǐng)域的支撐。數(shù)據(jù)集的標(biāo)簽可按以下分類(lèi):
數(shù)據(jù)集分類(lèi):基本類(lèi)(職業(yè)類(lèi))、互聯(lián)網(wǎng)類(lèi)、位置類(lèi)、業(yè)務(wù)類(lèi)、行業(yè)類(lèi)、網(wǎng)絡(luò)感知類(lèi)、渠道類(lèi)、營(yíng)銷(xiāo)活動(dòng)類(lèi)、服務(wù)類(lèi)、終端類(lèi)、消費(fèi)價(jià)值類(lèi)等。
計(jì)算中心層對(duì)數(shù)據(jù)進(jìn)行分類(lèi)存儲(chǔ),方便上層應(yīng)用的調(diào)取和提供數(shù)據(jù)共享,計(jì)算中心層產(chǎn)生的數(shù)據(jù)直接關(guān)系到上層應(yīng)用的開(kāi)發(fā)和運(yùn)營(yíng)商數(shù)據(jù)價(jià)值的體現(xiàn)。
開(kāi)放框架層主要根據(jù)不同的數(shù)據(jù)集進(jìn)行應(yīng)用開(kāi)發(fā),通過(guò)門(mén)戶(hù)對(duì)內(nèi)外部使用客戶(hù)提供豐富的數(shù)據(jù)服務(wù)、工具服務(wù)和應(yīng)用服務(wù)等。
開(kāi)放框架層是大數(shù)據(jù)平臺(tái)價(jià)值體現(xiàn)的關(guān)鍵環(huán)節(jié),電信運(yùn)營(yíng)商盡量擺脫通道的命運(yùn),不建議將數(shù)據(jù)資源直接開(kāi)放給行業(yè)用戶(hù)或互聯(lián)網(wǎng)公司,為了數(shù)據(jù)價(jià)值的最大化,建議采用微服務(wù)開(kāi)發(fā)的方式將數(shù)據(jù)進(jìn)行包裝,與其他領(lǐng)域開(kāi)展跨行業(yè)的合作或者直接開(kāi)發(fā)應(yīng)用面向終端用戶(hù)。微服務(wù)具備設(shè)計(jì)和編排的能力,設(shè)計(jì)包括資源、軟件、配置數(shù)據(jù)、內(nèi)容策略、分析策略和安全策略等,并基于這些對(duì)象構(gòu)建完整的、規(guī)范化的“元數(shù)據(jù)”;編排主要為根據(jù)設(shè)計(jì)輸出的模型,構(gòu)建完整的網(wǎng)絡(luò)服務(wù),包括資源實(shí)例化、內(nèi)容調(diào)度、分析策略的設(shè)置、安全策略的設(shè)置等過(guò)程。
對(duì)企業(yè)內(nèi)部應(yīng)用,開(kāi)發(fā)面向精準(zhǔn)營(yíng)銷(xiāo)、網(wǎng)絡(luò)維護(hù)、網(wǎng)絡(luò)優(yōu)化、方案制作、資源管理、客戶(hù)服務(wù)等方面的微服務(wù),用于提升網(wǎng)絡(luò)質(zhì)量、降低運(yùn)營(yíng)運(yùn)維成本、提高工作效率和增強(qiáng)客戶(hù)體驗(yàn)。
對(duì)垂直行業(yè)客戶(hù)開(kāi)發(fā)面向交通、教育、旅游、民生、公檢法、商貿(mào)、金融等方面的微服務(wù),供第三方購(gòu)買(mǎi);包括:智慧氣象、智慧旅游、和信用積分、行業(yè)內(nèi)容解析、智慧公安、金融風(fēng)控等銀行、政府、旅游行業(yè)類(lèi)微服務(wù),以“多租戶(hù)”的方式向相關(guān)廠商開(kāi)放。
或者通過(guò)引入其他領(lǐng)域數(shù)據(jù),對(duì)終端用戶(hù)開(kāi)發(fā)征信、零售、廣告推薦、智慧家庭、支付、位置服務(wù)、多媒體等方面的微服務(wù),提高企業(yè)收入的同時(shí)也可以增強(qiáng)客戶(hù)粘性,提升企業(yè)競(jìng)爭(zhēng)力。
門(mén)戶(hù)是企業(yè)員工、政企客戶(hù)和終端用戶(hù)訪問(wèn)大數(shù)據(jù)平臺(tái)的統(tǒng)一入口,具有用戶(hù)權(quán)限管理、日志管理和應(yīng)用接入管理等功能。大數(shù)據(jù)平臺(tái)通過(guò)門(mén)戶(hù)對(duì)外提供大數(shù)據(jù)微服務(wù)和大數(shù)據(jù)應(yīng)用,門(mén)戶(hù)是大數(shù)據(jù)平臺(tái)與用戶(hù)的接口,直接影響大數(shù)據(jù)平臺(tái)對(duì)外服務(wù)的使用效果和用戶(hù)體驗(yàn)。門(mén)戶(hù)要根據(jù)不同的用戶(hù)群體對(duì)服務(wù)應(yīng)用進(jìn)行分類(lèi)布局,對(duì)外服務(wù)提供統(tǒng)一標(biāo)準(zhǔn)的接口,方便用戶(hù)服務(wù)調(diào)取。運(yùn)營(yíng)商還可以根據(jù)需要在門(mén)戶(hù)上體現(xiàn)大數(shù)據(jù)微服務(wù)及應(yīng)用的使用原則、使用方法、資費(fèi)標(biāo)準(zhǔn)等內(nèi)容,便于用戶(hù)對(duì)大數(shù)據(jù)平臺(tái)的了解。
門(mén)戶(hù)需要具備管理全可視,系統(tǒng)將所有的流程通過(guò)可視化方式呈現(xiàn)出來(lái)。
運(yùn)維管理層是實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)的統(tǒng)一運(yùn)維管理,提供數(shù)據(jù)治理的工具。運(yùn)營(yíng)商可通過(guò)運(yùn)維管理層制定數(shù)據(jù)標(biāo)準(zhǔn),保障數(shù)據(jù)質(zhì)量和安全,同時(shí)監(jiān)控大數(shù)據(jù)平臺(tái)數(shù)據(jù)資源使用情況和告警管理;通過(guò)運(yùn)維管理層制定國(guó)家政策法規(guī)允許范圍內(nèi)的數(shù)據(jù)開(kāi)放權(quán)限,明確數(shù)據(jù)開(kāi)放規(guī)則,保障數(shù)據(jù)開(kāi)放合法合規(guī),對(duì)數(shù)據(jù)進(jìn)行加密和去隱私化處理,實(shí)現(xiàn)數(shù)據(jù)開(kāi)放風(fēng)險(xiǎn)管控。建議引入AI技術(shù)來(lái)提升運(yùn)維和運(yùn)營(yíng)的智能化。
電信運(yùn)營(yíng)商的大數(shù)據(jù)資源具有規(guī)模大、質(zhì)量高、覆蓋廣、種類(lèi)多、場(chǎng)景全的特點(diǎn),運(yùn)營(yíng)商要利用好這些優(yōu)勢(shì),積極應(yīng)對(duì)激烈的市場(chǎng)競(jìng)爭(zhēng),開(kāi)發(fā)優(yōu)質(zhì)的數(shù)據(jù)類(lèi)服務(wù),應(yīng)用全行業(yè)鋪開(kāi),百花齊放。同時(shí)要縮短項(xiàng)目決策和建設(shè)流程,實(shí)現(xiàn)應(yīng)用快速上線,在大數(shù)據(jù)不斷迎來(lái)政策利好的背景下,切實(shí)把握好大數(shù)據(jù)產(chǎn)業(yè)發(fā)展機(jī)遇,第一時(shí)間爭(zhēng)奪客戶(hù)群體,搶占大數(shù)據(jù)市場(chǎng)。