李 濤，王 翔，張 玎（.中訊郵電咨詢設(shè)計院有限公司，北京00048；.中國聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司，北京00033）

0 前言

電信運(yùn)營商擁有豐富的網(wǎng)絡(luò)數(shù)據(jù)，包括用戶上網(wǎng)行為數(shù)據(jù)、用戶位置數(shù)據(jù)、用戶網(wǎng)絡(luò)體驗(yàn)數(shù)據(jù)等，既可以支撐運(yùn)營商內(nèi)部的網(wǎng)絡(luò)優(yōu)化及用戶體驗(yàn)提升，又可以支撐個人征信、人流監(jiān)測等類型的對外數(shù)據(jù)應(yīng)用。網(wǎng)絡(luò)數(shù)據(jù)具有較高的價值。

網(wǎng)絡(luò)數(shù)據(jù)涵蓋移動網(wǎng)、傳輸網(wǎng)、固網(wǎng)交換、互聯(lián)網(wǎng)等多個網(wǎng)絡(luò)，且分散于全國各地，如何能夠在對網(wǎng)絡(luò)及業(yè)務(wù)影響較小的情況下，將所需數(shù)據(jù)采集匯總，并進(jìn)行加工處理，共享給上層應(yīng)用，是電信運(yùn)營商普遍面臨的問題。

1 網(wǎng)絡(luò)數(shù)據(jù)采集范圍

電信運(yùn)營商的網(wǎng)絡(luò)數(shù)據(jù)涉及移動網(wǎng)、固網(wǎng)交換（含IMS、軟交換）、傳輸網(wǎng)、互聯(lián)網(wǎng)、IP 承載網(wǎng)、寬帶接入、業(yè)務(wù)平臺、動力環(huán)境等專業(yè)，數(shù)據(jù)類型包括網(wǎng)元類（配置、資源、性能、告警）、鏈路類（信令、用戶面）和用戶感知類（投訴、撥測）。電信運(yùn)營商可采集的網(wǎng)絡(luò)數(shù)據(jù)如表1所示。

鑒于移動業(yè)務(wù)收入是運(yùn)營商的主要收入來源，故移動網(wǎng)要采集的數(shù)據(jù)類型最多，包括資源數(shù)據(jù)、告警數(shù)據(jù)、性能數(shù)據(jù)、核心網(wǎng)XDR、核心網(wǎng)原始信令、無線網(wǎng)MR/TRACE/原始信令等（見表2）。

表1 電信運(yùn)營商可采集的網(wǎng)絡(luò)數(shù)據(jù)

表2 移動網(wǎng)數(shù)據(jù)采集需求表

2 網(wǎng)絡(luò)數(shù)據(jù)采集與共享架構(gòu)

2.1 總體架構(gòu)

網(wǎng)絡(luò)數(shù)據(jù)采集與共享分為數(shù)據(jù)采集平臺、數(shù)據(jù)處理與共享平臺兩部分，其總體架構(gòu)如圖1所示。

網(wǎng)絡(luò)數(shù)據(jù)采集平臺分為總部和省分兩級部署，負(fù)責(zé)從專業(yè)綜合網(wǎng)管/OMC/DPI等系統(tǒng)采集網(wǎng)絡(luò)告警、配置數(shù)據(jù)、性能數(shù)據(jù)、信令數(shù)據(jù)（移動網(wǎng)核心網(wǎng)信令、無線側(cè)MR/詳細(xì)信令記錄）等，并將采集到的數(shù)據(jù)上傳至數(shù)據(jù)處理與共享平臺。

數(shù)據(jù)處理與共享平臺采用總部一點(diǎn)部署，負(fù)責(zé)對采集平臺上傳的數(shù)據(jù)進(jìn)行加工處理，包括數(shù)據(jù)清洗、格式標(biāo)準(zhǔn)化、數(shù)據(jù)抽取、指標(biāo)計算等，并共享給上層應(yīng)用。

2.2 數(shù)據(jù)流程

網(wǎng)絡(luò)數(shù)據(jù)采集與共享的流程如圖2所示。數(shù)據(jù)的采集與共享將分散在各個網(wǎng)元、鏈路、廠家網(wǎng)管系統(tǒng)中的網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)網(wǎng)絡(luò)數(shù)據(jù)的類型、特性、用途，分別經(jīng)過不同的處理和加工，再統(tǒng)一通過平臺的標(biāo)準(zhǔn)化接口，實(shí)現(xiàn)數(shù)據(jù)的開放與共享。

2.3 數(shù)據(jù)采集功能架構(gòu)

網(wǎng)絡(luò)數(shù)據(jù)采集的功能架構(gòu)如圖3所示。網(wǎng)絡(luò)數(shù)據(jù)采集平臺可以通過軟采（無線鏈路、系統(tǒng)）及硬采（鏈路）的方式從網(wǎng)絡(luò)上獲取數(shù)據(jù)，平臺本身的主要功能模塊包括數(shù)據(jù)采集、平臺管理、數(shù)據(jù)處理、數(shù)據(jù)服務(wù)、接入鑒權(quán)、數(shù)據(jù)質(zhì)量監(jiān)測、數(shù)據(jù)服務(wù)管理、調(diào)度管理等。原則上，采集數(shù)據(jù)的格式標(biāo)準(zhǔn)化由被采集系統(tǒng)完成。

2.4 數(shù)據(jù)處理與共享功能架構(gòu)

網(wǎng)絡(luò)數(shù)據(jù)處理與共享的總體架構(gòu)如圖4所示。對數(shù)據(jù)處理與共享平臺的主要功能模塊說明如下。

a）數(shù)據(jù)存儲。存儲一定周期內(nèi)的全量網(wǎng)元類數(shù)據(jù)（告警、性能、配置）、鏈路類數(shù)據(jù)（信令、用戶面）、用戶感知類數(shù)據(jù)（投訴數(shù)據(jù)、撥測數(shù)據(jù)）。針對不同的數(shù)據(jù)類型與查詢性能要求提供不同的存儲方案。

b）數(shù)據(jù)處理。支持?jǐn)?shù)據(jù)清洗、移動網(wǎng)配置/性能數(shù)據(jù)格式標(biāo)準(zhǔn)化、數(shù)據(jù)統(tǒng)計/計算、數(shù)據(jù)抽取、信令解析和實(shí)時路由等。

c）數(shù)據(jù)共享。提供數(shù)據(jù)訂閱門戶，展示可以提供的數(shù)據(jù)范圍，包括數(shù)據(jù)類型、區(qū)域、廠商等，供上層應(yīng)用訂閱，經(jīng)過審批通過后才有權(quán)使用數(shù)據(jù)。當(dāng)訂閱的數(shù)據(jù)生成時，平臺通知應(yīng)用來取數(shù)據(jù)。支持?jǐn)?shù)據(jù)查詢和常用的數(shù)據(jù)挖掘模型算法。

d）數(shù)據(jù)管理。支持元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全和任務(wù)調(diào)度。

3 網(wǎng)絡(luò)數(shù)據(jù)采集關(guān)鍵技術(shù)

3.1 采集文件統(tǒng)一命名和格式

鑒于網(wǎng)絡(luò)數(shù)據(jù)采集涉及到的專業(yè)、網(wǎng)元多，持續(xù)時間長，為避免重復(fù)、便于回溯和數(shù)據(jù)處理，通常需要規(guī)定文件名稱和文件格式。

圖1 網(wǎng)絡(luò)數(shù)據(jù)采集與共享總體架構(gòu)

圖2 網(wǎng)絡(luò)數(shù)據(jù)采集與共享流程

3.1.1 采集文件統(tǒng)一命名

數(shù)據(jù)文件名稱需要包含區(qū)域、專業(yè)、被采集系統(tǒng)、系統(tǒng)所屬廠商、數(shù)據(jù)類型、采集網(wǎng)元設(shè)備類型、采集周期、數(shù)據(jù)生成時間等信息。文件命名可采用下述規(guī)則：［］.csv。

數(shù)據(jù)上報打包文件命名采用下述規(guī)則：數(shù)據(jù)文件名稱.tar.gz。

數(shù)據(jù)文件名各字段的具體定義如表3所示。

3.1.2 采集文件統(tǒng)一格式

打包文件格式：采用tar.gz文件格式打包，tar.gz代表在UNIX/Linux 平臺下的通過tar命令打包，通過gzip命令進(jìn)行壓縮，將數(shù)據(jù)文件打包成一個文件。

數(shù)據(jù)文件的格式：原則上采用CSV 文件格式，文件中數(shù)據(jù)項(xiàng)以“，”或“|”間隔。對于明確要求采用廠家私有文件格式的數(shù)據(jù)，可不采用CSV文件格式。

3.2 采集狀態(tài)監(jiān)測

采集狀態(tài)的監(jiān)測對于保障數(shù)據(jù)完整性、及時性、采集任務(wù)可維護(hù)性具有重要作用。要求可通過采集平臺監(jiān)控每個采集任務(wù)的數(shù)據(jù)質(zhì)量情況。

a）數(shù)據(jù)完整性監(jiān)控：針對性能、配置等數(shù)據(jù)，能夠?qū)Σ杉m配器生成的數(shù)據(jù)，參考?xì)v史數(shù)據(jù)情況，如文件數(shù)目、大小等判斷數(shù)據(jù)的完整性，并進(jìn)行監(jiān)控（若差異大于設(shè)定閾值則產(chǎn)生告警）；針對告警數(shù)據(jù)，能夠根據(jù)解析完整性等判斷是否存在數(shù)據(jù)解析失敗。

圖3 網(wǎng)絡(luò)數(shù)據(jù)采集平臺功能架構(gòu)

圖4 網(wǎng)絡(luò)數(shù)據(jù)處理與共享總體架構(gòu)

b）數(shù)據(jù)及時性監(jiān)控：針對告警和性能等實(shí)時或準(zhǔn)實(shí)時數(shù)據(jù)，能夠根據(jù)OMC/EMS 生成數(shù)據(jù)時間、采集適配器采集數(shù)據(jù)時間、接收時間等多個時間點(diǎn)，判斷數(shù)據(jù)從采集到處理和呈現(xiàn)的過程中，整體的及時性和各環(huán)節(jié)的延遲是否符合及時性要求。同時，可設(shè)定及時性閾值，判斷數(shù)據(jù)的采集到呈現(xiàn)過程是否及時，并進(jìn)行監(jiān)控（若差異大于設(shè)定閾值則產(chǎn)生告警）。

3.2.1 采集接口狀態(tài)監(jiān)測

能夠統(tǒng)計并展示指定時間段的接口調(diào)用成功率、流量、調(diào)用次數(shù)和頻次。對于非實(shí)時數(shù)據(jù)的上傳，能夠顯示采集文件的名稱、省分、專業(yè)、數(shù)據(jù)類型、文件大小、文件生成時間、采集時間、省分上報時間、總部接收時間、成功失敗狀態(tài)、接口連接狀態(tài)等。接口檢查點(diǎn)包括但不限于以下幾點(diǎn)。

表3 數(shù)據(jù)文件名各字段定義

a）接口文件名稱。接口文件名稱缺失，應(yīng)主動告警（如界面告警、短信提示、郵件、彩信）。

b）接口文件延遲（總部接收文件時間與省分上報時間/總部采集時間差、總部接收文件時間與文件生成時間差）。接口文件延遲時間差值大于一定值，應(yīng)主動告警（如界面告警、短信提示、郵件、彩信）。

c）接口數(shù)據(jù)波動（如與7天前或前1天相比）。接口數(shù)據(jù)波動，包括文件數(shù)量、大小等，差值大于一定值，應(yīng)主動告警（如界面告警、短信提示、郵件、彩信）。

d）總部與一級架構(gòu)網(wǎng)管/OMC 等系統(tǒng)的連接狀態(tài)，若連接失敗，應(yīng)主動生成告警。告警方式支持界面告警、短信提示、郵件。

e）生成總部直采采集狀態(tài)文件，包括采集文件名稱、省分、專業(yè)、數(shù)據(jù)類型、大小、文件生成時間、采集時間、總部接收時間、成功失敗狀態(tài)、接口連接狀態(tài)等。

f）接收省分采集平臺上報的省分采集狀態(tài)，結(jié)合總部接收時間，生成省分采集狀態(tài)文件，包括采集文件的名稱、省分、專業(yè)、數(shù)據(jù)類型、大小、文件生成時間、采集時間、省分上報時間、總部接收時間、成功失敗狀態(tài)、接口連接狀態(tài)等。并與總部直采采集狀態(tài)文件合并生成全網(wǎng)采集狀態(tài)文件；總部可通過接口方式配置省分采集狀態(tài)上報的時間間隔。

g）接收省分采集平臺與省分網(wǎng)管/OMC/DPI 等系統(tǒng)的連接狀態(tài)失敗信息，并生成告警。告警方式支持界面告警、短信提示、郵件。

3.2.2 采集設(shè)備狀態(tài)監(jiān)測

能夠監(jiān)控采集機(jī)的運(yùn)行狀態(tài)，同時對采集機(jī)的自身資源（如CPU、內(nèi)存、硬盤）使用情況進(jìn)行監(jiān)控。采集器適配器與OMC/EMS 通過一定頻率的心跳通信保持連接，若采集適配器與OMC/EMS 之間出現(xiàn)中斷，可通過心跳檢測發(fā)現(xiàn)并自動重新連接，如通過多次嘗試無法建立連接，并達(dá)到設(shè)置閾值，通過產(chǎn)生告警并前轉(zhuǎn)到集中呈現(xiàn)界面來提示相關(guān)故障需要處理。能夠?qū)崟r監(jiān)控采集機(jī)的CPU、內(nèi)存、磁盤使用情況，以了解采集機(jī)的相關(guān)負(fù)荷，避免采集機(jī)負(fù)荷過大導(dǎo)致采集數(shù)據(jù)質(zhì)量問題，如超過設(shè)定閾值，可通過生成告警并前轉(zhuǎn)到集中呈現(xiàn)界面提示相關(guān)情況需要處理。

總部采集平臺接收省分采集平臺定時向總部上報的省端采集設(shè)備情況：省端采集機(jī)的CPU、內(nèi)存、磁盤、心跳情況。

3.3 采集與共享接口設(shè)計

采集與共享接口的設(shè)計既要滿足采集需求，又要考慮簡單和統(tǒng)一性，通常涉及采集任務(wù)下發(fā)、補(bǔ)采、采集、狀態(tài)上報、數(shù)據(jù)共享等。對于實(shí)時數(shù)據(jù)消息傳遞，通常采用WebService 或Socket 協(xié)議，對于非實(shí)時數(shù)據(jù)采集，通常采用FTP 協(xié)議。采集與共享接口設(shè)計如表4所示。

4 結(jié)束語

網(wǎng)絡(luò)數(shù)據(jù)的采集與共享是電信運(yùn)營商推動大數(shù)據(jù)發(fā)展與應(yīng)用的一項(xiàng)基礎(chǔ)工作。鑒于網(wǎng)絡(luò)數(shù)據(jù)非常多且數(shù)據(jù)量大，電信運(yùn)營商可以依據(jù)需求緊迫程度，分批分步驟進(jìn)行采集。同時，由于網(wǎng)絡(luò)數(shù)據(jù)涉及用戶位置等諸多個人隱私，在對外共享時應(yīng)充分考慮數(shù)據(jù)安全，符合國家法律法規(guī)。

［1］ 栗蔚，魏凱. 大數(shù)據(jù)的技術(shù)、應(yīng)用和價值變革［J］. 電信網(wǎng)技術(shù)，2013（7）.

表4 網(wǎng)絡(luò)數(shù)據(jù)采集與共享接口設(shè)計

［2］ 嚴(yán)霄鳳，張德馨.大數(shù)據(jù)研究［J］.計算機(jī)技術(shù)與發(fā)展，2013（4）.

［3］ 王秀磊，劉鵬.大數(shù)據(jù)關(guān)鍵技術(shù)［J］.中興通訊技術(shù)，2013（4）.

［4］ 李國杰，程學(xué)旗.大數(shù)據(jù)研究:未來科技及經(jīng)濟(jì)社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考［J］.中國科學(xué)院院刊，2012（6）.

［5］ 王文超，石海明，曾華鋒.芻議大數(shù)據(jù)時代的國家信息安全［J］.國防科技，2013（2）.

［6］ 韓晶.大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究［D］.北京：北京郵電大學(xué)，2013.

［7］ 史凡，吳宏建.基于SDN 和NFV 的新型智能管道技術(shù)發(fā)展趨勢［J］.電信網(wǎng)技術(shù)，2013（3）：1–4.

［8］ 覃艷，王洪，周全華.數(shù)據(jù)挖掘中聚類算法的研究［J］.網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2014（1）：65–66.

［9］ 卓海藝. 基于HBase 的海量數(shù)據(jù)實(shí)時查詢系統(tǒng)設(shè)計與實(shí)現(xiàn)［D］.北京：北京郵電大學(xué)，2013.

［10］傅軼娜. 基于MapReduce 和遺傳算法的粗糙集屬性約簡研究［D］.安徽：安徽大學(xué)，2014.

［11］張學(xué)浪.基于Hadoop的海量圖像檢索關(guān)鍵技術(shù)研究［D］.楊凌：西北農(nóng)林科技大學(xué)，2013.

［12］孟小峰，慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)［J］.計算機(jī)研究與發(fā)展，2013（1）.