田海暉

（山西信息規(guī)劃設(shè)計(jì)院有限公司，山西太原，030012）

移動(dòng)用戶(hù)上網(wǎng)記錄查詢(xún)及IP溯源系統(tǒng)建設(shè)方案淺析

田海暉

（山西信息規(guī)劃設(shè)計(jì)院有限公司，山西太原，030012）

在當(dāng)前移動(dòng)數(shù)據(jù)流量呈現(xiàn)爆炸性增長(zhǎng)的情況下，運(yùn)營(yíng)商如何對(duì)該部分大數(shù)據(jù)進(jìn)行挖掘和整理進(jìn)而促進(jìn)網(wǎng)絡(luò)建設(shè)和市場(chǎng)運(yùn)營(yíng)，監(jiān)管部門(mén)如何對(duì)該部分大數(shù)據(jù)進(jìn)行查詢(xún)和追溯進(jìn)而保證網(wǎng)絡(luò)安全和信息安全，有必要盡快和大力建設(shè)上網(wǎng)記錄查詢(xún)及IP溯源系統(tǒng)。

移動(dòng)數(shù)據(jù)業(yè)務(wù)；記錄查詢(xún)；IP溯源；網(wǎng)絡(luò)安全

1 建設(shè)背景分析

隨著各大運(yùn)營(yíng)商4G無(wú)線網(wǎng)的部署和運(yùn)營(yíng)，移動(dòng)數(shù)據(jù)業(yè)務(wù)呈現(xiàn)出爆炸式發(fā)展的態(tài)勢(shì)(Gn流量從10G級(jí)躍升為100G級(jí))，而在數(shù)據(jù)業(yè)務(wù)迅猛發(fā)展的同時(shí)，用戶(hù)移動(dòng)業(yè)務(wù)上網(wǎng)記錄查詢(xún)的建設(shè)也日益迫切，用戶(hù)對(duì)上網(wǎng)服務(wù)查詢(xún)內(nèi)容不僅僅限于簡(jiǎn)單的上網(wǎng)流量計(jì)費(fèi)信息，還要求提供詳細(xì)的上網(wǎng)記錄，如訪問(wèn)的網(wǎng)站地址，訪問(wèn)時(shí)長(zhǎng)等。同時(shí)安全監(jiān)管部門(mén)為了保證信息安全和網(wǎng)絡(luò)安全，也迫切需要對(duì)移動(dòng)上網(wǎng)流量進(jìn)行查詢(xún)和追溯。

集中化上網(wǎng)記錄查詢(xún)及分析系統(tǒng)建設(shè)目標(biāo)一般分兩階段實(shí)現(xiàn)。

第一階段，實(shí)現(xiàn)上網(wǎng)記錄查詢(xún)，通過(guò)對(duì)Gn接口進(jìn)行數(shù)據(jù)采集、信令和業(yè)務(wù)解析、合成，提供全網(wǎng)移動(dòng)用戶(hù)數(shù)據(jù)業(yè)務(wù)上網(wǎng)記錄查詢(xún)，為一線客戶(hù)服務(wù)人員提供客戶(hù)上網(wǎng)記錄快速查詢(xún)服務(wù)，解決流量投訴問(wèn)題。同時(shí)，為用戶(hù)提供準(zhǔn)實(shí)時(shí)的異常大流量上網(wǎng)記錄自助查詢(xún)服務(wù)，在運(yùn)營(yíng)商中體現(xiàn)差異化。

第二階段，通過(guò)對(duì)用戶(hù)上網(wǎng)記錄數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，一方面，為運(yùn)營(yíng)商市場(chǎng)營(yíng)銷(xiāo)提供數(shù)據(jù)支撐；對(duì)用戶(hù)行為精準(zhǔn)分析，實(shí)現(xiàn)感知業(yè)務(wù)態(tài)勢(shì)，制定市場(chǎng)策略，指導(dǎo)業(yè)務(wù)產(chǎn)品開(kāi)發(fā)，另一方面，為監(jiān)管部門(mén)提供基礎(chǔ)數(shù)據(jù)進(jìn)行分析整理從而保證信息安全。

2 建設(shè)原則及思路

(1)該系統(tǒng)的建設(shè)主要采集S-GW、P-GW側(cè)接口的信令，進(jìn)行GTP及IP數(shù)據(jù)包的識(shí)別和預(yù)處理工作，形成相應(yīng)的上網(wǎng)記錄文件；同時(shí)，采集防火墻的日志文件，實(shí)現(xiàn)上網(wǎng)記錄數(shù)據(jù)及防火墻日志信息的匹配及關(guān)聯(lián)，形成相關(guān)IP地址溯源數(shù)據(jù)及用戶(hù)上網(wǎng)日志數(shù)據(jù)。

(2)合理預(yù)測(cè)移動(dòng)用戶(hù)數(shù)據(jù)流量，精準(zhǔn)配置各類(lèi)采集、合成服務(wù)器的能力和規(guī)模。

(3)采集機(jī)、分流器、服務(wù)器等設(shè)備，在配置時(shí)應(yīng)統(tǒng)籌考慮省內(nèi)未來(lái)業(yè)務(wù)發(fā)展，以及所設(shè)置局點(diǎn)近期和遠(yuǎn)期的流量規(guī)模，選擇合適的硬件設(shè)備，避免未來(lái)擴(kuò)容時(shí)的投資浪費(fèi)。

(4)接入采集設(shè)備的建設(shè)，應(yīng)提前規(guī)劃，統(tǒng)籌考慮大數(shù)據(jù)采集與交換平臺(tái)的建設(shè)，同時(shí)充分考慮其他系統(tǒng)的采集需求，進(jìn)行端口預(yù)留。

(5)在滿(mǎn)足技術(shù)和服務(wù)指標(biāo)的前提下，優(yōu)先選用集成度高、能耗低、能效比高的產(chǎn)品。

3 網(wǎng)絡(luò)架構(gòu)及建設(shè)方案

3.1 移動(dòng)用戶(hù)上網(wǎng)記錄查詢(xún)系統(tǒng)架構(gòu)

3.1.1 功能架構(gòu)

集中化移動(dòng)用戶(hù)上網(wǎng)記錄查詢(xún)和分析系統(tǒng)一般分為四大子系統(tǒng)：數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)入庫(kù)子系統(tǒng)、數(shù)據(jù)存儲(chǔ)子系統(tǒng)、數(shù)據(jù)查詢(xún)子系統(tǒng)；各子系統(tǒng)實(shí)現(xiàn)的主要功能如圖1所示。

（1）數(shù)據(jù)采集子系統(tǒng)

在SGSN和GGSN之間部署分光設(shè)備，將流經(jīng)SGSN和GGSN的所有數(shù)據(jù)流分光至分流器，將數(shù)據(jù)流分流至采集處理設(shè)備。采集處理設(shè)備根據(jù)預(yù)定的策略，進(jìn)行GTP及IP數(shù)據(jù)包的識(shí)別和處理工作。

（2）數(shù)據(jù)入庫(kù)子系統(tǒng)

數(shù)據(jù)入庫(kù)系統(tǒng)包含一個(gè)FTP服務(wù)，接收采集處理系統(tǒng)上載的上網(wǎng)記錄文件；入庫(kù)程序讀取文件中的每條上網(wǎng)記錄，并入庫(kù)至“數(shù)據(jù)存儲(chǔ)系統(tǒng)”中。

（3）數(shù)據(jù)存儲(chǔ)子系統(tǒng)

存儲(chǔ)上網(wǎng)記錄數(shù)據(jù)，并根據(jù)查詢(xún)和數(shù)據(jù)處理要求進(jìn)行優(yōu)化。

圖1 集中化移動(dòng)用戶(hù)上網(wǎng)記錄查詢(xún)和分析系統(tǒng)架構(gòu)圖

圖2 上網(wǎng)記錄查詢(xún)及分析系統(tǒng)設(shè)備部署方案圖

（4）數(shù)據(jù)查詢(xún)子系統(tǒng)

接收用戶(hù)的查詢(xún)請(qǐng)求，向數(shù)據(jù)存儲(chǔ)系統(tǒng)查詢(xún)數(shù)據(jù)；數(shù)據(jù)查詢(xún)系統(tǒng)將數(shù)據(jù)進(jìn)行格式處理后，返回到人機(jī)界面。

3.1.2 具體部署架構(gòu)

在實(shí)際建設(shè)中移動(dòng)用戶(hù)上網(wǎng)記錄集中查詢(xún)和分析支撐系統(tǒng)分成兩個(gè)部分，省分采集部分和總部詳單平臺(tái)。省分采集系統(tǒng)實(shí)現(xiàn)對(duì)Gn口數(shù)據(jù)的采集和處理，并將數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸?shù)娇偛吭攩纹脚_(tái)。

總部詳單平臺(tái)采用Hadoop技術(shù)架構(gòu)實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)和查詢(xún)功能，整個(gè)平臺(tái)包含基于Hadoop架構(gòu)的數(shù)據(jù)存儲(chǔ)系統(tǒng)、查詢(xún)接口系統(tǒng)、FTP入庫(kù)系統(tǒng)組成，具體部署方案如圖2所示。

3.2 IP溯源系統(tǒng)

IP溯源系統(tǒng)包括數(shù)據(jù)采集、省分日志合成及上傳和總部日志留存三個(gè)部分，具體功能如下所示。

3.2.1 數(shù)據(jù)采集部分

與上網(wǎng)記錄查詢(xún)及分析系統(tǒng)共用采集，實(shí)現(xiàn)GGSN的Gn口的數(shù)據(jù)采集，具體功能要求如下。

（1）負(fù)責(zé)從采集對(duì)象上獲取所需的數(shù)據(jù)，經(jīng)解析、處理后生成標(biāo)準(zhǔn)格式的數(shù)據(jù)。

（2）負(fù)責(zé)向本系統(tǒng)應(yīng)用層提供其所需的數(shù)據(jù)。

（3）支持用戶(hù)帳號(hào)實(shí)時(shí)監(jiān)測(cè)。

3.2.2 省分日志合成及上傳部分

在省分新建日志合成及上傳系統(tǒng)，具體功能要求如下。

（1）采集并分析防火墻syslog日志，與用戶(hù)上網(wǎng)記錄數(shù)據(jù)進(jìn)行關(guān)聯(lián)，生成移動(dòng)上網(wǎng)日志留存數(shù)據(jù)及IP地址溯源數(shù)據(jù)。

（2）向本省相關(guān)系統(tǒng)上報(bào)IP地址溯源信息、企業(yè)業(yè)務(wù)監(jiān)測(cè)信息以及用戶(hù)賬號(hào)監(jiān)測(cè)信息。

（3）向相關(guān)部門(mén)提供移動(dòng)用戶(hù)上網(wǎng)日志查詢(xún)功能。

（4）通過(guò)部省接口，上報(bào)總部日志留存節(jié)點(diǎn)所需的數(shù)據(jù)。

（5）對(duì)生成的溯源及日志留存信息至少保存3天。

3.2.3 總部日志留存部分

總部日志留存節(jié)點(diǎn)負(fù)責(zé)按照國(guó)家相關(guān)部門(mén)要求實(shí)現(xiàn)以下功能。

（1）從省分系統(tǒng)收集日志留存數(shù)據(jù)，并加以保存，至少保存60天。

（2）對(duì)相關(guān)部門(mén)提供查詢(xún)功能。

（3）實(shí)現(xiàn)企業(yè)業(yè)務(wù)監(jiān)控功能。

圖3 移動(dòng)用戶(hù)上網(wǎng)日志查詢(xún)及IP溯源系統(tǒng)建設(shè)組網(wǎng)結(jié)構(gòu)圖

3.3 實(shí)際網(wǎng)絡(luò)建設(shè)拓?fù)?/p>

移動(dòng)用戶(hù)上網(wǎng)日志查詢(xún)及IP溯源系統(tǒng)建設(shè)組網(wǎng)結(jié)構(gòu)上分為省分和總部節(jié)點(diǎn)兩部分，具體結(jié)構(gòu)見(jiàn)圖3。

省分機(jī)房存在多個(gè)局點(diǎn)時(shí)，根據(jù)省分具體情況部署日志關(guān)聯(lián)合成服務(wù)器，建議與上網(wǎng)記錄查詢(xún)及分析系統(tǒng)部的采集機(jī)部署在相同的機(jī)房。

上網(wǎng)日志上傳服務(wù)器、溯源信息上報(bào)服務(wù)器盡量選在上網(wǎng)記錄查詢(xún)系統(tǒng)的FTP上傳服務(wù)器所在機(jī)房，負(fù)責(zé)完成與省分相關(guān)系統(tǒng)、總部節(jié)點(diǎn)的對(duì)接及數(shù)據(jù)上傳。

[1]工信部保【2010】548號(hào)《移動(dòng)上網(wǎng)日志留存規(guī)范》.

[2]董黛,房雨寧.大數(shù)據(jù)在移動(dòng)用戶(hù)上網(wǎng)記錄查詢(xún)中的應(yīng)用研究[J].科學(xué)與財(cái)富.2015.11.

[3]《中國(guó)移動(dòng)日志留存系統(tǒng)、用戶(hù)上網(wǎng)日志查詢(xún)系統(tǒng)接口規(guī)范》V1.0.5版本.

Analysis of mobile users online record query and IP traceability system construction scheme

Tian Haihui
（Shanxi information planning & Design Institute Co., Ltd.,Taiyuan Shanxi,030012）

In the current mobile data traffic to show explosive growth, how operators on the part of big data mining and organize and promote the network construction and operation of the market, regulators how to query and traceability and ensure network security and information security on the part of big data, it is necessary as soon as possible and to build Internet records query IP and traceability system.

mobile data service; record query; IP traceability; network security

田海暉(1977年9月14日)，男，漢族，籍貫山東陽(yáng)信，本科，通信工程師，研究方向通信工程設(shè)計(jì)。