張 青，陳 翀，向 勇

（中國電信股份有限公司廣州研究院 廣州510630）

1 引言

大數(shù)據(jù)時代電信運營商面臨的主要問題是為了滿足數(shù)據(jù)流量的增長而不斷進行網(wǎng)絡(luò)擴容，但數(shù)據(jù)流量卻“增量不增收”，數(shù)據(jù)流的附加值被互聯(lián)網(wǎng)公司賺走，同時面臨淪為管道化的尷尬。在電信運營商轉(zhuǎn)型中，實現(xiàn)流量經(jīng)營[1]已成共識。流量經(jīng)營是把電信管道里的流量和用戶的消費需求進行高效和精確的匹配，從而給用戶帶來最好的業(yè)務(wù)體驗，以獲得高效的商業(yè)收益。

流量經(jīng)營，最重要的就是建立業(yè)務(wù)、內(nèi)容、協(xié)議和流量的精確識別，深度分組檢測（deep packet inspection，DPI）技術(shù)能夠使互聯(lián)網(wǎng)中的所有流量具備可見性，通過對網(wǎng)絡(luò)流量的分組頭和荷載進行分析，實現(xiàn)對流量洞察、應(yīng)用分類和用戶行為的研究。

本文在分析目前電信運營商流量經(jīng)營策略基礎(chǔ)上，提出深度分組檢測技術(shù)在流量經(jīng)營中的應(yīng)用模式及應(yīng)用難點，為建立完善流量信息分析系統(tǒng)提供理論參考。

2 深度分組檢測技術(shù)

傳統(tǒng)的流量和帶寬管理是基于OSI參考模型的L2～L4層，通過IP分組頭的五元組（包括源地址、目的地址、源端口、目的端口以及協(xié)議類型）信息進行分析，通常稱此為“普通報文解析”?！捌胀▓笪慕馕觥眱H分析IP分組的4層以下的內(nèi)容，通過端口號來識別應(yīng)用類型。而當(dāng)前網(wǎng)絡(luò)上的一些應(yīng)用會采用隱藏或假冒端口號的方式躲避檢測和監(jiān)管，造成仿冒合法報文的數(shù)據(jù)流侵蝕著網(wǎng)絡(luò)（例如P2P下載軟件大多采用動態(tài)協(xié)商端口機制），此時采用L2～L4層的傳統(tǒng)檢測方法就無能為力了。

為了識別諸如基于開放端口、隨機端口甚至采用加密方式等進行傳輸?shù)膽?yīng)用類型，深度分組檢測技術(shù)應(yīng)運而生。當(dāng)IP數(shù)據(jù)分組、TCP或UDP數(shù)據(jù)流經(jīng)過基于深度分組檢測技術(shù)的流量管理系統(tǒng)時，該系統(tǒng)通過深入讀取IP分組荷載的內(nèi)容來對OSI 7層協(xié)議中的應(yīng)用層信息進行重組，對數(shù)據(jù)流的類型、狀態(tài)和內(nèi)容等進行識別。深度分組檢測技術(shù)可以分為端口號檢測和報文特征檢測兩種數(shù)據(jù)分組檢測技術(shù)。

（1）基于“端口號檢測”的數(shù)據(jù)分組檢測技術(shù)

端口號檢測是根據(jù)TCP/UDP的端口來識別應(yīng)用，檢測效率高。隨著IP網(wǎng)絡(luò)技術(shù)的發(fā)展，端口號檢測技術(shù)適用的范圍越來越小，但仍有很多傳統(tǒng)網(wǎng)絡(luò)應(yīng)用協(xié)議使用固定的知名端口進行通信。因此對于這一部分的網(wǎng)絡(luò)內(nèi)容流量，可以采用端口號檢測技術(shù)進行識別。

（2）基于“報文特征”的數(shù)據(jù)分組檢測技術(shù)

當(dāng)前，許多傳統(tǒng)的和新興的業(yè)務(wù)應(yīng)用，如P2P下載、視頻等應(yīng)用，都采用了端口號隱藏技術(shù)，如果單純依賴端口號檢測技術(shù)，將無法精確地對這些業(yè)務(wù)應(yīng)用進行識別，因此，有必要采用報文特征檢測技術(shù)[2]。

報文特征檢測技術(shù)，大致可以分為兩種。一種是已知應(yīng)用的識別，例如FTP、HTTP、DNS等，這些業(yè)務(wù)應(yīng)用具有標準的協(xié)議，并規(guī)定了特有的消息和命令字以及狀態(tài)遷移機制，通過對這些專有字段和狀態(tài)的檢測分析，可以精確、可靠地識別出這些業(yè)務(wù)應(yīng)用。另一種是未公開應(yīng)用的識別，例如當(dāng)前多數(shù)的P2P協(xié)議，這些業(yè)務(wù)應(yīng)用通常采用私有的消息和命令字，無法得知其協(xié)議細節(jié)。對這些業(yè)務(wù)應(yīng)用的識別需要通過逆向工程分析協(xié)議機制，總結(jié)歸納出屬于該業(yè)務(wù)應(yīng)用的報文特征，并通過這些特征字段來識別這些業(yè)務(wù)的應(yīng)用內(nèi)容。

3 深度分組檢測技術(shù)在流量經(jīng)營中的應(yīng)用模式

隨著智能手機的普及，移動數(shù)據(jù)業(yè)務(wù)爆炸性增長，對電信運營商來說這是巨大的機會和挑戰(zhàn)。作為移動數(shù)據(jù)業(yè)務(wù)基礎(chǔ)的通信網(wǎng)絡(luò)是最重要的組成部分，如何洞察網(wǎng)絡(luò)數(shù)據(jù)流量，成為流量經(jīng)營的關(guān)鍵一步。

3.1 流量洞察

深度分組檢測技術(shù)對用戶使用流量的具體用途進行了深度分析，包括使用位置、內(nèi)容、業(yè)務(wù)、時段、用戶類型，從而獲取用戶的流量使用特征、內(nèi)容使用特征、業(yè)務(wù)使用特征以及時段使用特征等[3]。

目前電信運營商采用深度分組檢測技術(shù)，專注于OSI網(wǎng)絡(luò)模型的L7層，實現(xiàn)了對各種網(wǎng)絡(luò)應(yīng)用協(xié)議的精準識別。不僅能夠識別網(wǎng)絡(luò)游戲、VoIP、即時通信、P2P下載、網(wǎng)絡(luò)電視、股票軟件、辦公自動化等上百種傳統(tǒng)網(wǎng)絡(luò)應(yīng)用協(xié)議；還能及時識別并精確控制加密傳輸、動態(tài)協(xié)商端口、借用常規(guī)協(xié)議及端口的網(wǎng)絡(luò)應(yīng)用，如迅雷、BT、IM傳輸?shù)?。從而提供用戶網(wǎng)絡(luò)流量的透明感知能力，并能夠從多種維度進行流量信息的清晰展現(xiàn)。深度分組檢測采集分析示意如圖1所示。

圖1 深度分組檢測采集分析

3.2 用戶行為

深度分組檢測技術(shù)采集的用戶上網(wǎng)數(shù)據(jù)，包含著準確的應(yīng)用識別與豐富的用戶行為數(shù)據(jù)，通過這些數(shù)據(jù)可以洞悉用戶的消費行為與偏好，挖掘巨大的商機，給市場營銷帶來新思維。

基于深度分組檢測技術(shù)輸出的移動互聯(lián)網(wǎng)數(shù)據(jù)，是對URL（uniform resource locator，統(tǒng)一資源定位符）內(nèi)容采用分類打標簽等方式明確用戶的訪問興趣，通過社交圈分析方法獲取不同的社交群體，從而對社交群體的興趣進行分類。其后通過流量推薦引擎，根據(jù)設(shè)置好的推薦規(guī)則向用戶進行資費、業(yè)務(wù)、內(nèi)容的推薦，包括潛在用戶、疊加包、資費變更、使用提升及沉默激活的推薦等。交叉營銷和關(guān)聯(lián)營銷示意如圖2所示。

精準廣告推薦是根據(jù)用戶內(nèi)容偏好、社會特性、人際交往、位置特征構(gòu)建用戶標簽，支撐廣告推送時的目標受眾獲取。用戶全面畫像的針對性營銷示意如圖3所示。

圖2 交叉營銷和關(guān)聯(lián)營銷

圖3 用戶全面畫像的針對性營銷

3.3 智能策略

隨著網(wǎng)絡(luò)流量的不斷增長以及網(wǎng)絡(luò)應(yīng)用的日趨紛繁復(fù)雜不難看到，簡單、無限制地增加網(wǎng)絡(luò)帶寬是不能解決網(wǎng)絡(luò)流量的根本問題的。需要對網(wǎng)絡(luò)流量進行管理，從而保證網(wǎng)絡(luò)的健康和網(wǎng)絡(luò)應(yīng)用的正常服務(wù)。

深入的網(wǎng)絡(luò)流量分析是根據(jù)優(yōu)先級別分配帶寬資源。分配的依據(jù)可以是主機、應(yīng)用等，特別需要考慮的是將消耗資源的P2P程序或者音視頻下載等進行滯后考慮。具體操作時可以使用主流的流量控制工具來實現(xiàn)，如進行分類監(jiān)視和控制網(wǎng)絡(luò)流量，這樣，就可以對網(wǎng)絡(luò)流量進行有效管理，將原來無序的網(wǎng)絡(luò)流量變得有序。

在日常的網(wǎng)絡(luò)流量管理中，為了有效實現(xiàn)網(wǎng)絡(luò)管理，可以采取以下策略。

·帶寬控制策略測算：為市場人員進行帶寬控制設(shè)計提供信息支撐，同時對設(shè)計好的帶寬控制測量提供依據(jù)，用于預(yù)測該控制測量帶來的影響。

·動態(tài)FUP（fair usage policy，公平使用原則）：對于相同業(yè)務(wù)的訂購用戶，針對用戶群體的使用情況如平均流量、在線時長等進行使用分類，當(dāng)網(wǎng)絡(luò)資源受限時，優(yōu)先控制業(yè)務(wù)使用已經(jīng)達到一定水平的用戶，保障業(yè)務(wù)使用水平較低的用戶群體使用。

·用戶級應(yīng)用控制：對于占用網(wǎng)絡(luò)資源的應(yīng)用，例如QQ，當(dāng)網(wǎng)絡(luò)資源受限時，對于運營商價值較低的用戶，實行智能分配，將其使用的業(yè)務(wù)指定到PDCH（分組數(shù)據(jù)信道），保障高價值用戶使用體驗的同時，從而限制第三方應(yīng)用對網(wǎng)絡(luò)資源的占用。

4 深度分組檢測數(shù)據(jù)的應(yīng)用難點和解決方案

4.1 深度分組檢測未識別應(yīng)用

利用深度分組檢測技術(shù)可實現(xiàn)移動互聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用解析，對IP數(shù)據(jù)分組的內(nèi)容進行分析，綜合特征字的查找和行為模式識別技術(shù)，得到業(yè)務(wù)應(yīng)用類型。統(tǒng)計用戶的使用情況和業(yè)務(wù)流量分布，從而實現(xiàn)業(yè)務(wù)和流量監(jiān)控，為網(wǎng)絡(luò)和業(yè)務(wù)優(yōu)化提供依據(jù)。如發(fā)掘?qū)τ脩粲形Φ臉I(yè)務(wù)、驗證業(yè)務(wù)提供水平是否達到了用戶的服務(wù)等級協(xié)議、統(tǒng)計有多少用戶正在使用某種游戲業(yè)務(wù)、哪幾種業(yè)務(wù)最消耗網(wǎng)絡(luò)的帶寬等。以下針對當(dāng)前運營商未識別應(yīng)用流量做進一步分析。

目前深度分組檢測技術(shù)已能解析上百種應(yīng)用，但仍存在大量未識別主流應(yīng)用（如天翼空間已達十萬款應(yīng)用）。從協(xié)議、業(yè)務(wù)兩個層面對未識別應(yīng)用進行細分，存在以下3種情況。

·協(xié)議已知，應(yīng)用未識別：已知某個應(yīng)用是基于HTTP，但DPI未能識別該款應(yīng)用，如招行客戶端（HTTP）。

·協(xié)議未知，應(yīng)用可識別：已知某個應(yīng)用是有較多用戶使用，而目前的DPI未能識別，如網(wǎng)絡(luò)游戲。

·協(xié)議未知，應(yīng)用未識別：已知某個應(yīng)用是有較多用戶使用，但未知其應(yīng)用協(xié)議，目前的DPI未能識別，這種屬于未識別流量。

為了對網(wǎng)絡(luò)流量進行精細的檢查、監(jiān)控和分析，對于上述前兩種未識別應(yīng)用流量，可考慮采用如表1所示的解決辦法，第3種暫時無有效解決方法。

表1 解決辦法及優(yōu)缺點

4.2 深度分組檢測數(shù)據(jù)流量與計費流量比對

基于深度分組檢測輸出的移動互聯(lián)網(wǎng)數(shù)據(jù)，可支撐流量明白消費。根據(jù)計費流量和業(yè)務(wù)使用明細流量進行稽核，保證流量的合理性，以支撐客服人員應(yīng)對客戶在流量使用方面投訴，從而進一步提升客戶服務(wù)質(zhì)量。以下從理論基礎(chǔ)、數(shù)據(jù)驗證手段進行探討。

4.2.1 從DPI設(shè)備與計費系統(tǒng)的流量數(shù)據(jù)源角度，理論上探討兩者的可比性

DPI設(shè)備與計費系統(tǒng)流量數(shù)據(jù)源如圖4所示。

圖4 DPI設(shè)備與計費系統(tǒng)流量數(shù)據(jù)源

（1）DPI設(shè)備采集流量數(shù)據(jù)源

·采集AAA、AN-AAA側(cè)、Pi鏈路的流量；

·包含用戶認證登錄記錄和訪問互聯(lián)網(wǎng)詳細清單記錄。

（2）計費系統(tǒng)流量數(shù)據(jù)源

·記錄AAA側(cè)互聯(lián)網(wǎng)流量；

·記錄用戶在一段時間內(nèi)的上網(wǎng)流量，不包含用戶的詳細互聯(lián)網(wǎng)行為。

（3）理論上探討兩者的可比性

·流量可比：數(shù)據(jù)來源出處相同，都來自PDSN。

·時長不可比：用戶一次認證進行多種上網(wǎng)行為會產(chǎn)生多條記錄，同時，存在應(yīng)用交叉。

4.2.2 DPI數(shù)據(jù)與計費數(shù)據(jù)比對過程

從某省抽取了12個移動用戶，對比12月12號10:00發(fā)生的流量情況，累加各協(xié)議流量與計費流量清單對比，情況如圖5所示。

經(jīng)過對抽樣數(shù)據(jù)比較與分析得出抽樣比對結(jié)果（據(jù)某省抽查）：流量吻合較好、時長差異較大。

圖5 DPI數(shù)據(jù)與計費數(shù)據(jù)比對

圖6 數(shù)據(jù)稽核流程

4.2.3 差異原因

（1）時長差異原因

時長差異很大：用戶一次認證進行多種上網(wǎng)行為會產(chǎn)生多條記錄，同時，存在應(yīng)用交叉。

（2）流量差異原因

·來源不一致：計費數(shù)據(jù)源來自AAA服務(wù)器，DPI來自分光流量；AAA服務(wù)器基于網(wǎng)絡(luò)接入，DPI基于使用內(nèi)容，兩者存在一定差異。

·部分免費流量在計費后續(xù)處理可能被剔除。

·深度分組檢測設(shè)備在數(shù)據(jù)解析過程中對于未知應(yīng)用的數(shù)據(jù)可能未輸出。

由此可見，基于深度分組檢測基礎(chǔ)上的數(shù)據(jù)流量與計費流量比對具有一定參考性，可用于客服處理流量投訴爭議。從長遠來看，深度分組檢測難以全量捕獲、解析所有協(xié)議。基于深度分組檢測的分析系統(tǒng)重點是進行客戶的特征刻畫及整體趨勢分析，計費系統(tǒng)用于準確計量用戶的上網(wǎng)費用，二者用途不同。

4.3 深度分組檢測數(shù)據(jù)稽核

數(shù)據(jù)準確性問題是數(shù)據(jù)應(yīng)用中的重要問題之一?；谏疃确纸M檢測輸出的移動互聯(lián)網(wǎng)數(shù)據(jù)，數(shù)據(jù)量大，采集實時性要求較高，通常采用系統(tǒng)自動采集的方式。作為流量經(jīng)營分析的數(shù)據(jù)基礎(chǔ)，應(yīng)加強數(shù)據(jù)稽核和系統(tǒng)驗證，確保自動采集數(shù)據(jù)的及時和準確，以提高數(shù)據(jù)質(zhì)量，提升數(shù)據(jù)應(yīng)用水平。以下從最容易出錯的采集環(huán)節(jié)探討這部分數(shù)據(jù)稽核的基本方法。數(shù)據(jù)稽核流程如圖6所示。

（1）完整性稽核

為保證采集的數(shù)據(jù)文件的完整性，接口需具備日志稽核文件。建議按稽核頻率生成稽核文件。稽核文件內(nèi)以行區(qū)分不同記錄，即一行代表一條記錄；各字段之間以“，”分隔各列，代表不同的域；以文件名和文件記錄數(shù)組成一行。

稽核文件必須嚴格按照以下規(guī)則命名，包括：文件類型.chk；采取無首行的文件類型，包括文件名稱、記錄數(shù)。文件名稱以生成時間，精確到分鐘為文件名稱，如01_20091201230100_00000.chk。

完整性稽核文件結(jié)構(gòu)如圖7所示。

圖7 完整性稽核文件結(jié)構(gòu)

（2）合規(guī)性稽核

對每一個字段的有效性進行驗證，并返回當(dāng)次非法記錄條數(shù)與清單文件?；朔椒ㄈ缦?。

01字符型：如IMSI字段稽核，是15 bit長度的數(shù)據(jù)，其他長度都是非法數(shù)據(jù)。

02數(shù)字型：如時長、流量。

03日期型：如Start Time字段稽 核，時間格式 為yyyymmddhhmmss（24 h制）非空。

04定值型：如用戶所接入的CDMA網(wǎng)絡(luò)類型，33為cdma2000 1x，59為cdma2000 1x Ev-Do，32876為Wi-Fi，空值。除了這4個值，其他都是非法數(shù)值。

文件命名格式：內(nèi)容序號_設(shè)備標識號_文件生成時間_序號.err（無錯誤可不生成合規(guī)性稽核）。

文件內(nèi)容：異常字段序號，原始記錄。

合規(guī)性稽核文件結(jié)構(gòu)如圖8所示。

圖8 合規(guī)性稽核文件結(jié)構(gòu)

5 結(jié)束語

大數(shù)據(jù)時代對流量分析的實時性和精確性提出了更高要求。本文在分析目前電信運營商流量經(jīng)營策略基礎(chǔ)上，提出以深度分組檢測數(shù)據(jù)為基礎(chǔ)的流量洞察、用戶行為分析、智能策略等多種應(yīng)用模式，并進一步分析了深度分組檢測數(shù)據(jù)應(yīng)用難點，提出了切實可行的解決方案。

本文所提出的基于深度分組檢測數(shù)據(jù)為基礎(chǔ)的流量經(jīng)營應(yīng)用模式，在某省電信運營商中得到了實踐，針對流量使用情況提醒、熱點新聞推薦、3G應(yīng)用輔導(dǎo)、基地業(yè)務(wù)推薦、終端推薦、商圈位置營銷等，進行了精準化的營銷，其營銷成功率得到顯著提升，提升率可達10%以上。

通過對深度分組檢測數(shù)據(jù)的深入使用，將進一步提高大數(shù)據(jù)分析和決策的高效和精準。

1 劉克飛.基于流量經(jīng)營的電信運營商智能管道構(gòu)建研究.電信科學(xué)，2012(8)

2 張晟，孫偉.3G系統(tǒng)中基于業(yè)務(wù)特性深度識別的應(yīng)用.電信工程技術(shù)與標準化，2010(9)

3 喬治.基于DPI的內(nèi)容緩存技術(shù)及應(yīng)用.信息通信技術(shù)，2011(3)