趙金偉

（中國移動通信集團(tuán)設(shè)計院有限公司北京分公司，北京 100038）

1 引言

DPI（Deep Packet Inspection，深度分組檢測）是一種基于應(yīng)用層的流量檢測和控制技術(shù)，當(dāng)IP數(shù)據(jù)分組、TCP或UDP數(shù)據(jù)流通過基于DPI技術(shù)的帶寬管理系統(tǒng)時，該系統(tǒng)通過深入讀取IP分組載荷的內(nèi)容來對OSI七層協(xié)議中的應(yīng)用層信息進(jìn)行重組，從而得到整個應(yīng)用程序的內(nèi)容，然后按照系統(tǒng)定義的管理策略對流量進(jìn)行整形操作。所謂“深度”是和普通的報文分析層次相比較而言的，“普通報文檢測”僅分析IP分組4 層以下的內(nèi)容，包括源地址、目的地址、源端口、目的端口以及協(xié)議類型，而DPI 除了對前面的層次分析外，還增加了應(yīng)用層分析，識別各種應(yīng)用及其內(nèi)容。

2 DPI關(guān)鍵技術(shù)

2.1 DPI技術(shù)的分類

DPI將網(wǎng)絡(luò)上的數(shù)據(jù)報文根據(jù)五元組分為一個個的應(yīng)用流，并通過識別技術(shù)對應(yīng)用流中的特定數(shù)據(jù)報文進(jìn)行探測，從而確定應(yīng)用流對應(yīng)的應(yīng)用或者用戶的動作。針對不同的協(xié)議類型，識別技術(shù)可劃分為以下3類。

2.1.1 基于“特征字”的識別技術(shù)

不同的協(xié)議都有其特殊的指紋，這些指紋可能是特定的端口、特定的字符串或者特定的Bit 序列。

根據(jù)“特征字”的位置可以被分為：固定位置特征字匹配、變動位置的特征匹配，而根據(jù)匹配的方式可分為：特征字符串模式和正則表達(dá)模式。

2.1.2 應(yīng)用層網(wǎng)關(guān)識別技術(shù)

有些業(yè)務(wù)的控制流和業(yè)務(wù)流是分離的，業(yè)務(wù)流沒有任何特征。這時就需要采用應(yīng)用層網(wǎng)關(guān)識別技術(shù)。

對于應(yīng)用層網(wǎng)關(guān)需要先識別出控制流，并根據(jù)控制流的協(xié)議通過特定的應(yīng)用層網(wǎng)關(guān)對其進(jìn)行解析，從協(xié)議內(nèi)容中識別出相應(yīng)的業(yè)務(wù)流。

然而對于每一個協(xié)議，需要有不同的應(yīng)用層網(wǎng)關(guān)對其進(jìn)行分析。

2.1.3 行為模式識別技術(shù)

基于對終端已經(jīng)實施的行為的分析，判斷出用戶正在進(jìn)行的動作或者即將實施的動作。行為模式識別技術(shù)通常用于無法根據(jù)協(xié)議判斷的業(yè)務(wù)的識別。

3種識別技術(shù)分別用于不同類型協(xié)議的識別，無法相互替代，綜合運用了這3種技術(shù)，提高檢測效率和靈活性。

2.2 深度分組檢測技術(shù)功能

2.2.1 業(yè)務(wù)識別

業(yè)務(wù)識別有兩種方法，一種是對運營商開通的合法業(yè)務(wù)，另一種是運營商需要進(jìn)行監(jiān)管的業(yè)務(wù)。

對運營商開通的合法業(yè)務(wù)可以通過業(yè)務(wù)流的五元組來標(biāo)識，如VOD業(yè)務(wù)，其業(yè)務(wù)流的地址是屬于VOD服務(wù)器網(wǎng)段的地址，其端口是一個固定的端口。系統(tǒng)一般采用ACL的方式，識別出該類業(yè)務(wù)。

運營商需要進(jìn)行監(jiān)管的業(yè)務(wù)需求DPI技術(shù)，通過前述的業(yè)務(wù)識別方法，通過對IP數(shù)據(jù)分組的內(nèi)容進(jìn)行分析，通過特征字的查找或者業(yè)務(wù)的行為統(tǒng)計，得到業(yè)務(wù)流的類型。

2.2.2 業(yè)務(wù)控制

通過DPI識別出各類業(yè)務(wù)流之后，根據(jù)網(wǎng)絡(luò)配置的組合條件，用戶、時間、帶寬、歷史流量等，對業(yè)務(wù)流進(jìn)行控制。控制方法包括：正常轉(zhuǎn)發(fā)、阻塞、限制帶寬、整形、重標(biāo)記優(yōu)先級等。

2.2.3 業(yè)務(wù)統(tǒng)計

DPI的業(yè)務(wù)統(tǒng)計功能是為了直觀的統(tǒng)計網(wǎng)絡(luò)的業(yè)務(wù)流量分布和用戶的各種業(yè)務(wù)使用情況，從而更好的發(fā)現(xiàn)促進(jìn)業(yè)務(wù)發(fā)展和影響網(wǎng)絡(luò)正常運營的因素，為網(wǎng)絡(luò)和業(yè)務(wù)優(yōu)化提供依據(jù)。

3 DPI技術(shù)在運營商運用的現(xiàn)狀及困境

3.1 DPI技術(shù)在運營商網(wǎng)絡(luò)現(xiàn)狀

在各運營商網(wǎng)絡(luò)系統(tǒng)中DPI分析數(shù)據(jù)分組7層內(nèi)容，是實現(xiàn)數(shù)據(jù)管道管理和流量經(jīng)營的基本要素，DPI的實現(xiàn)的功能包括業(yè)務(wù)識別、報文過濾、生成日志、業(yè)務(wù)統(tǒng)計和流量控制等，DPI可分為數(shù)據(jù)分析和流量管控兩類，流量管控類通常難以整合，但可以疊加部分?jǐn)?shù)據(jù)分析系統(tǒng)功能。

DPI廣泛應(yīng)用于多種業(yè)務(wù)和流量分析系統(tǒng)，完成流量識別和處理的第一步。進(jìn)而實現(xiàn)如圖1所示的功能。

3.2 DPI大量、快速部署困境

前期運營商為滿足業(yè)務(wù)需求及部委考核大量、快速部署DPI系統(tǒng)，為現(xiàn)網(wǎng)運營帶來三大問題，DPI部署詳見圖2所示。

3.2.1 位置和功能部署不統(tǒng)一

DPI系統(tǒng)煙囪式部署，存在多點建設(shè)，DPI位置重復(fù)、同位置建設(shè)多套DPI，功能重復(fù)的現(xiàn)象，導(dǎo)致兩個問題。

圖1 DPI實現(xiàn)的功能

圖2 DPI部署現(xiàn)狀

問題1： 運維難度加大，維護(hù)工作量大；占用機(jī)房；每個系統(tǒng)都要擴(kuò)容；光路衰減等；

問題2：投資浪費，僅覆蓋GE（雙向）鏈路光放/分光器及DPI設(shè)備達(dá)到6萬，覆蓋10 GE（雙向）光放/分光器及DPI設(shè)備可達(dá)到30萬，重復(fù)建設(shè)投資浪費相當(dāng)大。

3.2.2 業(yè)務(wù)識別不統(tǒng)一

流量識別缺乏準(zhǔn)確性和統(tǒng)一標(biāo)準(zhǔn)，無法對全網(wǎng)數(shù)據(jù)流量進(jìn)行全面、準(zhǔn)確的分析。

業(yè)務(wù)劃分不一致：各廠家分類不同、各部門分類不同（網(wǎng)絡(luò)、業(yè)支）；

識別能力不一致： 可識別子業(yè)務(wù)種類和數(shù)量不同、子業(yè)務(wù)識別的精細(xì)程度不同。

3.2.3 數(shù)據(jù)共享不統(tǒng)一

目前大部分分析及應(yīng)用系統(tǒng)只能直接從DPI系統(tǒng)提取數(shù)據(jù)，數(shù)據(jù)殘缺，呈現(xiàn)不完整?，F(xiàn)網(wǎng)未實現(xiàn)DPI數(shù)據(jù)的整合和統(tǒng)一共享： PS側(cè)一般直接從Gn監(jiān)測系統(tǒng)采集數(shù)據(jù)，無精確位置信息，數(shù)據(jù)分析不完整。

4 DPI整合思路

4.1 整合需求

全網(wǎng)DPI分為兩種類型：數(shù)據(jù)分析類、流量管控類，分別存在不同的整合需求。

數(shù)據(jù)分析類對信息的全面性要求高，位置一般可以變化，DPI可進(jìn)行橫向的位置整合和縱向的功能整合，針對識別不一致問題，需推進(jìn)標(biāo)識整合，分析類DPI還可進(jìn)一步統(tǒng)一數(shù)據(jù)共享。

流量管控類對流量的全覆蓋要求高，位置相對固定，DPI通常僅可進(jìn)行同位置的功能整合，存在業(yè)務(wù)分類和識別不一致問題，需推進(jìn)標(biāo)識整合。

4.2 整合整體思路

現(xiàn)階段煙囪式架構(gòu)各系統(tǒng)獨立建設(shè)DPI采集與識別、數(shù)據(jù)存儲、數(shù)據(jù)分析平臺，通過制定全局復(fù)用方案，技術(shù)推動實現(xiàn)各系統(tǒng)共用DPI采集與識別，各套系統(tǒng)獨立建設(shè)數(shù)據(jù)存儲、數(shù)據(jù)分析的第一階段，并通過多部門協(xié)作，數(shù)據(jù)開放，管理推動實現(xiàn)各系統(tǒng)共用DPI采集與識別，并對識別后的日志數(shù)據(jù)做統(tǒng)一存儲，各套系統(tǒng)獨立建設(shè)數(shù)據(jù)分析的第二階段。詳見圖3所示。

4.3 整合關(guān)鍵點及案例

4.3.1 位置整合

根據(jù)網(wǎng)絡(luò)不同位置的不同流量特性，全網(wǎng)共部署5個DPI關(guān)鍵點：PS側(cè)、IDC、省網(wǎng)出口、省網(wǎng)網(wǎng)間出口、骨干網(wǎng)出口，5個點的流量各有側(cè)重、缺一不可，5個關(guān)鍵點之外的位置原則上不允許建設(shè)DPI，從而對位置點進(jìn)行把控避免浪費機(jī)房信息及重復(fù)覆蓋。主要位置詳見圖4所示。

現(xiàn)階段運營商對這五個DPI關(guān)鍵點進(jìn)行分析相關(guān)系統(tǒng)整合如下。

圖3 統(tǒng)一DPI整合思路

圖4 統(tǒng)一DPI位置整合點

PS側(cè)：靠近用戶，包含用戶手機(jī)號、用戶位置、移動性管理信令，分析重點可做用戶粒度的業(yè)務(wù)分析與監(jiān)控。相關(guān)系統(tǒng)有數(shù)據(jù)業(yè)務(wù)分析、信令監(jiān)測及投訴和手機(jī)防病毒等系統(tǒng)。

IDC：靠近內(nèi)容，包含已引入內(nèi)容的全部流量，分析重點可做引入內(nèi)容流量流向分析；可監(jiān)控不出網(wǎng)流量。相關(guān)系統(tǒng)有綜合網(wǎng)關(guān)、不良信息監(jiān)測和GN流量控制。

省網(wǎng)出口：省粒度的流量管理，包含出省流量，分析重點可做出省流量分析；可做流量緩存，使流量盡量本省化。相關(guān)系統(tǒng)有WLAN日志流控、信息安全管理和異常流量清洗等系統(tǒng)。

省網(wǎng)網(wǎng)間出口：覆蓋出網(wǎng)流量，包含出網(wǎng)流量，分析重點可做出網(wǎng)流量監(jiān)控。相關(guān)系統(tǒng)有不良信息檢測、省網(wǎng)網(wǎng)間流控和非法VoIP等系統(tǒng)。

骨干網(wǎng)間出口：覆蓋出網(wǎng)流量，包含出網(wǎng)流量，分析重點可做出網(wǎng)流量監(jiān)控分析；可做流量緩存，使流量盡量本網(wǎng)化。相關(guān)系統(tǒng)有域名管控、僵木蠕系統(tǒng)和非法VOIP等系統(tǒng)。

4.3.2 功能整合

通過多個系統(tǒng)間的DPI復(fù)用，實現(xiàn)網(wǎng)絡(luò)同一位置的多套DPI合并為一個。DPI復(fù)用方式指DPI如何給應(yīng)用系統(tǒng)提供所需數(shù)據(jù)，按照系統(tǒng)所需數(shù)據(jù)內(nèi)容和格式的不同，通過4種方式實現(xiàn)DPI復(fù)用（分光、原始報文、會話級、統(tǒng)計級），如表1所示。

現(xiàn)階段多數(shù)設(shè)備提供商針對運營商的技術(shù)規(guī)范對設(shè)備產(chǎn)品進(jìn)行升級，根據(jù)統(tǒng)計，現(xiàn)網(wǎng)一套DPI最多支撐了9套應(yīng)用系統(tǒng)，實現(xiàn)功能整合。

4.3.3 標(biāo)識整合

不同部門的需求和目的不一，導(dǎo)致不同應(yīng)用系統(tǒng)對業(yè)務(wù)的標(biāo)識角度和分類不一致。業(yè)務(wù)支撐角度分類：從內(nèi)容的角度分類，給用戶打上標(biāo)簽用于經(jīng)營分析。網(wǎng)絡(luò)角度分類：從應(yīng)用的角度分類，為網(wǎng)絡(luò)運維和調(diào)整提供參考。

業(yè)務(wù)大類劃分與不同系統(tǒng)的需求緊密相關(guān)，難以統(tǒng)一，但最細(xì)粒度的業(yè)務(wù)可保持一致，DPI系統(tǒng)直接標(biāo)識最細(xì)粒度業(yè)務(wù)，并采用標(biāo)準(zhǔn)格式，對上層應(yīng)用提供統(tǒng)一數(shù)據(jù)服務(wù)，各上層應(yīng)用系統(tǒng)根據(jù)自身需求可靈活制定更高級別的分類方案。

運營商現(xiàn)在運行的DPI識別算法是廠家核心技術(shù)，互相不公開，無法通過規(guī)范識別算法統(tǒng)一業(yè)務(wù)識別結(jié)果，現(xiàn)通過統(tǒng)一集中招標(biāo)和集采的方式按照DPI集團(tuán)規(guī)范推動廠家整改實現(xiàn)統(tǒng)一。

4.3.4 數(shù)據(jù)共享

通過以IMSI、手機(jī)號碼為索引，建立數(shù)據(jù)關(guān)聯(lián)，為上層應(yīng)用提供全信息呈現(xiàn)。

表1 DPI復(fù)用四種方式

DPI數(shù)據(jù)的統(tǒng)一存儲與呈現(xiàn)，大數(shù)據(jù)應(yīng)用系統(tǒng)直接從共享平臺提取所需數(shù)據(jù)，進(jìn)行分析實現(xiàn)業(yè)務(wù)增值及安全監(jiān)控。

共享平臺把統(tǒng)一存儲、清洗、關(guān)聯(lián)后的DPI數(shù)據(jù)、上網(wǎng)日志等數(shù)據(jù)，通過數(shù)據(jù)共享接口提供給綜合分析系統(tǒng)，減少綜分對DPI數(shù)據(jù)采集和維護(hù)成本逐步實現(xiàn)數(shù)據(jù)共享平臺，支撐大數(shù)據(jù)應(yīng)用。

運營商利用大數(shù)據(jù)技術(shù)集中保存DPI數(shù)據(jù)，對數(shù)據(jù)進(jìn)行清洗和融合關(guān)聯(lián)，建立融合后數(shù)據(jù)庫，并針對應(yīng)用層大數(shù)據(jù)分析的不同需求，定制字段，輸出數(shù)據(jù)，為進(jìn)一步的“大數(shù)據(jù)”分析提供統(tǒng)一呈現(xiàn)，從而實現(xiàn)數(shù)據(jù)共享。

5 結(jié)論及未來工作

隨著移動互聯(lián)網(wǎng)業(yè)務(wù)的高速發(fā)展以及社會各階層對信息安全認(rèn)識的逐步提高， DPI整合后，實現(xiàn)了網(wǎng)絡(luò)全面覆蓋，為運營商分析流量經(jīng)營，網(wǎng)絡(luò)質(zhì)量提升、信息安全、用戶服務(wù)支撐等運營工作提供了數(shù)據(jù)深度挖掘和分析的基礎(chǔ)。

相信統(tǒng)一DPI平臺的搭建將全方位分層次地對用戶的業(yè)務(wù)和流量進(jìn)行深入多維度的分析研究，未來將基于研究成果創(chuàng)造出更多更有價值更安全的新業(yè)務(wù)功能，從而為用戶提供可靠優(yōu)質(zhì)的服務(wù)。

參考文獻(xiàn)

[1] 吳玉, 朱洪亮. 局域網(wǎng)流量識別與控制系統(tǒng)的研究與改進(jìn)[J].北京電子科技學(xué)院學(xué)報，2014(17):32-36.

[2] 郭天翔. 面向流量經(jīng)營的互聯(lián)網(wǎng)智能鏈路規(guī)劃與設(shè)計[D]. 浙江工業(yè)大學(xué), 2015(S1):55-56.

[3] 崔燕, 汪斌強(qiáng), 陳庶樵, 張震. 基于行為特征加權(quán)的P2P流識別方法的研究[J]. 計算機(jī)工程與設(shè)計, 2009(1):23-24.