李 雷，張 治 中，2，席 兵，2

（1.重慶郵電大學通信網(wǎng)與測試技術(shù)重點實驗室，重慶 400065；2.重慶重郵匯測通信技術(shù)有限公司，重慶 401121）

LTE-Advanced 網(wǎng)絡 Uu 接口多協(xié)議關(guān)聯(lián)方案的研究與實現(xiàn)

李 雷1，張 治 中1，2，席 兵1，2

（1.重慶郵電大學通信網(wǎng)與測試技術(shù)重點實驗室，重慶 400065；2.重慶重郵匯測通信技術(shù)有限公司，重慶 401121）

針對 LTE-Advanced 網(wǎng)絡移動數(shù)據(jù)業(yè)務爆炸性增長、多協(xié)議關(guān)聯(lián)分析處理效率低下等問題，在傳統(tǒng)信令監(jiān)測系統(tǒng)的基礎上，提出了一種采用大數(shù)據(jù)技術(shù) （存儲、 處理和分析）和多協(xié)議關(guān)聯(lián)分析技術(shù)的LTE-Advanced 網(wǎng)絡 Uu 接口多協(xié)議關(guān)聯(lián)分析系統(tǒng)。 首先，對 Uu 接口的 L1、L2、L3 數(shù)據(jù)業(yè)務流程進行高效處理和精準分析，然后進一步關(guān)聯(lián)分析用戶數(shù)據(jù)信令流程和用戶業(yè)務數(shù)據(jù)流程。最后，將所提系統(tǒng)應用于LTE-Advanced 網(wǎng)絡 Uu 接口數(shù)據(jù)的現(xiàn)網(wǎng)測試中。 測試結(jié)果表明：設計的多協(xié)議關(guān)聯(lián)分析系統(tǒng)達到了預期的效果，對提升用戶體驗、高效進行大數(shù)據(jù)分析以及精準營銷領(lǐng)域具有推廣意義。

LTE-Advanced 網(wǎng)絡；Uu 接口；大數(shù)據(jù)技術(shù)；多協(xié)議關(guān)聯(lián)分析

1 引言

近幾年移動用戶數(shù)量和多媒體業(yè)務需求劇增，LTE-Advanced（以 下 簡 稱 LTE-A）網(wǎng) 絡 中 數(shù) 據(jù) 共 享 和 多 用戶接入技術(shù)的運用加大了網(wǎng)絡的復雜度，并且各大運營商紛紛加快 LTE-A 建設力度，使互聯(lián)網(wǎng)發(fā)展達到了前所未有的 高 度［1］。加 之 國 家 將 “互 聯(lián) 網(wǎng)+”納 入 發(fā) 展 戰(zhàn) 略 ，云 計 算 處理、大數(shù)據(jù)平臺等新技術(shù)持續(xù)深入，使得網(wǎng)絡問題更加復雜多變，推進了電信領(lǐng)域和 IT 行業(yè)的變革。

全球范圍內(nèi) LTE-A 技術(shù)大規(guī)模的推廣和商用，給用戶帶來了豐富的多媒體業(yè)務和數(shù)據(jù)業(yè)務體驗，LTE-A 網(wǎng)絡的強勁發(fā)展使網(wǎng)絡流量結(jié)構(gòu)和業(yè)務使用結(jié)構(gòu)發(fā)生了根本性變化，運營商需要建立新型的網(wǎng)絡監(jiān)測分析儀來滿足用戶需 求 、解 決 網(wǎng) 絡 安 全 和 優(yōu) 化 難 題［2］。同 時 ，電 信 行 業(yè) 跨 網(wǎng) 傳輸?shù)臄?shù)據(jù)量已經(jīng)達到了 PB 級 ，使 Oracle、SQL 等傳統(tǒng) 數(shù) 據(jù)挖掘工具難以應對和高效處理，移動運營商面臨提升數(shù)據(jù)存儲容量、采集數(shù)據(jù)類型多樣化、處理速度等方面的挑戰(zhàn)，必須探索新一代數(shù)據(jù)處理技術(shù)。目前，很多學者將大數(shù)據(jù)處 理 技 術(shù) 應 用 到 電 信 行 業(yè) 中［3，4］。參 考 文 獻［5］設 計 了 移 動 用戶行為分析系統(tǒng)，利用 Hadoop 架構(gòu)對采集數(shù)據(jù)進行深度挖掘處理，并探索了大數(shù)據(jù)處理技術(shù)在用戶行為分析中的具體應用；參考文獻［6］分析了大數(shù)據(jù)處理技術(shù)應 用到電信行業(yè)的潛力，研究了大數(shù)據(jù)分析在電信業(yè)務中應用的眾多案例，包括不同網(wǎng)絡特性的改善、市場營銷、安全、提高客戶關(guān)懷服務、智能化服務以及業(yè)務模式創(chuàng)新等；參考文獻 ［7］提出了一種基于 Hadoop 的大數(shù)據(jù)實時查詢平臺，并與傳統(tǒng)數(shù)據(jù)處理方案進行了對比分析，體現(xiàn)了大數(shù)據(jù)處理技術(shù)在信令采集和數(shù)據(jù)存儲應用方面的絕對優(yōu)勢；參 考 文 獻 ［8］給 出 了 OSS（operation support system，業(yè) 務 支撐系統(tǒng)）域數(shù)據(jù)處理方案，研究了數(shù)據(jù)來源和數(shù)據(jù)特點，統(tǒng)計出 97%的數(shù)據(jù)量來自于信令檢測系統(tǒng)，將 Hadoop 平臺應用到了 ETL 數(shù)據(jù)處理中。以上研究均體現(xiàn)了大數(shù)據(jù)處理技術(shù)在電信行業(yè)中具有廣泛的應用，但設計的系統(tǒng)大都是數(shù)據(jù)采集之后的上層應用，實際網(wǎng)絡中的數(shù)據(jù)量已經(jīng)非常龐大，底層采集數(shù)據(jù)的信令監(jiān)測系統(tǒng)也需要引入大數(shù)據(jù)處理技術(shù)。

在利用監(jiān)測分析儀進行信令采集的研究中，學者們常應用協(xié)議關(guān)聯(lián)分析技術(shù)，探索協(xié)議之間的相關(guān)性，從而挖掘出不同用戶之間的某種聯(lián)系。國外學者利用關(guān)聯(lián)分析技術(shù)挖掘數(shù)據(jù)價值，已取得了一定研究成果，并通過數(shù)據(jù)分析 工 具 （例 如 R、Octave 和 Hive）解 決 大 數(shù) 據(jù) 分 析 難 題［9］。參考文 獻［10］探討了 關(guān) 聯(lián)分析技 術(shù)在 數(shù) 據(jù) 統(tǒng)計 方 面 的 應用 ，將關(guān)聯(lián)分析技術(shù)數(shù)學公式化，結(jié)合機器學習算法為數(shù)據(jù)預測和推斷提供了良好借鑒。參考文獻［11］建立了一個實時服 務 的 CDR （call detail record，呼 叫 詳 細 記 錄 ）分 析 平 臺 ，利用 關(guān) 聯(lián) 分析技術(shù) 實 時分析 key／value 存儲 數(shù) 據(jù)流 ，介 紹了 兩 種 實 現(xiàn) CDR 關(guān) 聯(lián) 分 析 方 案 ，即 流 式 計 算 和 IMDG（in-memory data grid，內(nèi) 存 數(shù) 據(jù) 網(wǎng) 格 ）方 案 。多 協(xié) 議 關(guān) 聯(lián) 技術(shù)從關(guān)聯(lián)分析技術(shù)進化而來，在電信行業(yè)領(lǐng)域，主要用于信令監(jiān)測系統(tǒng)對 CDR 進行統(tǒng)計分析。特別是當涉及多種網(wǎng)絡接口、多種協(xié)議類型提取用戶 CDR 時，一個用戶的上網(wǎng)記錄和呼叫記錄與多個接口協(xié)議相關(guān)，單獨的一個協(xié)議分析并不能形成完整的用戶呼叫流程。只有利用多協(xié)議關(guān)聯(lián)技術(shù)，將多個協(xié)議信令串聯(lián)合并到一個呼叫記錄中，才能體現(xiàn)監(jiān)測系統(tǒng)的實際意義。參考文獻［12］研究了LMSD 中 zz接口與 A1 接口的多協(xié)議關(guān)聯(lián)監(jiān)聽方案，利用 GeoProbe 平臺實現(xiàn)了多個相關(guān)呼叫以一個呼叫記錄的完整顯示。但是該方案并不適合復雜的 LTE-A 網(wǎng)絡，空口資源信息在網(wǎng)絡側(cè)不可見，導致傳統(tǒng)的信令監(jiān)測系統(tǒng)在信息量和信息粒度方面均存在一定的限制。基于以上基礎，將大數(shù)據(jù)處理技術(shù)與多協(xié)議關(guān)聯(lián)技術(shù)結(jié)合，提出了一種新型 LTE-A 空口監(jiān)測分析儀，明顯改進了系統(tǒng)性能，同時能有效解決大數(shù)據(jù)量存儲、實時分析的難題。該系統(tǒng)通過海量數(shù)據(jù)的關(guān)聯(lián)挖掘分析，不僅可以優(yōu)化網(wǎng)絡質(zhì)量和安全問題，也可以提高用戶體驗、精準化管理和經(jīng)營業(yè)務。因此，基于大數(shù)據(jù)和多協(xié) 議 關(guān) 聯(lián) 分 析 （multi-protocol correlation analysis，MPCA）技術(shù)建立一種新型的 LTE-A 空口監(jiān)測分析儀，對用戶、內(nèi)容提 供 商 以 及 運 營 商 三 者 都 具 有 非 常 重 要 的 意 義［13，14］。

重點研究了 LTE-A 網(wǎng)絡 Uu 接口網(wǎng)絡用戶的信令面與業(yè)務面數(shù)據(jù)流關(guān)聯(lián)分析和大數(shù)據(jù)量的效率優(yōu)化，在傳統(tǒng)的信令監(jiān)測系統(tǒng)基礎上，實現(xiàn)了一套基于大數(shù)據(jù)的多協(xié)議關(guān)聯(lián)分析監(jiān)測系統(tǒng)，并詳細介紹了大數(shù)據(jù)技術(shù)（存儲、處理和分析）和多協(xié)議關(guān)聯(lián)分析關(guān)鍵技術(shù)，最后通過系統(tǒng)采集的 LTE-A 網(wǎng)絡 Uu 接口現(xiàn)網(wǎng)數(shù)據(jù)，對所設計的多協(xié)議關(guān)聯(lián)系統(tǒng)方案進行了測試結(jié)果分析。分析結(jié)果表明，該多協(xié)議關(guān)聯(lián)方案能夠有效地解析用戶的信令面數(shù)據(jù)和業(yè)務面數(shù)據(jù)，并實時進行關(guān)聯(lián)分析，形成出表。

2 LTE-A 網(wǎng)絡架構(gòu)

LTE-A 是 LTE （long term evolution）的 演 進 版 本 ，滿 足和超過 IMT-Advanced 的需求 ，同時還保持對 LTE 網(wǎng)絡 較好的后向兼容性。3GPP 定義了 LTE 網(wǎng)絡的系統(tǒng)架構(gòu)，它由演進 分 組核心網(wǎng) （evolved packet core，EPC）、演進 型 UMTS全球 地面 無 線 接 入網(wǎng) （evolved UMTS terrestrial radio access，E-UTRAN）和 用 戶 設 備 （user equipment，UE）3 部 分 組 成［15］。EPS 系統(tǒng)架構(gòu)如圖 1 所示。

LTE-A 系統(tǒng)的核心網(wǎng)只存在分組域，包括兩個網(wǎng)元：EPC 和 演進 型 eNode B（evolved node B，eNB）。EPC 負 責 核心 網(wǎng) 部 分 ， 主 要 由 移 動 管 理 實 體 （mobility management entity，MME）、服務網(wǎng)關(guān)（serving gateway，SGW）、分組 數(shù)據(jù)網(wǎng)關(guān)（PDN gateway，PGW）3 個 網(wǎng) 元 構(gòu) 成 。其 中 ，MME 負 責 信令處理部分，SGW 負責本地網(wǎng)絡用戶數(shù)據(jù)處理部分，PGW負責用戶數(shù)據(jù)分組與其他網(wǎng)絡的處理。eNB 負責接入網(wǎng)部分，也稱 E-UTRAN。Uu 接口是 LTE-A 網(wǎng)絡中連接 UE 和E-UTRAN 之間的接口，可分為控制平面和用戶平面［16］。通 過對 Uu接口進行協(xié)議解析、多協(xié)議關(guān)聯(lián)分析、信令統(tǒng)計分析，可以精確地獲取用戶信令信息和網(wǎng)絡運行狀況。因此，對 Uu接口進行分析對網(wǎng)絡的優(yōu)化和數(shù)據(jù)源的獲取具有重要意義。

Uu空口可以控制信令和用戶數(shù)據(jù)，根據(jù)處理數(shù)據(jù)類型的不同，可以將 Uu接口的協(xié)議棧分為控制平面協(xié)議棧和 用 戶 平 面 協(xié) 議 棧［17］。

（1）控制平面協(xié)議棧

控制平面協(xié)議棧主要完成控制信令相關(guān)過程，如無線連接的建立、無線資源的管理、業(yè)務的 QoS 保證、資源的釋放等功能?？刂破矫娴膮f(xié)議棧結(jié)構(gòu)如圖2所示。

（2）用戶平面協(xié)議棧

Uu 接 口 的 用 戶 面 協(xié) 議 棧 ，主 要 包 括 PDCP、RLC、MAC、PHY 層。用戶平面主要負責業(yè)務數(shù)據(jù)相關(guān)的過程，如數(shù)據(jù)的傳輸、數(shù)據(jù)的安全、傳輸信道的選擇等。用戶平面的協(xié)議棧如圖3所示。

圖1 EPS 系統(tǒng)架構(gòu)

圖2 Uu接口控制面協(xié)議棧

圖3 Uu接口用戶平面協(xié)議棧

3 多協(xié)議關(guān)聯(lián)分析系統(tǒng)設計

為了解決 LTE-A 網(wǎng)絡結(jié)構(gòu)扁平化導致傳統(tǒng)信令監(jiān)測方案無 法 在 網(wǎng) 絡 側(cè) 采 集 數(shù) 據(jù)的 問 題 以 及 典 型 的 Oracle 數(shù)據(jù)庫不能高效存儲和支撐大數(shù)據(jù)量的 CDR 數(shù)據(jù)的難題，通過對 Uu空口的監(jiān)測，提出了一種基于大數(shù)據(jù)技術(shù)的LTE-A 網(wǎng)絡 Uu 接口多協(xié)議關(guān)聯(lián)系統(tǒng)，用來支撐 海量的CDR 數(shù) 據(jù) 分 析 處 理 。 根 據(jù) 3GPP 及 行 業(yè) 測 試 規(guī) 范［18，19］的 要求，多協(xié)議關(guān)聯(lián)系統(tǒng)主要劃分為應用層、數(shù)據(jù)采集層、數(shù)據(jù)處理層等功能模塊。圖 4 是基于大數(shù)據(jù)技術(shù)的 LTE-A 網(wǎng)絡Uu 接 口 多 協(xié) 議 關(guān) 聯(lián) 系 統(tǒng) 框 架［20-23］。

圖4 基于大數(shù)據(jù)技術(shù)的 LTE-A 網(wǎng)絡 Uu 接口多協(xié)議關(guān)聯(lián)系統(tǒng)框架

3.1 數(shù)據(jù)采集層

數(shù)據(jù)采集層的主要任務是通過一個或者多個采集卡從LTE-A 網(wǎng)絡的 Uu 接口采集通信網(wǎng)絡用戶的原始信令面數(shù)據(jù)與業(yè)務面數(shù)據(jù)，采集過程中需要進行接口配置、接口實時監(jiān)測、接口適配，完成數(shù)據(jù)采集和監(jiān)測。采集卡的位置一般放置在人流量比較多、無線接入點比較集中的地方。

3.2 數(shù)據(jù)處理層

數(shù)據(jù)處理層的主要任務是把 LTE-A 網(wǎng)絡 Uu 接口采集到的信令面數(shù)據(jù)和業(yè)務面數(shù)據(jù)進行處理，包括協(xié)議解析、信令合成、協(xié)議關(guān)聯(lián)等。根據(jù)模塊化的設計思想，該層按照功能可分為數(shù)據(jù)預處理、解碼合成模塊和大數(shù)據(jù)處理平臺三大模塊。

（1）數(shù)據(jù)預處理

該模塊的主要功能是把采集卡采集到的二進制數(shù)據(jù)流進行預處理，轉(zhuǎn)化成具有邏輯意義的數(shù)據(jù)結(jié)構(gòu)信息。首先將原始數(shù)據(jù)流進行緩存，按照用戶要求剔除沒有價值或者不關(guān)心的數(shù)據(jù)信息。然后將剔除的數(shù)據(jù)進行重新組合，形成有價值的數(shù)據(jù)流，最后進行數(shù)據(jù)存儲。

（2）解碼合成模塊

解碼合成模塊采用解碼和合成技術(shù)實現(xiàn)對數(shù)據(jù)采集處理的數(shù)據(jù)進行解碼合成。在物理層和數(shù)據(jù)鏈路層完成解碼重組后，通過驅(qū)動回調(diào)方式將網(wǎng)絡層數(shù)據(jù)發(fā)送至解碼合成模塊。協(xié)議解碼按不同的功能需求分為兩種解碼方式：一種是詳細解碼，通過對消息逐條逐層次進行解碼，獲取消息比特的詳細信息；另一種是簡單解碼，通過提取消息特征字段信息并封裝到呼叫合成信息類中，再交給協(xié)議分析 器 進 行 呼 叫 合 成 與 協(xié) 議 關(guān) 聯(lián) 解 碼［24］。

信令監(jiān)測分析儀從 Uu接口采集數(shù)據(jù)，數(shù)據(jù)備份在本地磁盤，通過數(shù)據(jù)預處理模塊進行剔除、重組，送入分流模塊并讀取原始數(shù)據(jù)，判斷原始數(shù)據(jù)是否為空，若為空則解碼結(jié)束，若不為空則識別出需要解碼的協(xié)議類型，Uu 接口的協(xié)議類型包括 NAS 協(xié)議、RRC 協(xié)議、PDCP、RLC 協(xié)議、MAC 協(xié)議和 PHY 協(xié)議。根據(jù)不同類型的協(xié)議，調(diào)用不同的解碼器，解碼器包括 NAS 解碼器、RRC 解碼器、PDCP 解碼器、RLC 解碼器、MAC 協(xié)議解碼器和 PHY 解碼器，解碼器對應于解碼函數(shù)，通過相應解碼函數(shù)進行解碼，然后識別上層數(shù)據(jù)，解碼完成后將結(jié)果放入結(jié)構(gòu)體中，否則循環(huán)解碼。具體流程如圖5所示。

圖5 解碼流程

協(xié)議合成是將同一用戶的同一信令流程中相關(guān)聯(lián)的消息組合在一起，形成完整的信令流程。該模塊按照協(xié)議類型，合成本協(xié)議事務詳細記錄，并提取協(xié)議類型、關(guān)聯(lián)主鍵及取值、事務開始時間、事務結(jié)束時間等用于關(guān)聯(lián)分析的關(guān)鍵信息，進一步合成關(guān)聯(lián)分析 CDR，發(fā)送到大數(shù)據(jù)平臺處理模塊，進行多協(xié)議關(guān)聯(lián)分析處理。

CDR 合成，首先注冊本層協(xié)議合成器，然后獲取消息的 key 值，根據(jù) key 值判斷出消息類型，通過檢查是否超時，若超時，則將全局的 CDR 存盤并刪除 key 值對應節(jié)點，結(jié)束合成；若未超時，則判斷全局 CDR 是否存在，如果存在，則創(chuàng)建全局 CDR 并添加相應的 key 值。然后根據(jù)key 值取出 CDR，更新全局 CDR 字段，如果不存在，則直接根據(jù) key 值取出 CDR，更新子 CDR 字段值，然后判斷子CDR 是否存在，若是 ，則創(chuàng)建子 CDR，并添加相應的 key值，然后根據(jù) key 值取出 CDR，更新子 CDR 字段值，若否，則直接根據(jù) key 值取出 CDR，更新子 CDR 字段值，然后判斷是否為全局 CDR 結(jié)束消息，若是，則將全局 CDR 存盤并刪除 key 值對應的節(jié)點，然后結(jié)束 CDR 合成，否則直接結(jié)束 CDR 合成。具體 CDR 合成流程如圖 6 所示。

圖6 CDR 合成流程

（3）大數(shù)據(jù)處理平臺

大數(shù)據(jù)處理平臺的主要功能是將合成的 CDR 進行存儲、處理和分析，并采用多協(xié)議關(guān)聯(lián)分析，形成具有價值的大數(shù)據(jù)源信息，提供給應用層使用。CDR 是一種表示用戶打電話、上網(wǎng)的詳細記錄，如呼叫開始時間、結(jié)束時間、持續(xù)時間、呼叫方手機信息、小區(qū) ID 和瀏覽網(wǎng)站等。隨著LTE-A 網(wǎng)絡使用數(shù)量的增加以及業(yè)務量 的多樣化 ，現(xiàn) 在通過空口采集的 CDR 具有很大的體積，1 000 萬用戶每月可產(chǎn)生數(shù)十億條記錄。如此龐大的數(shù)據(jù)量，使用數(shù)據(jù)庫存儲處理，效率明顯低下。CDR 滿足大數(shù)據(jù)處理的特點，即數(shù)量 、種 類 和 速 度［25］，因 此 適 用 于 大 數(shù) 據(jù) 技 術(shù) 進 行 CDR 存儲、處理和分析。

3.3 應用層

應用層的主要功能是對大數(shù)據(jù)平臺處理的 CDR 數(shù)據(jù)源進行統(tǒng)計分析，按照不同專題分類，如用戶基本屬性分析、用戶終端分析、用戶業(yè)務特征分析和網(wǎng)絡特征分析等。除了傳統(tǒng)的業(yè)務分析外，進行實時分析與決策（動態(tài)網(wǎng)絡監(jiān)控，位置軌跡跟蹤）、精準營銷和分析人的區(qū)域流動，不僅具有敏捷的處理效率，還具有靈活的擴展業(yè)務能力。

4 多協(xié)議關(guān)聯(lián)系統(tǒng)的關(guān)鍵技術(shù)

多協(xié)議關(guān)聯(lián)系統(tǒng)主要利用大數(shù)據(jù)處理技術(shù)和多協(xié)議關(guān)聯(lián)技術(shù)，不僅能幫助移動運營商解決大數(shù)據(jù)量 CDR 存儲和高效分析難題，也能為上層應用實時提供海量有價值的 CDR 關(guān)聯(lián)分析數(shù)據(jù)。 融合上述兩種技術(shù)設計了大數(shù)據(jù)處理平臺，該平臺的主要任務有兩個：第一是獲取和存儲海量 CDR 數(shù)據(jù)；第二是關(guān)聯(lián)分析存儲的 CDR 數(shù)據(jù)源。該平臺能夠達到實時高效分析處理，同時獲取精確的用戶價值數(shù)據(jù)和網(wǎng)絡信息，從而給上層應用提供有意義的數(shù)據(jù)源。為了解決上述任務，利用大數(shù)據(jù)處理技術(shù)的優(yōu)勢，對CDR 數(shù)據(jù)進行高效處理，采用多協(xié)議關(guān)聯(lián)分析技術(shù)來實現(xiàn)高效分析，最終能達到設計要求。

4.1 大數(shù)據(jù)處理技術(shù)

根據(jù)圖 4數(shù)據(jù)處理層的大數(shù)據(jù)平臺模塊，該平臺主要包 括 數(shù) 據(jù) 存 儲 、數(shù) 據(jù) 管 理 、計 算 和 應 用 層［26］。

（1）數(shù)據(jù)存儲層

數(shù)據(jù)存儲層主要應用兩種技術(shù)：Hadoop 分布式文件系統(tǒng) （Hadoop distributed file system，HDFS）和 關(guān) 系 數(shù)據(jù) 庫 管 理系 統(tǒng) （relational database management system，RDBMS）。Hadoop 是由 Apache 基金會開發(fā)的一個分布式計算開源框 架 。Hadoop 框 架 的 核 心 采 用 MapReduce 和 HDFS。MapReduce 是 一 種 編 程 模 型 ，用 戶 大 規(guī) 模 數(shù) 據(jù) 集 （大 于1 TB）的 并 行 計 算 ，具 有 實 現(xiàn) 簡 單 、擴 展 性 強 的 優(yōu) 勢 ；而HDFS 是 Hadoop 分布式文件 系統(tǒng)的縮寫，為 CDR 海 量數(shù)據(jù)提供存儲。RDBMS 用于存儲用戶數(shù)據(jù)和系統(tǒng)拓撲結(jié)構(gòu)。

（2）數(shù)據(jù)管理層

利用 Sqoop 工具實現(xiàn)關(guān)系數(shù)據(jù)庫和 Hadoop 的 HDFS之間大量數(shù)據(jù)轉(zhuǎn)移，即 HDFS 和 HBase之間的數(shù)據(jù)轉(zhuǎn)移。在HBase（Hadoop database）中，每個用戶的 CDR 數(shù)據(jù)存在于單一的一個表中，見表 1。應用關(guān)鍵字 key 和關(guān)鍵值 value，關(guān)鍵字 key 對應的行中包括 UE 標識 userID、臨時移動用戶標識（temporary mobile subscriber identity，IMSI）、小區(qū)無線網(wǎng)絡臨時 識別（cell-radio network temporary identifier，C-RNTI）、用 戶IP 地 址 （userIP）、業(yè) 務 開 始 時 間 （runtime）、業(yè) 務 結(jié) 束 時 間（endtime）等 關(guān) 鍵 字 。

表1 HBase 中的關(guān)鍵字段

（3）計算層

該層采用 MapReduce 編程模型，將編寫的 map 函數(shù)和 reduce 函數(shù)作為參數(shù)的形式 ，傳給主函數(shù) main 執(zhí)行，通過這種方式，將解析合成的 CDR 數(shù)據(jù)計算的過程轉(zhuǎn)換成函數(shù)執(zhí)行的過程。MapReduce 以關(guān)鍵字 key 和關(guān)鍵值 value對作為基礎數(shù)據(jù)單元，這個轉(zhuǎn)換過程包括 3 個步驟：map、洗牌和 reduce 過程。如圖 7 所示，相應的數(shù)據(jù)導入流程步驟如下。

圖7 MapReduce 運行架構(gòu)

· map：定 義 mapper函 數(shù) ，讀 取 原 始 CDR 數(shù)據(jù) 的 所有 分 塊 數(shù) 據(jù) ，并 將 CDR 數(shù) 據(jù) 映 射 成 key-value 對 的形式。

· 洗 牌 ：工 作節(jié)點（服務器 ）根據(jù) 輸 出的關(guān) 鍵 值 key（由 map（）功能函數(shù)輸出）重新分配數(shù)據(jù)，這樣 所有屬于一個關(guān)鍵值的數(shù)據(jù)都位于同一個工作節(jié)點。在此過程中，不同集合數(shù)據(jù)與相應的用戶將存儲在同一組。

· reduce：定 義 reducer 函 數(shù) ，工 作 節(jié) 點 并 行 處 理 每 組輸出數(shù)據(jù) key-value。目的是合并相似的數(shù)據(jù)和消除數(shù)據(jù)誤差。

（4）應用層

應用層的設計主要是利用多協(xié)議關(guān)聯(lián)分析技術(shù)進行關(guān)聯(lián)處理，將業(yè)務面的 CDR 和信令面的 CDR 進行關(guān)聯(lián)處理，即 MapReduce 生成的數(shù)據(jù)在該層進行關(guān)聯(lián)分析，屬于同一用戶的 CDR 數(shù)據(jù)和不同用戶、同一業(yè)務的 CDR 數(shù)據(jù)進行關(guān)聯(lián)，提供給上層應用有價值的數(shù)據(jù)源。

4.2 多協(xié)議關(guān)聯(lián)分析技術(shù)

關(guān)聯(lián)是指同一用戶或不同用戶信令信息之間建立聯(lián)系，實際的目的是進行實時的關(guān)聯(lián)回填。在協(xié)議關(guān)聯(lián)中，最常用的方法就是關(guān)聯(lián)回填，關(guān)聯(lián)回填是利用監(jiān)測系統(tǒng)合成的 CDR 信息，通過查詢臨時的關(guān)鍵值關(guān)聯(lián)信息，將真實的關(guān)鍵值得到并填入 CDR 中，就可以獲得用 戶 完 整 業(yè) 務 面 數(shù) 據(jù) 流 和 信 令 面 數(shù) 據(jù) 流［27］。多 協(xié) 議 關(guān) 聯(lián)技術(shù)主要由多協(xié)議關(guān)聯(lián)和行為分析兩種技術(shù)實現(xiàn)。多協(xié)議關(guān)聯(lián)分析是指將多個網(wǎng)絡 （例如核心網(wǎng)和接入網(wǎng)）以及不同協(xié)議 （例如 NAS 和 RRC 協(xié)議）的數(shù)據(jù)流聯(lián)系起來，得到有價值的 CDR 數(shù)據(jù)源，從而進行上層應用的行為分析。行為分析是同一協(xié)議關(guān)聯(lián)用戶的 CDR 信息，或者多個協(xié)議關(guān)聯(lián)出多個用戶的 CDR 信息，分析出一個或多個用戶的行為活動（例如用戶軌跡追蹤、識別犯罪分子活動區(qū)域等）。

Uu 接口的多協(xié)議關(guān)聯(lián)是建立在 RRC 連接之上，通過對 RRC 協(xié)議、NAS 協(xié)議、PDCP、RLC 協(xié)議和 MAC 協(xié)議的分析和關(guān)聯(lián)，得到 Uu 接口的用戶整體的信令面 CDR 和業(yè)務面 CDR 數(shù)據(jù)流。通過信令監(jiān)測儀表采集數(shù)據(jù)，能夠解析出各個協(xié)議層的主要關(guān)聯(lián)參數(shù)，見表 2。

協(xié)議間的關(guān)聯(lián)主要是 RRC 協(xié)議與 NAS協(xié)議的關(guān)聯(lián)，RRC 協(xié) 議 主 要 關(guān) 聯(lián) 參 數(shù) 包 括 國 際 移 動 用 戶 識 別 碼（international mobile subscriber identification number， IMSI）、C-RNTI、小區(qū) ID、EPS 承載 ID 和 傳 輸 ID（transaction ID），NAS 協(xié)議主要 的 關(guān) 聯(lián)參數(shù)包 括 IMSI、移 動 管 理 實體ID （mobility management entity ID ，MMEID ）、信 息 元 素 識 別（information element identifier，IEI）、EPS 移 動 身 份 （EPS mobile identity）和 過 程 事 務 標 識 （procedure transaction identity，PTI）等 。業(yè) 務 面 的 關(guān) 聯(lián) 主 要 是 PDCP、RLC 協(xié) 議 和MAC 協(xié)議的關(guān)聯(lián)，PDCP 主要的參數(shù)包括 PDCP_SDU 序列號和 RBID（承載 ID），RLC 協(xié) 議 的 主要參 數(shù) 是 UEID（設備ID）和 RBID，MAC 協(xié) 議 主 要 的 關(guān) 聯(lián) 參 數(shù) 是 UEID、邏 輯 信道 identity 和 C-RNTI。通 過 信 令 面 的 關(guān) 聯(lián) 和 業(yè) 務 面 的 關(guān)聯(lián)，最后可以關(guān)聯(lián)用戶的業(yè)務面和信令面流程，信令面通過 IMSI 關(guān) 聯(lián) NAS 和 RRC 協(xié) 議 ，業(yè) 務 面 通 過 UEID 和RBID 關(guān)聯(lián)。具體的實現(xiàn)流程如圖 8 所示。

表2 協(xié)議關(guān)聯(lián)參數(shù)

5 測試結(jié)果及分析

5.1 解碼結(jié)果分析

將從 LTE-A 網(wǎng)絡 Uu 接口采集的原始數(shù)據(jù)，利用 C++編程解碼函數(shù)解析原始數(shù)據(jù)，從解碼合成模塊得到用戶業(yè)務面解析消息和信令面解析消息，提供到應用層調(diào)用分析。 應用層采用 Java 編程語言，實現(xiàn)了靈活的跨 Windows和 Linux 等多平臺應用，供用戶查詢解析結(jié)果。

圖9 顯示用戶的 HTTP 消息解碼的效果，協(xié)議從底層到 上 層 的 顯 示 順 序 依 次 為 移 動 端 的 Ethernet層 、IP 層 和UDP 層、隧道 GTP、服務端的 IP 層、TCP 層和 HTTP 層。Ethernet層包含分組長度、目的地址、源地址和上層類型字段 信 息 ， 目 的 地 址 為 00-d0-d0-07-b2-28， 源 地 址 為83-96-ee-2c-c1-04，與原 始 數(shù)據(jù)結(jié)果 對 應 ，證 明解碼結(jié) 果的正確性。 移動端 IP 層包含的目的地址和源地址是 eNB 節(jié)點到 SGW 網(wǎng)關(guān)的地址信息，通過空口承載隧道傳輸?shù)椒斩?，服務?IP 層反映了用戶 UE 的源 IP 地址 58.251.149.123和 請 求 業(yè) 務 的 目 的 地址 172.116.25.160。HTTP 層 包 含多個字段，其中，URI是用戶的關(guān)鍵業(yè)務信息，URI顯示的內(nèi) 容 為 qq.com／zh_ch／htmled／images／nf2#%egxeUffTttsre，從中 提 取 的 host為 qq.com，這 表 明 該 用 戶 正 在 使 用 QQ上 網(wǎng)業(yè)務。

圖8 多協(xié)議關(guān)聯(lián)分析流程

5.2 多協(xié)議關(guān)聯(lián)結(jié)果分析

關(guān)聯(lián)結(jié)果采用出表的形式呈現(xiàn)，將屬于同一用戶的信息關(guān)聯(lián)在一起，利用大數(shù)據(jù)處理技術(shù)高效處理，使存儲的CDR 能夠迅速相關(guān)聯(lián)。圖 10 為多協(xié)議關(guān)聯(lián)出表文件的其中 一 段 ，其 中 ，IMSI、TMSI、MMEID、M-TMSI、TAC、cellID 等為信令面包含的字段，host、URI、bear ID、ULdata、DLdata 等為業(yè)務面所包含的字段。有序號 3的某用戶關(guān)聯(lián)結(jié)果可以看出，UE 的 IMSI為 460022814846397，在 LTE-A 空口中兩個 承 載 進 行 傳 輸 ，承 載 1 的 ID 為 5，承 載 2 的 ID 為3384824343，通 過 分 析 host為 qq.com 可 知 UE 的 上 網(wǎng) 業(yè)務，并且下載的流量較大。由關(guān)聯(lián)結(jié)果與 HTTP 業(yè)務解碼的 host、URI一致 性，從而 進一步證明 了 多協(xié)議關(guān)聯(lián)的正確性。

6 結(jié)束語

通過對 LTE-A 網(wǎng)絡 Uu 接口協(xié)議棧的研究，提出了一種基于大數(shù)據(jù)的 LTE-A 網(wǎng)絡 Uu 接口多協(xié)議關(guān)聯(lián)分析方案。首先分析了當前 LTE-A 網(wǎng)絡電信業(yè)務數(shù)據(jù)量的劇增現(xiàn)狀，然后介紹了大數(shù)據(jù)技術(shù)在電信業(yè)務中的廣泛應用和多協(xié)議關(guān)聯(lián)發(fā)展現(xiàn)狀，最后利用大數(shù)據(jù)處理技術(shù)和多協(xié)議關(guān)聯(lián)技術(shù)對空中接口采集的業(yè)務面數(shù)據(jù)流和信令面數(shù)據(jù)流進行有效的關(guān)聯(lián)，并且提高了大數(shù)據(jù)處理效率。通過實際的現(xiàn)網(wǎng)測試，驗證了其可行性和正確性，為大數(shù)據(jù)時代背景下建設新型信令監(jiān)測方案提供了重要的理論基礎和參考意義。

圖9 HTTP 業(yè)務解碼效果

圖10 多協(xié)議關(guān)聯(lián)結(jié)果出表文件

［1］ ZHANG A Q，CHEN J X，HU R Q，et al.SeDS：secure data sharing strategy for D2D communication in LTE-A networks［J］. IEEE Transactions on Vehicular Technology，2016，65 （4）：2659-2672.

［2］ 湯雅妃，魏進武，張云勇. 基于大數(shù)據(jù)的信令監(jiān)測系統(tǒng)研究［J］.郵電 設 計 技 術(shù)，2014（7）：47-52. TANG Y F，WEI J W，ZHANG Y Y.Research on big data based signaling monitoring platform［J］.Designing Techniques of Posts and Telecommunications，2014（7）：47-52.

［3］ 陳娜，徐 歆壹，宋紅 兵，等. 基 于 Hadoop 的 電 信 BSS 大 數(shù) 據(jù)平臺 建 設 研 究［J］. 電 信 科 學，2013，29（3）：36-40. CHEN N，XU X Y，SONG H B，et al.Research on big data system of telecom based on the Hadoop［J］.Telecommunications Science，2013，29（3）：36-40.

［4］ HUANG W L，CHEN Z，DONG W Y，et al.Mobile internet big dataplatform inChinaUnicom ［J］.TsinghuaScience& Technology，2014，19（1）：95-101.

［5］谷紅勛，楊珂. 基于大數(shù)據(jù)的移動用戶行為分析系統(tǒng)與應用案例［J］. 電信科學，2016，32（3）：139-146. GU H X，YANG K.Mobile user behavior analysis system and applications based on big data ［J］.Telecommunications Science，2016，32（3）：139-146.

［6］ JONY R I，HABIB M A ，MOHAMMED N ，et al.Big data use case domains for telecom operators ［J］.IEEE International Conference on Smart City／Social Com／Sustain Com Together with Data Com，2015（5）：850-855.

［7］ 陳麗，王銳.基于 Hadoop 的信令詳單實時查詢平臺構(gòu)建方法［J］.電信科學，2015，31（7）：145-151. CHEN L，WANG R.Method of building signaling big data real-time query platform based on Hadoop ［J］. Telecommunications Science，2015，31（7）：145-151.

［8］ 雷蕾，李景文，宮大 鵬，等. 基 于 Hadoop 的 OSS 域 數(shù)據(jù)建模與采集方法研 究［J］.電信科學，2015，31（1）：128-138. LEI L，LI J W，GONG D P，et al.Study on data modeling and collection in OSS based on Hadoop ［J］.Telecommunications Science，2015，31（1）：128-138.

［9］ FAN W，BIFETA.Miningbigdata：currentstatusand forecastto the future ［J］.ACM Sigkdd Explorations Newsletter，2013，14（2）：1-5.

［10］PANDEY R， DHOUNDIYALM， KUMAR A.Correlation analysis of big data to support machine learning ［C］／／2015 Fifth International Conference on Communication Systems and Network Technologies，April 4-6，2015，Gwalior，India.New Jersey：IEEE Press，2015：996-999.

［11］SHIH C C，HUANG C C，LIN B T，et al.Building a CDR analytics platform for real-time services［C ］／／16th Asia-Pacific NetworkOperations and Management Symposium（APNOMS），September 17-19，2014，Hsingchu，China.New Jersey：IEEE Press，2014：1-5.

［12］周趙斌.LMSD 中 zz 接口與 A1 接口的多協(xié)議關(guān)聯(lián)監(jiān)聽研究［D］.上海：復旦大學，2010. ZHOU Z B.Research of multi-protocol correlation monitoring of zz interface and A1 interface in LMSD ［D］.Shanghai：Fudan University，2010.

［13］胡為艷，艾民，周光彬，等. 基于大數(shù)據(jù)的信令監(jiān)測系統(tǒng)的設計與實現(xiàn)［J］. 電視技術(shù)，2016，40（1）：95-101. HU W Y，AI M，ZHOU G B，et al.Design and implementation of big data based signaling monitoring system［J］.Video Engineering，2016，40（1）：95-101.

［14］ALESSIO B，F(xiàn)RANCESCO M，ARMANDO S.A MapReduce solution for associative classification of big data ［J］.Infromation Sciences，2016，332（1）：33-55.

［15］STEFANIA S，ISSAM T，MATTHEW B.LTE-the UMTS long term evolution：from theory to practice ［M］.Great Britain：John Wiley and Sons，Ltd，2009.

［16］3GPP.Non-access-stratum （NAS）protocol for evolved packet sysytem（EPS）stage 3（release 11）：3GPP TS 24.301 V11.13.0［S］. 2013.

［17］3GPP.Evolved universalterrestrialradio access network（E-UTRAN）；Architecture description （release 11）：3GPP TS 36.401 V13.0.0 ［S］.2015.

［18］3GPP.LTE；evolved universal terrestrial radio access （E-UTRA）；user equipment（UE）conformance specification；Radio transmission and reception；Part 1：Conformance testing （GPP TS 36.521-1version 13.1.0 Release 13）：TS 36.521-1 V13.1.0［S］.2016.

［19］中國移動通信集團公司. 信令監(jiān)測系統(tǒng)接口規(guī)范—LTE 采集網(wǎng)關(guān)分冊：QB-X-XXX-XXXX［S］.2013. China Mobile Communication Corporation.Interface specification ofChina mobile signaling monitoring system （LTE signal collection gateway part）：QB-X-XXX-XXXX［S］.2013.

［20］彭佩，曹龍漢，張治中.LTE-A 空口監(jiān)測儀表 NAS 協(xié)議監(jiān)測方案研究［J］. 電視技術(shù)，2015，39（21）：44-48. PENG P，CAO L H，ZHANG Z Z.Research of NAS protocol monitoring scheme of air interface in LTE-A network monitoring instrument［J］.Video Engineering，2015，39（21）：44-48.

［21］李銳，張治中.TD-SCDMA 網(wǎng)絡 IuPS 接口協(xié)議關(guān) 聯(lián)方案的設計與實現(xiàn)［J］. 電信科學，2014，30（9）：72-79. LI R，ZHANG Z Z.Design and implementation of protocols association scheme on Iu-PS interface in TD-SCDMA network［J］. Telecommunications Science，2014，30（9）：72-79.

［22］ELAGIB S B，HASHIM A H A，OLANREWAJU R F.CDR analysis using big data technology ［C］／／International Conference on Computing，Control，Networking，Electronics and Embedded Systems Engineering，September 7-9，2015，Khartoum，Sudan. New Jersey：IEEE Press，2015：467-471.

［23］LIU J，LIU F，ANSARI N.Monitoring and analyzing big traffic data of a large-scale cellular network with Hadoop ［J］.IEEE Network，2014，28（4）：32-39.

［24］陳 玉 花，張 治 中，左 書 川，等.TD-SCDMA 網(wǎng) 絡 Iu-PS 口 CDR合成方案研究［J］. 電信科學，2009，25（11）：50-54. CHEN Y H，ZHANG Z Z，ZUO S C，et al.Research of CDR synthesis program on Iu-PS interface in TD-SCDMA network ［J］. Telecommunications Science，2009，25（11）：50-54.

［25］石立興. 基于 CDRs 大數(shù)據(jù)的用戶移動性分析 ［D］. 合肥：中國科學技術(shù)大學，2015. SHI L X.Users’ mobility analysis based on massive data of CDRs［D］.Hefei：University of Science and Technology of China，2015.

［26］ZHANG P，WU X Y，WANG X J，et al.Short-term load forecasting based on big data technologies［J］.Applied Mechanics &Materials，2014，1（3）：59-67.

［27］張帆. 信令監(jiān)測系統(tǒng)關(guān)聯(lián)和關(guān)聯(lián)回填關(guān)鍵技術(shù)研究［J］. 電信網(wǎng)技術(shù)，2011（10）：56-59. ZHANG F.The key technologies research of the signaling monitoring system correlation and correlation and refill ［J］. Telecommunications Network Technology，2011（10）：56-59.

Research and implementation of multi-protocol association scheme on Uu interface in LTE-Advanced network

LI Lei1，ZHANG Zhizhong1，2，XI Bing1，2
1.Test Engineering Research Center of Communication Networks，Chongqing University of Posts and Telecommunications，Chongqing 400065，China 2.Chongyou Huice Communications Technology，Chongqing 401121，China

For the explosive growth of mobile data services in LTE-Advanced network and the low efficiency of multi-protocol association analysis process，on the basis of traditional signal monitoring system，a multi-protocol association analysis system of Uu interface in LTE-Advanced network was proposed by using big data technology（storage，processing and analysis）and multi-protocol association analysis technology.Firstly，Layer 1，Layer 2 and Layer 3 of Uu interface data business processes were processed efficiently and analyzed accurately.Then，the user data signaling process and service data flow were related to analyze.Finally，the proposed system was applied to the real network testing of Uu interface data in LTE-Advanced network.Test results show that the multi-protocol association analysis system described above achieves the expected effect and it is meaningful for improving user experiences，efficiently processing big data analytics and the promotion of precision marketing area.

LTE-Advanced network，Uu interface，big data technology，multi-protocol association analysis

s：The National Science and Technology Major Special Fund（No.2015ZX03001013），The Chongqing University Innovation Team Building Special Fund（No.KJTD201312）

TP929

：A

10.11959／j.issn.1000-0801.2016177

李雷（1989-），男，重慶郵電大學碩士生，主要研究方向為 5G 移動通信系統(tǒng)總體技術(shù)、通信網(wǎng)測試技術(shù)。

張治中（1972-），男 ，重慶郵電大學教授、博士生導師， 主要研究方向為 5G 移動通信系統(tǒng)總體技術(shù)、通信網(wǎng)測試技術(shù)、寬帶信息網(wǎng)絡、NGN 等。

席兵（1972-），男，重 慶郵電大學副教授、碩士生導師，主要研究方向為寬帶通信網(wǎng)測試技術(shù)。

2016-05-08；

：2016-06-12

國家科技重大專項基金資助 項 目（No.2015ZX03001013）；重慶高校創(chuàng)新團隊建設 計 劃 基 金 資助項目（No.KJTD201312）