牛曉丹, 韋薇, 張揚, 李心恬

（中國移動通信集團設計院有限公司，北京 100080）

1 信令監(jiān)測系統(tǒng)共享層架構介紹

目前中國移動定義的信令監(jiān)測系統(tǒng)在架構上分為3層，第一層為信令采集層，由七號信令采集接入設備、IP信令采集接入設備和信令采集網(wǎng)關構成，完成移動通信網(wǎng)信令數(shù)據(jù)的實時采集，生成全量信令數(shù)據(jù)并向上傳送；第二層為共享層，完成信令消息的解碼合成、數(shù)據(jù)的計算、整理、統(tǒng)計，根據(jù)訂閱需求生成CDR/TDR信令數(shù)據(jù)、業(yè)務信令數(shù)據(jù)，合理組織和存儲數(shù)據(jù)，并通過接口對外提供信令數(shù)據(jù)的共享和傳輸；第三層為應用層，主要完成信令數(shù)據(jù)的應用處理、表示和呈現(xiàn)。

信令共享層是一個處于信令采集與信令監(jiān)測應用之間的系統(tǒng)。主要包括信令處理模塊、接入模塊、管理模塊3大部分。

信令處理模塊主要完成對信令采集網(wǎng)關上報的全量信令數(shù)據(jù)進行預處理以及在此基礎上的進一步分析、合成以及處理等操作，生成應用系統(tǒng)所需的業(yè)務信令數(shù)據(jù)、CDR/TDR信令數(shù)據(jù)或統(tǒng)計數(shù)據(jù)等；接入模塊采用集群或負載均衡方式，主要負責根據(jù)應用系統(tǒng)的訂閱請求，進行協(xié)議轉(zhuǎn)換以及數(shù)據(jù)分發(fā)功能；管理模塊主要負責訂閱、查詢、注冊以及安全控制等業(yè)務管理，網(wǎng)管等系統(tǒng)管理功能。

2 信令監(jiān)測系統(tǒng)共享層中的云計算特性

2.1 基于SOA的體系架構

信令監(jiān)測系統(tǒng)共享層軟件設計采用了SOA架構，對各類應用進行服務封裝，通過數(shù)據(jù)、服務等總線，保證封裝成SOA服務的各種應用模塊能夠協(xié)同工作，并進行靈活的構建。在信令監(jiān)測系統(tǒng)共享層，所有資源包括計算資源、存儲資源、網(wǎng)絡資源以及應用都可以以服務的形式，按單個或是多個有機整合的方式向用戶提供服務。這是運用云計算技術的必要條件，也使云計算技術應用于信令監(jiān)測系統(tǒng)共享層成為可能。

2.2 分布式計算

信令監(jiān)測系統(tǒng)共享層的計算功能主要包括對信令的解碼合成、數(shù)據(jù)的整理統(tǒng)計、根據(jù)訂閱需求生成CDR數(shù)據(jù)及業(yè)務信令數(shù)據(jù)等。采用分布式計算平臺對各省上傳的大量原始信令數(shù)據(jù)進行合成計算，并利用相關計算對各個計算資源進行統(tǒng)一管理和動態(tài)調(diào)配，充分利用各單位的服務器資源，滿足大計算量的需求。

2.3 海量數(shù)據(jù)存儲和處理

根據(jù)信令監(jiān)測系統(tǒng)的架構，共享層需存儲所有原始數(shù)據(jù)及大量的CDR、統(tǒng)計報表數(shù)據(jù)，存儲量達到PB級。怎樣保證上述大規(guī)模數(shù)據(jù)進行安全、可靠和高效的傳輸、存儲和管理是信令監(jiān)測系統(tǒng)迫切需要解決的關鍵問題。原有系統(tǒng)通過UNIX小型機+磁盤陣列的方式對上述數(shù)據(jù)進行存儲，造成系統(tǒng)建設的投資過大等問題，如何根據(jù)應用頻率、調(diào)用速度等因素合理部署上述數(shù)據(jù)是云計算技術在共享層部署的關鍵點。

3 云計算技術在共享層的部署策略

從云計算角度對信令監(jiān)測系統(tǒng)進行邏輯上的劃分，大體可以分為信令合成處理部分、原始信令數(shù)據(jù)及CDR存儲部分和綜合分析部分。經(jīng)過分析，對于信令合成處理部分，能夠較好的運用云計算的分布式計算技術，可采用若干臺X86架構的服務器進行大規(guī)模的計算，并有良好的分發(fā)機制，保證流量在各個服務器之間做到良好的負載均衡；對于原始信令數(shù)據(jù)及CDR數(shù)據(jù)的存儲，基本的存儲要求如表1所示。

由表1可見，信令監(jiān)測系統(tǒng)數(shù)據(jù)存儲量很大，但對于長時間內(nèi)的全量原始數(shù)據(jù)及CDR數(shù)據(jù)的調(diào)用頻率較少，而這兩部分數(shù)據(jù)量占到總存儲量的75%以上，這部分數(shù)據(jù)可存儲在分布式文件系統(tǒng)中，并在HDFS中建立CDR的索引，以便需要用到CDR數(shù)據(jù)時，能保證較少的查詢時間；對于統(tǒng)計及報表數(shù)據(jù)，經(jīng)常會用于生成KPI等指標，對這部分數(shù)據(jù)查詢的相應時間要求較高，可將時間段較長（如一年）的數(shù)據(jù)存儲在HBase中，關系型數(shù)據(jù)庫中僅保存部分熱數(shù)據(jù)，以節(jié)省關系型數(shù)據(jù)庫的占用量。各部分具體部署策略如下。

表1 存儲設備配置要求

3.1 信令CDR合成功能與處理方案

信令合成處理系統(tǒng)總架構如圖1所示。

信令共享平臺通過IF1口接入采集層全量原始信令，全量數(shù)據(jù)按流量分配進入負載均衡機，負載均衡機根據(jù)CDR合成集群各節(jié)點負載情況，動態(tài)分配全量原始信令到各CDR合成處理機， CDR合成后進行預統(tǒng)計、用戶訂閱數(shù)據(jù)分發(fā)、實時跟蹤等業(yè)務應用處理， 同時將CDR存入分步式存儲系統(tǒng)。

3.1.1 負載均衡機功能

圖1 信令合成處理系統(tǒng)架構

監(jiān)控所有CDR合成機負載情況，動態(tài)分配全量原始數(shù)據(jù)，監(jiān)控所有CDR合成機運行狀態(tài)，如果發(fā)現(xiàn)CDR合成機出現(xiàn)問題，那么就把分配給這臺機器的全量原始數(shù)據(jù)，重新分配到其他CDR合成機，以消除單點故障，提高系統(tǒng)可靠性。

負載均衡機采用Paxos 算法解決一致性問題，集群在某一時刻只有一個Master負責均衡能力，當Master宕機后，其他節(jié)點重新選舉Master。保證負載均衡機不會存在單點問題，CDR合成機負載一致性。

3.1.2 CDR合成處理機功能

將全量原始信令進行信令解碼、合成處理。生成后的不完整CDR進入關聯(lián)合成模塊，補充完整CDR所有信息，合成完整的CDR。合成后的CDR分別進入預統(tǒng)計模塊進行1分鐘粒度統(tǒng)計、CDR分發(fā)模塊進行按訂閱條件分發(fā)CDR 到各應用系統(tǒng)、實時跟蹤模塊按條件分發(fā)CDR到用戶端、將CDR存入分步式存儲系統(tǒng)。

3.1.3 實時業(yè)務

對于實時性要求高的業(yè)務應用，如：實時跟蹤、網(wǎng)絡指標分析、告警等業(yè)務，走實時專道。

3.1.4 自管理系統(tǒng)

提供集群自管理功能，包括：拓撲管理、告警管理、用戶權限管理等。

圖2 數(shù)據(jù)存儲處理架構

3.2 數(shù)據(jù)存儲功能與處理方案

數(shù)據(jù)存儲處理總架如圖2所示。

數(shù)據(jù)存儲系統(tǒng)提供如下功能。

3.2.1 CDR數(shù)據(jù)處理

接收來自CDR 合成系統(tǒng)的CDR數(shù)據(jù)， 索引模塊實時生成索引文件，以提高查詢速度。生成的索引文件存儲到HDFS中，以供查詢CDR使用。

專題業(yè)務分析，通過MapReduce并行計算，同期提取業(yè)務數(shù)據(jù)，將結果分存兩路，一路存入Hbase或日志詳單存儲， 一路存入關系型數(shù)據(jù)庫。

3.2.2 KPI指標數(shù)據(jù)處理

CDR合成系統(tǒng)生成的1分鐘粒度的KPI統(tǒng)計數(shù)據(jù)分存兩路，一路存入分步式數(shù)據(jù)Hbase中， 一路存入關系性數(shù)據(jù)庫中，關系性數(shù)據(jù)庫保留近期數(shù)據(jù)，以供客戶實時查詢。 存入Hbase的KPI數(shù)據(jù)，周期的統(tǒng)計大粒度數(shù)據(jù)存入再分寫兩路，一路存入數(shù)據(jù)庫，另一路存入Hbase中。同樣的存入數(shù)據(jù)庫中的數(shù)據(jù)，也只保留近期數(shù)據(jù)。歷史數(shù)據(jù)全部保存在Hbase中，周期為一年。

3.2.3 原始全量信令數(shù)據(jù)處理

CDR合成系統(tǒng)生成的原始全量信令數(shù)據(jù)及其索引文件，存入資源池分布式存儲服務中，以供CDR查詢使用。

3.2.4 信令事件數(shù)據(jù)處理

CDR合成系統(tǒng)生成的信令事件數(shù)據(jù)處理，存入資源池分存式存儲服務中。以FTP接口方式對應用層提供服務。

訂閱系統(tǒng)產(chǎn)生的用戶訂單，存入分存式存儲服務中。

系統(tǒng)管理系統(tǒng)數(shù)據(jù)，存入日志詳單類數(shù)據(jù)存儲服務中。

3.3 查詢分析功能與處理方案

存儲系統(tǒng)接入CDR合成系統(tǒng)，將CDR存入分步式文件系統(tǒng)HDFS，并同時建立索引，將索引文件存入HDFS。當客戶發(fā)起請求后，客戶端把請求發(fā)向查詢接口服務器，查詢接口服務器解析查詢請求，后向Master任務調(diào)度機發(fā)送查詢?nèi)蝿請?zhí)行命令；Master回應執(zhí)行命令節(jié)點信息，查詢服務器根據(jù)節(jié)點信息將查詢命令發(fā)向查詢計算模塊，進行具體查詢操作，將查詢結果返回給客戶端，呈現(xiàn)給用戶。

3.4 CDR訂閱管理功能與處理方案

在數(shù)據(jù)存儲集群中劃分出訂閱系統(tǒng)構成分組： 分為SDTP協(xié)議分發(fā)組、WebService協(xié)議分發(fā)組、Ftp協(xié)議分發(fā)組以及訂閱接口服務器組。

訂閱系統(tǒng)功能有：CDR、業(yè)務信令事件、指標等數(shù)據(jù)訂閱功能、用戶管理、系統(tǒng)配置管理、權限管理、日志管理等。

訂閱系統(tǒng)所有管理數(shù)據(jù)存儲在日志類分步式文件系統(tǒng)中，所有用戶訂單存儲在資源池分存式存儲服務中，以供數(shù)據(jù)分發(fā)服務器獲取訂閱信息。

用戶訂閱后的數(shù)據(jù)，其中SDTP、WebService數(shù)據(jù)通過各接口服務器主動推送給應用層。Ftp數(shù)據(jù)存入資源池分存式存儲服務中， 用戶通過FTP服務接口服務器主動獲取數(shù)據(jù)。

4 運用的關鍵技術

4.1 負載均衡的實現(xiàn)方式

全量原始數(shù)據(jù)接入交換機，將數(shù)據(jù)發(fā)向指定IP的負載均衡機，負載均衡機向負載均衡Master節(jié)點請求CDR處理機，Master返回CDR合成的IP端口信息，負載均衡機根據(jù)CDR合成的IP端口信息將數(shù)據(jù)發(fā)向CDR合成機。

當某一臺負載均衡機宕機后：

第一步 Master節(jié)點能過鏈接心跳得知宕機負載均衡機；

第二步 Master節(jié)點從所有均衡機中選出負載小的負載均衡機，啟動虛擬IP及相關進程；

第三步 啟動虛擬IP接收原始信令數(shù)據(jù)，進行負載均衡。

當Master節(jié)點宕機后：

第一步Master節(jié)點宕機， 負載均衡節(jié)點及CDR節(jié)點能過鏈接心跳得知Master宕機；

第二步所有負載均衡節(jié)點，重選舉出Master節(jié)點，并通知CDR合成節(jié)點新Master節(jié)點，所有CDR合成節(jié)點，根據(jù)負載均衡IP列表，請求新Master節(jié)點，后向新Master節(jié)點上報負載狀態(tài)；

第三步 新Master節(jié)點接管所有工作，對宕機的Master節(jié)點容錯。

4.2 CDR索引的建立方式

按照數(shù)據(jù)存儲處理方案的描述，需將CDR數(shù)據(jù)存入分布式存儲系統(tǒng)中，但由此又將帶來一個新的問題，以文本或二進制數(shù)據(jù)文件保存的CDR數(shù)據(jù)難以支持高效的數(shù)據(jù)查詢。

對CDR數(shù)據(jù)建立查詢索引是一個有效的解決方法，具體解決方案如下：

繞過HBase，在HDFS上直接構建針對各種查詢方式的索引，且將索引直接存儲在HDFS上。由于采用了這種索引方式，可以基本上做到索引的構建時間和查詢時間只會隨著數(shù)據(jù)量的增長呈對數(shù)增長，對于給定的數(shù)據(jù)流量和保存周期，每次檢索的訪問存儲次數(shù)可以控制在幾十次之內(nèi)，因此可以保證實時性。具體設計實現(xiàn)方法如下。

首先，在HDFS文件中，通過READ按照各個號碼建立First-level索引表，并在每一單元列出該號碼所有CDR的offset，由于各用戶通話次數(shù)不一，因而每個單元數(shù)據(jù)的長度不一，于是建立對應號碼的Secondlevel索引表，其中的offset對應First-level的位置信息，該表的各單元的數(shù)據(jù)長度保持一致，可以通過二分法查找，最大查找次數(shù)為1bN (N為Second-level中所包含的號碼個數(shù)，該對數(shù)曲線如圖)，由于在Secondlevel中存有大量號碼，故最大查詢次數(shù)基本保持不變，以此保證了較高的查詢效率。

但是當查詢某一號碼在一段時間內(nèi)如一星期的通話記錄時，就需要對許多個索引表去檢索，這就會導致檢索時間增加，假設某號碼一個星期的通話記錄，存在于K個檢索表中，需要檢索的最大次數(shù)為K×1bN，在K×N為常數(shù)的情況下，可以減小K值，由于N的增大對單個索引表的查詢來說，最大查詢次數(shù)變化很小（如對數(shù)圖像所示），因此可采用歸并First-level文件，重新建立Second-level索引表，這樣大大減小了最大索引次數(shù)。目前采用的方案是將每一個小時生成的Firstlevel進行歸并，然后重新建立該文件對應的Seccondlevel,當天過后，再將24個文件歸并為一個文件，建立該文件對應的Second-level。

4.3 適應需求的混合存儲策略

混合存儲策略可以簡述為HDFS分布式文件系統(tǒng)用來存儲海量數(shù)據(jù)，可以根據(jù)存儲的數(shù)據(jù)類型建立索引，HBase也可用來存儲海量數(shù)據(jù)，其由查詢條件建立索引表， Database對小型數(shù)據(jù)的存儲處理。

分布式文件系統(tǒng)HDFS是一個開源云計算平臺Hadoop框架的底層實現(xiàn)部分，適合運行在通用硬件上的分布式文件系統(tǒng)，具有高容錯性，能提高吞吐量的數(shù)據(jù)訪問，非常適合于大規(guī)模數(shù)據(jù)集上的應用。MapReduce在HDFS的基礎上實現(xiàn)的并行框架，為用戶提供容易使用的并行編程模式，MapReduce計算包括兩個階段，Map（映射）階段和Reduce（規(guī)范）階段。首先，Map函數(shù)把一組(Key,Value)輸入，映射為一組中間結果 (Key,Value)，然后通過Reduce函數(shù)把具有相同Key值的中間結果，進行合并化簡。MapReduce將計算作業(yè)分成許多小的單元，同時數(shù)據(jù)也會被HDFS分為多個Block，并且每個數(shù)據(jù)塊被復制多份，保證系統(tǒng)的可靠性，HDFS按照一定的規(guī)則將數(shù)據(jù)塊放置在集群中的不同機器上，以便MapReduce在數(shù)據(jù)宿主機器上進行計算。

HBase是一個分布式數(shù)據(jù)庫，是一個稀疏的，長期存儲的，多維的，排序的映射表.這張表的索引是行關鍵字，列關鍵字和時間戳。所有數(shù)據(jù)庫的更新都是一個時間戳標記，每個更新都是一個新的版本，而HBase會保留一定數(shù)量的版本，這個值是可以設定的。客戶端可以獲取距離某個時間最近的版本，或者一次獲取所有版本。

5 結束語

信令監(jiān)測系統(tǒng)在保障移動通信網(wǎng)絡高質(zhì)量運行，快速響應用戶投訴，提升用戶感知等方面發(fā)揮著重要作用。目前全國共有6個省采用云方案進行共享層建設的試點工作，待試點結束后再向全國推廣。采用云方案在降低信令監(jiān)測系統(tǒng)造價的同時還能保證其較高的系統(tǒng)性能，使其與其他網(wǎng)絡運維支撐系統(tǒng)合理分工、協(xié)作，共同成為中國移動“業(yè)務和服務雙領先” 戰(zhàn)略的有力支撐。

[1] 中國移動信令監(jiān)測系統(tǒng)總體技術要求[S].

[2] 中國移動內(nèi)部云資源池系統(tǒng)總體技術要求[S].

[3] 中國移動云存儲系統(tǒng)設備規(guī)范[S].

[4] 中國移動云存儲系統(tǒng)接口規(guī)范[S].