【摘要】 本文論述主要是圍繞湖北電信聯機采集系統直采改造項目的應用展開，其中Hadoop系統技術作為關鍵技術提出并進行重點分析，不僅僅是本文的一個特色，也在改造后的聯機采集系統運行中發(fā)揮了重大的作用。

【關鍵詞】 聯機采集 Hadoop

一、聯機計費采集系統發(fā)展趨勢介紹

隨著湖北電信業(yè)務的不斷發(fā)展和管理水平的提高，聯機采集系統呈現了從本地網聯機計費采集模式，向全省集中聯機采集模式的發(fā)展趨勢。聯機采集系統正逐漸從交換機前置采集，本地網匯聚，省中心上傳三級模式，發(fā)展到全省集中采集的一級半模式?！耙患壈肽Ｊ健本褪菍τ诰邆淇梢灾苯硬杉慕粨Q機，實施省中心直接一級采集，對于不具備條件的交換機，可以保留前置采集機，實現省中心的二次采集，兩種模式的混合可以成為“一級半模式”。

二、關于湖北電信聯機采集系統直采改造的需求分析

目前以湖北電信聯機采集系統建設為例，聯采系統完全根據中國電信集團公司《本地網聯集計費采集技術規(guī)范》[1]的要求，采用各本地網集中、全省分散的混合組網模式，也就是計費數據先匯聚到本地網，再上傳至省中心。隨著網絡條件的飛躍以及技術能力的發(fā)展，上述架構中計費數據需要采集經過的環(huán)節(jié)較多。計費數據從交換機到帳務主機的采集過程時間較長，無法滿足計費的實時性要求，系統提速的需求比較迫切。根據上述分析，聯采系統云平臺建設的目標如下：全省集中采集，將原來的二級架構[2]改造為全省一級架構，節(jié)省維護成本；提高采集實時性，將采集頻率由原來的15分鐘提高到5分鐘；增強管理能力，包括業(yè)務性能實時監(jiān)控、Flex告警面板、WebReport網頁報表等重要管理功能。

三、集中模式和云計算系統對于解決聯采系統改造問題的幫助

目前以湖北電信為例，其全省的網關、NGN交換機采用二級架構：網關交換機采用各本地網集中采集，再上傳至省計費集中處理；NGN交換機采用各本地網集中，再上傳至省計費集中處理。全省集中后的一級架構中，聯采系統通過3個環(huán)節(jié)完成計費采集，大大提高業(yè)務效率。具體流程如下：云采集平臺采集文件；云采集平臺校驗&存儲；生成數據分發(fā)索引&目錄。由于系統改造中采集加速的目標要求，系統處理能力面臨三重挑戰(zhàn)，云平臺是超強性能的最佳選擇，有效提升系統處理能力。

四、云平臺—Hadoop系統技術介紹

1、Hadoop系統是一個可以更容易開發(fā)和運行處理大規(guī)模數據的軟件平臺。其中，HDFS是一個分布式文件系統（Hadoop Distributed File System），有著高容錯性的特點，并且設計用來部署在低廉的硬件上。MapReduce是一個分布式計算模型。與分布式文件系統相結合，它可以為程序員提供一個定義良好的用于描述計算任務的 API，從而幫助他們簡化并行化問題的任務。MapReduce將應用程序的工作分解成很多小的工作小塊。HDFS為了做到可靠性創(chuàng)建了多份數據塊的復制，并將它們放置在服務器群的計算節(jié)點中，MapReduce就可以在它們所在的節(jié)點上處理這些數據了。

2、Hadoop系統主要特點：能可靠地（reliably）存儲和處理千兆字節(jié)（PB）數據?？梢酝ㄟ^普通機器組成的服務器群來分發(fā)以及處理數據。這些服務器群總計可達數千個節(jié)點。通過分發(fā)數據，hadoop可以在數據所在的節(jié)點上并行地（parallel）處理它們，這使得處理非常的快速。hadoop能自動地維護數據的多份復制，并且在任務失敗后能自動地重新部署（redeploy）計算任務。

五、集中式云平臺聯機計費采集系統特點介紹

1、分發(fā)存儲并行。云采集平臺采用多主機的模式，可以在數十臺數據節(jié)點上，配置高達數百G的ramdisk用于緩存數據；同時云計算采用作業(yè)均衡調度機制，可以動態(tài)檢查ramdisk的使用情況，然后再進行作業(yè)分配；系統采用完整的稽查機制，可以保證計費文件100%準確地采集以及分發(fā)。

2、有效解決磁盤I/O瓶頸。全省集中采集模式，所有近百個節(jié)點的數據需要集中存儲，而且并發(fā)訪問，將導致磁盤訪問瓶頸。云平臺利用HDFS技術，實現多節(jié)點分散存儲模式，每塊磁盤保證獨立訪問，從而避免了磁盤I/O瓶頸，同時整個系統的I/O帶寬擴展到數十G。

六、聯采系統改造順應發(fā)展需求

1、 符合業(yè)務發(fā)展的需求。聯機采集云計算平臺采用業(yè)務動態(tài)加載模式，同時提供強大的并行計算能力，可以滿足電信業(yè)務不斷發(fā)展的需求。2、 符合技術發(fā)展的需求。聯機采集云計算平臺符合云技術的發(fā)展趨勢和層次定義。3、 符合節(jié)能減排的需求。以湖北省為例，采用聯機采集云計算平臺可以節(jié)省77臺設備，節(jié)省能耗高達80%，完全符合國家倡導節(jié)能減排目標。4、 符合電信投資策略的需求。采用聯機采集云計算平臺可以獲得低價格/高性能的性價比。

結束語：湖北電信通過對聯機計費采集系統的升級改造，特別是采用集中模式和云計算平臺等技術，能夠充分提升系統性能，加快電信業(yè)務處理能力，滿足用戶及時了解自身費用情況的服務需求，從而有針對性的提高服務質量，提高企業(yè)核心競爭力。

簡介：葉進，男，1976年9月出生，1998年6月畢業(yè)于中南民族學院，工程碩士，現就職于湖北電信公司業(yè)務支撐中心，工程師

通信地址：武漢市江漢區(qū)常青路158號湖北省電信公司業(yè)務支撐中心，主要研究方向是電信企業(yè)計費系統的解決方案、應用等。 聯系電話：18907181367

參 考 文 獻

[1]中國電信運維[2000]5號文件

[2]中國電信網絡[2001]164號文參考文獻