本刊記者 | 李璐

近年，在移動(dòng)互聯(lián)網(wǎng)日益蓬勃的背景下，國內(nèi)電信運(yùn)營商傳統(tǒng)的語音、短信業(yè)務(wù)日漸萎縮，ARPU值下降，量收剪刀差突出等已成既定事實(shí)。逐漸“被管道化”的運(yùn)營商，如何在新時(shí)代突圍？

在新環(huán)境下，部分運(yùn)營商開始著手利用Big Data技術(shù)，補(bǔ)充現(xiàn)有IT系統(tǒng)，提升客戶體驗(yàn)，同時(shí)實(shí)現(xiàn)精細(xì)化流量經(jīng)營，利用數(shù)據(jù)創(chuàng)收。目前，電信行業(yè)重點(diǎn)的大數(shù)據(jù)應(yīng)用主要包括清單查詢、客戶行為分析、日志分析、流量分析等。

清單查詢系統(tǒng)：開源Hadoop難勝任

當(dāng)前運(yùn)營商現(xiàn)有清單查詢系統(tǒng)大多采用傳統(tǒng)架構(gòu)，支持5+1個(gè)月或者11+1個(gè)月的詳單查詢，可以查詢到N天后的最新話單。然而傳統(tǒng)架構(gòu)卻存在一系列問題。在容量方面，數(shù)據(jù)增長過快（n×100億條，n×TB數(shù)據(jù)），應(yīng)用緊耦合，不能平滑的橫向擴(kuò)展，導(dǎo)致查詢響應(yīng)時(shí)間長，查詢成功率保障不足，系統(tǒng)部署過于集中，主機(jī)資源競爭嚴(yán)重。同時(shí)傳統(tǒng)模式建設(shè)與擴(kuò)展成本高，除此之外，在安全、可靠、管理方面，傳統(tǒng)架構(gòu)系統(tǒng)高可用保障能力不足。

為了解決上述問題，運(yùn)營商迫切希望應(yīng)用Big Data技術(shù)。開源Hadoop技術(shù)的高擴(kuò)展性，接近100%的性能線性擴(kuò)展比正越來越受到業(yè)界青睞。然而對于運(yùn)營商，其除了數(shù)據(jù)密集型的M-R型，還需支持更多的計(jì)算場景；需要多負(fù)載支持，一個(gè)集群上支持多種不同類型應(yīng)用；需要智能的作業(yè)調(diào)度能力，支持搶占、獨(dú)占、共享等各種調(diào)度策略，保證服務(wù)等級SLA；需要數(shù)據(jù)生命周期管理，包括備份、快照；需支持短任務(wù)，低延遲（任務(wù)延遲<1毫秒 ）等，而這些能力是開源Hadoop方案難以支撐的。

據(jù)了解，福建電信基于3臺IBM PowerLinux服務(wù)器7R1，采用IBM的Symphony + GPFS-FPO+HBase的企業(yè)級大數(shù)據(jù)解決方案，以滿足清單查詢的業(yè)務(wù)需求。在其清單加載場景中，加載了一個(gè)月的清單數(shù)據(jù)，約29.9億條，共700GB，而該系統(tǒng)以每秒72.7Mbit/s，30萬條數(shù)據(jù)記錄的結(jié)果展現(xiàn)了優(yōu)勢。

用戶行為分析：挖掘數(shù)據(jù)資產(chǎn)

海量且穩(wěn)定的客戶群體，可持續(xù)的數(shù)據(jù)源，用戶每一條上網(wǎng)話單中包含的重要信息，正是電信運(yùn)營商在大數(shù)據(jù)時(shí)代的重要資產(chǎn)。而借用大數(shù)據(jù)技術(shù)，運(yùn)營商可以通過判定用戶的使用習(xí)慣實(shí)現(xiàn)精準(zhǔn)的定向營銷、制定符合用戶習(xí)慣的資費(fèi)政策，通過預(yù)判用戶的興趣愛好提供有針對性的網(wǎng)絡(luò)便利性服務(wù)，比如精準(zhǔn)廣告、應(yīng)用推送。

據(jù)悉，在北京信合運(yùn)通科技有限公司與北京電信聯(lián)合打造的大數(shù)據(jù)和分析項(xiàng)目——互聯(lián)網(wǎng)行為標(biāo)簽系統(tǒng)中，已建立獨(dú)立的DPI流量即席查詢功能，并可以開展針對性的內(nèi)容與應(yīng)用推薦營銷。

該系統(tǒng)采用四層應(yīng)用架構(gòu)。在接口層，互聯(lián)網(wǎng)行為標(biāo)簽系統(tǒng)抽取白名單用戶號碼，并從DPI采集用戶移動(dòng)互聯(lián)網(wǎng)上網(wǎng)日志信息；數(shù)據(jù)庫層，保存同步的用戶移動(dòng)互聯(lián)網(wǎng)上網(wǎng)日志、保存并更新URL庫、APP庫、分類庫，以及互聯(lián)網(wǎng)行為標(biāo)簽結(jié)果數(shù)據(jù)；應(yīng)用層，實(shí)現(xiàn)對用戶移動(dòng)互聯(lián)網(wǎng)行為標(biāo)簽分析過程、智能機(jī)搜索匹配分析過程、專題分析的網(wǎng)址匹配分析過程，并將分析結(jié)果標(biāo)識，同時(shí)應(yīng)用層實(shí)現(xiàn)對地址庫的定期更新；輸出層，互聯(lián)網(wǎng)行為標(biāo)簽系統(tǒng)將互聯(lián)網(wǎng)行為標(biāo)簽、智能機(jī)搜索標(biāo)簽、專題分析的地址匹配標(biāo)簽統(tǒng)計(jì)并輸出到ODS等應(yīng)用系統(tǒng)。

在I T環(huán)境搭建方面，該系統(tǒng)基于I B M PowerLinux 7R1平臺，同時(shí)利用商業(yè)化的GPFSFPO文件系統(tǒng)取代開源的HDFS文件系統(tǒng)，聯(lián)合商業(yè)化的Map/Reduce軟件Symphony共同作用，來支持混搭的基礎(chǔ)架構(gòu)，也為將來的平臺的擴(kuò)容及演進(jìn)提供了很大的靈活性。目前該系統(tǒng)對數(shù)據(jù)的解析率可達(dá)89.46%。

Power構(gòu)建企業(yè)級大數(shù)據(jù)和分析平臺

隨著大數(shù)據(jù)和分析在電信行業(yè)的深入，運(yùn)營商對大數(shù)據(jù)和分析平臺的企業(yè)級可靠性、穩(wěn)定性、安全性要求會越來越高。同時(shí)面對著極為復(fù)雜的行業(yè)應(yīng)用場景，不同類型和來源的數(shù)據(jù)需要統(tǒng)一地被利用，特別是新的大數(shù)據(jù)方案如何與傳統(tǒng)的數(shù)據(jù)倉庫無縫集成成為難點(diǎn)。IBM方面表示，現(xiàn)在企業(yè)客戶需要企業(yè)級的、全面的大數(shù)據(jù)和分析解決方案，并且還要有深厚的行業(yè)經(jīng)驗(yàn)支持，而在這些方面，IBM Power都為企業(yè)級大數(shù)據(jù)和分析應(yīng)用基礎(chǔ)架構(gòu)平臺提供了更好的選擇。

針對要求迥異的應(yīng)用場景，IBM Power家族已發(fā)展兩條子產(chǎn)品線：天合大數(shù)據(jù)服務(wù)器（PowerLinux）憑借優(yōu)秀的橫向擴(kuò)展性主要運(yùn)行靜態(tài)和實(shí)時(shí)大數(shù)據(jù)應(yīng)用；而PowerAIX則倚重強(qiáng)大的企業(yè)級優(yōu)勢承載數(shù)據(jù)倉庫整合和數(shù)據(jù)集市構(gòu)建等工作負(fù)載。

Power靜態(tài)大數(shù)據(jù)解決方案：Power支持Open Hadoop/ BigInsights/ Symphony等大數(shù)據(jù)解決方案，并能夠與傳統(tǒng)數(shù)據(jù)倉庫系統(tǒng)無縫集成；天合大數(shù)據(jù)服務(wù)器（PowerLinux）/GPFS-FPO/Symphony相對x86方案擁有巨大的性能優(yōu)勢；

Power實(shí)時(shí)大數(shù)據(jù)處理解決方案：Power支持IBM Infosphere Streams和開源的Storm構(gòu)建流計(jì)算解決方案；天合大數(shù)據(jù)服務(wù)器（PowerLinux）/GPFS-FPO/Streams實(shí)現(xiàn)了業(yè)界最為強(qiáng)大的實(shí)時(shí)數(shù)據(jù)處理功能和性能；

Power數(shù)據(jù)倉庫整合解決方案：長久以來，Power集中式架構(gòu)是企業(yè)級用戶構(gòu)建數(shù)據(jù)庫、數(shù)據(jù)倉庫的首選，在各行業(yè)被廣泛應(yīng)用；DB2 PureScale實(shí)現(xiàn)對Power集中式架構(gòu)的進(jìn)一步增強(qiáng)；Power基于DB2 BCU構(gòu)建起強(qiáng)大的Scale-Out架構(gòu)數(shù)據(jù)倉庫，以及基于Power低端服務(wù)器的創(chuàng)新解決方案；

Power數(shù)據(jù)集市構(gòu)建解決方案：DB2 BLU內(nèi)存列式數(shù)據(jù)庫帶來數(shù)據(jù)管理的革命性轉(zhuǎn)折點(diǎn)，實(shí)現(xiàn)了數(shù)據(jù)查詢的革命性進(jìn)步；專門針對Power Systems進(jìn)行優(yōu)化，以充分發(fā)揮Power獨(dú)有的特性，報(bào)告和分析快8-25倍，以及10倍的存儲空間節(jié)省。

IBM系統(tǒng)與科技部大中華區(qū)Power Systems總經(jīng)理侯淼表示：“IBM Power大數(shù)據(jù)和分析應(yīng)用平臺憑借業(yè)界領(lǐng)先的性能、企業(yè)級的可靠性/安全性、強(qiáng)大的擴(kuò)展能力（Scale Up & Scale Out)，以及全面的行業(yè)應(yīng)用場景覆蓋和深厚的行業(yè)洞察積累，無疑是當(dāng)前最佳大數(shù)據(jù)和分析平臺的不二之選。目前，基于IBM Power平臺的大數(shù)據(jù)實(shí)踐已經(jīng)深入到包括中國在內(nèi)的全球市場的各個(gè)行業(yè)，包括電信、金融、醫(yī)療、零售、制造等眾多客戶已經(jīng)在IBM Power大數(shù)據(jù)平臺及大數(shù)據(jù)分析等技術(shù)的支持下獲益?！?/p>