周實奇

摘 要：大數(shù)據(jù)平臺生態(tài)圈產(chǎn)品眾多，提供了眾多功能，開源產(chǎn)品為主，普遍面向功能層面，相比傳統(tǒng)關系型產(chǎn)品圈，大數(shù)據(jù)平臺更缺乏全局的統(tǒng)籌管理；大數(shù)據(jù)平臺面對的數(shù)據(jù)更多，數(shù)據(jù)量更多，處理更為復雜；平臺的靈活性，為不同用戶提供了不同的數(shù)據(jù)視覺；復雜度靈活性也帶來了對數(shù)據(jù)管理的難度；過去關系型數(shù)據(jù)的管理與管控往往是事后行為，數(shù)據(jù)的管理與管控效果較差；在大數(shù)據(jù)更為復雜的環(huán)境下，有效的管控變得更為重要。

關鍵詞：移動互聯(lián)網(wǎng)、大數(shù)據(jù)平臺

1 背景

1.1 什么是大數(shù)據(jù)

最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！?/p>

本文將立足大數(shù)據(jù)在電信運營商支撐體系的定位、價值應用和支撐方案等方面展開討論。

1.2 大數(shù)據(jù)的特點

要理解大數(shù)據(jù)這一概念，首先要從"大"入手，"大"是指數(shù)據(jù)規(guī)模，大數(shù)據(jù)一般指在10TB（1TB=1024GB）規(guī)模以上的數(shù)據(jù)量。大數(shù)據(jù)同過去的海量數(shù)據(jù)有所區(qū)別，其基本特征可以用4個V來總結(jié)（Volume、Variety、Value和Velocity），即體量大、多樣性、價值密度低、速度快。

第一，數(shù)據(jù)體量巨大。從TB級別，躍升到PB級別。

第二，數(shù)據(jù)類型繁多，如網(wǎng)絡日志、視頻、圖片、地理位置信息等。

第三，價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。

第四，處理速度快。1秒定律。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術有著本質(zhì)的不同。物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數(shù)據(jù)來源或者承載的方式。

1.3 大數(shù)據(jù)在電信運營商IT支撐體系中的應用定位

而對于企業(yè)來講，尤其是電信運營商企業(yè)，為了達到匯集數(shù)據(jù)，并最大發(fā)揮數(shù)據(jù)的價值，建設數(shù)據(jù)中心是不二的選擇。那么在大數(shù)據(jù)時代，大數(shù)據(jù)的數(shù)據(jù)范圍應該包含哪些？我們又應該通過什么樣的方式管理和最大程度的挖掘其價值呢？

首先，為了達到輔助企業(yè)精細精確化運營，大數(shù)據(jù)的范圍應該包括企業(yè)運營產(chǎn)生的全部數(shù)據(jù)，即我們通常所說支撐體系中B、O、E、M、D域中的全部數(shù)據(jù)。同時為了不斷適應發(fā)展環(huán)境，我們還應該考慮納入互聯(lián)網(wǎng)數(shù)據(jù)，乃至物聯(lián)網(wǎng)數(shù)據(jù)。在大數(shù)據(jù)支撐體系架構(gòu)設計上，還應考慮通過靈活的手段，支撐未來更大范圍的數(shù)據(jù)。

2 業(yè)務現(xiàn)狀

處于大數(shù)據(jù)爆炸時代下的電信運營商，也不能獨善其身，電信運營商的數(shù)據(jù)來源可以分為三類：

（1）用戶數(shù)據(jù)：包括用戶的姓名、年齡、職業(yè)等基本數(shù)據(jù)，上網(wǎng)記錄、瀏覽網(wǎng)站、瀏覽內(nèi)容等興趣愛好，支付交易、資金往來等消費水平，上網(wǎng)地點、使用時間等行為軌跡，朋友圈、同學群等交往圈子。

（2）產(chǎn)品數(shù)據(jù)：包括產(chǎn)品形態(tài)、產(chǎn)品聲音、圖片、視頻，流量，短信、渠道、品牌等。

（3） 網(wǎng)絡數(shù)據(jù)：網(wǎng)管能力，網(wǎng)絡基礎通信能力，運維數(shù)據(jù)等。

面對這些幾何式增長的數(shù)據(jù)，如何管理并有效它們成為擺在每個電信管理者面前必需解決的問題。目前電信運營商在大數(shù)據(jù)管理方面所面臨的一些挑戰(zhàn)：

（1）大數(shù)據(jù)平臺生態(tài)圈產(chǎn)品眾多，提供了眾多功能，開源產(chǎn)品為主，普遍面向功能層面，相比傳統(tǒng)關系型產(chǎn)品圈，大數(shù)據(jù)平臺更缺乏全局的統(tǒng)籌管理；

（2）大數(shù)據(jù)平臺面對的數(shù)據(jù)更多，數(shù)據(jù)量更多，處理更為復雜；平臺的靈活性，為不同用戶提供了不同的數(shù)據(jù)視覺（如MapReduce和Hive）；復雜度靈活性也帶來了對數(shù)據(jù)管理的難度；

（3）過去關系型數(shù)據(jù)的管理與管控往往是事后行為，數(shù)據(jù)的管理與管控效果較差；在大數(shù)據(jù)更為復雜的環(huán)境下，有效的管控變得更為重要；

（4）大數(shù)據(jù)平臺目前混合架構(gòu)會長期存在，混合架構(gòu)的數(shù)據(jù)管理產(chǎn)品缺乏。面對挑戰(zhàn)，適應潮流，建設一套統(tǒng)一的數(shù)據(jù)管理平臺對每個運營商來說勢在必行。

3 建設原則分析

大數(shù)據(jù)平臺建設并不單純?nèi)Q于企業(yè)的業(yè)務規(guī)模、需求等因素，而是與企業(yè)本身的技術水平、基礎數(shù)據(jù)的可信度、對統(tǒng)計分析需求的理解等多方面有著密切的關系。綜合上述因素，在建設中應堅持以下的建設原則要求：

（1）系統(tǒng)的建設與電信運營商信息化數(shù)據(jù)分布及接口現(xiàn)狀結(jié)合

大數(shù)據(jù)的建設應與信息化數(shù)據(jù)分布及接口現(xiàn)狀緊密結(jié)合，引入有效的數(shù)據(jù)管理和控制手段，對分散在各系統(tǒng)的數(shù)據(jù)進行科學、實用的整合，對系統(tǒng)間各類數(shù)據(jù)傳遞接口進行合理、高效的整合，保證數(shù)據(jù)的一致性、完整性、準確性，從而順利實現(xiàn)大數(shù)據(jù)建設目標。

（2）堅持從實際出發(fā)，統(tǒng)籌規(guī)劃、突出重點、分步實施的系統(tǒng)建設理念

信息化建設是一個逐步推進和不斷完善的過程，不可能一蹴而就，尤其是作為企業(yè)數(shù)據(jù)架構(gòu)之一的大數(shù)據(jù)支撐平臺建設，既要有高瞻遠矚的戰(zhàn)略眼光，又要有腳踏實地的務實精神。大數(shù)據(jù)的建設應把當前需求與長遠規(guī)劃發(fā)展結(jié)合起來，突出重點、分步實施，實現(xiàn)對精確管理和品牌經(jīng)營的有力支撐。

4 平臺總體設計

在明晰了電信運營企業(yè)在大數(shù)據(jù)的定位和價值體現(xiàn)后，我們來談談怎樣來實現(xiàn)。

對于大數(shù)據(jù)的特點，業(yè)界已經(jīng)達成基本4V特點的共識，即Volume（數(shù)據(jù)大）、Variety（種類多）、Velocity（及時性要求高）、Value（價值密度低）。而我們要說大數(shù)據(jù)的特點，應該是為更好的處理大數(shù)據(jù)找到相應的方法，對于其規(guī)模大的特點，我們是不是應該想辦法把大數(shù)據(jù)變?。粚τ谄浣Y(jié)構(gòu)復雜，我們是不是應該找到不同類型數(shù)據(jù)相應的處理方法；對于它價值密度低，我們應該怎么樣更好的分類和設計挖掘的模型；對于時效性要求，我們應該怎么樣提高處理速度，滿足需求。這應該是我們總結(jié)大數(shù)據(jù)特點的初衷，而這些特點相應的解決方案應融入到我們的架構(gòu)設計中去。

5 平臺實現(xiàn)方案

大數(shù)據(jù)管理平臺共由六大模塊組成，分別是運維門戶，數(shù)據(jù)安全管理，數(shù)據(jù)運維管理，數(shù)據(jù)生命周期管理，數(shù)據(jù)質(zhì)量管理以及元數(shù)據(jù)管理。下面分別介紹這六大模塊。

5.1 數(shù)據(jù)運維門戶

數(shù)據(jù)運維門戶提供統(tǒng)一的信息服務功能入口，實現(xiàn)大數(shù)據(jù)信息的共享。其主要實現(xiàn)的功能包括以下三點：

1.界面集成，即在運維門戶系統(tǒng)的一個頁面中將多個系統(tǒng)頁面進行統(tǒng)一呈現(xiàn)，使用戶無需在各個系統(tǒng)之間進行登錄切換，增加用戶查看信息的便利性；

2.數(shù)據(jù)集成，運維門戶系統(tǒng)需要采集各個系統(tǒng)的業(yè)務數(shù)據(jù)，然后進行歸納、加工和處理，提取出對使用者更有價值的信息并進行展示；

3.功能集成，運維門戶系統(tǒng)還需要對各系統(tǒng)的功能進行集成，使用戶在門戶中也能夠使用各系統(tǒng)中的特定功能。

5.2 數(shù)據(jù)安全管理

通過集中的數(shù)據(jù)安全管理來保證組織數(shù)據(jù)安全、合理的使用；數(shù)據(jù)安全管理包敏感數(shù)據(jù)脫敏、數(shù)據(jù)權限管理、訪問控制、接入認證、數(shù)據(jù)傳輸安全和權限控制。

敏感數(shù)據(jù)脫敏指對某些敏感信息通過脫敏規(guī)則進行數(shù)據(jù)的變形，實現(xiàn)敏感隱私數(shù)據(jù)的可靠保護。這樣，就可以在開發(fā)、測試和其它非生產(chǎn)環(huán)境以及外包環(huán)境中安全地使用脫敏后的真實數(shù)據(jù)集。

訪問控制是指能夠識別非法來源的請求，并拒絕為其提供服務，從而防止對系統(tǒng)惡意攻擊。

接入認證是指對接入者的身份認證，對于認證失敗的請求，拒絕提供服務。

5.3 數(shù)據(jù)運維管理

數(shù)據(jù)運維活動，基于基礎的元數(shù)據(jù)管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理等活動，將這些活動有序的組織貫通，以保證組織數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)使用的有效運作。

5.4 數(shù)據(jù)生命周期管理

數(shù)據(jù)生命周期管理通過制定合理的管理制度、組織架構(gòu)以及對應的技術規(guī)范，協(xié)調(diào)各流程制度、技術規(guī)范的有效運行，以提升數(shù)據(jù)服務水平與數(shù)據(jù)使用效率，從而實現(xiàn)降低成本、提高效率的目標。數(shù)據(jù)存儲和備份規(guī)范是保障和基礎，數(shù)據(jù)管理和維護是執(zhí)行方法，通過高效的數(shù)據(jù)管理和維護效率，從而不斷提升數(shù)據(jù)服務水平。

5.5 數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理通過對數(shù)據(jù)質(zhì)量進行檢查，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題后及時進行報警。并采取相應的解決方案。運營支撐系統(tǒng)和源系統(tǒng)形成閉環(huán)的數(shù)據(jù)管理流程，避免產(chǎn)生不合格的數(shù)據(jù)，影響運營商系統(tǒng)環(huán)境。

5.6 元數(shù)據(jù)管理

大數(shù)據(jù)系統(tǒng)的元數(shù)據(jù)包括Hadoop元數(shù)據(jù)、Hbase元數(shù)據(jù)、Hive元數(shù)據(jù)等。

Hadoop元數(shù)據(jù)

HDFS文件的目錄樹、文件名稱、文件路徑、文件大小、文件權限和擁有者、文件訪問時間和修改時間， HDFS文件的分類目錄、文件生成規(guī)則和命名規(guī)則、業(yè)務描述和模型結(jié)構(gòu)定義信息、任務調(diào)度數(shù)據(jù)等。

Hbase元數(shù)據(jù)

HBASE庫表目錄、庫表名稱、庫表結(jié)構(gòu)、HBASE庫表的模型分類目錄、業(yè)務描述、模型結(jié)任務調(diào)度數(shù)據(jù)等元數(shù)據(jù)。

Hive元數(shù)據(jù)

HIVE庫表目錄、庫表名稱、庫表結(jié)構(gòu)、庫表大小、HIVE庫表的模型分類目錄、業(yè)務描述、模型結(jié)構(gòu)、任務調(diào)度數(shù)據(jù)等元數(shù)據(jù)。

6 大數(shù)據(jù)平臺建設關鍵點分析

關鍵點一：明確的系統(tǒng)定位和目標。

大數(shù)據(jù)系統(tǒng)的建設，是個復雜龐大的工程，需要多期的持續(xù)化建設，所以在初期的建設中，需要明確整體系統(tǒng)定位和各期各階段的建設目標，在保持一定先進性的前提條件下合理演進。在大的系統(tǒng)定位和業(yè)務支撐明確后，還需在各期建設中，不斷的進行規(guī)劃咨詢，通過細微的調(diào)整，來滿足不同時期重要緊急的能力支撐，保證整體系統(tǒng)體系的高效建設和發(fā)展。

關鍵點二：從運營商公司實際需求出發(fā)，選擇合理的技術架構(gòu)。

技術不是萬能的，但沒有技術也是萬萬不能的。大數(shù)據(jù)平臺涉及到的技術花樣繁多，Hadoop框架、MPP數(shù)據(jù)庫、列式存儲、并行計算、實時計算、內(nèi)存計算、交互式查詢、可視化展現(xiàn)等等，有很多的技術路線分支，大多數(shù)又是開源的，集成商對其掌握的深入程度，在其之上改造提升的程度，如何選用及整合合適的技術路線產(chǎn)品，性能、穩(wěn)定性、安全性、可維護性、快速問題解決能力、二次開發(fā)的方便性，都成為大數(shù)據(jù)平臺建設的關鍵因素。

關鍵點三：對業(yè)務數(shù)據(jù)的深刻理解和科學的數(shù)據(jù)存儲規(guī)劃。

做大數(shù)據(jù)項目，首要點在于對各類數(shù)據(jù)的理解和掌握。對于BSS/OSS的數(shù)據(jù)、客戶行為的數(shù)據(jù)、增值業(yè)務系統(tǒng)的數(shù)據(jù)等等是否有深入的理解和認識？這些數(shù)據(jù)如何進行關聯(lián)，如何能夠打通不同網(wǎng)絡，前后端的數(shù)據(jù)？哪些數(shù)據(jù)是真實有效的，存在哪些數(shù)據(jù)盲點？對于盲點數(shù)據(jù)，如何彌補數(shù)據(jù)缺陷？如果沒有對數(shù)據(jù)全方位完整深入的認識，由此建設的大數(shù)據(jù)項目就會成為花架子，中看不中用。

關鍵點四：打造開放的體系架構(gòu)，盤活數(shù)據(jù)資產(chǎn)。

大數(shù)據(jù)能力產(chǎn)品與應用平臺作為對外數(shù)據(jù)能力和平臺能力的支撐平臺，為了更好發(fā)揮大數(shù)據(jù)能力與應用平臺的價值作用，如何規(guī)劃建設開放化的架構(gòu)體系，豐富數(shù)據(jù)服務能力和平臺能力，為用戶提供完善的數(shù)據(jù)服務和平臺服務，將一定程度上決定系統(tǒng)的生命力。

關鍵點五：“百花齊放”的應用開發(fā)支撐，充分挖掘數(shù)據(jù)“金礦”。

傳統(tǒng)時代是“有問題找數(shù)據(jù)”，大數(shù)據(jù)時代是“用數(shù)據(jù)找機會”。如何從“看數(shù)據(jù)”到“用數(shù)據(jù)”再到“養(yǎng)數(shù)據(jù)”，讓數(shù)據(jù)成為構(gòu)建企業(yè)生產(chǎn)力的重要部分，成為企業(yè)取之不盡，用之不竭的“金礦”。這必須要有一個基于“百花齊放”思想的應用開發(fā)支撐框架，以及豐富的應用的支持。大數(shù)據(jù)應用將不是簡單地提供一些報表或分析模塊，而是需要站在企業(yè)運營（營銷、客服、運維等）及對外數(shù)據(jù)價值變現(xiàn)的各個方面，將數(shù)據(jù)的力量和思考的力量融合在一起，推動更主動的管理和更多的創(chuàng)新。

關鍵點六：可持續(xù)發(fā)展的系統(tǒng)平臺。

如何適應運營商大數(shù)據(jù)平臺建設規(guī)劃的發(fā)展，以及大數(shù)據(jù)平臺不斷豐富完善的過程，進行大數(shù)據(jù)平臺的配套建設，靈活適應業(yè)務發(fā)展和管理完善的要求，制定切實可行的平臺和業(yè)務支撐演進計劃，是在本期系統(tǒng)平臺和應用開發(fā)設計需要重點考慮的，同時也是打造一個可持續(xù)發(fā)展的系統(tǒng)平臺的關鍵問題。

7 結(jié)束語

基于Hadoop平臺建設大數(shù)據(jù)中心數(shù)據(jù)管理平臺，收集HDFS、Hive、Hbase、Hcatalog、Oozie等核心產(chǎn)品和關系型數(shù)據(jù)處理相關的元數(shù)據(jù)信息，實現(xiàn)對大數(shù)據(jù)元數(shù)據(jù)的統(tǒng)一管控，并結(jié)合實際的業(yè)務需求，實現(xiàn)基于大數(shù)據(jù)平臺的數(shù)據(jù)運維。在大數(shù)據(jù)環(huán)境下，實現(xiàn)大數(shù)據(jù)相關的元數(shù)據(jù)管理及數(shù)據(jù)運維輔助支撐。從遠景來看，實現(xiàn)大數(shù)據(jù)環(huán)境下面向全行業(yè)數(shù)據(jù)的管理與管控平臺，提供企業(yè)級的數(shù)據(jù)運營管理平臺。

參考文獻

[1] 鄭雪菲.國外電信運營商大數(shù)據(jù)應用及啟示.

[2] 盧曄.大數(shù)據(jù)--移動互聯(lián)網(wǎng)時代通信運營商的破局之道.