陳濤，孟德香，傅云瑾，教湘飛（中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司，北京 100080）

?

規(guī)劃建模數(shù)據(jù)分析平臺(tái)技術(shù)架構(gòu)研究

陳濤，孟德香，傅云瑾，教湘飛
（中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司，北京 100080）

摘 要面對(duì)互聯(lián)網(wǎng)技術(shù)的激烈競(jìng)爭(zhēng)，電信運(yùn)營(yíng)企業(yè)迫切需要建立以市場(chǎng)為導(dǎo)向的精細(xì)化資源配置管理體系，通過(guò)大數(shù)據(jù)分析提升企業(yè)效率和競(jìng)爭(zhēng)能力。但是大數(shù)據(jù)分析技術(shù)在運(yùn)營(yíng)商業(yè)務(wù)和網(wǎng)絡(luò)協(xié)同規(guī)劃中的應(yīng)用尚沒(méi)有成熟經(jīng)驗(yàn)，本文研究提出支撐運(yùn)營(yíng)商網(wǎng)絡(luò)規(guī)劃建模工作的數(shù)據(jù)分析平臺(tái)功能設(shè)計(jì)和關(guān)鍵平臺(tái)架構(gòu)技術(shù)，為構(gòu)建類似規(guī)劃分析平臺(tái)提供技術(shù)架構(gòu)參考。

關(guān)鍵詞網(wǎng)絡(luò)規(guī)劃建模；軟件架構(gòu)；大數(shù)據(jù)分析

1　規(guī)劃建模數(shù)據(jù)分析平臺(tái)

電信運(yùn)營(yíng)企業(yè)面臨傳統(tǒng)業(yè)務(wù)增長(zhǎng)趨緩、競(jìng)爭(zhēng)日趨激烈、互聯(lián)網(wǎng)技術(shù)快速發(fā)展帶來(lái)替代效應(yīng)日益明顯等諸多挑戰(zhàn)。以規(guī)劃管理為抓手，提升企業(yè)精細(xì)化管理能力，提升企業(yè)效率和競(jìng)爭(zhēng)力成為運(yùn)營(yíng)商的普遍選擇。運(yùn)營(yíng)企業(yè)傳統(tǒng)的網(wǎng)絡(luò)規(guī)劃存在業(yè)務(wù)需求分析相對(duì)粗放、與年度項(xiàng)目管理工作脫節(jié)等問(wèn)題。業(yè)務(wù)需求分析粗放主要體現(xiàn)在市場(chǎng)分析不夠深入，缺乏全面準(zhǔn)確的市場(chǎng)信息收集和科學(xué)的模型工具支撐，導(dǎo)致市場(chǎng)和網(wǎng)絡(luò)不能形成緊密銜接的一體化規(guī)劃,嚴(yán)重制約項(xiàng)目決策效率與質(zhì)量提升，企業(yè)規(guī)劃的價(jià)值沒(méi)有充分發(fā)揮，因此傳統(tǒng)網(wǎng)絡(luò)規(guī)劃工作存在改進(jìn)需求。

部分運(yùn)營(yíng)企業(yè)探索建立以市場(chǎng)為導(dǎo)向的精細(xì)化資源配置管理體系（Resource for Market Management System），旨在通過(guò)大數(shù)據(jù)分析平臺(tái)，搜集地方經(jīng)濟(jì)數(shù)據(jù)、公司經(jīng)營(yíng)分析統(tǒng)計(jì)數(shù)據(jù)和財(cái)務(wù)系統(tǒng)數(shù)據(jù)等，支撐市場(chǎng)、客戶、話音、流量等業(yè)務(wù)評(píng)估模型，更科學(xué)的指導(dǎo)網(wǎng)絡(luò)資源的配置，積累規(guī)劃經(jīng)驗(yàn)數(shù)據(jù)，建立以市場(chǎng)需求為起點(diǎn)，以項(xiàng)目驗(yàn)收為終點(diǎn)的具有實(shí)際指導(dǎo)意義的新型規(guī)劃閉環(huán)體系，推進(jìn)公司實(shí)現(xiàn)持續(xù)健康發(fā)展。

本文對(duì)支撐RFM管理的規(guī)劃建模數(shù)據(jù)分析平臺(tái)的技術(shù)架構(gòu)進(jìn)行了深入的研究，提出了平臺(tái)功能設(shè)計(jì)和技術(shù)架構(gòu)，為建立同類大數(shù)據(jù)應(yīng)用提供了參考。

2　大數(shù)據(jù)分析平臺(tái)架構(gòu)技術(shù)

大數(shù)據(jù)分析技術(shù)在運(yùn)營(yíng)商業(yè)務(wù)和網(wǎng)絡(luò)協(xié)同規(guī)劃中的應(yīng)用尚沒(méi)有成熟經(jīng)驗(yàn)，但是一般數(shù)據(jù)分析平臺(tái)主要包含如下功能。

（1）數(shù)據(jù)收集與存儲(chǔ)，實(shí)現(xiàn)與外部異構(gòu)數(shù)據(jù)源的接口、數(shù)據(jù)清洗與萃取、數(shù)據(jù)融合與集成等。

（2）信息整理與提取，按照業(yè)務(wù)需求，對(duì)原始數(shù)據(jù)進(jìn)行分類整理、統(tǒng)計(jì)、索引等計(jì)算，對(duì)外提供查詢、統(tǒng)計(jì)等數(shù)據(jù)操作接口。

（3）業(yè)務(wù)應(yīng)用與知識(shí)發(fā)現(xiàn)能力，根據(jù)應(yīng)用要求實(shí)現(xiàn)業(yè)務(wù)指標(biāo)預(yù)測(cè)和新知識(shí)、新模式的發(fā)現(xiàn)。

實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用平臺(tái)數(shù)據(jù)存儲(chǔ)主要有并行數(shù)據(jù)庫(kù)、Hadoop(MapReduce)技術(shù)和混合架構(gòu)技術(shù)。

并行數(shù)據(jù)庫(kù)起源于20世紀(jì)80年代，使用SQL語(yǔ)言對(duì)外提供數(shù)據(jù)服務(wù)。優(yōu)點(diǎn)是擅長(zhǎng)處理結(jié)構(gòu)化數(shù)據(jù)，且處理速度快。但是可擴(kuò)展性不強(qiáng)，容錯(cuò)性較差，不適合上千節(jié)點(diǎn)的規(guī)模部署。

MapReduce技術(shù)2004年由Google提出，其開(kāi)源實(shí)現(xiàn)為Hadoop。適合處理非結(jié)構(gòu)化的數(shù)據(jù)，如文本、圖片等。系統(tǒng)可擴(kuò)展性好，對(duì)硬件要求不高，能運(yùn)行在廉價(jià)的x86集群上。但是處理速度較并行數(shù)據(jù)庫(kù)慢。

根據(jù)數(shù)據(jù)分析平臺(tái)的實(shí)際，也可以采用并行數(shù)據(jù)庫(kù)、Hadoop(MapReduce)技術(shù)混合架構(gòu)來(lái)完成平臺(tái)搭建。

3　規(guī)劃建模數(shù)據(jù)分析平臺(tái)功能設(shè)計(jì)

規(guī)劃建模數(shù)據(jù)分析平臺(tái)要求自動(dòng)或在人工參與下完成市場(chǎng)競(jìng)爭(zhēng)情況分析、客戶發(fā)展分析與預(yù)測(cè)、話音業(yè)務(wù)發(fā)展及預(yù)測(cè)、流量業(yè)務(wù)發(fā)展及預(yù)測(cè)、家庭客戶/集團(tuán)客戶分類等功能。架構(gòu)設(shè)計(jì)和功能設(shè)計(jì)如下。

3.1 平臺(tái)總體架構(gòu)與工作流程

如圖1所示，平臺(tái)系統(tǒng)主要由4個(gè)部分組成，分別是網(wǎng)絡(luò)硬件基礎(chǔ)設(shè)施、數(shù)據(jù)層、業(yè)務(wù)層、展現(xiàn)層；信息安全管理體系和系統(tǒng)運(yùn)維管理貫穿整個(gè)平臺(tái)的建設(shè)、運(yùn)行、維護(hù)各個(gè)階段。

其中，數(shù)據(jù)層包括數(shù)據(jù)接口層和數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)接口層接收其它異構(gòu)系統(tǒng)數(shù)據(jù)源（如經(jīng)分系統(tǒng)、網(wǎng)管系統(tǒng)等）傳送來(lái)的業(yè)務(wù)數(shù)據(jù)，通過(guò)ETL組件清洗后儲(chǔ)存到數(shù)據(jù)倉(cāng)庫(kù)。目前，規(guī)劃建模數(shù)據(jù)主要包括本地用戶表、漫游出訪/來(lái)訪表、無(wú)線平臺(tái)類參數(shù)指標(biāo)等結(jié)構(gòu)化數(shù)據(jù)和片區(qū)經(jīng)理上傳的日志、圖片等非結(jié)構(gòu)化的數(shù)據(jù)。系統(tǒng)設(shè)計(jì)通過(guò)并行數(shù)據(jù)庫(kù)和Hadoop混合架構(gòu)完成數(shù)據(jù)存儲(chǔ)。

業(yè)務(wù)層包括業(yè)務(wù)支撐子層和分析應(yīng)用子層。業(yè)務(wù)支撐子層把曲線擬合、聚類、分類分析等通用統(tǒng)計(jì)建模組件進(jìn)行封裝，供上層應(yīng)用進(jìn)行調(diào)用。分析應(yīng)用子層實(shí)現(xiàn)具體分析應(yīng)用，包括但不限于市場(chǎng)分析、業(yè)務(wù)規(guī)劃預(yù)測(cè)、網(wǎng)絡(luò)資源分析等能力。

平臺(tái)提取模型數(shù)據(jù)和基礎(chǔ)信息數(shù)據(jù)，應(yīng)用話音、流量、行業(yè)、市場(chǎng)等分析模型進(jìn)行計(jì)算，將分析的結(jié)果以回歸預(yù)測(cè)曲線或表格的方式展現(xiàn)給各級(jí)管理層。

3.2 規(guī)劃建模功能設(shè)計(jì)

圖1　數(shù)據(jù)分析系統(tǒng)總體架構(gòu)圖

分析平臺(tái)的重要功能除了積累、存儲(chǔ)業(yè)務(wù)相關(guān)的基礎(chǔ)數(shù)據(jù)外，就是要利用這些基礎(chǔ)數(shù)據(jù)建立、固化規(guī)劃模型，輸出供管理層分配、考核、后評(píng)估使用的業(yè)務(wù)指標(biāo)，如話音、流量的業(yè)務(wù)發(fā)展指標(biāo)等。表1提出了平臺(tái)的主要規(guī)劃建模功能。

表1　主要規(guī)劃建模功能

3.3 數(shù)據(jù)清洗與管理功能

數(shù)據(jù)清洗與管理是平臺(tái)系統(tǒng)的重要功能。被清洗和過(guò)濾掉的數(shù)據(jù)，稱之為臟數(shù)據(jù)。平臺(tái)系統(tǒng)將臟數(shù)據(jù)劃分為“獨(dú)立型臟數(shù)據(jù)”和“依賴型臟數(shù)據(jù)”兩類，這兩種分類在檢測(cè)和解決方法上采取不同的清洗和過(guò)濾策略。如圖2所示。

獨(dú)立型臟數(shù)據(jù)可以使用“數(shù)據(jù)合法性檢驗(yàn)規(guī)則”進(jìn)行檢測(cè)糾正。如對(duì)數(shù)據(jù)格式、范圍、類型進(jìn)行檢查并進(jìn)行數(shù)據(jù)轉(zhuǎn)換，統(tǒng)一計(jì)量單位或字段名稱等。

圖2　臟數(shù)據(jù)清洗過(guò)程

依賴型臟數(shù)據(jù)指通過(guò)記錄本身的信息并不能檢測(cè)出其中是否包含臟數(shù)據(jù)，如重復(fù)信息、匯總錯(cuò)誤；或者可以進(jìn)行檢測(cè)，但需要參考其它記錄才能予以解決，如缺損數(shù)據(jù)。依賴型臟數(shù)據(jù)通常需要根據(jù)數(shù)據(jù)含義設(shè)計(jì)特定的清洗算法。

平臺(tái)系統(tǒng)設(shè)計(jì)支持對(duì)上述數(shù)據(jù)錄入、清洗和分析過(guò)程產(chǎn)生的異常進(jìn)行管理，能統(tǒng)計(jì)呈現(xiàn)數(shù)據(jù)異常的類型和原因等，逐步提升數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)質(zhì)量。

3.4 安全性設(shè)計(jì)數(shù)據(jù)分析平臺(tái)采集的經(jīng)營(yíng)分析基礎(chǔ)數(shù)據(jù)及業(yè)務(wù)分析預(yù)測(cè)指標(biāo)均屬于公司管理運(yùn)營(yíng)機(jī)密，需要嚴(yán)格的系統(tǒng)安全設(shè)計(jì)。除了采用通常的授權(quán)管理、身份認(rèn)證、入侵檢測(cè)、備份恢復(fù)、安全監(jiān)控、補(bǔ)丁升級(jí)及安全審計(jì)等管理措施外，還設(shè)計(jì)采用了如下安全技術(shù)。

（1)數(shù)據(jù)傳輸采用SFTP、HTTPS等加密信道進(jìn)行接口數(shù)據(jù)傳輸。

（2)數(shù)據(jù)存儲(chǔ)采用Raid5和數(shù)據(jù)庫(kù)雙機(jī)備份進(jìn)行冗余數(shù)據(jù)存儲(chǔ)。

（3)敏感客戶信息進(jìn)行模糊化處理，采用金庫(kù)模式防止非授權(quán)執(zhí)行高價(jià)值數(shù)據(jù)的批量導(dǎo)出操作，利用頁(yè)面水印、關(guān)鍵數(shù)據(jù)設(shè)置只讀和下載數(shù)據(jù)加密處理等措施保證數(shù)據(jù)安全。

4　規(guī)劃建模數(shù)據(jù)分析平臺(tái)技術(shù)選型研究

4.1 數(shù)據(jù)平臺(tái)主要技術(shù)指標(biāo)

為支持全省規(guī)劃建模應(yīng)用，平臺(tái)系統(tǒng)需要滿足如下關(guān)鍵技術(shù)指標(biāo)。

（1）系統(tǒng)并發(fā)訪問(wèn)用戶在500以上。

（2）MPP數(shù)據(jù)庫(kù)單服務(wù)器每秒鐘平均可以處理（插入、修改、刪除）1萬(wàn)條記錄，峰值滿足每秒處理2萬(wàn)條記錄，服務(wù)器CPU負(fù)荷率應(yīng)在50%以下，內(nèi)存使用率應(yīng)在70%以下，數(shù)據(jù)吞吐量應(yīng)跟隨服務(wù)器的數(shù)量近似呈線性增長(zhǎng)。

（3）系統(tǒng)處理非結(jié)構(gòu)化數(shù)據(jù)能每秒并發(fā)寫入10萬(wàn)條數(shù)據(jù)，支持存儲(chǔ)峰值流量約1.5 Gbit/s。

4.2 數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)選型

為滿足上述規(guī)劃建模平臺(tái)技術(shù)要求，遵循跨平臺(tái)、可擴(kuò)展、技術(shù)成熟等原則，平臺(tái)推薦技術(shù)選型如圖3所示。

圖3　數(shù)據(jù)分析系統(tǒng)技術(shù)選型圖

主要技術(shù)選型優(yōu)勢(shì)如下。

4.2.1 GBASE 8a MPP Cluster并行數(shù)據(jù)庫(kù)

GBase 8a（Cluster）是支撐海量數(shù)據(jù)快速分析的新型列儲(chǔ)存數(shù)據(jù)庫(kù)，采用Shared Nothing分布式架構(gòu)，可支持TB到PB級(jí)別結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)查詢。運(yùn)行在標(biāo)準(zhǔn)x86 32位或64位PC服務(wù)器和常見(jiàn)Linux系統(tǒng)平臺(tái)上（如CentOS,Radhat等），可實(shí)現(xiàn)7×24高可用性。單節(jié)點(diǎn)并發(fā)數(shù)為300個(gè)，系統(tǒng)可實(shí)現(xiàn)2 000～10 000及以上高并發(fā)能力，支持最大節(jié)點(diǎn)數(shù)為192個(gè)，是國(guó)產(chǎn)數(shù)據(jù)庫(kù)中首個(gè)支持100個(gè)節(jié)點(diǎn)以上的MPP數(shù)據(jù)庫(kù)。

在與Oracle 11g數(shù)據(jù)庫(kù)進(jìn)行全文檢索性能對(duì)比測(cè)試中，GBase 8a（Cluster）在數(shù)據(jù)導(dǎo)入速度上快50%，建立和更新全文索引的速度快3～9倍，其采用的自適應(yīng)壓縮技術(shù)也能夠降低存儲(chǔ)成本和能耗，因此軟硬件投資可節(jié)省50%～90%，省電30%～50%。國(guó)產(chǎn)化技術(shù)使每TB處理成本降低到1萬(wàn)元左右，在性能和成本方面對(duì)同類MPP產(chǎn)品有明顯優(yōu)勢(shì)。

目前為止GBase在電信行業(yè)已有多個(gè)成功案例，如新疆移動(dòng)云經(jīng)分項(xiàng)目、湖北移動(dòng)信令監(jiān)測(cè)系統(tǒng)等，能滿足規(guī)劃建模平臺(tái)并發(fā)處理要求和成本、可靠性需求。

4.2.2 Hadoop

Hadoop目前是半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的主流存儲(chǔ)軟件，存在開(kāi)源Apache Hadoop和多種廠商發(fā)行版本，如華為FusionInsight Hadoop、Cloudera CDH、Hortonworks Data Platform等，如下對(duì)比了這幾款主流軟件的優(yōu)勢(shì)。

開(kāi)源Apache Hadoop軟件要求用戶軟件運(yùn)維和開(kāi)發(fā)團(tuán)隊(duì)能力較強(qiáng)，一般供開(kāi)發(fā)者學(xué)習(xí)和廠商定制使用，不適合直接用來(lái)建設(shè)運(yùn)營(yíng)商的數(shù)據(jù)平臺(tái)。

規(guī)劃建模平臺(tái)需要根據(jù)業(yè)務(wù)需求和安全需求對(duì)系統(tǒng)進(jìn)行定制開(kāi)發(fā)，如對(duì)客戶數(shù)據(jù)加密、根據(jù)業(yè)務(wù)特性進(jìn)行軟件優(yōu)化等。從可維護(hù)性和與硬件配合能力角度，華為的Hadoop軟件解決方案較有優(yōu)勢(shì)。此外，中國(guó)移動(dòng)WLAN日志留存系統(tǒng)等實(shí)施案例表明，華為Hadoop軟件單服務(wù)器和系統(tǒng)整體數(shù)據(jù)吞吐量均可以達(dá)到平臺(tái)要求的技術(shù)指標(biāo)。

圖1

4.2.3 Kettle（ETL組件）

目前市場(chǎng)上主流的ETL工具有IBM公司的DataStage、Informatica公司的Powercenter、免費(fèi)工具Kettle。

（1）DataStage是一款商業(yè)級(jí)的ETL工具，其特點(diǎn)是圖形化開(kāi)發(fā)，無(wú)須編碼，運(yùn)維較便捷；但是關(guān)鍵數(shù)據(jù)信息不公開(kāi)，與業(yè)務(wù)系統(tǒng)的集成度不高。

（2）PowerCenter也是一款商業(yè)級(jí)的ETL工具，與業(yè)務(wù)系統(tǒng)集成方便，具有高性能、高可擴(kuò)展性、高可用性的特點(diǎn)，但是價(jià)格較高。

（3）Kettle是一款開(kāi)源的ETL工具， Java語(yǔ)言編寫，可以在Window、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定，開(kāi)放源代碼且提供豐富的SDK，便于二次開(kāi)發(fā)。

基于規(guī)劃建模平臺(tái)需求與成本考慮，推薦選擇Kettle作為ETL的開(kāi)發(fā)工具，可以低成本滿足平臺(tái)數(shù)據(jù)清洗和二次開(kāi)發(fā)的技術(shù)要求。

4.2.4 Java 及SpringMVC

目前，Java平臺(tái)中使用較多的成熟框架有SSH 和SpringMVC。這兩種框架都是開(kāi)源的，都是典型的J2EE 3層結(jié)構(gòu)，包括表現(xiàn)層、中間層（業(yè)務(wù)邏輯層）和數(shù)據(jù)服務(wù)層。

在維護(hù)難度上，SSH框架是struts2+spring+ hibernate 3種框架的整合，故障定位與解決較為復(fù)雜；SpringMVC可以靈活的選擇結(jié)合一種數(shù)據(jù)庫(kù)管理框架，如hibernate、ibatis，或直接使用JDBC方式，維護(hù)較為容易。

在性能方面，SSH框架采用類級(jí)別的攔截，每次請(qǐng)求相應(yīng)創(chuàng)建一個(gè)Action，處理速度慢；SpringMVC采用方法級(jí)別的攔截與參數(shù)注入，速度較快。

在配置方式上， SSH框架采用傳統(tǒng)的文件配置方式; SpringMVC幾乎無(wú)需配置即可使用，開(kāi)發(fā)難度相對(duì)簡(jiǎn)單。

通過(guò)以上兩種框架的對(duì)比，平臺(tái)系統(tǒng)設(shè)計(jì)推薦選擇輕量級(jí)、更靈活簡(jiǎn)便的SpringMVC框架。

4.2.5 R語(yǔ)言與PMML

規(guī)劃業(yè)務(wù)數(shù)據(jù)分析常用的工具包括SPSS、R、 OriginPro等，這些工具都可以完成相關(guān)系數(shù)、線性/非線性回歸、多元回歸分析等工作。各自的技術(shù)優(yōu)勢(shì)對(duì)比如下。

SPSS是一款商業(yè)統(tǒng)計(jì)軟件，目前廣泛用于統(tǒng)計(jì)規(guī)劃建模工作中。軟件按照授權(quán)用戶數(shù)進(jìn)行收費(fèi)，每個(gè)授權(quán)使用成本在35萬(wàn)左右。軟件不開(kāi)源，提供統(tǒng)計(jì)功能API開(kāi)發(fā)包，但是需要額外收費(fèi)，導(dǎo)致平臺(tái)系統(tǒng)建設(shè)成本較高。

OriginPro也是商業(yè)統(tǒng)計(jì)軟件，主要用于科學(xué)計(jì)算建模，可進(jìn)行復(fù)雜函數(shù)的擬合，目前沒(méi)有提供統(tǒng)計(jì)功能API開(kāi)發(fā)包，不能與業(yè)務(wù)系統(tǒng)緊密集成。

與上述兩款建模工具相比，R語(yǔ)言統(tǒng)計(jì)建模工具是免費(fèi)和開(kāi)源的，提供方便的R-Studio開(kāi)發(fā)包，支持?jǐn)?shù)據(jù)分析平臺(tái)集成完整的統(tǒng)計(jì)建模功能，可以輔助業(yè)務(wù)規(guī)劃建模人員在線完成業(yè)務(wù)規(guī)劃統(tǒng)計(jì)模型的建立和固化工作。

平臺(tái)還使用預(yù)測(cè)模型標(biāo)記語(yǔ)言（PMML）在數(shù)據(jù)分析平臺(tái)系統(tǒng)和統(tǒng)計(jì)規(guī)劃軟件間共享數(shù)據(jù)挖掘分析模型。R語(yǔ)言統(tǒng)計(jì)建模工具和SPSS軟件均支持 PMML的開(kāi)源統(tǒng)計(jì)工具包，可以將規(guī)劃人員利用上述軟件建立的話音、流量分析模型導(dǎo)入系統(tǒng)，方便擴(kuò)充、固化預(yù)測(cè)模型。

4.3 并發(fā)與擴(kuò)展性設(shè)計(jì)

數(shù)據(jù)分析平臺(tái)需要支撐高性能并發(fā)操作以滿足全省用戶的使用需求，系統(tǒng)對(duì)數(shù)據(jù)庫(kù)、應(yīng)用程序、中間件進(jìn)行如下設(shè)計(jì)以提高系統(tǒng)的并發(fā)性能。

4.3.1 數(shù)據(jù)庫(kù)集群和庫(kù)表散列

數(shù)據(jù)分析平臺(tái)系統(tǒng)采用數(shù)據(jù)庫(kù)集群應(yīng)對(duì)基本的并發(fā)要求。此外，應(yīng)用軟件采用庫(kù)表散列的方式增加并發(fā)訪問(wèn)能力，如針對(duì)登陸模塊和用戶表功能，按照用戶ID進(jìn)行表散列，將數(shù)據(jù)分散到幾個(gè)數(shù)據(jù)庫(kù)表中，低成本的提升系統(tǒng)的性能。

4.3.2 緩存

架構(gòu)方面的緩存，系統(tǒng)采用Apache的mod_proxy緩存模塊，及使用Squid進(jìn)行頁(yè)面緩存。從數(shù)據(jù)庫(kù)緩存的角度，系統(tǒng)采用分布式數(shù)據(jù)緩存，減少數(shù)據(jù)庫(kù)的查詢次數(shù)。預(yù)先加載部分熱點(diǎn)數(shù)據(jù)到Cache中。此外，Linux上提供的Memcached也是可以采用的備選緩存方案。

4.3.3 負(fù)載均衡

數(shù)據(jù)分析系統(tǒng)采用Nginx來(lái)搭建負(fù)載均衡，從而提高系統(tǒng)的并發(fā)性能。

5　總結(jié)

運(yùn)營(yíng)商網(wǎng)絡(luò)中沉淀了大量的數(shù)據(jù)有待分析和挖掘，目前除了個(gè)性化業(yè)務(wù)推薦成功應(yīng)用大數(shù)據(jù)分析技術(shù)外，運(yùn)營(yíng)商還需要在網(wǎng)絡(luò)規(guī)劃、業(yè)務(wù)管理等環(huán)節(jié)推廣使用大數(shù)據(jù)分析技術(shù)預(yù)測(cè)有價(jià)值的業(yè)務(wù)指標(biāo)。

本文研究提出了規(guī)劃建模數(shù)據(jù)分析平臺(tái)的功能設(shè)計(jì)和關(guān)鍵架構(gòu)技術(shù)，改進(jìn)了傳統(tǒng)業(yè)務(wù)規(guī)劃工作流程和建模手段，為網(wǎng)絡(luò)規(guī)劃、業(yè)務(wù)數(shù)據(jù)積累和預(yù)測(cè)分析模型的集成應(yīng)用提供了平臺(tái)支撐。

參考文獻(xiàn)

[1] 大數(shù)據(jù)時(shí)代的IT架構(gòu)設(shè)計(jì)[M]. 北京：電子工業(yè)出版社，2014,4.

[2] 王珊. 架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J]. 計(jì)算機(jī)學(xué)報(bào)，2011,10.

[3] Michael Milton. 深入淺出數(shù)據(jù)分析[M]. 北京:電子工業(yè)出版社, 2012,12.

Research on technologies architecture of network planning and modeling platform

CHEN Tao, MENG De-xiang, FU Yun-jin, JIAO Xiang-fei
(China Mobile Group Design Institute Co., Ltd., Beiing 100080, China)

AbstractFaced with intense competition from Internet technologies, telecom companies need to establish a marketoriented resource allocation management system and enhance the effi ciency and competitiveness using big data analysis technologies. But the operators have no mature experiences to use big data analysis techniques in business and network collaborative planning. This paper studies the functional designs, architecture and key technologies of network planning and modeling platform and provides a reference for building similar big data analysis system.

Keywordsnetwork plan and model; software architecture; big data analysis

News

Silicon Labs推出增強(qiáng)UV防護(hù)和手勢(shì)識(shí)別的新一代光學(xué)傳感器

1月19日，Silicon Labs宣布推出新一代光學(xué)傳感器，其可以用來(lái)保護(hù)消費(fèi)者免受紫外線（UV）輻射的有害影響，并且能夠憑借高性能接近感應(yīng)和手勢(shì)識(shí)別幫助開(kāi)發(fā)人員開(kāi)發(fā)創(chuàng)新的非接觸式用戶界面。Silicon Labs新型Si1133光學(xué)傳感器為在廣泛的運(yùn)動(dòng)裝備和戶外活動(dòng)產(chǎn)品上添加高精度UV指數(shù)測(cè)量功能提供了高性價(jià)比解決方案。Si1153環(huán)境光傳感器特別針對(duì)強(qiáng)日光條件和更大范圍操作進(jìn)行了優(yōu)化，這使得它非常適用于室外環(huán)境中的手勢(shì)控制和接近檢測(cè)等應(yīng)用。

（劉怡君)

收稿日期：2015-01-09

中圖分類號(hào)TN918

文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)1008-5599（2016）02-0014-06