文/王成 閆紅

隨著經(jīng)濟(jì)的快速發(fā)展與進(jìn)步，我國已經(jīng)進(jìn)入了高度信息化的全新時(shí)代，人們生活和生產(chǎn)工作已完全依附于網(wǎng)絡(luò)通信的支撐。在生活和工作中可以發(fā)現(xiàn)，移動信息網(wǎng)絡(luò)的最大的優(yōu)勢能夠?qū)⒑Ａ康男畔①Y源整合到一起，并且進(jìn)行整理和儲存，再將處理后的信息數(shù)據(jù)發(fā)送到各個(gè)所需要的服務(wù)用戶，基于此，網(wǎng)絡(luò)可以成為獲取大眾消費(fèi)傾向以及情況的有力依據(jù)，這也就需要強(qiáng)大的信息技術(shù)作為支持。

1 Hadoop平臺技術(shù)框架評價(jià)

目前，由于我國網(wǎng)絡(luò)使用者的數(shù)量飛速增長，這也為各大網(wǎng)絡(luò)平臺的信息處理方面帶來了巨大壓力，并且這也是一項(xiàng)巨大的挑戰(zhàn)。針對這些信息處理問題，云計(jì)算技術(shù)也就成為了一個(gè)良好的信息處理平臺，能夠?yàn)楸姸嗑W(wǎng)絡(luò)平臺分憂解難，做到對各大信息數(shù)據(jù)的有效處理以及高效率的分析。Hadoop Distributed File System（Hadoop）作為眾多信息技術(shù)的主要支撐技術(shù)，具有高容錯(cuò)性、高吞吐量和高運(yùn)算能力等特點(diǎn)，目前已經(jīng)在電信大數(shù)據(jù)的處理分析中得到了廣泛的應(yīng)用，并且達(dá)到了理想中的作業(yè)效果?；诖?，電信在數(shù)據(jù)處理這方面將會獲得很大的進(jìn)步空間。除此之外，目前在移動通信這方面已經(jīng)達(dá)到了高度飽和的狀態(tài)，這也為在Hadoop技術(shù)支持之下的電信大數(shù)據(jù)提供了很大的發(fā)展空間。

Hadoop平臺技術(shù)的框架主要分為兩個(gè)部分，分別是并行的計(jì)算框架以及該平臺技術(shù)的分布式文件系統(tǒng)。并行的計(jì)算機(jī)框架可以理解為一個(gè)用來編寫處理以及并行分布數(shù)據(jù)的一種框架。目前為止，大家所熟悉的分布式文件系統(tǒng)之一就是NFS，但是在Hadoop平臺技術(shù)中所應(yīng)用的分布式文件系統(tǒng)為HDFS，與NFS分布式文件系統(tǒng)相比，由于這種分布式文件系統(tǒng)具有單一的節(jié)點(diǎn)設(shè)計(jì)，也正因此，HDFS分布式文件系統(tǒng)能夠有效的縮小文件系統(tǒng)的結(jié)構(gòu)。

2 基于Hadoop平臺技術(shù)的電信大數(shù)據(jù)平臺設(shè)計(jì)思路

Hadoop平臺技術(shù)可以概括為一個(gè)分層次的分布框架技術(shù)，該技術(shù)主要用于對網(wǎng)絡(luò)信息數(shù)據(jù)的處理以及分析，本文設(shè)計(jì)的基于Hadoop平臺技術(shù)的電信大數(shù)據(jù)分析平臺設(shè)計(jì)思路如下：

2.1 建立離線流量分析系統(tǒng)

為了能夠?qū)崿F(xiàn)Hadoop平臺技術(shù)在流量統(tǒng)計(jì)這方面的應(yīng)用，該平臺在原有計(jì)算機(jī)技術(shù)框架的基礎(chǔ)上，增加了一個(gè)離線流量分析系統(tǒng)，以便于對流量數(shù)據(jù)的分析和處理，對流量實(shí)現(xiàn)實(shí)時(shí)的監(jiān)督與控制，從而達(dá)到理想中的應(yīng)用效果。此外，在原有管理系統(tǒng)的基礎(chǔ)下，將Hadoop平臺技術(shù)分支出一個(gè)專門控制管理流量日志的系統(tǒng)，并利用此系統(tǒng)實(shí)現(xiàn)對大數(shù)據(jù)的處理以及分析：

（1）與其他系統(tǒng)相比較，該系統(tǒng)在結(jié)構(gòu)化以及不完全結(jié)構(gòu)化的信息數(shù)據(jù)處理和分析這方面具有更加高效率高質(zhì)量的優(yōu)勢。

（2）該系統(tǒng)具有閃存功能，能夠詳細(xì)準(zhǔn)確的記錄以及儲存一切流量信息數(shù)據(jù)，基于此，該系統(tǒng)還能夠?yàn)榇髷?shù)據(jù)處理相應(yīng)的制作鏡像包。

（3）在該系統(tǒng)中，針對模塊信息數(shù)據(jù)處理的這方面，相關(guān)工作人員研發(fā)出了一套根據(jù)語音進(jìn)行信息數(shù)據(jù)處理以及分析的應(yīng)用系統(tǒng)，通過這種方式簡化該平臺信息數(shù)據(jù)處理的操作，簡化系統(tǒng)的數(shù)據(jù)處理分析流程。

2.2 在原有系統(tǒng)上設(shè)計(jì)云計(jì)算監(jiān)控系統(tǒng)

為了能夠達(dá)到更加高效、密切的對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行監(jiān)督和管理的目的，可在Hadoop平臺技術(shù)的基礎(chǔ)下，對原有系統(tǒng)進(jìn)行升級優(yōu)化，并且安裝云計(jì)算監(jiān)控系統(tǒng)，從而實(shí)現(xiàn)對電信大數(shù)據(jù)的管理分析以及進(jìn)行實(shí)時(shí)監(jiān)督控制。一直以來，能否保證在電信平臺上的使用用戶的所有網(wǎng)絡(luò)資料的安全，是電信平臺以及其他網(wǎng)商所擔(dān)心的一個(gè)問題，因此，為了能夠?qū)崿F(xiàn)用戶資料的使用全程的安全性以及私密性，該系統(tǒng)將采用zoomanager集中監(jiān)控與管理系統(tǒng)，該保護(hù)系統(tǒng)能夠做到對云計(jì)算的大數(shù)據(jù)內(nèi)容進(jìn)行密切細(xì)致并且極其可靠的保護(hù)，除此之外，該系統(tǒng)的應(yīng)用在實(shí)踐中發(fā)現(xiàn)，還能夠在一定程度上對云計(jì)算中的信息進(jìn)行優(yōu)化，能夠在對計(jì)算機(jī)云計(jì)算中的信息進(jìn)行搜集管理并且儲存的同時(shí)，還能夠通過相關(guān)科學(xué)算法，做到對大數(shù)據(jù)以及信息的分類，這樣就很容易發(fā)展數(shù)據(jù)中存在的問題，進(jìn)而對出現(xiàn)的問題提出相應(yīng)的完善策略。

2.3 簡化系統(tǒng)集群

由于電信平臺具有龐大的用戶數(shù)額和海量傳輸數(shù)據(jù)，因此，電信平臺的信息數(shù)量也是相當(dāng)龐大的，為了能夠?qū)崿F(xiàn)系統(tǒng)運(yùn)行的效率以及質(zhì)量，就要相應(yīng)的簡化Hadoop系統(tǒng)以及系統(tǒng)集群，基于此，本平臺中可采用MapReduce的云計(jì)算平臺，從而簡化系統(tǒng)集群，通過對網(wǎng)絡(luò)信息用戶基本信息的分析和處理，從而達(dá)到簡化系統(tǒng)集群的目的，另外，該系統(tǒng)還能夠采集到計(jì)算機(jī)CPU的使用率以及推斷出構(gòu)造數(shù)據(jù)資源所處于的資源消耗類型，從而幫助運(yùn)維人員進(jìn)行資源調(diào)配和管理。

2.4 建立用戶服務(wù)器網(wǎng)絡(luò)圖

由于互聯(lián)網(wǎng)的整體系統(tǒng)是由多個(gè)小網(wǎng)絡(luò)系統(tǒng)所構(gòu)成的，基于此，對于電信網(wǎng)絡(luò)平臺的運(yùn)營商來說，各個(gè)小型網(wǎng)絡(luò)支撐系統(tǒng)以及各個(gè)用戶的網(wǎng)絡(luò)使用數(shù)據(jù)和基礎(chǔ)信息，也就構(gòu)成了龐大電信平臺的網(wǎng)絡(luò)系統(tǒng)。為了能夠提升電信網(wǎng)絡(luò)的使用效率以及質(zhì)量，相關(guān)網(wǎng)絡(luò)技術(shù)人員就研發(fā)出了集電信各個(gè)用戶的基本信息以及數(shù)據(jù)的用戶服務(wù)器網(wǎng)絡(luò)圖，該構(gòu)圖的基礎(chǔ)為物理結(jié)構(gòu)。

3 Hadoop技術(shù)支撐下電信大數(shù)據(jù)處理的特點(diǎn)

3.1 具有龐大互聯(lián)網(wǎng)數(shù)據(jù)的處理構(gòu)架

在電信大數(shù)據(jù)平臺中具有以Hadoop技術(shù)為基礎(chǔ)的計(jì)算機(jī)云系統(tǒng)，該系統(tǒng)能夠?qū)崿F(xiàn)對網(wǎng)絡(luò)大量數(shù)據(jù)以及信息的搜集，儲存，管理以及分析，并且還可以進(jìn)行相關(guān)的安全檢測。除此之外，由于這幾個(gè)程序是按照順序進(jìn)行的，所以從另外一個(gè)角度來說，云計(jì)算系統(tǒng)能夠?qū)崿F(xiàn)對網(wǎng)絡(luò)的全面檢測。在該系統(tǒng)的具體應(yīng)用實(shí)踐中發(fā)現(xiàn)，與以往傳統(tǒng)的計(jì)算系統(tǒng)相比，該系統(tǒng)能夠在很大程度上提升平臺的工作的質(zhì)量以及效率，尤其是在安全檢測這方面獲得了很大的進(jìn)步。

3.2 具有分布式檢測系統(tǒng)故障的數(shù)據(jù)采集機(jī)制

信息數(shù)據(jù)的采集作為電信平臺大數(shù)據(jù)處理過程中的第一個(gè)環(huán)節(jié)，該環(huán)節(jié)決定了后續(xù)環(huán)節(jié)工作的準(zhǔn)確性以及質(zhì)量，基于此，在信息數(shù)據(jù)的采集部分一定要做到信息的高度準(zhǔn)確，這樣才能保證后續(xù)工作的順利開展。但是，在數(shù)據(jù)的搜集過程中仍然存在許多困難，因此，針對目前平臺的信息搜集現(xiàn)狀，相關(guān)科研工作者建立起一個(gè)具有分布式檢測系統(tǒng)故障的數(shù)據(jù)采集機(jī)制，其主要內(nèi)容有兩點(diǎn)，分別是網(wǎng)絡(luò)信息節(jié)點(diǎn)的檢測以及對系統(tǒng)的計(jì)算方法進(jìn)行檢測工作。在該機(jī)制的運(yùn)行過程中發(fā)現(xiàn)，這個(gè)機(jī)制能夠有效的避免以往信息搜集系統(tǒng)中存在網(wǎng)絡(luò)信息模糊的問題，并且能夠?qū)崿F(xiàn)對數(shù)據(jù)進(jìn)行動態(tài)的檢測，從而保證數(shù)據(jù)能夠高度符合實(shí)際，使后續(xù)的工作能夠穩(wěn)定進(jìn)行。

3.3 具有能夠進(jìn)行動態(tài)儲存以及分配的計(jì)算方法

在對電信大數(shù)據(jù)進(jìn)行計(jì)算時(shí)，采用不同的儲存計(jì)算的方式也就會產(chǎn)生不同的儲存計(jì)算結(jié)果，基于此，為了使數(shù)據(jù)計(jì)算達(dá)到理想中的效果，相關(guān)工作人員也就逐漸研發(fā)除了動態(tài)儲存以及分配的計(jì)算方法。這種算法主要是以節(jié)能性評價(jià)為基礎(chǔ)，在此基礎(chǔ)上對計(jì)算的數(shù)據(jù)進(jìn)行儲存管理，另外，該系統(tǒng)還要借助一些節(jié)點(diǎn)參數(shù)來對數(shù)據(jù)進(jìn)行儲存，并且根據(jù)不同節(jié)點(diǎn)的特點(diǎn)來對信息數(shù)據(jù)實(shí)現(xiàn)精密的分類。目前為止，該技術(shù)已經(jīng)在電信大數(shù)據(jù)處理平臺上得到了實(shí)際的應(yīng)用，并且取得良好的應(yīng)用效果。

3.4 具有以異構(gòu)云環(huán)境為基礎(chǔ)層面的動態(tài)推理算法

數(shù)據(jù)的處理以及分析在電信大數(shù)據(jù)的處理過程中占有核心地位，該環(huán)節(jié)的工作情況直接影響到電信大數(shù)據(jù)處理的整體效果以及質(zhì)量，基于此，為了能夠使平臺的數(shù)據(jù)處理結(jié)果更加準(zhǔn)確，就要對此環(huán)節(jié)進(jìn)行不斷的優(yōu)化以及完善。目前為止，雖然電信大數(shù)據(jù)處理平臺的云計(jì)算系統(tǒng)處于初步構(gòu)建的階段，但是該系統(tǒng)的提升速度是非常快的，尤其是該系統(tǒng)的硬件水平，但是這也導(dǎo)致了平臺中節(jié)點(diǎn)之間存在較大的差異性。針對目前系統(tǒng)這樣的運(yùn)作情況，為了達(dá)到理想中的系統(tǒng)運(yùn)作效率，在平臺的科研人員的努力下，提出了異構(gòu)云環(huán)境為基礎(chǔ)層面的動態(tài)推理算法。

4 結(jié)論

綜上所述，隨著時(shí)代的進(jìn)步與發(fā)展，電信為了能夠得到可持續(xù)健康發(fā)展，就必須跟緊時(shí)代發(fā)展的步伐，在電信大數(shù)據(jù)處理以及分析這方面進(jìn)行不斷的完善和優(yōu)化工作，組建專業(yè)的科研團(tuán)隊(duì)，并緊跟社會的科技發(fā)展動向以及需求。因此，本文基于Hadoop技術(shù)設(shè)計(jì)的電信大數(shù)據(jù)處理平臺，可實(shí)現(xiàn)高效率、高準(zhǔn)確性的處理能力，節(jié)約了大量網(wǎng)絡(luò)帶寬和時(shí)間，并使得運(yùn)算過程可充分并行化，從而為電信大數(shù)據(jù)處理提供一個(gè)良好的技術(shù)支撐。