何春

摘要：隨著計(jì)算機(jī)在大數(shù)據(jù)分析與處理的應(yīng)用逐漸深入，給人們的生活帶來(lái)諸多的進(jìn)步，需要充分發(fā)揮計(jì)算機(jī)在大數(shù)據(jù)應(yīng)用中的重要作用。本文主要探討計(jì)算機(jī)大數(shù)據(jù)應(yīng)用的技術(shù)性理論，并且重點(diǎn)闡述了Hadoop架構(gòu)以及Storm兩種架構(gòu)技術(shù)方法，希望給相關(guān)研究人員以借鑒和參考。

關(guān)鍵詞：計(jì)算機(jī);大數(shù)據(jù);技術(shù)應(yīng)用

1 前言

隨著信息時(shí)代的到來(lái)，人們處理的信息以爆炸式的方式增長(zhǎng)，這就催生了大數(shù)據(jù)技術(shù)的進(jìn)步與發(fā)展。利用計(jì)算機(jī)進(jìn)行大數(shù)據(jù)應(yīng)用主要包括四個(gè)主要的部分，分別是大數(shù)據(jù)的采集、存儲(chǔ)、處理以及呈現(xiàn)，計(jì)算機(jī)大數(shù)據(jù)的應(yīng)用主要包括大數(shù)據(jù)的采集預(yù)處理，存儲(chǔ)管理以及分析和挖掘，最終進(jìn)行展現(xiàn)。利用計(jì)算機(jī)進(jìn)行大數(shù)據(jù)分析，供人們決策與參考，因此闡述計(jì)算機(jī)大數(shù)據(jù)應(yīng)用技術(shù)理論有著非常重要的現(xiàn)實(shí)意義。

2 計(jì)算機(jī)大數(shù)據(jù)應(yīng)用技術(shù)

2.1大數(shù)據(jù)的采集技術(shù)

在大數(shù)據(jù)進(jìn)行采集，主要利用傳感器、視頻數(shù)據(jù)、社交網(wǎng)絡(luò)數(shù)據(jù)以及移動(dòng)客戶端數(shù)據(jù)進(jìn)行搜集，這些海量數(shù)據(jù)具有結(jié)構(gòu)化以及半結(jié)構(gòu)化特征，是大數(shù)據(jù)進(jìn)行運(yùn)行的根本。需要重點(diǎn)突破分布式數(shù)據(jù)的爬取以及采集，以得到全映像的數(shù)據(jù)形式。應(yīng)用計(jì)算機(jī)進(jìn)行大數(shù)據(jù)采集，要實(shí)現(xiàn)對(duì)于智能化以及辦智能化數(shù)據(jù)的識(shí)別，跟蹤傳輸以及初步的處理，對(duì)大數(shù)據(jù)數(shù)據(jù)源要智能進(jìn)行識(shí)別，并且提供虛擬的服務(wù)器，與物聯(lián)網(wǎng)環(huán)境相互連接，借助于分布虛擬存儲(chǔ)技術(shù)以及可視化接口網(wǎng)絡(luò)傳輸以及壓縮技術(shù)進(jìn)行重點(diǎn)處理。

2.2大數(shù)據(jù)的預(yù)處理技術(shù)

第一，大數(shù)據(jù)的抽取。由于所采集的大數(shù)據(jù)信息具有多種結(jié)構(gòu)類型，因此需要借助于數(shù)據(jù)抽取技術(shù)，將復(fù)雜數(shù)據(jù)轉(zhuǎn)化為便于處理的數(shù)據(jù)結(jié)構(gòu)，方便后期進(jìn)行快速處理。

第二，大數(shù)據(jù)的清洗。并不是所有的大數(shù)據(jù)都具有使用價(jià)值，一些數(shù)據(jù)對(duì)分析結(jié)果有干擾，因此可以利用計(jì)算機(jī)大數(shù)據(jù)去噪的方法，排除無(wú)效信息，提煉有價(jià)值信息。

2.3存儲(chǔ)與管理技術(shù)

需要對(duì)大數(shù)據(jù)進(jìn)行有效的存儲(chǔ)，建立相應(yīng)數(shù)據(jù)庫(kù)，方便后期進(jìn)行調(diào)用，主要解決大數(shù)據(jù)的存儲(chǔ)表示以及傳輸關(guān)鍵問(wèn)題。借助于分布式文件系統(tǒng)，開(kāi)發(fā)能夠優(yōu)化存儲(chǔ)以及計(jì)算的大數(shù)據(jù)存儲(chǔ)技術(shù)。大數(shù)據(jù)數(shù)據(jù)庫(kù)主要分為關(guān)系型數(shù)據(jù)庫(kù)以及非關(guān)系數(shù)據(jù)庫(kù)，對(duì)數(shù)據(jù)庫(kù)的銷毀加密解密訪問(wèn)控制數(shù)據(jù)識(shí)別重點(diǎn)進(jìn)行突破。

2.4大數(shù)據(jù)的挖掘技術(shù)

借助于現(xiàn)有的數(shù)據(jù)挖掘以及機(jī)器學(xué)習(xí)方法對(duì)數(shù)據(jù)網(wǎng)絡(luò)進(jìn)行挖掘，與現(xiàn)有的數(shù)據(jù)連接以及相似性進(jìn)行興趣分析以及行為分析?？梢圆捎镁垲愱P(guān)聯(lián)規(guī)則序列模型以及依賴模型來(lái)發(fā)現(xiàn)數(shù)據(jù)應(yīng)用的趨勢(shì)，需要實(shí)現(xiàn)大數(shù)據(jù)分析的可視化，借助于數(shù)據(jù)圖像，能夠讓數(shù)據(jù)自身表達(dá)背后的聯(lián)系，也能讓用戶自身感受到大數(shù)據(jù)分析的結(jié)果。借助于數(shù)據(jù)挖掘的算法，能夠讓各種孤立的數(shù)據(jù)連接起來(lái)，挖掘內(nèi)在的價(jià)值。大數(shù)據(jù)挖掘技術(shù)能夠?qū)?shù)據(jù)背后隱藏的價(jià)值充分展現(xiàn)出來(lái)，提高人們的生產(chǎn)和生活效率，主要集中于商業(yè)智能、政府決策以及公共服務(wù)中，在政策決策、商業(yè)智能電網(wǎng)數(shù)據(jù)分析、環(huán)境監(jiān)測(cè)、交通數(shù)據(jù)分析、多媒體數(shù)據(jù)等領(lǐng)域產(chǎn)生了重大的影響。

3 計(jì)算機(jī)大數(shù)據(jù)應(yīng)用處理技術(shù)

3.1批處理技術(shù)

Hadoop框架性平臺(tái)主要來(lái)自于MAP，技術(shù)處理符合相應(yīng)的鍵值，以滿足對(duì)MAP以及RDUCE等算法的要求。這一過(guò)程主要包括從框架中進(jìn)行數(shù)據(jù)的讀取，然后將數(shù)據(jù)拆解為各種可以分配的節(jié)點(diǎn)，針對(duì)每一個(gè)節(jié)點(diǎn)數(shù)據(jù)子集進(jìn)行計(jì)算，重新分配中間結(jié)果，并且按照鍵值進(jìn)行分組，對(duì)每一個(gè)節(jié)點(diǎn)計(jì)算結(jié)果進(jìn)行重組，將計(jì)算的結(jié)果重新寫(xiě)入到SDFS中。MAP技術(shù)具有較強(qiáng)的縮放的潛力，通過(guò)集群能夠快速實(shí)現(xiàn)學(xué)習(xí)曲線。處理引擎能夠提供較為成熟的批處理模型，適合對(duì)于時(shí)間要求并不高的大數(shù)據(jù)處理，成本比較低，與其他處理形式相比，借助于Hadoop能夠使用較多的工作負(fù)載平臺(tái)作為基礎(chǔ)。

;Hadoop架構(gòu)的主要核心是SDFS，又被稱為分布式文件系統(tǒng)，這種分布式計(jì)算架構(gòu)是整個(gè)系統(tǒng)運(yùn)行的基礎(chǔ)，在系統(tǒng)集群中，每一個(gè)主節(jié)點(diǎn)要擔(dān)任文件管理系統(tǒng)數(shù)據(jù)分發(fā)任務(wù)，區(qū)域節(jié)點(diǎn)主要負(fù)責(zé)文件的具體保存和執(zhí)行。Hadoop架構(gòu)關(guān)鍵就要借助于大量計(jì)算機(jī)服務(wù)器，形成計(jì)算機(jī)服務(wù)機(jī)群，實(shí)現(xiàn)對(duì)大數(shù)據(jù)的快速處理。對(duì)于大數(shù)據(jù)進(jìn)行處理過(guò)程中，先對(duì)數(shù)據(jù)進(jìn)行分解，然后在分配以相應(yīng)的服務(wù)器進(jìn)行處理，最后將數(shù)據(jù)處理的結(jié)果進(jìn)行整合。通過(guò)Hadoop大數(shù)據(jù)架構(gòu)分析操作，系統(tǒng)初始化時(shí)間比較長(zhǎng)，因此提升處理的速度是快速實(shí)現(xiàn)大數(shù)據(jù)分析處理的關(guān)鍵所在。Hadoop系統(tǒng)的初始化時(shí)間對(duì)于最終處理的結(jié)果準(zhǔn)確性具有較大的影響，因此整個(gè)平臺(tái)并不適用于處理小型數(shù)據(jù)。Hadoop架構(gòu)進(jìn)行任務(wù)處理的過(guò)程中，所碰到的技術(shù)問(wèn)題更加顯著，在平臺(tái)中將數(shù)據(jù)進(jìn)行存儲(chǔ)處理時(shí)，過(guò)程比較緩慢，因此架構(gòu)在對(duì)于處理變化較快的大數(shù)據(jù)時(shí)，仍然存在較多的問(wèn)題。

3.2 流處理技術(shù)

流處理系統(tǒng)能夠?qū)M(jìn)入系統(tǒng)的數(shù)據(jù)進(jìn)行隨時(shí)運(yùn)算，相當(dāng)于前面的批處理系統(tǒng)無(wú)需對(duì)數(shù)據(jù)集進(jìn)行整體操作，而是對(duì)每一個(gè)數(shù)據(jù)進(jìn)行操作。在流處理中對(duì)于數(shù)據(jù)集的定義是沒(méi)有邊界的，數(shù)據(jù)集只是代表目前進(jìn)入到系統(tǒng)的數(shù)據(jù)總量工作，即在特定時(shí)間只能代表某一單一數(shù)據(jù)對(duì)于工作的處理，如果沒(méi)有明確停止，將沒(méi)有盡頭。。流處理系統(tǒng)可以進(jìn)行無(wú)限制數(shù)據(jù)的處理，功能更加方便，快捷化，主要側(cè)重于功能性操作，針對(duì)于同一個(gè)數(shù)據(jù)執(zhí)行，會(huì)產(chǎn)生相同的結(jié)果。流處理比較適合于一些類型工作負(fù)載，基于時(shí)間衡量指標(biāo)最為合適，能夠?qū)τ跁r(shí)間數(shù)據(jù)變化作出相應(yīng)的關(guān)鍵性處理與Hadoop架構(gòu)相似，Storm結(jié)構(gòu)也是以體系結(jié)構(gòu)作為分析數(shù)據(jù)的基礎(chǔ)，通過(guò)兩種服務(wù)進(jìn)程有效實(shí)現(xiàn)分布式計(jì)算，其中主進(jìn)程在集群主節(jié)點(diǎn)中運(yùn)行，他的任務(wù)是分派以及分發(fā)數(shù)據(jù)處理的任務(wù)，從進(jìn)程主要在從節(jié)點(diǎn)中進(jìn)行，主要負(fù)責(zé)任務(wù)的具體執(zhí)行。借助于Storm框架，能夠利用編程模型以流線型方式對(duì)大數(shù)據(jù)信息進(jìn)行處理。信息流是主要的數(shù)據(jù)處理形式，每一條信息流都會(huì)對(duì)應(yīng)數(shù)據(jù)的輸入封裝。結(jié)合不斷流入的信息流，以分布式的處理來(lái)完成大數(shù)據(jù)的分析架構(gòu)，SPOUT是整個(gè)數(shù)據(jù)信息的生產(chǎn)者，在架構(gòu)中屬于輸入性源頭，借助于異構(gòu)數(shù)據(jù)獲得相應(yīng)的信息源，同時(shí)發(fā)射信息流，實(shí)現(xiàn)大數(shù)據(jù)的流線化處理，具有多節(jié)點(diǎn)處理的效能，呈現(xiàn)具體的使用邏輯。

這兩組大數(shù)據(jù)的處理結(jié)構(gòu)中，Storm具有較多的優(yōu)點(diǎn)，這種架構(gòu)在實(shí)際運(yùn)行過(guò)程中，系統(tǒng)不用每一次開(kāi)啟都進(jìn)行初始化，因此對(duì)于大數(shù)據(jù)處理的效率更高，在特別是小數(shù)據(jù)處理中更加具有優(yōu)勢(shì)。Storm架構(gòu)能夠高效的滿足人們對(duì)于UI數(shù)據(jù)的處理要求，它內(nèi)部所具有的SPOUT組件能夠?qū)Σ煌畔⒘鬟M(jìn)行讀取，并且將信息流傳輸至BOLT組件進(jìn)行處理，內(nèi)部組件能夠?qū)Χ鄠€(gè)BOLT組件進(jìn)行聯(lián)合處理，有效實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)流的難度分配，實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換的高速性。這是一種側(cè)重于線性分配的處理形式，框架也是接近于實(shí)務(wù)處理。Storm技術(shù)能夠處理海量數(shù)據(jù)，通過(guò)拓普分析進(jìn)行編排輸入數(shù)據(jù)，對(duì)于每一個(gè)片段執(zhí)行不同的轉(zhuǎn)換率操作。

4 結(jié)束語(yǔ)

隨著現(xiàn)代計(jì)算機(jī)技術(shù)的發(fā)展，大數(shù)據(jù)處理以及分析更加朝向智能化以及便捷化方向發(fā)展，給我們的生活帶來(lái)了極大的便利，因此需要有效了解計(jì)算機(jī)大數(shù)據(jù)應(yīng)用的理論，不斷進(jìn)行探索與分析，把握整體架構(gòu)，不斷提高大數(shù)據(jù)處理分析技術(shù)。

參考文獻(xiàn)

[1]蘇娜，史宏.基于大數(shù)據(jù)時(shí)代的計(jì)算機(jī)信息處理技術(shù)[J].計(jì)算機(jī)產(chǎn)品與流通，2020（09）：9.

[2]屈永斌.“大數(shù)據(jù)”時(shí)代背景下計(jì)算機(jī)信息處理技術(shù)的實(shí)踐思考[J].計(jì)算機(jī)產(chǎn)品與流通，2020（09）：139.

[3]楊威.基于大數(shù)據(jù)的計(jì)算機(jī)信息處理技術(shù)分析[J].集成電路應(yīng)用，2020，37（08）：62-63.