袁小勇

摘??要：云環(huán)境中，通過大數(shù)據(jù)可以實現(xiàn)冗余信息的處理與分析，通過數(shù)據(jù)挖掘等技術手段的支持可以實現(xiàn)信息資源的優(yōu)化與處理。為了充分滿足云環(huán)境中數(shù)據(jù)處理的需求，通過現(xiàn)代技術手段綜合分析，可以切實保障信息數(shù)據(jù)的安全性。大數(shù)據(jù)時代，計算機技術高度發(fā)展，可以實現(xiàn)多種信息數(shù)據(jù)以及資源的整合，對于國家、企業(yè)以及群眾的信息安全具有重要的影響。在云環(huán)境中為了實現(xiàn)信息數(shù)據(jù)處理的安全性、高效性，要基于實際狀況對信息數(shù)據(jù)的采集、存儲以及安全管理等方面進行綜合分析。

關鍵詞：云環(huán)境??云存儲技術??大數(shù)據(jù)??計算機處理技術

中圖分類號：TP393

Research?on?the?Application?of?Computer?Processing?Technology?for?Big?Data?in?the?Cloud?Environment

YUAN??Xiaoyong

（Guizhou?Vocational?College?of?Economics?and?Business，?Duyun，?Guizhou?Province，558000?China）

Abstract：?In?the?cloud?environment，?the?processing?and?analysis?of?redundant?information?can?be?achieved?through?big?data，?and?the?optimization?and?processing?of?information?resources?can?be?achieved?through?technical?means?such?as?data?mining.?In?order?to?fully?meet?the?needs?of?data?processing?in?the?cloud?environment，?comprehensive?analysis?through?modern?technological?means?can?effectively?ensure?the?security?of?information?data.?In?the?era?of?big?data，?computer?technology?is?highly?developed，?and?it?can?achieve?the?integration?of?various?information?data?and?resources，?which?has?an?important?impact?on?the?information?security?of?the?country，?enterprises?and?the?public.?In?order?to?achieve?the?security?and?efficiency?of?information?data?processing?in?the?cloud?environment，?it?is?necessary?to?conduct?a?comprehensive?analysis?of?the?collection，?storage?and?security?management?of?information?data?based?on?actual?conditions.

Key?Words：?Cloud?environment;?Cloud?storage?technology;?Big?data;?Computer?processing?technology

云環(huán)境中，通過大數(shù)據(jù)可以實現(xiàn)冗余信息的處理與分析，通過數(shù)據(jù)挖掘等技術手段的支持可以實現(xiàn)信息資源的優(yōu)化與處理。為了充分滿足云環(huán)境中數(shù)據(jù)處理的需求，通過現(xiàn)代技術手段綜合分析，可以切實保障信息數(shù)據(jù)的安全性。

1云環(huán)境下大數(shù)據(jù)計算機處理流程

在云環(huán)境中合理應用大數(shù)據(jù)等技術手段，可以實現(xiàn)數(shù)據(jù)的挖掘與處理，在數(shù)據(jù)處理中主要就是利用計算機技術進行數(shù)據(jù)信息的抽取、處理與集成數(shù)據(jù)、分析數(shù)據(jù)，通過處理之后的信息數(shù)據(jù)可以根據(jù)實際需求形成報表與圖表等不同的方式，便于用戶分析處理。通過標準化的方式進行數(shù)據(jù)處理可以挖掘信息數(shù)據(jù)的內在價值，提高信息數(shù)據(jù)資源的利用效率。

1.1數(shù)據(jù)抽取

在云環(huán)境中通過大數(shù)據(jù)進行信息數(shù)據(jù)的采集分析，在網絡技術之下可以拓展范圍，實現(xiàn)數(shù)據(jù)信息的綜合處理。而數(shù)據(jù)連接復雜，為了提高采集精度以及速度，則要綜合實際狀況合理應用大數(shù)據(jù)等技術手段[1]。

1.2處理與集成數(shù)據(jù)

在數(shù)據(jù)分析之前要通過技術手段對多種信息數(shù)據(jù)進行集成化處理，通過格式化、噪聲處理等操作之后進行數(shù)據(jù)集合，如果數(shù)據(jù)采集標準尚未統(tǒng)一，則無法實現(xiàn)數(shù)據(jù)結構的抑制性，會對后期的數(shù)據(jù)分析效率以及精確性產生影響。因此，在處理中要應用統(tǒng)一的數(shù)據(jù)進行采集分析，保障信息數(shù)據(jù)精準全面。

1.3分析數(shù)據(jù)

分析數(shù)據(jù)主要就是通過大數(shù)據(jù)進行數(shù)據(jù)挖掘，在采集數(shù)據(jù)倉庫與存儲發(fā)掘等工具支持之下，對大數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)差異性進行綜合性的分析，通過多元化的方式提供服務[2]。

1.4數(shù)據(jù)分析

通過大數(shù)據(jù)進行數(shù)據(jù)分析，可以在系統(tǒng)支持之下進行可視化的方案數(shù)據(jù)設置，基于模擬分析數(shù)據(jù)結果則可以了解各項信息，根據(jù)不同客戶的需求提供形象化的結果，充分提高決策制定的科學性。

2云環(huán)境下大數(shù)據(jù)計算機處理技術

2.1云存儲技術

2.1.1數(shù)據(jù)收集以及加工技術

在信息數(shù)據(jù)的處理與加工中獲得信息數(shù)據(jù)要根據(jù)要求進行存儲、檢測以及利用。而在信息數(shù)據(jù)的傳輸中在多種因素的影響之下會出現(xiàn)丟失、損壞等問題，為了提高信息數(shù)據(jù)的安全性，要綜合實際狀況進行數(shù)據(jù)安全管理，提高數(shù)據(jù)傳輸?shù)陌踩?。通過分析傳輸?shù)那溃私獍踩[患問題，基于標準進行判斷分析，及時處理存在的異常問題，保障傳輸通道安全的基礎上進行數(shù)據(jù)的處理則可以降低安全隱患問題。在云環(huán)境中，做好信息數(shù)據(jù)的收集以及處理，通過篩選技術進行信息的分析，剔除冗余、錯誤性的信息數(shù)據(jù)，通過信息加工技術優(yōu)化完善，則可以切實增強數(shù)據(jù)安全性[3]。

2.1.2數(shù)字整合處理技術

通過數(shù)據(jù)參數(shù)核算與分析，可以利用網絡平臺進行數(shù)據(jù)參數(shù)的綜合分析、處理，有效提高了數(shù)字計算能力。隨著現(xiàn)代技術手段的提高，數(shù)字整合技術也實現(xiàn)了創(chuàng)新優(yōu)化，在大數(shù)據(jù)平臺上融合數(shù)字整合技術手段，根據(jù)技術應用的特征拓展范圍，可以實現(xiàn)多元化的發(fā)展，充分增強了數(shù)字計算的高效性。

2.2云安全與云計算處理技術

2.2.1云安全技術

網絡安全問題是人們必須要重視的問題之一，通過云安全技術進行數(shù)據(jù)安全處理可以有效降低安全隱患問題，保障信息數(shù)據(jù)的安全性。通過云安全技術進行系統(tǒng)中各項風險隱患的識別以及綜合分析，可有效降低非法入侵與病毒侵蝕等問題的出現(xiàn)，充分保障系統(tǒng)運行安全性。通過云安全技術實現(xiàn)病毒查殺以及安全管理，可以切實提高系統(tǒng)運行的安全性。

2.2.2云計算技術

云計算技術具有強大的功能，可有效降低信息資源的損耗性問題，提高信息利用效率。計算機信息在應用中會產生大量的信息數(shù)據(jù)，這些數(shù)據(jù)冗余復雜，通過計算方式進行優(yōu)化可以快速實現(xiàn)目標信息的處理以及優(yōu)化。通過云計算技術，根據(jù)用戶的需求與等級等設置提供更加具有針對性的復雜，通過定制化的服務增強滿意度，無需人工操作進行優(yōu)化處理，則可以實現(xiàn)多任務的有效開展。

2.3虛擬化處理技術

虛擬化技術的應用可以充分保障數(shù)據(jù)信息資源的科學配置，便于信息數(shù)據(jù)的存儲管理。在應用中根據(jù)程序、網絡以及操作等不同內容進行系統(tǒng)設置。利用技術形成虛擬軟件，則可以根據(jù)用戶需求進行處理，通過服務器進行程序與設備的連接，則可以連接多臺終端設備。用戶通過升級等方式可以實現(xiàn)系統(tǒng)的優(yōu)化，有效降低維修負荷等問題[4]。

3云環(huán)境下大數(shù)據(jù)計算機處理技術應用研究

3.1?Hadoop?處理技術

基于?Hadoop?處理技術進行平臺建設，其作為一種MAP算法框架結構，通過分布式框架特征進行模塊化處理，在分布文化與數(shù)據(jù)庫虛體支持之下可以構建完善的大數(shù)據(jù)處理框架系統(tǒng)。實現(xiàn)對程序的綜合分析以及管理，有利于進行大規(guī)模集成化的工程處理。

Hadoop?技術中最為顯著的優(yōu)勢就是處理模型?MapReduce?的Map?映射函數(shù)屬于本地計算方式，在進行數(shù)據(jù)輸出中可以實現(xiàn)在本地計算機中進行運算分析，但是受到計算節(jié)點資源的影響，因此在處理中要綜合數(shù)據(jù)分布狀況進行綜合分析，如果節(jié)點數(shù)量高于處理片數(shù)則要進行遠程化的處理。因此，在運算中要分析處理的數(shù)據(jù)片數(shù)，Map?映射函數(shù)的公式如下。（1）

式（1）中：其中表示的是Map函數(shù)讀取的階段代價；則表示任務數(shù)所占節(jié)點中的任務比例；S表示的是要處理的數(shù)據(jù)總量參數(shù)；表示磁盤讀取速度；網絡通信速度；表示的是函數(shù)代價；表示的是數(shù)據(jù)片輸入條；?表示系統(tǒng)函數(shù)總數(shù)。

Map函數(shù)可以基于輸入不同的數(shù)據(jù)進行映射處理，通過系統(tǒng)進行函數(shù)計算結構的排序，整個過程為混洗過程，系統(tǒng)中會根據(jù)數(shù)據(jù)結果進行磁盤存儲。

3.2?MapReduce?技術提供重要支持

云環(huán)境中，通過計算機技術分析大數(shù)據(jù)，通過分布或者并行的方式進行數(shù)據(jù)信息的處理，基于?MapReduce?技術，對技術接口定義優(yōu)化，進行數(shù)據(jù)的調查分析，通過計算則可以進行數(shù)據(jù)集合的處理與拆分，通過碎片化處理進行數(shù)據(jù)片段的集成化處理，構建對應鍵值，配置數(shù)據(jù)片段，則可以進行大規(guī)模的集群節(jié)點的設置，根據(jù)鍵值的有效性則可以實現(xiàn)對任務的集合化處理。在處理中要基于?MapReduce?特征進行分析，提高信息數(shù)據(jù)處理效率，通過云計算技術對數(shù)據(jù)進行綜合性的處理，可以實現(xiàn)?tb?級的處理，在平臺中可以根據(jù)具體的需要，通過SDFS寬帶數(shù)據(jù)處理等多種技術手段，在計算機服務集群的支持之下進行數(shù)據(jù)節(jié)點的擴展，進而有效增強數(shù)據(jù)處理的綜合效率與質量。

3.3大數(shù)據(jù)處理模型框架的建設

通過大數(shù)據(jù)技術進行處理，主要就是基于MapReduce算法進行數(shù)據(jù)的映射與劃分，在處理中要做好紙模塊的劃分與參數(shù)的控制處理。通過框架系統(tǒng)進行分布式的管理，在系統(tǒng)中輸入信息數(shù)據(jù)，通過數(shù)據(jù)進行智能化的信息數(shù)據(jù)采集，根據(jù)設計的目標參數(shù)執(zhí)行各項任務。對數(shù)據(jù)信息的處理，通過MapReduce技術則可以有效滿足數(shù)據(jù)轉移與分析的目的?；谠朴嬎憧蚣苓M行分布式的管理，根據(jù)系統(tǒng)需求進行綜合處理，基于API技術支撐則可以滿足不同的需求[5]。

在大數(shù)據(jù)處理框架系統(tǒng)的配置中，要根據(jù)需求對任意配置點進行定量評估，則可以實現(xiàn)自動化的配置，基于黑盒性能建模，進行數(shù)據(jù)收集與模型訓練，通過遺傳算法進行自動配置。實現(xiàn)高位配置空間的自動化配置與處理。遺傳算法可以實現(xiàn)最優(yōu)解的優(yōu)化處理，實現(xiàn)自動化的配置。評估中假設含有n個虛擬的性能模型，獲得真實性能公式為式（2）中：U表示不確定度；n表示虛擬性能模型；p表示預測結果；U越大則性能模型的整體精度產生的影響也越大，在進行大數(shù)據(jù)處理中則可以基于?conf程序進行性能測試，執(zhí)行?conf，將其在訓練數(shù)據(jù)集中處理，實現(xiàn)性能模型的更新優(yōu)化。

3.4優(yōu)化方法

3.4.1深網數(shù)據(jù)感知

深網數(shù)據(jù)感知主要的功能就是實現(xiàn)對海量信息數(shù)據(jù)的研究與分析處理，深網數(shù)據(jù)萬網絡規(guī)模為常規(guī)網絡的400～450倍左右。而深網的數(shù)據(jù)構成以及處理模式與常規(guī)網絡具有一定的差異性。在深網結構中無法確定訪問路徑以及信息，通過大數(shù)據(jù)進行分析，深網通過兩套差異性的系統(tǒng)進行計算處理并有效融合，可以提高性功能。

3.4.2數(shù)據(jù)索引技術

非關系數(shù)據(jù)庫是基于大數(shù)據(jù)建立的新型數(shù)據(jù)庫，可以實現(xiàn)對非關系的信息數(shù)據(jù)的平行性存儲與管理，此種方式可以有效增強信息數(shù)據(jù)的承載能力，在處理中可以實現(xiàn)對多種數(shù)據(jù)結構的優(yōu)化，構建高效能的存儲模式。進而為數(shù)據(jù)索引等工作提供實時性的信息數(shù)據(jù)支持。非關系數(shù)據(jù)庫具有較強的自適應能力與可擴展性，信息數(shù)據(jù)處理能力顯著，可有效信息數(shù)據(jù)存儲方式。

4結語

在云環(huán)境下，綜合時代發(fā)展特征，做好大數(shù)據(jù)計算機技術的優(yōu)化與更新處理，才可以切實提高核心競爭能力。在大數(shù)據(jù)計算機技術的應用中要做好傳輸效率與安全分析，重視信息存儲以及安全管理，利用多種計算機技術進行優(yōu)化完善，切實保障信息數(shù)據(jù)的安全性、完整性、高效性，這樣才可以有效推動社會經濟的發(fā)展。

參考文獻

[1] 孫云.基于云環(huán)境的大數(shù)據(jù)計算機處理技術分析[J].長江信息通信，2022，35（11）：158-160.

[2] 夏慧琳.云環(huán)境下大數(shù)據(jù)計算機處理技術應用研究[J].軟件，2022，43（9）：173-175.

[3] 王莉，孟強.腦機接口技術運用中自然人的意思自治與責任承擔[J].北京理工大學學報（社會科學版），2023，25（6）：68-82.

[4] 何錫點，朱仲馬，張曉兵.云原生模式下體系聯(lián)動的綜合運維技術[J].網絡安全技術與應用，?2023，?（12）：?62-65.

[5] 劉朝，朱莉芳，接標，等.基于局部鄰域濾波的對抗攻擊檢測方法[J].信息安全學報，2023，8（6）：84-93.

[6]?翟峰.生態(tài)環(huán)境大數(shù)據(jù)平臺建設及其資源規(guī)劃運行探析[J].決策咨詢，?2023（5）：?57-61.