任梁

摘 要

隨著云計算技術的不斷完善，為了促進大數(shù)據(jù)處理系統(tǒng)的功能多樣化，云計算技術在大數(shù)據(jù)處理系統(tǒng)上得到了廣泛的應用。本文重點研究了在多元因素的影響下的數(shù)據(jù)模型對大數(shù)據(jù)處理的影響，并據(jù)此提出了一種基于融合思想，采用了混合架構以及分散處理的云計算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的整體部署策略。

【關鍵詞】云計算 大數(shù)據(jù)處理 融合處理

1 引言

隨著網(wǎng)絡技術的發(fā)展，以及智能設備的普及，當前的數(shù)據(jù)增長速度已經(jīng)呈現(xiàn)爆炸式增長，大數(shù)據(jù)時代已經(jīng)來臨。目前專家對大數(shù)據(jù)處理系統(tǒng)方面的研究主要是基于云環(huán)境下的分布式部署以及網(wǎng)絡架構的融合和動態(tài)實時數(shù)據(jù)處理這三個方面。同時也取得了一定的研究成果，對于當前的云計算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的發(fā)展提供了很多理論和實踐基礎。

2 基于融合思想的大數(shù)據(jù)處理方案分析

云計算技術模式下，人機交互和數(shù)據(jù)處理以及網(wǎng)絡邏輯處理技術等都相對交融，處于深度融合狀態(tài)。因此基于融合思想的大數(shù)據(jù)處理方案就是以融合思想為核心，將云計算技術模式下的各種分散的網(wǎng)絡資源進行協(xié)同組織，然后再進行融合，從而充分發(fā)揮分散狀態(tài)下的資源優(yōu)勢，形成一種整體性的比較優(yōu)勢，因此這種融合式的大數(shù)據(jù)處理方案的應用前景十分廣闊。

在云計算技術模式下，大數(shù)據(jù)處理研究更多的著力點放在了大數(shù)據(jù)處理系統(tǒng)的構建、分散資源的協(xié)同以及相關的輔助技術等。從宏觀角度來看，可以氛圍內混合處理和混合管理兩個方面。其中混合管理的核心就是研究各種無線以及有線的處理機制和數(shù)據(jù)共享、資源共享機制的管理，同時還包括了分散數(shù)據(jù)管理機制和協(xié)同機制管理等。而混合處理的研究核心則是著力于系統(tǒng)運行模型和相關輔助技術上。

3 大數(shù)據(jù)處理系統(tǒng)的應用和處理系統(tǒng)分析

3.1 大數(shù)據(jù)處理系統(tǒng)的應用

大數(shù)據(jù)處理系統(tǒng)的應用主要包括三個方面：

（1）基于融合式架構的應用。這實際上就是一種客戶機/服務器架構模式，其中服務器主要負責應用系統(tǒng)的管理和控制以及相關應用的邏輯處理和數(shù)據(jù)調度等。而客戶端則是專門進行人機交互，當用戶想要執(zhí)行數(shù)據(jù)處理分析人物時，通過客戶機向服務器發(fā)送請求，然后有服務器完成并返回給客戶端。這個融合式架構相對簡單，且容易維護，但是服務器功能有著極高的依賴，這也往往成為數(shù)據(jù)處理系統(tǒng)應用的瓶頸。

（2）分散式架構。這種架構的特點就是協(xié)同控制的節(jié)點都是平等地位，并且和處理系統(tǒng)有關的控制和管理模塊都是分散在各個客戶端上?？蛻舳藫碛幸欢ǖ淖灾螌傩裕虼司哂型ㄓ眯院挽`活性和可擴展性等諸多優(yōu)勢。但是由于數(shù)據(jù)采用分布存儲和分布操作，這樣在維護方面就變得較為困難，而且節(jié)點之間的實時同步和用戶動態(tài)注冊的應用也難以實現(xiàn)。

（3）混合式結構。這種結構擁有前兩兩種結構有點，通過服務器實現(xiàn)數(shù)據(jù)信息的統(tǒng)一維護，而客戶端一方面實現(xiàn)信息傳輸功能，同時也能夠和用戶在某些應用方面進行充分的交互，因此能夠有效減輕服務器端的壓力，這樣也能夠消除服務器端的瓶頸。提升系統(tǒng)的魯棒性和靈活性。

3.2 云計算技術下的大數(shù)據(jù)處理系統(tǒng)具體分析

3.2.1 系統(tǒng)架構

云計算技術環(huán)境下的大數(shù)據(jù)處理平臺的節(jié)點主要體現(xiàn)下面幾個特點：其一是節(jié)點分散性；其二是數(shù)據(jù)處理動態(tài)性；其三是數(shù)據(jù)來源混構性。

這個處理平臺架構采用了融合式的調度執(zhí)行層和任務融合調度管理，并根據(jù)處理規(guī)則和不同的參數(shù)來調整處理引擎的數(shù)據(jù)和算法組合以及計算資源。對大數(shù)據(jù)資源的數(shù)據(jù)交互和任務分工工作進行了有效融合。同時在管理層，也對業(yè)務數(shù)據(jù)進行分布式存儲，提升了容錯處理能力。

3.2.2 系統(tǒng)處理流程

系統(tǒng)處理流程主要是對分散狀態(tài)數(shù)據(jù)進行處理，其關鍵就是對分散的數(shù)據(jù)進行提取，因此首先給其他應用提供數(shù)據(jù)接口。然后數(shù)據(jù)管理部分要融合數(shù)據(jù)資源，并在一定容忍度的基礎下，對不同的數(shù)據(jù)處理機制進行比較，進而優(yōu)勢融合。最后數(shù)據(jù)處理中心則是對數(shù)據(jù)進行集中處理，然后統(tǒng)一分配數(shù)據(jù)資源，從而在數(shù)據(jù)中心實現(xiàn)數(shù)據(jù)處理的融合。

3.2.3 處理系統(tǒng)的部署

某信息產(chǎn)業(yè)園的大數(shù)據(jù)處理系統(tǒng)的部署是根據(jù)信息企業(yè)集群的需求，然后對現(xiàn)有分散數(shù)據(jù)資源進行挖掘，比如企業(yè)內部的ERP和SCM系統(tǒng)中的數(shù)據(jù)，通過對這些數(shù)據(jù)進行深度挖掘從而為該企業(yè)提供戰(zhàn)略發(fā)展資源。圖1就顯示了這個部署圖。

從部署圖可以看出，在這家企業(yè)中，ERP和SCM和CRM是其數(shù)據(jù)源，然后經(jīng)過服務器處理之后，分布到n個數(shù)據(jù)庫，然后進行合并進入到大數(shù)據(jù)管理模塊，最終能夠實現(xiàn)數(shù)據(jù)查詢和數(shù)據(jù)決策服務。

4 結語

總而言之，目前采用融合式思想，在云計算技術條件下，對大數(shù)據(jù)處理系統(tǒng)進行部署的研究相對較少，特別是當前的信息產(chǎn)業(yè)，由于其自身的解決方案并不能夠實現(xiàn)大數(shù)據(jù)條件的比較優(yōu)勢，所以本文提出的融合式的大數(shù)據(jù)處理技術，有效的提升了數(shù)據(jù)利用深度，拓展了大數(shù)據(jù)處理系統(tǒng)的應用范圍。

參考文獻

[1]于戈，谷峪，鮑玉斌，王志剛.云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術[J].計算機學報，2011（10）.

[2]程苗基于云計算的Web數(shù)據(jù)挖掘[J].計算機科學，2011（S1）.

作者單位

中國科學院信息技術應用研究院 浙江省寧波市 315040

摘 要

隨著云計算技術的不斷完善，為了促進大數(shù)據(jù)處理系統(tǒng)的功能多樣化，云計算技術在大數(shù)據(jù)處理系統(tǒng)上得到了廣泛的應用。本文重點研究了在多元因素的影響下的數(shù)據(jù)模型對大數(shù)據(jù)處理的影響，并據(jù)此提出了一種基于融合思想，采用了混合架構以及分散處理的云計算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的整體部署策略。

【關鍵詞】云計算 大數(shù)據(jù)處理 融合處理

1 引言

隨著網(wǎng)絡技術的發(fā)展，以及智能設備的普及，當前的數(shù)據(jù)增長速度已經(jīng)呈現(xiàn)爆炸式增長，大數(shù)據(jù)時代已經(jīng)來臨。目前專家對大數(shù)據(jù)處理系統(tǒng)方面的研究主要是基于云環(huán)境下的分布式部署以及網(wǎng)絡架構的融合和動態(tài)實時數(shù)據(jù)處理這三個方面。同時也取得了一定的研究成果，對于當前的云計算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的發(fā)展提供了很多理論和實踐基礎。

2 基于融合思想的大數(shù)據(jù)處理方案分析

云計算技術模式下，人機交互和數(shù)據(jù)處理以及網(wǎng)絡邏輯處理技術等都相對交融，處于深度融合狀態(tài)。因此基于融合思想的大數(shù)據(jù)處理方案就是以融合思想為核心，將云計算技術模式下的各種分散的網(wǎng)絡資源進行協(xié)同組織，然后再進行融合，從而充分發(fā)揮分散狀態(tài)下的資源優(yōu)勢，形成一種整體性的比較優(yōu)勢，因此這種融合式的大數(shù)據(jù)處理方案的應用前景十分廣闊。

在云計算技術模式下，大數(shù)據(jù)處理研究更多的著力點放在了大數(shù)據(jù)處理系統(tǒng)的構建、分散資源的協(xié)同以及相關的輔助技術等。從宏觀角度來看，可以氛圍內混合處理和混合管理兩個方面。其中混合管理的核心就是研究各種無線以及有線的處理機制和數(shù)據(jù)共享、資源共享機制的管理，同時還包括了分散數(shù)據(jù)管理機制和協(xié)同機制管理等。而混合處理的研究核心則是著力于系統(tǒng)運行模型和相關輔助技術上。

3 大數(shù)據(jù)處理系統(tǒng)的應用和處理系統(tǒng)分析

3.1 大數(shù)據(jù)處理系統(tǒng)的應用

大數(shù)據(jù)處理系統(tǒng)的應用主要包括三個方面：

（1）基于融合式架構的應用。這實際上就是一種客戶機/服務器架構模式，其中服務器主要負責應用系統(tǒng)的管理和控制以及相關應用的邏輯處理和數(shù)據(jù)調度等。而客戶端則是專門進行人機交互，當用戶想要執(zhí)行數(shù)據(jù)處理分析人物時，通過客戶機向服務器發(fā)送請求，然后有服務器完成并返回給客戶端。這個融合式架構相對簡單，且容易維護，但是服務器功能有著極高的依賴，這也往往成為數(shù)據(jù)處理系統(tǒng)應用的瓶頸。

（2）分散式架構。這種架構的特點就是協(xié)同控制的節(jié)點都是平等地位，并且和處理系統(tǒng)有關的控制和管理模塊都是分散在各個客戶端上。客戶端擁有一定的自治屬性，因此具有通用性和靈活性和可擴展性等諸多優(yōu)勢。但是由于數(shù)據(jù)采用分布存儲和分布操作，這樣在維護方面就變得較為困難，而且節(jié)點之間的實時同步和用戶動態(tài)注冊的應用也難以實現(xiàn)。

（3）混合式結構。這種結構擁有前兩兩種結構有點，通過服務器實現(xiàn)數(shù)據(jù)信息的統(tǒng)一維護，而客戶端一方面實現(xiàn)信息傳輸功能，同時也能夠和用戶在某些應用方面進行充分的交互，因此能夠有效減輕服務器端的壓力，這樣也能夠消除服務器端的瓶頸。提升系統(tǒng)的魯棒性和靈活性。

3.2 云計算技術下的大數(shù)據(jù)處理系統(tǒng)具體分析

3.2.1 系統(tǒng)架構

云計算技術環(huán)境下的大數(shù)據(jù)處理平臺的節(jié)點主要體現(xiàn)下面幾個特點：其一是節(jié)點分散性；其二是數(shù)據(jù)處理動態(tài)性；其三是數(shù)據(jù)來源混構性。

這個處理平臺架構采用了融合式的調度執(zhí)行層和任務融合調度管理，并根據(jù)處理規(guī)則和不同的參數(shù)來調整處理引擎的數(shù)據(jù)和算法組合以及計算資源。對大數(shù)據(jù)資源的數(shù)據(jù)交互和任務分工工作進行了有效融合。同時在管理層，也對業(yè)務數(shù)據(jù)進行分布式存儲，提升了容錯處理能力。

3.2.2 系統(tǒng)處理流程

系統(tǒng)處理流程主要是對分散狀態(tài)數(shù)據(jù)進行處理，其關鍵就是對分散的數(shù)據(jù)進行提取，因此首先給其他應用提供數(shù)據(jù)接口。然后數(shù)據(jù)管理部分要融合數(shù)據(jù)資源，并在一定容忍度的基礎下，對不同的數(shù)據(jù)處理機制進行比較，進而優(yōu)勢融合。最后數(shù)據(jù)處理中心則是對數(shù)據(jù)進行集中處理，然后統(tǒng)一分配數(shù)據(jù)資源，從而在數(shù)據(jù)中心實現(xiàn)數(shù)據(jù)處理的融合。

3.2.3 處理系統(tǒng)的部署

某信息產(chǎn)業(yè)園的大數(shù)據(jù)處理系統(tǒng)的部署是根據(jù)信息企業(yè)集群的需求，然后對現(xiàn)有分散數(shù)據(jù)資源進行挖掘，比如企業(yè)內部的ERP和SCM系統(tǒng)中的數(shù)據(jù)，通過對這些數(shù)據(jù)進行深度挖掘從而為該企業(yè)提供戰(zhàn)略發(fā)展資源。圖1就顯示了這個部署圖。

從部署圖可以看出，在這家企業(yè)中，ERP和SCM和CRM是其數(shù)據(jù)源，然后經(jīng)過服務器處理之后，分布到n個數(shù)據(jù)庫，然后進行合并進入到大數(shù)據(jù)管理模塊，最終能夠實現(xiàn)數(shù)據(jù)查詢和數(shù)據(jù)決策服務。

4 結語

總而言之，目前采用融合式思想，在云計算技術條件下，對大數(shù)據(jù)處理系統(tǒng)進行部署的研究相對較少，特別是當前的信息產(chǎn)業(yè)，由于其自身的解決方案并不能夠實現(xiàn)大數(shù)據(jù)條件的比較優(yōu)勢，所以本文提出的融合式的大數(shù)據(jù)處理技術，有效的提升了數(shù)據(jù)利用深度，拓展了大數(shù)據(jù)處理系統(tǒng)的應用范圍。

參考文獻

[1]于戈，谷峪，鮑玉斌，王志剛.云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術[J].計算機學報，2011（10）.

[2]程苗基于云計算的Web數(shù)據(jù)挖掘[J].計算機科學，2011（S1）.

作者單位

中國科學院信息技術應用研究院 浙江省寧波市 315040

摘 要

隨著云計算技術的不斷完善，為了促進大數(shù)據(jù)處理系統(tǒng)的功能多樣化，云計算技術在大數(shù)據(jù)處理系統(tǒng)上得到了廣泛的應用。本文重點研究了在多元因素的影響下的數(shù)據(jù)模型對大數(shù)據(jù)處理的影響，并據(jù)此提出了一種基于融合思想，采用了混合架構以及分散處理的云計算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的整體部署策略。

【關鍵詞】云計算 大數(shù)據(jù)處理 融合處理

1 引言

隨著網(wǎng)絡技術的發(fā)展，以及智能設備的普及，當前的數(shù)據(jù)增長速度已經(jīng)呈現(xiàn)爆炸式增長，大數(shù)據(jù)時代已經(jīng)來臨。目前專家對大數(shù)據(jù)處理系統(tǒng)方面的研究主要是基于云環(huán)境下的分布式部署以及網(wǎng)絡架構的融合和動態(tài)實時數(shù)據(jù)處理這三個方面。同時也取得了一定的研究成果，對于當前的云計算環(huán)境下的大數(shù)據(jù)處理系統(tǒng)的發(fā)展提供了很多理論和實踐基礎。

2 基于融合思想的大數(shù)據(jù)處理方案分析

云計算技術模式下，人機交互和數(shù)據(jù)處理以及網(wǎng)絡邏輯處理技術等都相對交融，處于深度融合狀態(tài)。因此基于融合思想的大數(shù)據(jù)處理方案就是以融合思想為核心，將云計算技術模式下的各種分散的網(wǎng)絡資源進行協(xié)同組織，然后再進行融合，從而充分發(fā)揮分散狀態(tài)下的資源優(yōu)勢，形成一種整體性的比較優(yōu)勢，因此這種融合式的大數(shù)據(jù)處理方案的應用前景十分廣闊。

在云計算技術模式下，大數(shù)據(jù)處理研究更多的著力點放在了大數(shù)據(jù)處理系統(tǒng)的構建、分散資源的協(xié)同以及相關的輔助技術等。從宏觀角度來看，可以氛圍內混合處理和混合管理兩個方面。其中混合管理的核心就是研究各種無線以及有線的處理機制和數(shù)據(jù)共享、資源共享機制的管理，同時還包括了分散數(shù)據(jù)管理機制和協(xié)同機制管理等。而混合處理的研究核心則是著力于系統(tǒng)運行模型和相關輔助技術上。

3 大數(shù)據(jù)處理系統(tǒng)的應用和處理系統(tǒng)分析

3.1 大數(shù)據(jù)處理系統(tǒng)的應用

大數(shù)據(jù)處理系統(tǒng)的應用主要包括三個方面：

（1）基于融合式架構的應用。這實際上就是一種客戶機/服務器架構模式，其中服務器主要負責應用系統(tǒng)的管理和控制以及相關應用的邏輯處理和數(shù)據(jù)調度等。而客戶端則是專門進行人機交互，當用戶想要執(zhí)行數(shù)據(jù)處理分析人物時，通過客戶機向服務器發(fā)送請求，然后有服務器完成并返回給客戶端。這個融合式架構相對簡單，且容易維護，但是服務器功能有著極高的依賴，這也往往成為數(shù)據(jù)處理系統(tǒng)應用的瓶頸。

（2）分散式架構。這種架構的特點就是協(xié)同控制的節(jié)點都是平等地位，并且和處理系統(tǒng)有關的控制和管理模塊都是分散在各個客戶端上。客戶端擁有一定的自治屬性，因此具有通用性和靈活性和可擴展性等諸多優(yōu)勢。但是由于數(shù)據(jù)采用分布存儲和分布操作，這樣在維護方面就變得較為困難，而且節(jié)點之間的實時同步和用戶動態(tài)注冊的應用也難以實現(xiàn)。

（3）混合式結構。這種結構擁有前兩兩種結構有點，通過服務器實現(xiàn)數(shù)據(jù)信息的統(tǒng)一維護，而客戶端一方面實現(xiàn)信息傳輸功能，同時也能夠和用戶在某些應用方面進行充分的交互，因此能夠有效減輕服務器端的壓力，這樣也能夠消除服務器端的瓶頸。提升系統(tǒng)的魯棒性和靈活性。

3.2 云計算技術下的大數(shù)據(jù)處理系統(tǒng)具體分析

3.2.1 系統(tǒng)架構

云計算技術環(huán)境下的大數(shù)據(jù)處理平臺的節(jié)點主要體現(xiàn)下面幾個特點：其一是節(jié)點分散性；其二是數(shù)據(jù)處理動態(tài)性；其三是數(shù)據(jù)來源混構性。

這個處理平臺架構采用了融合式的調度執(zhí)行層和任務融合調度管理，并根據(jù)處理規(guī)則和不同的參數(shù)來調整處理引擎的數(shù)據(jù)和算法組合以及計算資源。對大數(shù)據(jù)資源的數(shù)據(jù)交互和任務分工工作進行了有效融合。同時在管理層，也對業(yè)務數(shù)據(jù)進行分布式存儲，提升了容錯處理能力。

3.2.2 系統(tǒng)處理流程

系統(tǒng)處理流程主要是對分散狀態(tài)數(shù)據(jù)進行處理，其關鍵就是對分散的數(shù)據(jù)進行提取，因此首先給其他應用提供數(shù)據(jù)接口。然后數(shù)據(jù)管理部分要融合數(shù)據(jù)資源，并在一定容忍度的基礎下，對不同的數(shù)據(jù)處理機制進行比較，進而優(yōu)勢融合。最后數(shù)據(jù)處理中心則是對數(shù)據(jù)進行集中處理，然后統(tǒng)一分配數(shù)據(jù)資源，從而在數(shù)據(jù)中心實現(xiàn)數(shù)據(jù)處理的融合。

3.2.3 處理系統(tǒng)的部署

某信息產(chǎn)業(yè)園的大數(shù)據(jù)處理系統(tǒng)的部署是根據(jù)信息企業(yè)集群的需求，然后對現(xiàn)有分散數(shù)據(jù)資源進行挖掘，比如企業(yè)內部的ERP和SCM系統(tǒng)中的數(shù)據(jù)，通過對這些數(shù)據(jù)進行深度挖掘從而為該企業(yè)提供戰(zhàn)略發(fā)展資源。圖1就顯示了這個部署圖。

從部署圖可以看出，在這家企業(yè)中，ERP和SCM和CRM是其數(shù)據(jù)源，然后經(jīng)過服務器處理之后，分布到n個數(shù)據(jù)庫，然后進行合并進入到大數(shù)據(jù)管理模塊，最終能夠實現(xiàn)數(shù)據(jù)查詢和數(shù)據(jù)決策服務。

4 結語

總而言之，目前采用融合式思想，在云計算技術條件下，對大數(shù)據(jù)處理系統(tǒng)進行部署的研究相對較少，特別是當前的信息產(chǎn)業(yè)，由于其自身的解決方案并不能夠實現(xiàn)大數(shù)據(jù)條件的比較優(yōu)勢，所以本文提出的融合式的大數(shù)據(jù)處理技術，有效的提升了數(shù)據(jù)利用深度，拓展了大數(shù)據(jù)處理系統(tǒng)的應用范圍。

參考文獻

[1]于戈，谷峪，鮑玉斌，王志剛.云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術[J].計算機學報，2011（10）.

[2]程苗基于云計算的Web數(shù)據(jù)挖掘[J].計算機科學，2011（S1）.

作者單位

中國科學院信息技術應用研究院 浙江省寧波市 315040