胡毅 朱子江

摘? 要： 對于傳統(tǒng)云環(huán)境大數(shù)據(jù)聚類中的量子進化方法的聚類精準度比較低的問題，為了降低存儲開銷，提高數(shù)據(jù)管理能力與調(diào)度能力，提出將優(yōu)化粒子群算法作為基礎的云環(huán)境大數(shù)據(jù)聚類算法，對云環(huán)境大數(shù)據(jù)聚類原理進行分析，將傳統(tǒng)模糊C均值聚類作為基礎，通過粒子群聚類算法對大數(shù)據(jù)聚類算法進行改進，從而實現(xiàn)空間分割，得出云存儲系統(tǒng)的海量數(shù)據(jù)模糊聚類。利用粒子群聚類方法分配聚類數(shù)據(jù)離散成本，得到數(shù)據(jù)聚類信息濃度;與粒子群優(yōu)化聚類約束條件結合，得到云環(huán)境大數(shù)據(jù)聚類中心最優(yōu)解。仿真結果表明，此算法的數(shù)據(jù)聚類精準度比較高，具有良好的收斂性能。

關鍵詞： 大數(shù)據(jù)聚類; 云環(huán)境; 粒子群優(yōu)化; 空間分割; 模糊聚類; 仿真測試

中圖分類號： TN919?34? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）14?0072?04

PSO?based big data clustering algorithm in cloud environment

HU Yi， ZHU Zijiang

（South China Business College Guangdong University of Foreign Studies， Guangzhou 410545， China）

Abstract： As the clustering accuracy of the quantum evolution method of the big data clustering in the traditional cloud environment is relatively low， a PSO?based big data clustering algorithm in the cloud environment is proposed to reduce the storage cost and improve the abilities of data management and scheduling. The principle of big data clustering in the cloud environment is analyzed. By taking the traditional fuzzy C?means clustering as the basis， the big data clustering algorithm is improved by means of the particle swarm clustering algorithm， so as to achieve the spatial segmentation and get the fuzzy clustering of mass data in the cloud storage system. The discrete cost of clustering data is distributed by means of the particle swarm clustering method to get the information concentration of data clustering， and is combined with the clustering constraint condition of particle swarm optimization to get the optimal solution of big data clustering center in the cloud environment. The simulation results show that the algorithm has high accuracy of data clustering and good convergence performance.

Keywords： big data clustering; cloud environment; particle swarm optimization; space division; fuzzy clustering; simulation testing

0? 引? 言

云計算概念是IBM于2007年提出的。云計算是并行處理、分布式計算、網(wǎng)格計算之后所發(fā)展起來的最新計算方式，其將各種互聯(lián)計算、數(shù)據(jù)、存儲和使用等資源整合，從而能夠?qū)崿F(xiàn)多層次虛擬化和抽象，用戶只需要和網(wǎng)絡連接，就能夠利用云計算強大的計算和存儲能力實現(xiàn)功能。基于云計算背景，大數(shù)據(jù)信息處理能夠?qū)崿F(xiàn)數(shù)據(jù)聚類，利用大數(shù)據(jù)的特征參量可以對數(shù)據(jù)進行分析。基于數(shù)據(jù)聚類可實現(xiàn)大數(shù)據(jù)的創(chuàng)建，并且利用模式識別與診斷實現(xiàn)服務分析。

1? 云環(huán)境大數(shù)據(jù)存儲的設計

云計算是指通過現(xiàn)代互聯(lián)網(wǎng)對結構模型與存儲空間進行動態(tài)擴展。要想以云計算作為背景，進行分類挖掘與大數(shù)據(jù)存儲，首先就要實現(xiàn)大數(shù)據(jù)存儲機制架構的創(chuàng)建。在云環(huán)境中，大數(shù)據(jù)存儲通過虛擬化存儲在計算機集群開展云計算部署，通過USB磁盤層、結構層、計算機等構成，企業(yè)利用終端就能夠使用，通過分布式計算機就能進行計算。

云環(huán)境大數(shù)據(jù)存儲結構如圖1所示。

利用圖1所示結構，將屋內(nèi)分配應用到云計算虛擬機中。通過式（1）、式（2）實現(xiàn)優(yōu)化聚類算法，利用最優(yōu)解實現(xiàn)云計算背景中大數(shù)據(jù)特點聚類物理分配，公式為：

[x=12μ（1+μ+（μ+1）（μ-3））]

[x=12μ（1+μ+（μ+1）（μ-3））]

為了避免粒子陷入局部最優(yōu)，實現(xiàn)大數(shù)據(jù)信息特征矢量Xi存檔，計算公式為：

[li（k）=（1-ρ）li（k-1）+γf（xi（k））]

設置聚類閾值為Nth，在Neff

[Oα=α+a（α-β）Oβ=β+b（β-α）0

使用粒子群跳數(shù)的改進機制對存儲庫粒子群進行更新[5]，圖2為粒子群條數(shù)的改進機制。

粒子群更新過程中的粒子空間位置為：

[Gbesti（g+1）=argminPbestijf（Pbestij（g+1））]

在均勻分布評估解集的過程中，通過最優(yōu)化的聚類中心矢量函數(shù)進行計算，根據(jù)模因組中更新迭代順序得出：

[τdiag（max（σi-τ，0））]

以此能夠得出云存儲大數(shù)據(jù)聚類粒子適應度函數(shù)：

[w=w（t）·wstart， k≥αw=w（t）·1wend，k<β]

式中，α與β指的是分集聚類斂目標函數(shù)，通過粒子群聚類方法的優(yōu)化，聚類云存儲大數(shù)據(jù)，對算法進行改進[5]。算法的改進流程詳見圖3。

4? 仿真測試分析

為了對本文算法驗證，對云環(huán)境大數(shù)據(jù)優(yōu)化聚類性能進行仿真實驗。仿真實驗硬件環(huán)境為WIN7操作系統(tǒng)、內(nèi)存2 GB、CPU主頻2.93 GHz，使用Matlab 7仿真軟件。在實驗過程中，設置大數(shù)據(jù)采樣頻率[7]fs=4f0=20 kHz。大數(shù)據(jù)聚類時間中心t0=15 s，數(shù)據(jù)量為10 MB～1 GB，將10 MB作為單位，粒子群數(shù)量N共有30 984個，在粒子群聚類的過程中，設置空間搜索維度為30，粒子群移動概率設置為0.34，優(yōu)化粒子群算法運行迭代為5 000次。表1為大數(shù)據(jù)聚類算法處理參數(shù)[8]。

通過以上仿真環(huán)境和設置參數(shù)的結果，對云計算中心進行大數(shù)據(jù)聚類仿真。原本大數(shù)據(jù)二維特征分布隨機，在二維空間中無法實現(xiàn)規(guī)律性特征分類與提取。使用文中算法處理數(shù)據(jù)聚類，提取其中的特征與大數(shù)據(jù)，創(chuàng)建信息模型，實現(xiàn)粒子群優(yōu)化算法特征聚類的設計，圖4為特征提取結果。

由圖4可以看出，本文算法能夠有效提取云計算大數(shù)據(jù)中的特征，具有良好的波束聚焦性能，以此能夠為數(shù)據(jù)優(yōu)化聚類提供精準特征，數(shù)據(jù)聚類得到實現(xiàn)。

本文算法在計算迭代的過程中，穩(wěn)定收斂速度朝著最優(yōu)解逼近，和其他算法對比，具備良好的全局最優(yōu)解搜尋優(yōu)勢與收斂速度，使數(shù)據(jù)聚類尋優(yōu)能力得到提高，使大數(shù)據(jù)聚類精度得到提高，從而使誤分率得到降低。對比文中算法與傳統(tǒng)算法，誤分率降低13.56%，表明大數(shù)據(jù)聚類挖掘能力良好[9]。

5? 結? 語

本文設計云存儲系統(tǒng)的大數(shù)據(jù)優(yōu)化聚類，使存儲開銷得到降低，調(diào)度能力與數(shù)據(jù)管理也有所提高。通過量子進化方法能有效實現(xiàn)傳統(tǒng)云環(huán)境大數(shù)據(jù)聚類，隨著量子群的個體非線性偏移，數(shù)據(jù)聚類具備局部收斂性，降低了聚類的精準度。本文云環(huán)境聚類的粒子群優(yōu)化算法，在進行設計的時候要分析云環(huán)境存儲，基于傳統(tǒng)粒子群算法優(yōu)化設計大數(shù)據(jù)聚類算法，利用仿真實驗檢測性能，充分展現(xiàn)大數(shù)據(jù)聚類中本文設計算法的優(yōu)越性能。實驗結果表明，此數(shù)據(jù)聚類具有良好的聚類性能，能夠在短時間內(nèi)計算出最優(yōu)解，具備良好的數(shù)據(jù)聚類挖掘能力。

參考文獻

[1] 劉云恒.云環(huán)境下基于群智能算法的大數(shù)據(jù)聚類挖掘技術[J].現(xiàn)代電子技術，2019，42（9）：73?75.

[2] 王東強，王曉霞.云存儲中大數(shù)據(jù)優(yōu)化粒子群聚類算法[J].電子設計工程，2017，25（2）：26?30.

[3] 朱亞東，高翠芳.基于PSO的云計算環(huán)境中大數(shù)據(jù)優(yōu)化聚類算法[J].計算機技術與發(fā)展，2016，26（9）：178?182.

[4] 項麗萍.結合大數(shù)據(jù)流特征和改進SOM聚類的資源動態(tài)分配算法[J].計算機應用與軟件，2019，36（5）：262?268.

[5] 李斌，王勁松，黃瑋，等.一種大數(shù)據(jù)環(huán)境下的新聚類算法[J].計算機科學，2015，42（12）：247?250.

[6] 李慶偉，陳慧楓，姚桂煥，等.基于距離學習粒子群算法的NOx減排優(yōu)化[J].動力工程學報，2016，36（5）：404?410.

[7] 蔡曉麗，錢誠.基于改進的粒子群算法的云資源調(diào)度策略[J].微電子學與計算機，2018（6）：28?30.

[8] 鄒華.云計算環(huán)境下大數(shù)據(jù)分布規(guī)律的結構優(yōu)化設計[J].現(xiàn)代電子技術，2016，39（8）：18?20.

[9] 蔡宇翔，付婷，張輝，等.云計算環(huán)境下移動大數(shù)據(jù)合理分流方法[J].科學技術與工程，2018（2）：194?199.

[10] 李立軍，張曉光.基于動態(tài)粒子群優(yōu)化與K?means聚類的圖像分割算法[J].現(xiàn)代電子技術，2018，41（10）：164?168.