摘要：針對(duì)分布式存儲(chǔ)系統(tǒng)在云計(jì)算環(huán)境中數(shù)據(jù)傳輸效率低下及存儲(chǔ)空間率利用不足的問題，該文提出了一種基于數(shù)據(jù)去重技術(shù)的優(yōu)化方法。這一方法通過識(shí)別并消除存儲(chǔ)過程中的冗余數(shù)據(jù)，有效提高了數(shù)據(jù)傳輸?shù)男什⒐?jié)約了存儲(chǔ)空間。采用該方法系統(tǒng)將上傳的文件分塊，并為每個(gè)塊生成唯一的哈希值以進(jìn)行快速比對(duì)。通過去重檢查，系統(tǒng)能夠識(shí)別出重復(fù)的數(shù)據(jù)塊，從而避免了重復(fù)存儲(chǔ)和傳輸，顯著減少了數(shù)據(jù)中心的負(fù)載。對(duì)于新的數(shù)據(jù)塊，則進(jìn)行存儲(chǔ)并更新索引，以支持高效的數(shù)據(jù)檢索。實(shí)驗(yàn)結(jié)果表明，使用數(shù)據(jù)去重技術(shù)能夠在保持?jǐn)?shù)據(jù)完整性的同時(shí)，顯著提高數(shù)據(jù)傳輸?shù)乃俾屎痛鎯?chǔ)系統(tǒng)的整體性能。綜上所述，該文不僅提出了一種有效的分布式存儲(chǔ)系統(tǒng)優(yōu)化方案，也為云計(jì)算環(huán)境下的數(shù)據(jù)管理提供了新的思路。

關(guān)鍵詞：分布式存儲(chǔ)系統(tǒng)；數(shù)據(jù)去重；云計(jì)算優(yōu)化

doi：10.3969/J.ISSN.1672-7274.2024.09.024

中圖分類號(hào)：TP 311.13；TP393.09 文獻(xiàn)標(biāo)志碼：A 文章編碼：1672-7274（2024）09-00-03

Optimization of Data Transmission Function in Distributed Storage Systems Based on Cloud Computing Technology

LAN Xiaotian

（Guizhou Vocational and Technical College of Economics and Trade， Guiyang 558022， China）

Abstract： This paper proposes an optimization method based on data deduplication technology to address the issues of low data transmission efficiency and insufficient utilization of storage space in distributed storage systems in cloud computing environments. This method effectively improves the efficiency of data transmission and saves storage space by identifying and eliminating redundant data in the storage process. Firstly， the system divides the uploaded files into blocks and generates unique hash values for each block for quick comparison. By performing deduplication checks， the system is able to identify duplicate data blocks， thereby avoiding duplicate storage and transmission and significantly reducing the load on the data center. For new data blocks， store and update indexes to support efficient data retrieval. The experimental results show that using data deduplication technology can significantly improve the data transmission rate and overall performance of the storage system while maintaining data integrity. In summary， this study not only proposes an effective optimization solution for distributed storage systems， but also provides new ideas for data management in cloud computing environments.

Keywords： distributed storage system; data deduplication; cloud computing optimization

0 引言

在當(dāng)今數(shù)字化時(shí)代，分布式存儲(chǔ)系統(tǒng)作為數(shù)據(jù)管理的重要基礎(chǔ)設(shè)施，在云計(jì)算和大數(shù)據(jù)環(huán)境中扮演著至關(guān)重要的角色[1]。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和數(shù)據(jù)量的急劇增長，分布式存儲(chǔ)系統(tǒng)不僅需要處理海量的數(shù)據(jù)，還要確保數(shù)據(jù)的高可用性和可靠性。這些系統(tǒng)通過在多個(gè)網(wǎng)絡(luò)連接的存儲(chǔ)資源上分布式地存儲(chǔ)數(shù)據(jù)，提高數(shù)據(jù)的訪問速度和系統(tǒng)的容錯(cuò)能力[2]。然而，隨著存儲(chǔ)需求的不斷增加，這些系統(tǒng)面臨著諸多挑戰(zhàn)，尤其是在數(shù)據(jù)傳輸和存儲(chǔ)效率方面。在分布式存儲(chǔ)系統(tǒng)中，數(shù)據(jù)傳輸效率尤為關(guān)鍵，因?yàn)樗苯佑绊懙綌?shù)據(jù)處理和檢索的性能。高效的數(shù)據(jù)傳輸機(jī)制可以顯著提高系統(tǒng)的響應(yīng)速度和處理能力，特別是在面對(duì)大規(guī)模數(shù)據(jù)處理任務(wù)時(shí)[3]。此外，存儲(chǔ)空間的優(yōu)化使用也是分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)的重要考量之一。隨著數(shù)據(jù)的不斷積累，優(yōu)化存儲(chǔ)空間，降低存儲(chǔ)成本成為系統(tǒng)設(shè)計(jì)的關(guān)鍵任務(wù)[4]。

總的來說，本文提出了一種基于數(shù)據(jù)去重技術(shù)的優(yōu)化方法，針對(duì)分布式存儲(chǔ)系統(tǒng)在云計(jì)算環(huán)境中數(shù)據(jù)傳輸效率低下及存儲(chǔ)空間利用不足的問題，通過識(shí)別并消除存儲(chǔ)過程中的冗余數(shù)據(jù)，有效提高數(shù)據(jù)傳輸?shù)男什⒐?jié)約了存儲(chǔ)空間。在保持?jǐn)?shù)據(jù)完整性的同時(shí)，顯著提高了數(shù)據(jù)傳輸?shù)乃俾屎痛鎯?chǔ)系統(tǒng)的整體性能。

1 相關(guān)技術(shù)基礎(chǔ)

1.1 云計(jì)算技術(shù)

云計(jì)算技術(shù)是一種基于互聯(lián)網(wǎng)的計(jì)算方式，它允許數(shù)據(jù)和應(yīng)用程序在網(wǎng)絡(luò)上的遠(yuǎn)程大型服務(wù)器集群上運(yùn)行和存儲(chǔ)，而不是在本地計(jì)算機(jī)或?qū)Ｓ梅?wù)器上。在分布式存儲(chǔ)系統(tǒng)的背景下，云計(jì)算技術(shù)的關(guān)鍵在于提供高度可擴(kuò)展、靈活和成本較低的存儲(chǔ)解決方案。通過云計(jì)算，企業(yè)和個(gè)人用戶可以根據(jù)需要輕松擴(kuò)展存儲(chǔ)資源，同時(shí)享受由服務(wù)提供商維護(hù)的遠(yuǎn)程數(shù)據(jù)中心帶來的高可靠性和安全性。在優(yōu)化分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)傳輸功能方面，云計(jì)算技術(shù)通過其強(qiáng)大的計(jì)算能力和大規(guī)模數(shù)據(jù)處理能力，為存儲(chǔ)系統(tǒng)提供了必要的支持，使得數(shù)據(jù)處理、備份和恢復(fù)等操作更加高效[5]。

1.2 數(shù)據(jù)去重技術(shù)

數(shù)據(jù)去重技術(shù)是一種數(shù)據(jù)優(yōu)化方法，主要用于消除存儲(chǔ)系統(tǒng)中的重復(fù)數(shù)據(jù)，從而提高存儲(chǔ)效率并減少不必要的數(shù)據(jù)傳輸。在分布式存儲(chǔ)系統(tǒng)中，數(shù)據(jù)去重可以顯著減少對(duì)存儲(chǔ)空間的需求和網(wǎng)絡(luò)帶寬的使用。該技術(shù)通過識(shí)別并存儲(chǔ)數(shù)據(jù)的唯一實(shí)例，同時(shí)在需要時(shí)重建原始數(shù)據(jù)，有效地避免了冗余數(shù)據(jù)的重復(fù)存儲(chǔ)。數(shù)據(jù)去重通常分為兩類：文件級(jí)去重和塊級(jí)去重。文件級(jí)去重檢查整個(gè)文件的重復(fù)性，而塊級(jí)去重則更為精細(xì)，它分析文件的各個(gè)部分（塊），識(shí)別和消除重復(fù)的塊。這種精細(xì)化的方法特別適用于分布式存儲(chǔ)系統(tǒng)，因?yàn)樗梢愿佑行У靥幚砗蛡鬏敶罅康臄?shù)據(jù)。在優(yōu)化分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)傳輸功能上，數(shù)據(jù)去重技術(shù)因其減少數(shù)據(jù)冗余和提高傳輸效率的特性而成為一種關(guān)鍵的優(yōu)化手段[3]。

2 基于數(shù)據(jù)去重技術(shù)的分布式存儲(chǔ)系統(tǒng)

2.1 系統(tǒng)整體框架

基于數(shù)據(jù)去重技術(shù)的分布式存儲(chǔ)系統(tǒng)旨在優(yōu)化數(shù)據(jù)存儲(chǔ)和傳輸過程中的效率和成本。該系統(tǒng)整體框架設(shè)計(jì)遵循高效性、可擴(kuò)展性和安全性的原則，致力于解決傳統(tǒng)分布式存儲(chǔ)系統(tǒng)中存在的數(shù)據(jù)冗余和帶寬過載問題。

數(shù)據(jù)去重是整個(gè)系統(tǒng)的關(guān)鍵，負(fù)責(zé)實(shí)現(xiàn)數(shù)據(jù)塊級(jí)別的去重。通過對(duì)上傳的數(shù)據(jù)進(jìn)行分塊、哈希計(jì)算，并與現(xiàn)有存儲(chǔ)的數(shù)據(jù)塊進(jìn)行比對(duì)，系統(tǒng)能有效識(shí)別重復(fù)數(shù)據(jù)，避免存儲(chǔ)和傳輸相同的數(shù)據(jù)塊。系統(tǒng)整體框架如圖1所示。

整體而言，該系統(tǒng)的設(shè)計(jì)旨在通過數(shù)據(jù)去重技術(shù)，提高存儲(chǔ)效率，減少不必要的數(shù)據(jù)傳輸，從而在保證數(shù)據(jù)安全的前提下，降低存儲(chǔ)成本，提高整體系統(tǒng)性能。

2.2 數(shù)據(jù)傳輸功能優(yōu)化實(shí)現(xiàn)

數(shù)據(jù)傳輸功能的優(yōu)化過程如下：

（1）客戶端數(shù)據(jù)上傳?？蛻舳藬?shù)據(jù)上傳步驟不僅確保了數(shù)據(jù)的準(zhǔn)確傳輸，還為后續(xù)的去重和存儲(chǔ)處理奠定了基礎(chǔ)。在上傳過程中，重要的是使用有效的數(shù)據(jù)傳輸協(xié)議來保證數(shù)據(jù)的安全和完整性。傳輸速率R計(jì)算公式如下：

# （1）

式中，是文件大??；是傳輸時(shí)間。

（2）數(shù)據(jù)分塊。文件分塊的表達(dá)式為：

# （2）

式中，表示合并操作，它將所有分割后的數(shù)據(jù)塊重新組合成原始文件。每個(gè)數(shù)據(jù)塊都是文件的一個(gè)子集，且整個(gè)文件可以通過這些數(shù)據(jù)塊的集合完整地重構(gòu)。

數(shù)據(jù)分塊的過程不僅關(guān)乎數(shù)據(jù)的物理存儲(chǔ)，還涉及后續(xù)數(shù)據(jù)處理的有效性。通過將文件分割成更小的單元，系統(tǒng)能夠更加精確地進(jìn)行數(shù)據(jù)去重，從而有效減少存儲(chǔ)空間的需求，提高數(shù)據(jù)傳輸過程的效率。

（3）哈希計(jì)算。這一步驟涉及對(duì)每個(gè)分割后的數(shù)據(jù)塊進(jìn)行哈希值的計(jì)算。哈希計(jì)算的公式表示為

# （3）

式中，表示哈希函數(shù)。

哈希計(jì)算的實(shí)施不僅提高了數(shù)據(jù)去重的準(zhǔn)確性，還減少了存儲(chǔ)系統(tǒng)中的數(shù)據(jù)冗余，優(yōu)化了存儲(chǔ)空間的使用。

（4）去重檢查。該步驟涉及對(duì)每個(gè)數(shù)據(jù)塊的哈希值進(jìn)行檢查，以確定是否已存在相同哈希值的數(shù)據(jù)塊。這一過程的核心在于識(shí)別重復(fù)數(shù)據(jù)，從而避免不必要的重復(fù)存儲(chǔ)，優(yōu)化存儲(chǔ)空間的利用率。該檢查過程可以用指示函數(shù)表達(dá)式：

# （4）

式中，返回1表示已存在，返回0表示不存在。

去重檢查不僅降低了數(shù)據(jù)存儲(chǔ)的冗余度，也減少了數(shù)據(jù)傳輸過程中的帶寬需求，從而提高了整個(gè)存儲(chǔ)系統(tǒng)的性能和效率。

（5）新數(shù)據(jù)塊存儲(chǔ)。在該步驟中，系統(tǒng)對(duì)那些經(jīng)過去重檢查后被識(shí)別為唯一的數(shù)據(jù)塊進(jìn)行存儲(chǔ)。這一過程的目的是將未重復(fù)的數(shù)據(jù)塊保存在存儲(chǔ)系統(tǒng)中，從而保證數(shù)據(jù)的完整性和可用性。存儲(chǔ)操作可以用映射公式表示：

# （5）

式中，是存儲(chǔ)函數(shù)，它將數(shù)據(jù)塊映射到存儲(chǔ)系統(tǒng)中的一個(gè)具體位置。函數(shù)返回?cái)?shù)據(jù)塊的存儲(chǔ)位置。

通過這種方式，新數(shù)據(jù)塊存儲(chǔ)步驟確保了所有獨(dú)特的數(shù)據(jù)塊都被有效地存儲(chǔ)，同時(shí)避免了重復(fù)數(shù)據(jù)塊的不必要存儲(chǔ)。

（6）索引更新。在此步驟中，系統(tǒng)更新索引以記錄新數(shù)據(jù)塊或現(xiàn)有數(shù)據(jù)塊的存儲(chǔ)位置。此過程對(duì)于維護(hù)數(shù)據(jù)的完整性和提高數(shù)據(jù)訪問效率至關(guān)重要。

索引更新的過程可以用下面的數(shù)學(xué)公式進(jìn)行表達(dá)，它更加準(zhǔn)確地反映了這一操作的數(shù)學(xué)本質(zhì)：

# （6）

式中，表示索引函數(shù)；表示去重檢查的指示函數(shù)；返回新數(shù)據(jù)塊的存儲(chǔ)位置；函數(shù)返回已存在的與匹配的數(shù)據(jù)塊。

這種方法確保了索引準(zhǔn)確地反映每個(gè)數(shù)據(jù)塊的最新存儲(chǔ)位置，無論它是新存儲(chǔ)的還是已經(jīng)存在的。通過維護(hù)一個(gè)準(zhǔn)確的索引，分布式存儲(chǔ)系統(tǒng)能夠快速響應(yīng)數(shù)據(jù)檢索請(qǐng)求，提高整體的數(shù)據(jù)管理效率。

（7）重復(fù)數(shù)據(jù)塊處理。重復(fù)數(shù)據(jù)塊處理的目的是減少不必要的存儲(chǔ)并優(yōu)化系統(tǒng)效率。如果，不存儲(chǔ)，只更新索引。這可以用條件存儲(chǔ)表示：

# （7）

式中，表示引用現(xiàn)有數(shù)據(jù)塊的位置。

通過以上步驟，本文提出的基于數(shù)據(jù)去重技術(shù)的分布式存儲(chǔ)系統(tǒng)可以提高數(shù)據(jù)傳輸?shù)乃俾屎痛鎯?chǔ)系統(tǒng)的整體性能

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境配置

實(shí)驗(yàn)環(huán)境包括一臺(tái)裝備有Intel Xeon E5-2620 v4處理器和32GB RAM的高性能服務(wù)器，此服務(wù)器安裝了Ubuntu 20.04 LTS操作系統(tǒng)。在軟件方面，本實(shí)驗(yàn)采用Apache HTTP Server 2.4版本作為Web服務(wù)器軟件，在數(shù)據(jù)庫管理方面，選擇了MySQL 8.0版本。為了準(zhǔn)確地模擬和分析數(shù)據(jù)傳輸過程，我們使用Wireshark 3.4版本進(jìn)行網(wǎng)絡(luò)分析，捕獲和分析數(shù)據(jù)包。此外，實(shí)驗(yàn)中還應(yīng)用了OpenSSL 1.1.1版本實(shí)現(xiàn)數(shù)據(jù)的安全加密和SSL/TLS通信。

3.2 實(shí)驗(yàn)結(jié)果及分析

為了全面評(píng)估基于數(shù)據(jù)去重技術(shù)的分布式存儲(chǔ)系統(tǒng)，筆者進(jìn)行了一系列實(shí)驗(yàn)，并記錄了關(guān)鍵性能指標(biāo)數(shù)據(jù)。實(shí)驗(yàn)結(jié)果如表1所示。

表1結(jié)果表明，應(yīng)用數(shù)據(jù)去重技術(shù)顯著提高了分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)傳輸速率，存儲(chǔ)空間使用率也得到了顯著改善，證明了本文所提方法的有效性。

4 結(jié)束語

本文探討了基于數(shù)據(jù)去重技術(shù)的分布式存儲(chǔ)系統(tǒng)，著重分析了該技術(shù)在提高數(shù)據(jù)傳輸效率和優(yōu)化存儲(chǔ)性能方面的顯著貢獻(xiàn)。實(shí)驗(yàn)結(jié)果表明，采用數(shù)據(jù)去重技術(shù)后，系統(tǒng)在數(shù)據(jù)傳輸速率、存儲(chǔ)空間使用效率和數(shù)據(jù)處理時(shí)間等關(guān)鍵指標(biāo)上均實(shí)現(xiàn)了顯著改進(jìn)。這些性能提升說明了數(shù)據(jù)去重技術(shù)在減少冗余數(shù)據(jù)、提高存儲(chǔ)效率及優(yōu)化系統(tǒng)運(yùn)行效率方面的應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] 黎志忠．云計(jì)算技術(shù)在計(jì)算機(jī)網(wǎng)絡(luò)安全存儲(chǔ)中的實(shí)施策略[J]．?dāng)?shù)字技術(shù)與應(yīng)用，2023，41（11）：240-242．

[2] 馬翊銘．云計(jì)算技術(shù)在計(jì)算機(jī)安全存儲(chǔ)中的應(yīng)用與實(shí)踐[J]．?dāng)?shù)字技術(shù)與應(yīng)用，2023，41（11）：231-233．

[3] 甘瑩，鄒文景，唐良運(yùn)，等．分布式資源庫多路數(shù)據(jù)同步傳輸系統(tǒng)設(shè)計(jì)[J]．電子設(shè)計(jì)工程，2023，31（18）：28-31，36．

[4] 蔡璽，張文軒．電網(wǎng)區(qū)塊鏈多層次日志數(shù)據(jù)分布式存儲(chǔ)方法[J]．電子設(shè)計(jì)工程，2023，31（23）：31-34，40．

[5] 胡媛媛，江春然，甘杜芬．基于群體智能算法的大數(shù)據(jù)分布式存儲(chǔ)方法[J]．計(jì)算機(jī)仿真，2023，40（11）：447-451．