路巖

摘要：詳細介紹了Ceph分布式儲存系統(tǒng)的應用性質(zhì)與層次結構，通過專業(yè)的研究與分析，將該類儲存系統(tǒng)引入到跨機架修復工作中，與修復技術充分融合，實踐運用過程包括設計分級解碼算法、優(yōu)化糾刪碼、修復系統(tǒng)數(shù)據(jù)、驗證試驗方案和明確跨機架數(shù)據(jù)量等，在Ceph分布式儲存系統(tǒng)的持續(xù)影響下，高效完成跨機架修復工作，確保各類機架使用質(zhì)量。

關鍵詞：跨機架修復???糾刪碼???分布式儲存???Ceph

中圖分類號：P208

Analysis?of?Cross-Rack?Repair?Technology?of?the?Distributed?Storage?System?Based?on?Ceph

LU?Yan

（China?Datang?Corporation?Science?and?Technology?General?Research?Institute?Ltd.，Beijing，100040?China）

Abstract：?This?paper?introduces?the?application?property?and?hierarchy?of?the?Ceph?distributed?storage?system?in?detail，?introduces?this?type?of?storage?system?into?cross-rack?repair?through?professional?research?and?analysis，?and?fully?integrates?it?with?repair?technology，?The?practical?application?process?includes?designing?hierarchical?decoding?algorithms，?optimizing?erasure?codes，?repairing?system?data，?verifying?test?schemes，?clarifying?the?cross-rack?data?volumn，?etc.，?and?under?the?continuous?influence?of?the?Ceph?distributed?storage?system，?cross-rack?repair?work?is?efficiently?completed，?so?as?to?ensure?the?use?quality?of?all?kinds?of?racks.

Key?Words：?Cross-rack?repair;?Erasure?code;?Distributed?storage;?Ceph

Ceph分布式儲存系統(tǒng)隨著信息技術的更新可存儲大量數(shù)據(jù)，對更多數(shù)據(jù)實行科學處理。跨機架內(nèi)部系統(tǒng)在正式使用中極易出現(xiàn)各項質(zhì)量問題，要對系統(tǒng)內(nèi)部數(shù)據(jù)進行科學處理，Ceph分布式儲存系統(tǒng)作用到跨機架修復中，極大提升修復效率，幫助跨機架解決更多數(shù)據(jù)處理問題，滿足修復技術操作需求。

1?Ceph分布式儲存系統(tǒng)的應用性質(zhì)

Ceph分布式儲存系統(tǒng)在正式使用中存在去中心化、高可用與高性能的應用性質(zhì)。

1.1去中心化

使用Ceph分布式儲存系統(tǒng)可高效實現(xiàn)去中心化，使系統(tǒng)內(nèi)部的各項分子擴展靈活，且線性會根據(jù)節(jié)點的增加而增長。

1.2高可用

高可用屬Ceph分布式儲存系統(tǒng)內(nèi)部的重要性質(zhì)。Ceph分布式儲存系統(tǒng)中的副本數(shù)字帶有靈活控制特征，并能對系統(tǒng)內(nèi)部生出的故障進行適當分隔，實現(xiàn)數(shù)據(jù)一直性。使用Ceph分布式儲存系統(tǒng)時還能設置出多種故障場景，并利用合適的技術手段自行修復故障場景內(nèi)的更多故障，確保系統(tǒng)應用的安全性。在Ceph分布式儲存系統(tǒng)內(nèi)，不存在任何單點故障，借助系統(tǒng)的自動管理來增加擴展性。

1. 高性能

影響Ceph分布式儲存系統(tǒng)操作效果的主要因素為性能，而該項系統(tǒng)的性能較佳。例如：使用Ceph分布式儲存系統(tǒng)時，可發(fā)現(xiàn)其能主動摒棄此前集中式儲存系統(tǒng)內(nèi)的數(shù)據(jù)尋址計劃，利用CRUSH算法來加強數(shù)據(jù)分布的均衡性。當前Ceph分布式儲存系統(tǒng)可作用在感知機架與跨機房中，高效改變負載副本的應用規(guī)則。由于分布式儲存系統(tǒng)的內(nèi)部數(shù)據(jù)較多，使用Ceph儲存系統(tǒng)后可適當增加數(shù)據(jù)節(jié)點規(guī)模，支持分布式儲存體系內(nèi)各個級別的數(shù)據(jù)，其數(shù)據(jù)范圍可由TB級至PB級。

2?Ceph分布式儲存系統(tǒng)的層次結構

在明確Ceph分布式儲存系統(tǒng)的內(nèi)在性質(zhì)后，還要全面研究該儲存系統(tǒng)的層次結構，為此后對該系統(tǒng)的持續(xù)性使用增加清晰度。具體來看，當前Ceph分布式儲存系統(tǒng)包含應用層、文件系統(tǒng)接口、MDS元數(shù)據(jù)服務器、RBD塊儲存接口、RADOS?GW對象儲存接口、LIBRAODS基礎庫與RADOS基礎儲存系統(tǒng)。在RADOS基礎儲存系統(tǒng)中，要明確儲存對象條件，即儲存中的數(shù)據(jù)要帶有分布式、自動化與可靠等特征，Ceph集群架構與raid10模式較為相近[1]。鑒于可插硬盤中單臺機器的數(shù)量有限，可利用網(wǎng)絡通信形式來打破單臺機器限制，即組合成RADOS基礎儲存系統(tǒng)。LIBRAODS基礎庫內(nèi)部包含大量基礎數(shù)據(jù)，MDS元數(shù)據(jù)服務器、RBD塊儲存接口、RADOS?GW對象儲存接口中的數(shù)據(jù)都可進入到LIBRAODS基礎庫中，并對不同部分數(shù)據(jù)進行整合分析，確保各個服務器與儲存接口數(shù)據(jù)的使用效果，提升數(shù)據(jù)應用的準確性。文件系統(tǒng)接口中的數(shù)據(jù)類型較多，元數(shù)據(jù)與普通數(shù)據(jù)為該系統(tǒng)接口的主要數(shù)據(jù)來源，利用技術手段將普通數(shù)據(jù)傳輸?shù)絃IBRAODS基礎庫內(nèi)；將元數(shù)據(jù)傳輸?shù)組DS元數(shù)據(jù)服務器中，利用對各項數(shù)據(jù)的分類操作處理，極大提升數(shù)據(jù)處理使用的準確性，滿足Ceph分布式儲存系統(tǒng)的數(shù)據(jù)應用需求?？茖W探索分布式儲存系統(tǒng)的層次結構后，操作人員要合理觀察系統(tǒng)應用環(huán)境，將該系統(tǒng)作用到合適的技術處理中，更好地發(fā)揮出系統(tǒng)儲存優(yōu)勢。

當前跨機架修復工作屬于全新的機架修復形式，極大提升機架修復效率。為提升跨機架修復技術的應用效果，確保修復數(shù)據(jù)的準確性，操作人員適時引入了Ceph分布式儲存系統(tǒng)，將該系統(tǒng)作用到修復技術中，全面規(guī)范該類修復手段的操作過程，使機架修復工作更具持續(xù)性。

3?分布式儲存系統(tǒng)修復技術的實踐運用

3.1設計分級解碼算法

為提升Ceph分布式儲存系統(tǒng)在跨機架修復技術中的應用效果，要科學設計分級解碼算法。具體來看，操作人員將跨機架數(shù)量設置成3個，將9個編碼塊放置到3個機架內(nèi)，即各個機架都存在3個編碼塊，將各個編碼塊的容量設置成4MB，且可重新架構6個存活性編碼塊，數(shù)據(jù)傳輸量可設定在24MB左右，該類數(shù)據(jù)將利用交換機將各項數(shù)據(jù)傳輸量傳輸至對應節(jié)點中，若系統(tǒng)規(guī)模大，且各個編碼塊都要開展恢復工作時，交換機內(nèi)部生成的0寬帶會極大阻礙編碼解碼效果。在使用Ceph分布式儲存系統(tǒng)后，要利用技術手段，重新設計分級解碼工作，優(yōu)化解碼算法。分級解碼工作原理主要為率先設置k個數(shù)據(jù)塊，鑒于RS系統(tǒng)帶有糾刪碼功能，可說明各項原始數(shù)據(jù)塊即使開展編碼工作，其數(shù)據(jù)塊中的內(nèi)部數(shù)據(jù)也會保持不變。相關人員在明確分級解碼操作原理后，可直接訪問原始數(shù)據(jù)塊，其編碼過程多將數(shù)據(jù)矩陣與各項原始數(shù)據(jù)塊相融合，并對編碼數(shù)據(jù)庫進行適當檢驗[2]。為增加Ceph分布式儲存系統(tǒng)內(nèi)部數(shù)據(jù)的修復功能，可將丟失的數(shù)據(jù)塊信息進行合理整合，利用修復技術來恢復各個編碼塊，明確解碼結果。當前恢復丟失的板塊數(shù)據(jù)包含機架數(shù)、各級節(jié)點，再對各級節(jié)點進行分級解碼，將解碼后的數(shù)據(jù)重新傳輸?shù)紺eph分布式儲存系統(tǒng)中。

3.2優(yōu)化糾刪碼

優(yōu)化糾刪碼為Ceph分布式儲存系統(tǒng)跨機架修復技術操作中的重要步驟。操作人員在修復難以恢復的數(shù)據(jù)時，要及時選擇相同數(shù)據(jù)帶內(nèi)的存活節(jié)點來開展數(shù)據(jù)傳輸工作，可將該類存活節(jié)點設置成k，k項節(jié)點內(nèi)的各項數(shù)據(jù)要對恢復數(shù)據(jù)開展解碼工作，再將解碼后的數(shù)據(jù)重新傳輸?shù)交謴脱b置中。為更好地優(yōu)化糾刪碼，可采用CHD算法進行數(shù)據(jù)解碼工作。比如，各個機架中的數(shù)據(jù)在開展跨機架數(shù)據(jù)傳輸前，都要依照聚合效應對機架中的各項數(shù)據(jù)進行分級解碼，再利用網(wǎng)絡中心將該項解碼結果傳輸?shù)狡渌麢C架的各個節(jié)點中。針對機架A1來說，可在機架內(nèi)部挑選出2個節(jié)點，并用n1、n2表示，2個節(jié)點中的數(shù)據(jù)在進入到其他機架前，要分別開展數(shù)據(jù)解碼工作，可將n2中的數(shù)據(jù)傳輸?shù)絥1節(jié)點內(nèi)，繼而聚合n1與n2中的內(nèi)部數(shù)據(jù)，再將聚合以后的數(shù)據(jù)結果借助網(wǎng)絡中心傳輸至指定節(jié)點中。在完成數(shù)據(jù)編碼的重新處理后，可發(fā)現(xiàn)在優(yōu)化糾刪碼的過程中，有效縮減機架內(nèi)部的網(wǎng)絡傳輸量，縮減量可達到50%左右，不斷削弱各項節(jié)點內(nèi)的網(wǎng)絡負擔，降低數(shù)據(jù)重組時間，提升糾刪碼優(yōu)化效果。

3.3修復系統(tǒng)數(shù)據(jù)

操作人員將Ceph分布式儲存系統(tǒng)作用到跨機架修復技術中，要利用全新系統(tǒng)來修復更多數(shù)據(jù)，而在修復相關數(shù)據(jù)前，要明確分級解碼流程，對解碼過程中涉及到的更多數(shù)據(jù)指標進行科學規(guī)范。啟動“開始”按鈕后，利用信息技術來標記出已經(jīng)丟失的數(shù)據(jù)塊，并借助程序明確可用數(shù)據(jù)塊的數(shù)量，若相關數(shù)據(jù)塊處在無法修復狀態(tài)，則可“結束”相關程序。當數(shù)據(jù)塊處在可修復范圍中時，則要借助程序挑選出可用數(shù)據(jù)塊，將該類數(shù)據(jù)塊依照不同機架開展分組工作[3]。操作人員需借用程序?qū)⒏鱾€數(shù)據(jù)節(jié)點進行分級解碼，并將解碼結果順利傳輸?shù)讲煌闹鞴?jié)點內(nèi)，各個主節(jié)點在接收到機架數(shù)據(jù)后，則要對丟失或存有異常的數(shù)據(jù)進行高效整合，再啟動“結束”按鈕。在探索主節(jié)點內(nèi)的機架數(shù)據(jù)時，要全面規(guī)范機架信息，將分組后的機架數(shù)據(jù)依照解碼結果來開展數(shù)據(jù)傳輸工作，并進行必要的節(jié)點緩存，讀取未接收的機架數(shù)據(jù)。在明確分級解碼過程后，操作人員要合理探索Ceph分布式儲存系統(tǒng)中的通信問題，找尋出影響通信質(zhì)量的消息函數(shù)，再將該類函數(shù)數(shù)據(jù)開展分級解碼工作，合理讀取解碼后的數(shù)據(jù)，滿足當前跨機架系統(tǒng)數(shù)據(jù)恢復需求。

3.4驗證試驗方案

利用Ceph分布式儲存系統(tǒng)完成跨機架數(shù)據(jù)修復工作后，為確保該項修復數(shù)據(jù)的準確性，要對此前的試驗方案進行重新設計驗證。操作人員要全面評估試驗操作環(huán)境，明確評估環(huán)境中的主要位置，即帶有RS參數(shù)碼的分布系統(tǒng)內(nèi)。觀察Ceph分布式儲存系統(tǒng)內(nèi)部數(shù)據(jù)分布情況時，要事先挑選節(jié)點數(shù)少的數(shù)據(jù)量，防止出現(xiàn)修復流量增加等不良現(xiàn)象。試驗驗證方案中的環(huán)境評估主要包含修復時間、修復量。針對修復時間而言，要詳細檢測當前跨機架數(shù)據(jù)修復工作的時間，并與此前傳統(tǒng)修復時間、修復時間標準進行合理比對，通過比對可發(fā)現(xiàn)，Ceph分布式儲存系統(tǒng)應用的修復時間較短，且提升修復效率[4]。而對于修復量來說，跨機架網(wǎng)絡下的修復量多作用在CHD算法中，該項算法在實際運用時極大縮減網(wǎng)絡傳輸量，在傳輸數(shù)量得到控制的情況下，網(wǎng)絡修復量可得到極大改善。完成操作環(huán)境的精準評估后，還要根據(jù)Ceph分布式儲存系統(tǒng)的使用狀態(tài)設計評估方法。當前操作人員采用的評估方式為CHD算法，在集群內(nèi)部輸入1000個對象，各個對象都要存在對應條帶，再將各個條帶內(nèi)的校驗塊、數(shù)據(jù)塊分布到集群內(nèi)部的各項節(jié)點中，做到每個節(jié)點都帶有數(shù)據(jù)塊。若想更好地評估數(shù)據(jù)塊內(nèi)的恢復性能，則需隨意挑選1個節(jié)點，并抹去該節(jié)點內(nèi)部的儲存數(shù)據(jù)，再利用此前設定的CHD算法合理聚合機架內(nèi)部的各項數(shù)據(jù)，將抹去數(shù)據(jù)的節(jié)點當成數(shù)據(jù)源，確?？鐧C架數(shù)據(jù)修復效果[5]。

3.5明確跨機架數(shù)據(jù)量

在確認跨機架數(shù)據(jù)量的過程中，操作人員仍要合理運用分級解碼形式，關注數(shù)據(jù)量的具體變化情況。例如：分級解碼方式可將各項數(shù)據(jù)利用機架傳輸?shù)讲煌愋偷闹鞴?jié)點中，并在分級解碼工作開始前，要將分級節(jié)點中的更多數(shù)據(jù)開展聚合活動，再將聚合以后的結果重新利用機架輸送到各個主節(jié)點中，確保分級解碼工作的整體效率，不斷縮減網(wǎng)絡傳輸量[6]。將跨機架內(nèi)部數(shù)據(jù)傳輸量設計成成M與K兩種參數(shù)，要根據(jù)該項參數(shù)的具體變化來觀察出數(shù)據(jù)傳輸量的改變范圍。操作人員在相關試驗中逐步增加了M與K參數(shù)的變化值，在分級解碼算法的逐步影響下，網(wǎng)絡傳輸量也出現(xiàn)了較大改變。例如：當M與K分別為4、10時，跨機架需要修復的數(shù)據(jù)量則縮減到70%，引發(fā)該項數(shù)值的主要變化原因為若機架數(shù)確定，隨著M與K值的上升，機架內(nèi)相同條帶數(shù)據(jù)塊的數(shù)量也會逐步增加，機架中數(shù)據(jù)聚合后開展的數(shù)據(jù)傳輸工作，與原始數(shù)據(jù)量相比，當前數(shù)據(jù)量則越來越多。若機架出現(xiàn)故障，機架內(nèi)部的各個存儲節(jié)點都存在不可用狀態(tài)，利用Ceph分布式儲存系統(tǒng)進行數(shù)據(jù)修復，仍會修復某個條帶內(nèi)的數(shù)據(jù)。

4結語

綜上所述，Ceph分布式儲存系統(tǒng)應用到跨機架修復技術中，可全面規(guī)劃跨機架內(nèi)部數(shù)據(jù)運行狀態(tài)。操作人員借助糾刪碼的優(yōu)化處理，科學觀察修復數(shù)據(jù)的具體變化，并通過對試驗方案的持續(xù)性驗證來掌握恢復時間、跨機架數(shù)量，極大提升跨機架修復技術操作效率，加強數(shù)據(jù)儲存質(zhì)量，確?？鐧C架內(nèi)部修復項目整體修復效果。

參考文獻

[1] 李嬋，劉煥莉，劉雨晴，等.基于分布式存儲及消息同步技術的元數(shù)據(jù)管理應用系統(tǒng)[J].軟件，2022，43（12）：60-63.

[2] 崔曉雪，陳文捷，陳敏剛.分布式列存儲數(shù)據(jù)庫性能測試方法研究[J].信息技術與標準化，2022（11）：34-39.

[3] 楊超，信晟，張悅，等.一種改進的分布式HCI圖像數(shù)據(jù)管理技術[J].無線互聯(lián)科技，2022，19（15）：82-85，93.

[4] 趙愛華，黃少雄，宋光明，等.中壓環(huán)境下多種數(shù)據(jù)的分布式存儲與并行計算系統(tǒng)設計[J].單片機與嵌入式系統(tǒng)應用，2022，22（6）：6-10.

[5] 鄭杰輝.分布式存儲系統(tǒng)的節(jié)點修復技術研究[J].太原學院學報（自然科學版），2021，39（1）：48-52.

[6] 楊青霖，吳桂勇，張廣艷.分布式存儲系統(tǒng)中的數(shù)據(jù)高效緩存方法[J].大數(shù)據(jù)，2021，7（2）：147-157.