国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

面向高校平臺的分布式存儲技術研究

2023-02-11 12:16羅劉敏朱彥霞
河南科技 2023年1期
關鍵詞:分布式融合資源

羅劉敏 朱彥霞 華 南

(1.洛陽職業(yè)技術學院,河南 洛陽 471000;2.河南省職工醫(yī)院,河南 鄭州 450002;3.中廣智媒科技有限公司,河南 鄭州 450000)

0 引言

隨智慧校園建設的推進,高校信息系統(tǒng)中產(chǎn)生了海量的多類型數(shù)據(jù),出現(xiàn)存儲容量不足的現(xiàn)象,亟待優(yōu)化擴展成為智慧校園大數(shù)據(jù)環(huán)境的重中之重。如何在高校現(xiàn)有軟硬件的基礎上,進行分布式存儲的優(yōu)化[1],挖掘智慧校園背景下,學生、教師、課程等多元群體的數(shù)據(jù)特征,建立相應畫像,并將其作為數(shù)據(jù)標簽來建立行為模型,為后期的延伸應用及高校管理工作提供輔助決策。打通業(yè)務信息通道,建立高校數(shù)據(jù)全生命周期管理模型,并通過數(shù)據(jù)價值信息賦能管理決策是高校信息化建設的重要任務。《國家中長期教育改革和發(fā)展規(guī)劃綱要(2010—2020年)》中提出要推進數(shù)字化校園建設,各大高校紛紛加快了智慧校園建設的步伐,搭建高校大數(shù)據(jù)平臺,推進大數(shù)據(jù)賦能管理和決策。目前,智慧校園推進建設也面臨數(shù)據(jù)量龐大、數(shù)據(jù)質(zhì)量參差不齊[2]、存儲空間不足、數(shù)據(jù)信息利用不夠充分等問題。作為新一代多源融合的存儲數(shù)據(jù)系統(tǒng),分布式存儲可融合其他新一代信息技術[3],提高數(shù)字經(jīng)濟增速。在分布式存儲的背景下,多源數(shù)據(jù)融合存儲、多源數(shù)據(jù)的匯聚是技術核心,也是高校信息化建設進程中新的研究方向和重點。

數(shù)據(jù)存儲技術最早應用在醫(yī)學行業(yè),可有效提升工作效率。隨著檢測信息的數(shù)據(jù)化,形成了大量的數(shù)據(jù)資源,在傳統(tǒng)的存儲模式下,硬件設施要不斷擴充,此外存在部分設備有閑置時間未有效利用的問題。隨著高校智慧化建設管理工作的推進,高校的課程資源信息、試驗數(shù)據(jù)信息、日常運行數(shù)據(jù)信息、學生及教師成長點的觀測信息等,也形成了大規(guī)模的結構性和異構性數(shù)據(jù)資源,有待于管理、匯聚和融合可視化[4]。受關注及研究熱點的提升與學術期刊論文增長變化趨勢相吻合的影響,2019—2021年分布式存儲結合大數(shù)據(jù)技術和數(shù)據(jù)融合技術學術期刊文獻數(shù)量共計2 576篇,其中20篇是與高校相關,占總數(shù)的0.7%。眾多研究者對分布式存儲的研究也由最初的理論研究、平臺構建研究到目前存儲優(yōu)化多維度觀測。研究方向加入了多平臺共享優(yōu)化機制與可持續(xù)改進機制、高校信息化生態(tài)系統(tǒng)構建及應用等。目前,高校信息化智慧化水平在穩(wěn)步提升,教師、學生、高校、社會四維主體在信息化建設和應用過程中多方受益。但在推進和應用過程中,尚有一些難點問題需要解決,主要有以下3個方面。①研究結合地域和院校特色的數(shù)據(jù)分布式存儲、數(shù)據(jù)匯聚和數(shù)據(jù)維護問題還要進行探索。②基于大數(shù)據(jù)模式的高校數(shù)據(jù)存儲研究多是從計算機技術、管理學、大數(shù)據(jù)技術角度進行研究,缺少數(shù)據(jù)作為提升高校管理效率及保護學生隱私等制定針對性方案的依據(jù)。③基于多源融合的背景,并結合分布式存儲技術[5]、文件切片技術及新型合約技術來保證電子數(shù)據(jù)安全及應用的研究較少。鑒于此,本研究提出構建高校存儲平臺,以解決高校數(shù)據(jù)存儲的全生態(tài)系統(tǒng)構建融合應用問題。

1 高校融合存儲平臺運行機制及關鍵技術研究

1.1 平臺運行機制

本研究利用高?,F(xiàn)有硬件資源平臺,將原有的閑散存儲設備進行碎片化整合,并分時段管理,從而提升利用率,多平臺數(shù)據(jù)匯聚后,利用同一用戶的同源畫像機制來分析異源特色數(shù)據(jù),有利于對教學、管理及日常運維中的各主體共性特色和個性特色進行挖掘,從而提升設備利用率和管理的效率,以期提升高校的智慧化、信息化水平。在存儲平臺的公有云和私有云聯(lián)用的基礎上,構建多個數(shù)據(jù)存儲基礎數(shù)據(jù)庫,即辦事辦公、校園生活、學習平臺等,多個基礎數(shù)據(jù)庫支撐1個共享融合平臺。云平臺提供技術支撐和數(shù)據(jù)匯聚共享及優(yōu)化處理,通過構建分布式存儲平臺,實現(xiàn)資源數(shù)據(jù)的匯聚抽取及有效利用,監(jiān)測數(shù)據(jù)的同源與異源同發(fā),檢測教師和學生用戶在不同數(shù)據(jù)池中的活躍度,構建比較完整的數(shù)據(jù)流通共享機制,以期為高校數(shù)據(jù)存儲效率提升、數(shù)據(jù)賦能教學與管理貢獻力量。

1.2 關鍵技術研究

基于區(qū)塊鏈的存儲服務可提高系統(tǒng)數(shù)據(jù)資源的隱私性、保護性,同時能有效避免中心化管理在異常情況下帶來的數(shù)據(jù)損壞、數(shù)據(jù)丟失或泄露、數(shù)據(jù)遷移難度大等問題,從而有效提升網(wǎng)絡硬件資源的利用率。為確保文件分布與存儲資源的對等性、數(shù)據(jù)資源傳輸與訪問的安全性,數(shù)據(jù)文件的分發(fā)及訪問控制機制的設計與實現(xiàn)顯得尤為重要。

1.2.1 基于區(qū)塊鏈的訪問控制機制。不同于傳統(tǒng)的公鑰密碼學機密算法,基于屬性的加密(Attribute-based encryption,ABE)被視為基于用戶身份的加密算法,用戶身份被定義為一組屬性,并且消息可根據(jù)屬性子集(密鑰-策略)或(密文-策略)進行加密,由此加密算法被分為KP-ABE、CPABE兩大類。KP-ABE算法將訪問策略編碼到用戶密鑰中,解密時根據(jù)訪問策略來匹配密文中的屬性,若匹配成功,則可解密,這也意味著不同訪問策略要生成不同密鑰文件,系統(tǒng)擴展性可能受到局限。CP-ABE算法則將部分用戶屬性編碼到密鑰中,訪問策略與密文捆綁,用戶根據(jù)自己屬性對應的私鑰對文件進行解密,訪問策略的靈活性更高。基于KP-ABE與CP-ABE算法能有效提高數(shù)據(jù)機密系統(tǒng)的可靠性,但往往要有一個權威的認證機構。本研究設計的基于區(qū)塊鏈的訪問控制機制,在ABE技術上實現(xiàn)區(qū)中心化的屬性加密,能有效提高系統(tǒng)的擴展性、靈活性與安全性,其加密關鍵步驟如下。

①Global Setup(λ)→GP//系統(tǒng)初始化生成全局參數(shù)GP(每個用戶擁有唯一的GID)。

②Generate PK,SK→(PK,SK)//數(shù)據(jù)擁有者選取部分屬性,生成公鑰PK與私鑰SK。

③Encrypt(M,(A,ρ),GP,PK)→CT//數(shù)據(jù)讓擁有著根據(jù)明文M、訪問策略(A,ρ)、全局參數(shù)GP、公鑰PK進行加密,得到密文CT。

④Generate(GID,GP,SK)→{Key,GID}//數(shù)據(jù)擁有者根據(jù)訪問者的GID標識,生成對應的私鑰對{Key,GID}。

⑤Decrypt(CT,{Key,GID},GP)→M//訪問者根據(jù)密文、私鑰對{Key,GID}、全局參數(shù)GP進行解密,得到明文M。

1.2.2 基于資源對等的文件切片及分發(fā)機制。

①文件切分處理。在分布式存儲網(wǎng)絡中,為提升文件上傳效率及降低文件集中存儲的風險,將較大的文件進行切片后分散存儲在存儲網(wǎng)絡中。假設加密后文件Fm的大小為s,切片文件大小為t,則切分數(shù)量切片文件集合見式(1)。

切片文件將復制m份后交由多線程處理,并分散存儲于分布式網(wǎng)絡中,復制后的切片文件將形成切片矩陣Fij,見式(2)。

②文件分發(fā)機制。在文件分發(fā)前,要構建基于網(wǎng)絡各節(jié)點信息loc(fij)與碎片文件Fseg的文件信息標識,從而確保文件在網(wǎng)絡傳輸過程中的唯一性識別。在文件分發(fā)過程中,為避免隨機分發(fā)可能造成的節(jié)點資源分布的不可控、資源利用率低下等問題,本研究采用基于資源對等的文件分發(fā)機制。假設分布式系統(tǒng)中有n個用戶提供網(wǎng)絡共享資源,fi為用戶i可提供的硬件存儲空間,那么該用戶被選中分發(fā)存儲的概率見式(3)。

2 基于PHP的高校融合存儲云平臺的設計與實現(xiàn)

高校的數(shù)據(jù)資源和應用軟件都比較豐富,目前仍存在多個軟件分時運行的情況,集約化管理和存儲有助于提升高校的工作效率及發(fā)揮數(shù)據(jù)在管理中的重要作用。智慧化平臺構建是融合了校內(nèi)多個應用軟件和平臺,在應用過程中對數(shù)據(jù)資源進行多平臺匯聚融合,從而提升數(shù)據(jù)分析后的集約管理效率,發(fā)揮數(shù)據(jù)支撐決策、制度和優(yōu)化機制的作用。主流的智慧化融合平臺應用多種開發(fā)技術,并結合DTFS的存儲理念,采用B/S模式的應用程序,來滿足數(shù)據(jù)賦能、支撐管理和優(yōu)化教學三個維度,搭建共享開放的多功能一體化的高校融合云平臺。

2.1 搭建高校融合存儲云平臺

搭建高校融合存儲云平臺主要用于高校各系統(tǒng)平臺的數(shù)據(jù)共享及集約化管理,從而提升數(shù)據(jù)賦能的效率和數(shù)據(jù)存儲效率??紤]到分布式存儲是利用碎片化的系統(tǒng)資料閑時碎片來優(yōu)化存儲模式,進行多樣化智慧管理,將整個存儲平臺劃分為多個層次(見圖1),其中實線箭頭表示下層為上層提供服務,虛箭頭表示上層應用。

圖1 高校融合存儲平臺架構設計

2.2 高校融合存儲平臺功能設計

高校數(shù)據(jù)資源豐富,從學生入校的注冊報到,到學生的在校學習流程、不同學科的課程資源平臺數(shù)據(jù)、日常測試成績數(shù)據(jù),再到畢業(yè)生實習就業(yè)數(shù)據(jù)。應用系統(tǒng)包含學工口、教學口、教輔支持口、管理口等不同平臺數(shù)據(jù)。通過打通一站式平臺,設計優(yōu)化智慧管理存儲終端,實行一站式的管理模式,數(shù)據(jù)流通中設有公有池和私有池,從而兼顧數(shù)據(jù)層的共享和安全保護。智慧平臺的數(shù)據(jù)存儲設計是基于私有區(qū)塊鏈及DTFS的分布式教育資源數(shù)據(jù)存儲原型的,將關鍵信息封鎖在私有區(qū)塊鏈中,并采用“鏈外存儲”的方式將數(shù)據(jù)存儲在私有局域網(wǎng)內(nèi),支持數(shù)據(jù)的完整性驗證及協(xié)議的解除。將文件進行切片處理,并根據(jù)對硬件資源時間輪巡狀態(tài)的檢測情況,利用DTSF實現(xiàn)數(shù)據(jù)的快速分布式存儲來實現(xiàn)上傳整合高校數(shù)據(jù)與硬件資源,運用DTFS、區(qū)塊鏈技術來實現(xiàn)教育圖書、影像資料、課程資源、學校多平臺的數(shù)據(jù)資源的高速存儲、上傳、訪問[6]。通過融合設計,提高通用性和可操作性,形成可復制、可推廣的經(jīng)驗。高校融合存儲平臺功能結構如圖2所示。

圖2 高校融合存儲平臺功能結構圖

在高校融合存儲平臺中,以師生行為類庫、教學數(shù)據(jù)庫、圖像頻度系統(tǒng)等支撐校園輿情,數(shù)字賦能教學管理改革與優(yōu)化,可使用多種數(shù)據(jù)分布式存儲工具來實現(xiàn)閑時節(jié)點的碎片化管理與存儲應用,從而提升存儲應用效率[7]。通過數(shù)據(jù)的全方位匯聚融合,構建“匯聚-融合-分析-可視化”管理系統(tǒng),在平臺建設過程中,注重對私有數(shù)據(jù)加密服務和數(shù)據(jù)版本管理服務,由于用戶采集的信息中很多包含隱私保護或涉密要求,而傳統(tǒng)的單一密鑰或分模塊密鑰的加密方式對數(shù)據(jù)的保護有限,密鑰泄露和數(shù)據(jù)篡改風險較大[8]。采用獨立的數(shù)據(jù)加密服務技術可對數(shù)據(jù)提供更加有效的保護,通過數(shù)據(jù)索引、獨立密鑰庫和加密分離的方式對每條數(shù)據(jù)進行獨立的加密保護[9]。同時,密鑰倉庫和數(shù)據(jù)索引是分開存儲的,并采用分布式方式進行維護,擁有一定的冗余機制,再加上系統(tǒng)采用內(nèi)網(wǎng)或?qū)>W(wǎng)模式,從而使數(shù)據(jù)傳輸效率有保障,進一步降低網(wǎng)絡安全風險。

2.3 高校融合存儲系統(tǒng)部分模塊設計關鍵代碼

在進行數(shù)據(jù)資源整合過程中,融合處理的數(shù)據(jù)通過資源管理平臺進行優(yōu)化展示。通過多平臺的數(shù)據(jù)匯聚及預分析后,選取具有代表性的數(shù)據(jù)資源,在融合平臺的模塊區(qū)域進行展示,涉及數(shù)據(jù)倉庫中的數(shù)據(jù)讀取和存儲操作,并抓取數(shù)據(jù)到數(shù)據(jù)集的過程。利用分時段的碎片存儲空間,及數(shù)據(jù)匯聚后的優(yōu)化存儲,來提升多源共享互用的能力。融合存儲平臺的成果展示模塊中涉及數(shù)據(jù)庫的連接、頁面數(shù)據(jù)的獲取、查詢語句的定義判斷、數(shù)據(jù)庫資源表的寫入,數(shù)據(jù)及圖片的存儲采用簡數(shù)據(jù)路徑模式,可提升成果展示模塊的訪問應用效率。這里僅以成果展示平臺的存儲寫入為例,展示部分代碼。

融合存儲平臺匯聚了諸多平臺資源,實現(xiàn)了用戶數(shù)據(jù)的互享共通。通過融合存儲系統(tǒng)平臺的設計與應用,學校網(wǎng)絡中心監(jiān)測數(shù)據(jù)承載量顯示,通過融合存儲平臺應用將多個平臺數(shù)據(jù)打通實施一站式管理,提升了用戶的工作和使用效率,提高了高校的管理效率,后臺數(shù)據(jù)存儲容量的擴容及通過DTFS的分布式應用提升了閑時碎片的存儲效率,在一定程度上節(jié)約了成本,提升了硬件和資源的利用效率。經(jīng)后臺多個應用模塊數(shù)據(jù)匯聚,將原多平臺數(shù)據(jù)進行多維度整合,以提升數(shù)據(jù)賦能的機制,實現(xiàn)數(shù)據(jù)支撐教學改革、人才培養(yǎng)、管理效率提升。通過數(shù)據(jù)監(jiān)測和試驗結果來看,融合存儲應用多模塊匯聚數(shù)據(jù)使用情況優(yōu)于傳統(tǒng)的單一系統(tǒng)模式,疫情防控模塊是教職工和學生的日常應用,每天定時訪問基于持平,其余模塊的應用效率均有不同程序的提升(見圖3)。

圖3 融合存儲前后平臺模塊使用效率變化圖

在智慧化校園建設與應用背景下,高校硬件資源的有效利用能有效提升存儲和利用效率,利用DTFS存儲能有效提升資源的利用率及存儲效果,將學校的多平臺模塊打通[9],實現(xiàn)一站式管理,有利于高校節(jié)約成本,提升資源利用率及數(shù)字服務教學管理,賦能決策的能力。

3 結語

隨著物聯(lián)網(wǎng)技術、計算機技術及大數(shù)據(jù)技術的快速持續(xù)發(fā)展,高校智慧化校園建設的持續(xù)推進,在日常教學和管理中,高校與信息技術的結合緊密度在不斷提升,教學、科研、日常管理、資源庫等多身份多平臺的數(shù)據(jù)打通及平臺共建工作取得一定的進展,基于DTFS的存儲理念為高校數(shù)據(jù)的有效存儲和利用提供了技術支撐。通過對軟硬件閑置資源的利用,能有效提升數(shù)據(jù)的存儲效率,為數(shù)據(jù)庫及數(shù)據(jù)賦能提供基礎數(shù)據(jù)支持。

猜你喜歡
分布式融合資源
基礎教育資源展示
村企黨建聯(lián)建融合共贏
融合菜
從創(chuàng)新出發(fā),與高考數(shù)列相遇、融合
《融合》
一樣的資源,不一樣的收獲
資源回收
分布式光伏熱錢洶涌
分布式光伏:爆發(fā)還是徘徊
資源再生 歡迎訂閱
红河县| 南宫市| 涞水县| 福清市| 淮安市| 景谷| 吉林省| 大理市| 余江县| 马尔康县| 鄂托克前旗| 甘肃省| 霍林郭勒市| 怀集县| 志丹县| 睢宁县| 吉安县| 镇平县| 虞城县| 正镶白旗| 太仆寺旗| 任丘市| 喀什市| 石泉县| 亳州市| 大理市| 青阳县| 玛曲县| 兴国县| 日土县| 襄汾县| 镇江市| 玉溪市| 镇沅| 四子王旗| 聊城市| 西昌市| 麻江县| 吴旗县| 苍梧县| 富阳市|