張健 李儲(chǔ)信 朱堯虎

摘? 要： 資源量提升對(duì)教學(xué)視頻資源管理系統(tǒng)提出更高要求，為更好管理教學(xué)視頻資源，設(shè)計(jì)基于云平臺(tái)的海量教學(xué)視頻資源管理系統(tǒng)。系統(tǒng)采用HDFS分布式結(jié)構(gòu)，功能層包含系統(tǒng)事務(wù)邏輯規(guī)則等處理功能，能夠明確體現(xiàn)各相對(duì)獨(dú)立目標(biāo)的功能，主要?jiǎng)澐譃橛脩裟K、系統(tǒng)管理模塊和教學(xué)視頻資源管理模塊。其中，用戶模塊可實(shí)現(xiàn)教學(xué)視頻上傳、下載、評(píng)價(jià)等相關(guān)功能;教學(xué)視頻資源管理模塊根據(jù)受限玻爾茲曼機(jī)推薦理論，通過訓(xùn)練數(shù)據(jù)集訓(xùn)練過程升級(jí)權(quán)重與偏好參數(shù)，得到用戶對(duì)教學(xué)視頻資源的預(yù)測(cè)評(píng)價(jià)，根據(jù)評(píng)價(jià)結(jié)果進(jìn)行教學(xué)視頻資源推薦。應(yīng)用測(cè)試結(jié)果顯示所設(shè)計(jì)系統(tǒng)能夠滿足用戶多方面的搜索需求，并發(fā)應(yīng)用條件下系統(tǒng)資源占用率低。

關(guān)鍵詞： 云平臺(tái); 海量教學(xué)視頻; 資源管理; 分布式; 系統(tǒng)結(jié)構(gòu); 功能層; 視頻推薦

中圖分類號(hào)： TN99?34; TP393? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）21?0151?05

Massive video teaching resource management system based on cloud platform

ZHANG Jian1， LI Chuxin2， ZHU Yaohu3

（1. Office of Teaching Guarantee， China People′s Police University， Langfang 065000， China;

2. School of Public Order Policing and Traffic Management， People′s Public Security University of China， Beijing 102623， China;

3. Office of Student Affairs， People′s Public Security University of China， Beijing 100038， China）

Abstract： The improvement of resource volume puts forward higher requirements for teaching video resource management system. In order to better manage the teaching video resources， a massive teaching video resource management system based on cloud platform is designed. The system adopts HDFS distributed structure， and the function layer contains system transaction logic rules and other processing functions， which can clearly reflect the functions of relatively independent objectives. The system is mainly divided into user module， system management module and teaching video resource management module， in which the user module can realize the upload， download， evaluation and other related functions of teaching video; the teaching video resource management module is based on the Boltzmann machine recommendation theory， the user′s prediction and evaluation of teaching video resources are obtained by upgrading the weight and preference parameters of the training process of the training data set， and the teaching video resources are recommended according to the evaluation results. The application test results show that the designed system can meet the user′s multi?faceted search requirements， and the system resource occupancy rate is low under the concurrent application conditions.

Keywords： cloud platform; massive teaching video; resource management; distributed; system structure; function layer; video recommendation

0? 引? 言

教學(xué)視頻資源是以教學(xué)設(shè)計(jì)為基礎(chǔ)[1]，利用計(jì)算機(jī)技術(shù)與攝影技術(shù)對(duì)教學(xué)內(nèi)容、教師的反思與學(xué)生的評(píng)價(jià)實(shí)施綜合整理，是教學(xué)領(lǐng)域中理論和實(shí)踐全面融合的產(chǎn)物。教學(xué)視頻資源量的提升對(duì)于教學(xué)視頻資源管理系統(tǒng)提出更高的要求[2]，對(duì)從事教學(xué)視頻資源管理服務(wù)研究具有十分重要的意義。

云平臺(tái)的出現(xiàn)為海量教學(xué)視頻資源管理提供更優(yōu)質(zhì)的方式[3]，并且降低用戶的硬件投入。Hadoop開源云平臺(tái)是基于Hadoop技術(shù)構(gòu)建的云平臺(tái)[4]，將其應(yīng)用于教學(xué)視頻資源管理中可實(shí)現(xiàn)教學(xué)視頻資源存儲(chǔ)的可擴(kuò)展、高并發(fā)讀寫以及海量視頻資源處理能力[5]。

設(shè)計(jì)基于云平臺(tái)的海量教學(xué)視頻資源管理系統(tǒng)，利用其為教學(xué)視頻資源使用者與管理者提供更好的服務(wù)，實(shí)現(xiàn)輔助教學(xué)。

1? 基于云平臺(tái)的海量教學(xué)資源管理系統(tǒng)設(shè)計(jì)

1.1? 系統(tǒng)整體結(jié)構(gòu)框圖

基于云平臺(tái)的海量教學(xué)視頻資源管理系統(tǒng)整體采用HDFS分布式系統(tǒng)結(jié)構(gòu)[6?7]，分別是：處于集群服務(wù)器上的數(shù)據(jù)層、處于應(yīng)用程序服務(wù)器與Web服務(wù)器上的功能層和表示層，如圖1所示。

表示層可通過最直觀的形式向用戶展示系統(tǒng)界面，用戶通過表示層可直接應(yīng)用系統(tǒng)內(nèi)各種程序[8]。通過這種架構(gòu)形式不僅能夠確保系統(tǒng)的負(fù)載均衡與數(shù)據(jù)安全，還可提升應(yīng)用擴(kuò)展性，在用戶需求超過系統(tǒng)當(dāng)前數(shù)據(jù)量的條件下，通過數(shù)據(jù)層中節(jié)點(diǎn)數(shù)量的提升可使系統(tǒng)的分布式存儲(chǔ)與計(jì)算性能提升。

由圖1可知，功能層是整個(gè)系統(tǒng)的核心[9]，其中包含系統(tǒng)事務(wù)邏輯規(guī)則等處理功能，能夠明確體現(xiàn)各相對(duì)獨(dú)立目標(biāo)的功能。功能層中包含接口層、調(diào)度控制層和應(yīng)用層三個(gè)部分[10]，其中應(yīng)用層由集群節(jié)點(diǎn)管理子系統(tǒng)和計(jì)算機(jī)節(jié)點(diǎn)集群接口組成，包含實(shí)時(shí)查詢、教學(xué)視頻資源上傳、教學(xué)視頻資源下載、教學(xué)視頻資源格式轉(zhuǎn)換等應(yīng)用。

該系統(tǒng)結(jié)構(gòu)相對(duì)透明，可直觀呈現(xiàn)完整的視頻，這對(duì)海量教學(xué)視頻資源管理產(chǎn)生極大便利。

1.2? 系統(tǒng)功能設(shè)計(jì)

系統(tǒng)設(shè)計(jì)的主要目的為存儲(chǔ)、管理海量教學(xué)視頻資源，基于功能角度劃分，主要包括四個(gè)模塊，分別是管理員模塊、用戶管理模塊、系統(tǒng)管理模塊和教學(xué)視頻資源管理模塊[11]，如圖2所示。

管理員模塊具有普通用戶權(quán)限管理、日志與用戶管理等功能;用戶管理模塊中主要包括用戶注冊(cè)、登錄、個(gè)人資料管理等功能;系統(tǒng)管理模塊可實(shí)現(xiàn)預(yù)警、故障與服務(wù)器管理功能[12];教學(xué)視頻資源管理模塊的主要功能是對(duì)教學(xué)視頻資源上傳、下載、查詢分類、推薦與格式轉(zhuǎn)換等進(jìn)行管理。

1.3? 用戶模塊結(jié)構(gòu)設(shè)計(jì)

系統(tǒng)中普通用戶可實(shí)現(xiàn)教學(xué)視頻上傳、下載、評(píng)價(jià)等相關(guān)功能，該模塊用例圖如圖3所示。

用戶在賬號(hào)注冊(cè)成功后，利用賬號(hào)即可成功登錄系統(tǒng)獲取所需教學(xué)視頻，并且可上傳本地教學(xué)視頻與其他用戶共享。系統(tǒng)設(shè)計(jì)的宗旨是以人為本[13]，系統(tǒng)中的教學(xué)視頻資源不斷更新，用戶可通過關(guān)注列表關(guān)注所需教學(xué)視頻資源，若關(guān)注視頻資源更新，系統(tǒng)將自動(dòng)發(fā)送消息提醒關(guān)注該視頻資源的用戶。

同時(shí)，用戶下載教學(xué)視頻后可評(píng)價(jià)該視頻，系統(tǒng)根據(jù)用戶對(duì)教學(xué)視頻資源的評(píng)價(jià)，利用基于受限玻爾茲曼機(jī)推薦理論向其他用戶推薦視頻資源，使用戶可更快、更好地獲取所需的、最佳的教學(xué)視頻資源。

1.4? 教學(xué)視頻資源推薦算法

教學(xué)視頻資源管理模塊根據(jù)受限玻爾茲曼機(jī)推薦理論進(jìn)行教學(xué)視頻資源推薦。用[Ae，y，r]表示訓(xùn)練數(shù)據(jù)集，其中，[e]，[y]和[r]分別表示用戶、教學(xué)視頻和用戶對(duì)教學(xué)視頻的評(píng)價(jià)。

在受限玻爾茲曼機(jī)模型隱含層給定的條件下，隱含層與顯示層單元分別符合條件多項(xiàng)分布和伯努利分布[14]，其分布函數(shù)分別為：

[PVe，y=aG=expbya+k=1Kgekwykaa=1Aexpbay+k=1Kgekwyka]? ? （1）

[PGek=1W=εbk+y∈pewykve，y]? ? （2）

式中：[gek]和[wyka]分別描述[u]對(duì)應(yīng)的第[k]個(gè)隱含因子和連接權(quán)重;[G?gek∈VG×K]，[W?wyka∈VY×K×A]，其中[E]，[Y]，[K]，[A]分別描述用戶數(shù)目集合、教學(xué)視頻數(shù)目集合、隱含層數(shù)目集合和用戶評(píng)價(jià)集合;[bya]和[ε]分別描述[bk]的偏移和sigmoid函數(shù);描述與顯示層邊際分布函數(shù)分別為：

[εx=11+u-x] （3）

[Pv=gexp-Uv，gv，gexp-Uv，g] （4）

式中：[Uv，g]描述激活能量，主要功能是確定不同單元狀態(tài)，公式描述如下：

[Uv，g=-e=1Vk=1Ky=1Ywykve，ygkve，y-e=1Vk=1Kve，ybe，k-k=1Kge，kbk]? （5）

教學(xué)資源推薦算法中訓(xùn)練階段的主要目的是升級(jí)權(quán)重與偏好參數(shù)[15]，利用對(duì)比散度描述：

[Δwykve，y=βve，ygkdata-ve，ygkZ]? ?（6）

式中：[β]，[ve，ygkdata]和[ve，ygkZ]分別表示描述學(xué)習(xí)因子和接受隱含層與顯示層狀態(tài)參數(shù);[β]表示Gibbs抽樣頻率分布下的期望參數(shù);[Z]為抽樣次數(shù)。

訓(xùn)練初始階段[Z]值取1，且其值隨著訓(xùn)練的持續(xù)而提升，當(dāng)[Z]值提升至一定值后，可將[ve，ygkdata]和[ve，ygkZ]間的差異降至最低。

教學(xué)視頻資源推薦過程中，將權(quán)重參數(shù)與偏好參數(shù)相結(jié)合，通過式（7）～式（9）確定用戶[e]對(duì)教學(xué)視頻資源的預(yù)測(cè)評(píng)價(jià)：

[ve，y=g=1AA?Pve，ygk=Ape] （7）

[Pve，ygk=Ape=expbya+k=1Kpekwykaa=1Aexpbya+k=1Kpekwyka] （8）

[pe，y=PGek=1W=εbk+y∈pewykve，y] （9）

2? 應(yīng)用測(cè)試

為驗(yàn)證本文設(shè)計(jì)的基于云平臺(tái)的海量教學(xué)視頻資源管理系統(tǒng)的應(yīng)用性能，以某高校教學(xué)視頻資源管理系統(tǒng)中的海量教學(xué)視頻資源集合為對(duì)象，如表1所示，構(gòu)建本文系統(tǒng)，驗(yàn)證本文系統(tǒng)的教學(xué)視頻資源管理性能。

2.1? 本文系統(tǒng)搭建

在Apache官網(wǎng)中下載Hadoop安裝包，將其解壓至本地系統(tǒng)中。搭建集群環(huán)境是本文系統(tǒng)搭建的第一步，搭建的主要內(nèi)容包括集群軟硬件環(huán)境的架構(gòu)設(shè)計(jì)、Hadoop集群配置與HBase，ZooKeeper安裝配置等。

利用VMware Workstation 12 Pro構(gòu)建Hadoop集群。該集群中包含3臺(tái)服務(wù)器，3臺(tái)服務(wù)器分為兩類，1臺(tái)服務(wù)器作為master，剩余2臺(tái)服務(wù)器作為slave。服務(wù)器的主要功能是設(shè)置HDFS，MapReduce，HBase節(jié)點(diǎn)，master設(shè)置Name Node，Job Tracker和HMaster節(jié)點(diǎn)，slave設(shè)置Data Node，Task Tracker和HRegin Server節(jié)點(diǎn)。

3臺(tái)服務(wù)器的具體信息如表2所示。

2.2? 系統(tǒng)界面設(shè)計(jì)

在教學(xué)視頻搜索界面的搜索欄中選取所需教學(xué)視頻資源類型“高物”，輸入關(guān)鍵詞“熱力學(xué)”系統(tǒng)進(jìn)入教學(xué)視頻資源管理界面，系統(tǒng)通過教學(xué)視頻資源分類與推薦，呈現(xiàn)用戶所需教學(xué)視頻資源，結(jié)果如圖4所示。由圖4得到，在教學(xué)視頻搜索界面中設(shè)置相應(yīng)搜索條件后，教學(xué)視頻資源管理界面會(huì)根據(jù)輸入的搜索條件在系統(tǒng)內(nèi)進(jìn)行搜索，并向用戶展示教學(xué)視頻搜索結(jié)果。圖4中的搜索條件包括教學(xué)視頻類型、關(guān)鍵詞、主講教師、視頻上傳時(shí)間等，可滿足用戶多方面搜索需求。

2.3? 資源占用率檢測(cè)

為測(cè)試本文系統(tǒng)應(yīng)用過程中的資源占用情況，以資源占用率為指標(biāo)，分別從實(shí)時(shí)查詢、教學(xué)視頻資源上傳、教學(xué)視頻資源下載、教學(xué)視頻資源格式轉(zhuǎn)換等并發(fā)應(yīng)用方面測(cè)試本文系統(tǒng)的CUP和內(nèi)存占用率，結(jié)果如表3所示。

分析表3得到，本文系統(tǒng)并發(fā)應(yīng)用過程中CPU占用率最高達(dá)到7.3%，而內(nèi)存占用率最高達(dá)到4.0%，均未產(chǎn)生系統(tǒng)預(yù)警情況，由此說明本文系統(tǒng)的資源占用率滿足應(yīng)用設(shè)計(jì)標(biāo)準(zhǔn)。

2.4? 疲勞強(qiáng)度檢測(cè)

系統(tǒng)正常運(yùn)行條件下受硬件設(shè)備影響，有一定概率產(chǎn)生數(shù)據(jù)庫或帶寬資源不足的缺陷，此類缺陷在系統(tǒng)正常工作時(shí)表現(xiàn)的并不明顯，所以在測(cè)試系統(tǒng)性能的過程中需選取大量使用者進(jìn)行長時(shí)間系統(tǒng)疲勞強(qiáng)度檢測(cè)。作為本文系統(tǒng)性能測(cè)試的指標(biāo)之一，疲勞強(qiáng)度檢測(cè)可得到本文系統(tǒng)正常工作條件下因資源缺乏/競爭導(dǎo)致的系統(tǒng)錯(cuò)誤。

本文系統(tǒng)疲勞強(qiáng)度測(cè)試選取20人在不同網(wǎng)絡(luò)環(huán)境下分別進(jìn)行教學(xué)視頻資源并發(fā)上傳與并發(fā)下載，測(cè)試本文系統(tǒng)的響應(yīng)速度，結(jié)果如圖5所示。

由圖5中的測(cè)試結(jié)果可知，在不同網(wǎng)絡(luò)環(huán)境下20人進(jìn)行教學(xué)視頻資源并發(fā)上傳測(cè)試中，當(dāng)教學(xué)視頻上傳人數(shù)由0人提升至15人時(shí)，本文系統(tǒng)的響應(yīng)速度均控制在50 ms以下;但當(dāng)視頻上傳人數(shù)提升至20人時(shí)，本文系統(tǒng)的響應(yīng)速度提升至160 ms左右，這說明本文系統(tǒng)的數(shù)據(jù)傳輸性能產(chǎn)生擁堵問題。而在教學(xué)視頻資源并發(fā)下載測(cè)試中，當(dāng)教學(xué)視頻下載人數(shù)達(dá)到15人時(shí)，同樣出現(xiàn)類似問題。系統(tǒng)出現(xiàn)這種問題的原因大多因?yàn)橄到y(tǒng)運(yùn)行過程中產(chǎn)生帶寬不足的缺陷，或者系統(tǒng)構(gòu)建過程中設(shè)定的并發(fā)用戶數(shù)量不足，這些缺陷經(jīng)由完善系統(tǒng)硬件與提升系統(tǒng)并發(fā)用戶數(shù)量設(shè)定閾值能夠改善，由此保障系統(tǒng)對(duì)海量教學(xué)視頻資源的高效管理。

3? 結(jié)? 語

面對(duì)海量教學(xué)視頻資源，需要采用一種高效的結(jié)構(gòu)體系解決海量教學(xué)視頻資源存儲(chǔ)與管理問題，因此本文設(shè)計(jì)基于云平臺(tái)的海量教學(xué)視頻資源管理系統(tǒng)。系統(tǒng)應(yīng)用測(cè)試結(jié)果顯示，本文系統(tǒng)不僅能夠滿足用戶教學(xué)視頻管理應(yīng)用需求，并且可以通過完善系統(tǒng)硬件與提升系統(tǒng)并發(fā)用戶數(shù)量設(shè)定閾值的方式提升系統(tǒng)應(yīng)用性能，保障海量教學(xué)視頻資源應(yīng)用管理效果。

參考文獻(xiàn)

[1] 顧東曉，李童童，梁昌勇，等.基于云計(jì)算的管理信息系統(tǒng)遷移模式與策略研究[J].情報(bào)科學(xué)，2018，36（12）：71?76.

[2] 饒小康，馬瑞，張力，等.基于人工智能的堤防工程大數(shù)據(jù)安全管理平臺(tái)及其實(shí)現(xiàn)[J].長江科學(xué)院院報(bào)，2019，36（10）：104?110.

[3] CHANG Zheng， WANG Zhongyu， GUO Xijuan， et al. Energy?efficient resource allocation for wireless powered massive MIMO system with imperfect CSI [J]. IEEE transactions on green communications and networking， 2017， 1（2）： 121?130.

[4] 曹蘭英.大數(shù)據(jù)時(shí)代下開放教育視頻云資源共享系統(tǒng)的設(shè)計(jì)研究[J].電視技術(shù)，2018，42（12）：117?121.

[5] 殷瑋川，何世偉，李玉斌，等.基于云計(jì)算的地鐵大數(shù)據(jù)分析方法研究[J].鐵道科學(xué)與工程學(xué)報(bào)，2018，15（11）：2995?3002.

[6] 申琢.基于云計(jì)算和大數(shù)據(jù)挖掘的礦山事故預(yù)警系統(tǒng)研究與設(shè)計(jì)[J].中國煤炭，2017，43（12）：109?114.

[7] 莫勇，張海燕.基于云計(jì)算的電力數(shù)據(jù)在線安全分析并行化[J].控制工程，2017，24（4）：823?828.

[8] 張靜，王歡.基于ISM的在線教育平臺(tái)學(xué)習(xí)者持續(xù)學(xué)習(xí)行為的影響因素研究[J].中國電化教育，2018（10）：123?130.

[9] ABDALLAH M， ZAHRAN M， WASSAL A. SACAT： streaming?aware conflict?avoiding thrashing?resistant GPGPU cache management scheme [J]. IEEE transactions on parallel & distributed systems， 2017， 28（6）： 1740?1753.

[10] 賈非，謝苗苗，楊涵舒.在線課程平臺(tái)用戶付費(fèi)行為影響因素研究：基于騰訊課堂數(shù)據(jù)的實(shí)證分析[J].消費(fèi)經(jīng)濟(jì)，2018，34（5）：72?77.

[11] GUO Zhen， SHI Honghua， ZHANG Peidong， et al. Material metabolism and lifecycle impact assessment towards sustainable resource management： A case study of the highway infrastructural system in Shandong Peninsula， China [J]. Journal of cleaner production， 2017， 153： 195?208.

[12] 李俊楠，李偉，李會(huì)君，等.基于大數(shù)據(jù)云平臺(tái)的電力能源大數(shù)據(jù)采集與應(yīng)用研究[J].電測(cè)與儀表，2019（12）：104?109.

[13] 梁濤，侯振國，鄒繼行，等.基于云計(jì)算平臺(tái)的風(fēng)電場SCADA系統(tǒng)的設(shè)計(jì)與應(yīng)用[J].高技術(shù)通訊，2018，28（1）：8?14.

[14] 周鵬，李環(huán)，劉佩文，等.基于大數(shù)據(jù)的教育云服務(wù)績效評(píng)價(jià)研究[J].中國電化教育，2018（6）：17?23.

[15] 李中顯，蔡宗慧.基于Hadoop云平臺(tái)的聯(lián)合收割機(jī)遠(yuǎn)程監(jiān)控系統(tǒng)研究[J].農(nóng)機(jī)化研究，2017（12）：185?189.

作者簡介：張? 健（1975—），男，山東濟(jì)寧人，碩士，講師，研究方向?yàn)樾谭?、思政教育?/p>

李儲(chǔ)信（1988—），男，安徽安慶人，碩士，講師，研究方向?yàn)榉伞⑺颊逃?/p>

朱堯虎（1987—），男，江蘇鹽城人，碩士，研究方向?yàn)榉缸镱A(yù)防、思政教育。