基于云平臺的海量視頻教學資源管理系統

張健 李儲信 朱堯虎

摘? 要： 資源量提升對教學視頻資源管理系統提出更高要求，為更好管理教學視頻資源，設計基于云平臺的海量教學視頻資源管理系統。系統采用HDFS分布式結構，功能層包含系統事務邏輯規則等處理功能，能夠明確體現各相對獨立目標的功能，主要劃分為用戶模塊、系統管理模塊和教學視頻資源管理模塊。其中，用戶模塊可實現教學視頻上傳、下載、評價等相關功能;教學視頻資源管理模塊根據受限玻爾茲曼機推薦理論，通過訓練數據集訓練過程升級權重與偏好參數，得到用戶對教學視頻資源的預測評價，根據評價結果進行教學視頻資源推薦。應用測試結果顯示所設計系統能夠滿足用戶多方面的搜索需求，并發應用條件下系統資源占用率低。

關鍵詞： 云平臺; 海量教學視頻; 資源管理; 分布式; 系統結構; 功能層; 視頻推薦

中圖分類號： TN99?34; TP393? ? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）21?0151?05

Massive video teaching resource management system based on cloud platform

ZHANG Jian1， LI Chuxin2， ZHU Yaohu3

（1. Office of Teaching Guarantee， China People′s Police University， Langfang 065000， China;

2. School of Public Order Policing and Traffic Management， People′s Public Security University of China， Beijing 102623， China;

3. Office of Student Affairs， People′s Public Security University of China， Beijing 100038， China）

Abstract： The improvement of resource volume puts forward higher requirements for teaching video resource management system. In order to better manage the teaching video resources， a massive teaching video resource management system based on cloud platform is designed. The system adopts HDFS distributed structure， and the function layer contains system transaction logic rules and other processing functions， which can clearly reflect the functions of relatively independent objectives. The system is mainly divided into user module， system management module and teaching video resource management module， in which the user module can realize the upload， download， evaluation and other related functions of teaching video; the teaching video resource management module is based on the Boltzmann machine recommendation theory， the user′s prediction and evaluation of teaching video resources are obtained by upgrading the weight and preference parameters of the training process of the training data set， and the teaching video resources are recommended according to the evaluation results. The application test results show that the designed system can meet the user′s multi?faceted search requirements， and the system resource occupancy rate is low under the concurrent application conditions.

Keywords： cloud platform; massive teaching video; resource management; distributed; system structure; function layer; video recommendation

0? 引? 言

教學視頻資源是以教學設計為基礎[1]，利用計算機技術與攝影技術對教學內容、教師的反思與學生的評價實施綜合整理，是教學領域中理論和實踐全面融合的產物。教學視頻資源量的提升對于教學視頻資源管理系統提出更高的要求[2]，對從事教學視頻資源管理服務研究具有十分重要的意義。

云平臺的出現為海量教學視頻資源管理提供更優質的方式[3]，并且降低用戶的硬件投入。Hadoop開源云平臺是基于Hadoop技術構建的云平臺[4]，將其應用于教學視頻資源管理中可實現教學視頻資源存儲的可擴展、高并發讀寫以及海量視頻資源處理能力[5]。

設計基于云平臺的海量教學視頻資源管理系統，利用其為教學視頻資源使用者與管理者提供更好的服務，實現輔助教學。

1? 基于云平臺的海量教學資源管理系統設計

1.1? 系統整體結構框圖

基于云平臺的海量教學視頻資源管理系統整體采用HDFS分布式系統結構[6?7]，分別是：處于集群服務器上的數據層、處于應用程序服務器與Web服務器上的功能層和表示層，如圖1所示。

表示層可通過最直觀的形式向用戶展示系統界面，用戶通過表示層可直接應用系統內各種程序[8]。通過這種架構形式不僅能夠確保系統的負載均衡與數據安全，還可提升應用擴展性，在用戶需求超過系統當前數據量的條件下，通過數據層中節點數量的提升可使系統的分布式存儲與計算性能提升。

由圖1可知，功能層是整個系統的核心[9]，其中包含系統事務邏輯規則等處理功能，能夠明確體現各相對獨立目標的功能。功能層中包含接口層、調度控制層和應用層三個部分[10]，其中應用層由集群節點管理子系統和計算機節點集群接口組成，包含實時查詢、教學視頻資源上傳、教學視頻資源下載、教學視頻資源格式轉換等應用。

該系統結構相對透明，可直觀呈現完整的視頻，這對海量教學視頻資源管理產生極大便利。

1.2? 系統功能設計

系統設計的主要目的為存儲、管理海量教學視頻資源，基于功能角度劃分，主要包括四個模塊，分別是管理員模塊、用戶管理模塊、系統管理模塊和教學視頻資源管理模塊[11]，如圖2所示。

管理員模塊具有普通用戶權限管理、日志與用戶管理等功能;用戶管理模塊中主要包括用戶注冊、登錄、個人資料管理等功能;系統管理模塊可實現預警、故障與服務器管理功能[12];教學視頻資源管理模塊的主要功能是對教學視頻資源上傳、下載、查詢分類、推薦與格式轉換等進行管理。

1.3? 用戶模塊結構設計

系統中普通用戶可實現教學視頻上傳、下載、評價等相關功能，該模塊用例圖如圖3所示。

用戶在賬號注冊成功后，利用賬號即可成功登錄系統獲取所需教學視頻，并且可上傳本地教學視頻與其他用戶共享。系統設計的宗旨是以人為本[13]，系統中的教學視頻資源不斷更新，用戶可通過關注列表關注所需教學視頻資源，若關注視頻資源更新，系統將自動發送消息提醒關注該視頻資源的用戶。

同時，用戶下載教學視頻后可評價該視頻，系統根據用戶對教學視頻資源的評價，利用基于受限玻爾茲曼機推薦理論向其他用戶推薦視頻資源，使用戶可更快、更好地獲取所需的、最佳的教學視頻資源。

1.4? 教學視頻資源推薦算法

教學視頻資源管理模塊根據受限玻爾茲曼機推薦理論進行教學視頻資源推薦。用[Ae，y，r]表示訓練數據集，其中，[e]，[y]和[r]分別表示用戶、教學視頻和用戶對教學視頻的評價。

在受限玻爾茲曼機模型隱含層給定的條件下，隱含層與顯示層單元分別符合條件多項分布和伯努利分布[14]，其分布函數分別為：

[PVe，y=aG=expbya+k=1Kgekwykaa=1Aexpbay+k=1Kgekwyka]? ? （1）

[PGek=1W=εbk+y∈pewykve，y]? ? （2）

式中：[gek]和[wyka]分別描述[u]對應的第[k]個隱含因子和連接權重;[G?gek∈VG×K]，[W?wyka∈VY×K×A]，其中[E]，[Y]，[K]，[A]分別描述用戶數目集合、教學視頻數目集合、隱含層數目集合和用戶評價集合;[bya]和[ε]分別描述[bk]的偏移和sigmoid函數;描述與顯示層邊際分布函數分別為：

[εx=11+u-x] （3）

[Pv=gexp-Uv，gv，gexp-Uv，g] （4）

式中：[Uv，g]描述激活能量，主要功能是確定不同單元狀態，公式描述如下：

[Uv，g=-e=1Vk=1Ky=1Ywykve，ygkve，y-e=1Vk=1Kve，ybe，k-k=1Kge，kbk]? （5）

教學資源推薦算法中訓練階段的主要目的是升級權重與偏好參數[15]，利用對比散度描述：

[Δwykve，y=βve，ygkdata-ve，ygkZ]? ?（6）

式中：[β]，[ve，ygkdata]和[ve，ygkZ]分別表示描述學習因子和接受隱含層與顯示層狀態參數;[β]表示Gibbs抽樣頻率分布下的期望參數;[Z]為抽樣次數。

訓練初始階段[Z]值取1，且其值隨著訓練的持續而提升，當[Z]值提升至一定值后，可將[ve，ygkdata]和[ve，ygkZ]間的差異降至最低。

教學視頻資源推薦過程中，將權重參數與偏好參數相結合，通過式（7）～式（9）確定用戶[e]對教學視頻資源的預測評價：

[ve，y=g=1AA?Pve，ygk=Ape] （7）

[Pve，ygk=Ape=expbya+k=1Kpekwykaa=1Aexpbya+k=1Kpekwyka] （8）

[pe，y=PGek=1W=εbk+y∈pewykve，y] （9）

2? 應用測試

為驗證本文設計的基于云平臺的海量教學視頻資源管理系統的應用性能，以某高校教學視頻資源管理系統中的海量教學視頻資源集合為對象，如表1所示，構建本文系統，驗證本文系統的教學視頻資源管理性能。

2.1? 本文系統搭建

在Apache官網中下載Hadoop安裝包，將其解壓至本地系統中。搭建集群環境是本文系統搭建的第一步，搭建的主要內容包括集群軟硬件環境的架構設計、Hadoop集群配置與HBase，ZooKeeper安裝配置等。

利用VMware Workstation 12 Pro構建Hadoop集群。該集群中包含3臺服務器，3臺服務器分為兩類，1臺服務器作為master，剩余2臺服務器作為slave。服務器的主要功能是設置HDFS，MapReduce，HBase節點，master設置Name Node，Job Tracker和HMaster節點，slave設置Data Node，Task Tracker和HRegin Server節點。

3臺服務器的具體信息如表2所示。

2.2? 系統界面設計

在教學視頻搜索界面的搜索欄中選取所需教學視頻資源類型“高物”，輸入關鍵詞“熱力學”系統進入教學視頻資源管理界面，系統通過教學視頻資源分類與推薦，呈現用戶所需教學視頻資源，結果如圖4所示。由圖4得到，在教學視頻搜索界面中設置相應搜索條件后，教學視頻資源管理界面會根據輸入的搜索條件在系統內進行搜索，并向用戶展示教學視頻搜索結果。圖4中的搜索條件包括教學視頻類型、關鍵詞、主講教師、視頻上傳時間等，可滿足用戶多方面搜索需求。

2.3? 資源占用率檢測

為測試本文系統應用過程中的資源占用情況，以資源占用率為指標，分別從實時查詢、教學視頻資源上傳、教學視頻資源下載、教學視頻資源格式轉換等并發應用方面測試本文系統的CUP和內存占用率，結果如表3所示。

分析表3得到，本文系統并發應用過程中CPU占用率最高達到7.3%，而內存占用率最高達到4.0%，均未產生系統預警情況，由此說明本文系統的資源占用率滿足應用設計標準。

2.4? 疲勞強度檢測

系統正常運行條件下受硬件設備影響，有一定概率產生數據庫或帶寬資源不足的缺陷，此類缺陷在系統正常工作時表現的并不明顯，所以在測試系統性能的過程中需選取大量使用者進行長時間系統疲勞強度檢測。作為本文系統性能測試的指標之一，疲勞強度檢測可得到本文系統正常工作條件下因資源缺乏/競爭導致的系統錯誤。

本文系統疲勞強度測試選取20人在不同網絡環境下分別進行教學視頻資源并發上傳與并發下載，測試本文系統的響應速度，結果如圖5所示。

由圖5中的測試結果可知，在不同網絡環境下20人進行教學視頻資源并發上傳測試中，當教學視頻上傳人數由0人提升至15人時，本文系統的響應速度均控制在50 ms以下;但當視頻上傳人數提升至20人時，本文系統的響應速度提升至160 ms左右，這說明本文系統的數據傳輸性能產生擁堵問題。而在教學視頻資源并發下載測試中，當教學視頻下載人數達到15人時，同樣出現類似問題。系統出現這種問題的原因大多因為系統運行過程中產生帶寬不足的缺陷，或者系統構建過程中設定的并發用戶數量不足，這些缺陷經由完善系統硬件與提升系統并發用戶數量設定閾值能夠改善，由此保障系統對海量教學視頻資源的高效管理。

3? 結? 語

面對海量教學視頻資源，需要采用一種高效的結構體系解決海量教學視頻資源存儲與管理問題，因此本文設計基于云平臺的海量教學視頻資源管理系統。系統應用測試結果顯示，本文系統不僅能夠滿足用戶教學視頻管理應用需求，并且可以通過完善系統硬件與提升系統并發用戶數量設定閾值的方式提升系統應用性能，保障海量教學視頻資源應用管理效果。

參考文獻

[1] 顧東曉，李童童，梁昌勇，等.基于云計算的管理信息系統遷移模式與策略研究[J].情報科學，2018，36（12）：71?76.

[2] 饒小康，馬瑞，張力，等.基于人工智能的堤防工程大數據安全管理平臺及其實現[J].長江科學院院報，2019，36（10）：104?110.

[3] CHANG Zheng， WANG Zhongyu， GUO Xijuan， et al. Energy?efficient resource allocation for wireless powered massive MIMO system with imperfect CSI [J]. IEEE transactions on green communications and networking， 2017， 1（2）： 121?130.

[4] 曹蘭英.大數據時代下開放教育視頻云資源共享系統的設計研究[J].電視技術，2018，42（12）：117?121.

[5] 殷瑋川，何世偉，李玉斌，等.基于云計算的地鐵大數據分析方法研究[J].鐵道科學與工程學報，2018，15（11）：2995?3002.

[6] 申琢.基于云計算和大數據挖掘的礦山事故預警系統研究與設計[J].中國煤炭，2017，43（12）：109?114.

[7] 莫勇，張海燕.基于云計算的電力數據在線安全分析并行化[J].控制工程，2017，24（4）：823?828.

[8] 張靜，王歡.基于ISM的在線教育平臺學習者持續學習行為的影響因素研究[J].中國電化教育，2018（10）：123?130.

[9] ABDALLAH M， ZAHRAN M， WASSAL A. SACAT： streaming?aware conflict?avoiding thrashing?resistant GPGPU cache management scheme [J]. IEEE transactions on parallel & distributed systems， 2017， 28（6）： 1740?1753.

[10] 賈非，謝苗苗，楊涵舒.在線課程平臺用戶付費行為影響因素研究：基于騰訊課堂數據的實證分析[J].消費經濟，2018，34（5）：72?77.

[11] GUO Zhen， SHI Honghua， ZHANG Peidong， et al. Material metabolism and lifecycle impact assessment towards sustainable resource management： A case study of the highway infrastructural system in Shandong Peninsula， China [J]. Journal of cleaner production， 2017， 153： 195?208.

[12] 李俊楠，李偉，李會君，等.基于大數據云平臺的電力能源大數據采集與應用研究[J].電測與儀表，2019（12）：104?109.

[13] 梁濤，侯振國，鄒繼行，等.基于云計算平臺的風電場SCADA系統的設計與應用[J].高技術通訊，2018，28（1）：8?14.

[14] 周鵬，李環，劉佩文，等.基于大數據的教育云服務績效評價研究[J].中國電化教育，2018（6）：17?23.

[15] 李中顯，蔡宗慧.基于Hadoop云平臺的聯合收割機遠程監控系統研究[J].農機化研究，2017（12）：185?189.

作者簡介：張? ?。?975—），男，山東濟寧人，碩士，講師，研究方向為刑法、思政教育。

李儲信（1988—），男，安徽安慶人，碩士，講師，研究方向為法律、思政教育。

朱堯虎（1987—），男，江蘇鹽城人，碩士，研究方向為犯罪預防、思政教育。