基于云平臺的多媒體管理技術研究分析

張天寶

摘要：在我國現代信息技術不斷發展的時代背景下，信息技在教育領域的深化應用使得高職院校的多媒體管理工作面臨著新的挑戰。面對著數據信息量的不斷增長，傳統的高校多媒體資源管理方式已經難以適應新的多媒體管理要求。當前部分高校已經開始設計基于云平臺的多媒體資源平臺，從根本上推動多媒體管理基礎的發展。基于此，本文通過深入探究基于云平臺的多媒體管理技術應用策略，以及相關平臺的構建，以期提升高職院校多媒體管理工作質量。

關鍵詞：云平臺;多媒體;管理技術;研究分析

在現階段，很多工作者在管理云平臺生的多媒體管理資源的過程中，往往對以下問題感到十分頭痛：首先資源庫中小文件的數量太多，并且小文件的讀寫性能太差，導致在文件應用過程中會造成一系列的消耗。此外，數量眾多的小文件會增加文件管理工作的復雜性，主要體現在需要大量的資源進行源文件的存儲上。其次，為了提高不同用戶的應用體驗，當前很多平臺會對文件進行多碼率的存儲，但是現階段很多平臺基本上采用的是單機轉碼方式，在這種方式下需要等待較長的轉碼實踐，并且結點的硬件配置較高。由此可見，改進海量小文件在云平臺上的存儲方式是非常重要的。

一、多媒體轉碼工作現狀及主要問題分析

在現階段的多媒體管理工作中，對于視頻文件的轉碼主要方式主要分為三類：第一類轉碼方式是依賴于云平臺的高配置服務器轉碼;第二類轉碼方式是基于當前較為流行的分布式計算機框架轉碼;第三類轉碼方式是依賴于單機服務器轉碼。

基于云平臺的高配置服務器轉碼，轉碼任務需要在高配置且功能強的服務器上開展。工作人員將所需轉碼的文件上傳至服務器且轉碼完成之后會自動反饋轉換的文件。這種方式主要優勢在于操作簡便，同時最大的缺陷在于視頻文件的轉碼受服務器性能的制約，這種轉碼方式對服務器的性能依賴相對較高，同時也不能滿足多項轉碼工作同時開展的要求。

基于分布式計算機框架的轉碼，能夠充分利用集群中的空閑的計算機轉碼上傳文件的，這種方式雖然對設備的硬件配置要求不高，具有較高的轉換率，但是集群中的不同節點對同一任務的協調配合程度直接影響著轉碼工作的復雜性，這就需要工作人員設計出復雜、精確的轉碼方案。

基于單機服務器轉碼，可以在短時間內開展大量視頻文件的轉碼操作活動，它不但具有分布式轉碼方式在利用空閑計算機的優點，同時還能夠借助當前的云平臺提高轉碼速度，推動轉碼系統更為高效、可靠的運轉。這種方式受到企業的技術限制，在實施過程中具有很強的局限性。

在現階段的多媒體資源管理工作開展過程中，最常用的方式主要是應用Hadoop開展分布式計算機框架的轉碼活動，由于Hadoop具有開源性，所以在操作過程中具有很強的維護性與擴展性。但是在當前的Hadoop基礎上對大量的視頻開展分布式轉碼，需要以HDFS作為底層存儲平臺。因此，為了更高效、可靠地管理多媒體資源的存儲，本文的研究主要以云儲存平臺CEPH-分布式文件系統為主。

二、基于云平臺的多媒體管理技術介紹

Hadoop起源于Apache Nutch項目，由Apache基金會主導設計，Hadoop云平臺具有開源性的分布式基礎構架，主要應用于數據處理工作，其底端存儲系統主要由HDFS構成，計算框架使用了流式計算模型Map Reduce.

（一）HDFS分布式存儲系統簡介

HDFS是指被設計成適合運行在通用硬件（commodity hardware）上的分布式文件系統，它和現有的分布式文件系統有很多共同點。但同時，它和其他的分布式文件系統的區別也是很明顯的。主要負責數據的存儲，HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。HDFS放寬了一部分POSIX約束，來實現流式讀取文件系統數據的目的。HDFS在最開始是作為Apache Nutch搜索引擎項目的基礎架構而開發的。這種存儲系統十分依賴可靠性的數據，數據冗余性較強，具有較強的可拓展性，數據流處理速率較高并且具有很高的數據處理容錯率，可以實現數據的高校存儲。

這一存儲系統主要由Name Node和Data Node兩個節點組成，前者負責元數據的處理，后者負責多項數據存儲。系統中的Client通過兩個節點之間的互相通信對分布式文件系統進行訪問，在獲取元數據的基礎上對文件執行IO操作。

（二）Map Reduce流式計算模型簡介

Map Reduce流式計算模型由谷歌公司于2004年研發，主要應用于海量數據的并行處理，這種計算模型的應用能夠操作者無需借助分布式編程經驗，也無需編寫數量龐大的并行計算程序，直接對分布式資源進行有效的管理。管理人員應用這種數據模型能夠分離業務邏輯處理與數據具體實現，操作人員只需要調用不同的接口就能夠開展大規模的分布式計算工作。

在實際的工作過程中，工作人員提交Map Reduce作業，需要將處理的文件分為不同的模塊，形成獨立處理的MAP子任務，開展并行的數據處理活動。在子任務開展過程，采用鍵值的方式進行數據輸入，數據處理完成的結果以Key為單位，匯總到相同的reduce中，并且輸入結構也經過了相應的排序處理。這種流式計算模型與HDFS的運行模式相似，都建立在Slave的框架上，一個為Job Tracker（對用的是HDFS中的name node），另一個Task Tracker對應的是HDFS中的Data note。每一個Hadoop集群主要由一個Job Tracker和若干個Task Tracker構成，前者負責任務調度，后者負責任務執行。

三、基于云平臺的多媒體管理平臺架構分析

（一）云計算技術構架

立足于云平臺的多媒體管理技術平臺主要由云計算的四層構架組成：

首先是基礎設施層，這是云服務工作的最基礎層，通過應用基礎層硬件虛擬化技術的應用，將硬件資源轉化為服務資源，主要包含三方面的資源：（1）網絡資源;（2）存儲資源;（3）計算資源，然后通過上層管理，提供計算、存儲服務。基礎設施層主要建設高性能的數據處理中心，并降低數據處理成本，同時借助虛擬化技術保障基礎的資源服務功能。

其次是平臺服務層，這一層的主要工作內容為提供資源管理工作所學的分布式計算機引擎以及存儲訪問借接口，同時存儲和查詢平臺中的元數據，完成多媒體資源管理工作中的其他操作流程。

此外，還有應用服務層，這一層的功能為多媒體管理服務應用的實現，比如文件上傳、視頻轉碼以及文件保護等其他平臺的基本服務。

最后是Portal層，主要工作為響應用戶的指令，比如文件存儲、資源檢索等，是管理平臺的服務應用接入口，用以實現相應服務。

（二）管理平臺主要內容闡述

從宏觀的角度來講，多媒體管理平臺主要用來接受用戶傳入的多媒體文件，然后應用Web服務器提供相應接口，形成數據服務。數據管理平臺的主要內容主要分為以下幾項：

1.基于云平臺的多媒體管理平臺首先要負責將文件上傳到CEPH的集群中進行存儲，主要分為大文件和小文件和云存儲模式，對于大型文件，主要采用云端文件普通上傳的形式，對于小文件主要采用語義聚類的方式進行存儲。其次，在文件上傳完成之后需要對文件進行分布式轉碼處理，特別是視頻類文件。針對分布式任務，分發給Map Reduce模型，而對不同節點使用Ffmpeg進行文件轉碼處理。

2.關于多媒體資源信息的維護工作，需要平臺存儲、維護用戶和文件的元信息。最后是多媒體資源的檢索和調用功能，管理平臺主要負責建立倒排索引，用戶能夠應用Lucene開展索引查詢活動，從而檢索所需要的多媒體文件。在檢索完成之后就能夠響應用戶的播放請求，經過流媒體視頻播放。

3.該平臺的云數據中心的虛擬化層，主要采用虛擬化技術將各種不同的存儲設備集中到資源池之中，經由部署式文件系統為操作者提供相應的資源存儲服務。關于云計算和存儲的管理功能主要由Pass（平臺服務層）實現。在這一層中由CEPH實現數據云存儲活動，將文件信息集中存儲起來，由Hadoop中的Map Reduce實現云計算服務，對平臺中的不同任務進行相應的計算處理工作。

4.客戶機的數據服務主要由軟件服務層提供，主要包括網絡服務器、多媒體服文件務器、搜索引擎和轉碼工具構成主要的服務基礎，最終由客戶端進行多媒體再遠管理平臺的接入，提供相應的資源管理工作。

（三）平臺服務構架

在應用基于云平臺的資源時，客戶機需要通過網頁對平臺的所提供的相關服務進行登錄，然后由平臺匹配相應的API或REST服務實現平臺的基礎服務的使用。基于云平臺的多媒體管理平臺的基礎服務主要分為兩項，首先是多媒體存儲服務，由平臺負責對不同的媒體信息進行存儲，比如用戶和文件的源信息以及文件的倒排索引、分布式文件系統等等。其次是多媒體計算服務，主要負責平臺中的分布式計算以及視頻轉碼處理等其他內容。

1.資源云存儲服務

主要由平臺對圖片和視頻等資源進行有效的存儲，并且按存儲的關鍵信息建立相應的索引，保存文件源信息，最為主要的是對小型文件的存儲方式進行的改進：系統能夠通過關鍵屬性的方式將具有關聯性的各種微型文件進行合并重組存儲。

2.資源云計算服務

云計算負責對存儲在資源庫中的視頻文件進行轉碼，首先進行預處理活動，將處理的結果按Hadoop集群進行分段式轉碼，然后將轉碼后的資源存儲在云平臺內。

四、基于云平臺的多媒體管理技術應用分析

由于云管理平臺的功能具有復雜性，所涉及的主要操作流程也比較多，因此本文的研究重點主要還是集中在數量較多的小文件的云存儲以及分布處理功能上。

（一）多媒體圖片文件上傳功能

在多媒體資源應用的過程中，多媒體文件中圖片是常見的文件資源形式，同時也是數量眾多的小型文件的代表。對多媒體圖片的上傳功能分析如下：

1.計算機用戶選擇相應的多媒體文件進行上傳，圖片在服務器的緩沖區進行保存，同時圖片文件的源數據保存至數據庫中，平臺根據圖片文件的信息建立起倒排索引，為后續的文件檢索功能做準備。

2.服務器對圖片的信息進行識別，如果圖片文件的內容過大，則將重組后的文件上傳到CEPH集群指定的Bucket下存儲，如果圖片內容沒有超過限定，就根據主要類別和合并內容將對應的映射關系寫到數據庫中，便于信息查找。

3.在服務器的緩沖區的圖片通過服務器的定時任務或者手動操作進行合并，然后根據所有待合并的圖片的關鍵信息進行語義聚類，將具有關聯性的圖片合并到一個組中。

4.在聚類的圖片文件分組的基礎上對圖片進行合并，在不同文件合并的過程中要注意文件的大小，將盡可能多的圖片合并到同一文件夾中。

（二）多媒體視頻轉碼功能

在多媒體資源管理工作開展過程中，視頻轉碼是核心的工作模塊之一，其主要工作流程為：

1.媒體用戶首先上傳視頻的主要信息以及內容簡介，并選擇視頻進行上傳，上傳至網絡服務器的緩沖區進行存儲，并將視頻的源數據上傳到數據庫中;并根據視頻關鍵信息建立相應的索引，便于后續的視頻檢索。

2.根據服務器的主要工作順序，對緩沖區中的不同視頻進行模塊劃分，將視頻文件劃分為不同的等份，同時保存不同模塊視頻的主要信息;然后將帶有不同信息的視頻文件上傳到CEPH集群中，然后由網絡服務器向對Hadoop的集群下達數據分析指令。

3.在接受到網絡服務器的指令后，Hadoop開始Map Reduce作業活動：將主要的視頻片段進行下載，主要是從CEPH現在到不同的Map節點上，然后對視頻片段進行轉碼。這一環節完成之后所有的視頻片段會上傳到Reduce節點，進行視頻片段合并。

4.視頻文件經過轉碼、重組完成之后，組合的文件傳到CEPH集群的相就的位置，并將存儲的具體位置寫入數據庫中。

（三）圖片文件檢索

1.客戶機在圖片搜索頁面添加關鍵詞，然后服務器依據關鍵詞進行文件索引，在檢索過程中應用Word2vec對相應的關鍵詞進行擴充，并尋找出檢索詞的集合。

2.系統平臺所有包含圖片ID的主要信息反饋給服務器，同時服務器結合數據庫對圖片和合并文件夾進行定位，然后從CEPH集群的相應位置上下載好合并文件并集合到服務器本身的緩沖區中。

3.服務器從主要數據中獲取不同合并文件中的圖片位置信息，包括圖片所在位置、大小、格式，然后將這些信息拆分為合并文件，從而形成原始圖片，并將圖片文件在客戶端上呈現給用戶。

（四）視頻文件檢索

關于視頻檢索在管理平臺中的過程：

1.客戶機對視頻信息的關鍵詞進行輸入，服務器結合關鍵詞進行內容索引，在檢索過程中應用Word2vec對相應的關鍵詞進行擴充，并尋找出檢索詞的視頻集合。然后在數據庫讀取視頻的源信息，并且將信息形成數據列表反饋給用戶。

2.客戶機點擊相應的視頻進行播放，服務器接接收到視頻播放信息，然后在CEPH集群中搜索存儲位置，讀取相應的視頻文件。

3.CEPH將對應視頻文件下載到流媒體服務器上，流媒體服務器對視頻文件進行處理，客戶機得到播放地址，進行視頻播放。

五、結語

本文先是對基于云平臺的多媒體資源管理平臺的整體運行進行了闡述，其次對管理平臺的主要核心模塊進行了相應的設計與分析，然后對多媒體資源管理平臺相關使用流程進行說明。關于云平臺多媒體資源庫的設計主要是從兩個方面進行了調整，首先是提升大量小型文件的存儲效率和讀寫效率，其次是對多媒體資源管理平臺中的資源轉碼工作進行了分布式的優化，從而有效提升多媒體資源管理平臺的工作效率。

參考文獻：

[1]徐哲.高校多媒體管理人員不足的解決策略研究——基于績效導向與成本控制的視角[J].電腦知識與技術，2017，13（25）：101-104.

[2]張繼高，李獻廣，劉書景.信息化時代下多媒體管理發展方向和對策[J].教育教學論壇，2017（09）：254-255.

[3]沈杰，張曉東.云桌面在高校多媒體教室管理中的應用與思考[J].科技展望，2016，26（35）：3-4.

[4]蔡紅標，付海燕，溫學智.電務多媒體維修管理技術研究[J].鐵道通信信號，2015，51（02）：49-51.

[5]曾玲.多媒體遠程交互式教學系統的研究與實現[D].湖南大學，2014.

[6]董其文.基于HDFS的小文件存儲方法的研究[D].大連海事大學，2013.

[7]高澤棟.一種優化HDFS小寫文件存儲策略研究與實現[D].華中科技大學，2013.

[8]代萬能.倒排索引技術在Hadoop平臺上的研究與實現[D].電子科技大學，2013.