校園視頻點播服務中一種基于DHT節點組織的原型系統

范媛

（中國石油大學（北京）信息技術中心，北京102249）

校園視頻點播服務中一種基于DHT節點組織的原型系統

范媛

（中國石油大學（北京）信息技術中心，北京102249）

針對目前校園網內流媒體對等網絡中節目資源的快速增長帶來的查詢效率降低的問題，提出了一種適用于流媒體的分布式散列方法，并且基于該方法建立提出了一種對等網絡視頻點播的原型系統，該系統通過對網絡內的節點進行分層次的管理和組織，將底層節點和中心節點進行了一層隔離，不僅減少了隨意節點對系統的擾動性，還可快速的對節點以及資源進行組織查詢和定位，查詢時間可通過二分查詢控制在log2N的時間復雜度內，使流媒體服務質量得到了保障和提升。

校園網；多媒體原型系統；對等網絡；流媒體；散列算法

伴隨著網絡的普及以及多媒體技術的迅速發展，視頻點播系統在校園網內得到了廣泛的利用，越來越多的視頻課程被上傳至校園網上，點播數量不斷攀升[1]。傳統的基于視頻服務器的集中式視頻點播系統雖然具有較為便捷的部署管理方式，但是隨著客戶數量的增加，服務器的負載也會越來越大，系統的服務質量無法得到有效保證，用戶體驗會越來越差[2-3]。

近年來，對等網絡（Peer to peer，P2P）的出現使得文件共享越來越方便快捷，由于對等網絡有著非常好的擴展性以及自適應性，校園網內更多的視頻服務也開始采用基于對等網絡的點播系統[4]。相較于傳統的基于中央視頻服務器的點播系統，對等網絡系統是一個負載均衡的系統，所有的客戶節點都有機會充當服務器的角色，客戶數量的增加不會引起系統服務質量的降低，相反，會讓視頻服務質量更有保障[5-6]。

在對等網絡中，節點如何進行組織和管理是一道難題，多種節點組織方式被運用在對等網絡中。其中，由于分布式散列表（Distributed Hash Table，DHT）在組織節點的同時可提供一定程度的檢索功能，目前已被廣泛運用于P2P網絡中[7-8]，然而隨著網絡規模的增大，通過DHT進行查詢和定位的成本將會越來越高，極大地制約了檢索效率[9]。

文中構建了一種采用DHT算法來進行資源和節點信息管理的流媒體點播系統MDS（Multimedia DHT based streaming System），有效地降低了數據查詢和節點定位的成本，提高了流媒體系統的響應。

1 MDS系統的組建

MDS系統是由多個MDS節點群構成的層次式流媒體系統。

每個MDS節點群均由若干個具有相似資源的節點構成，節點群中的節點根據在線時長以及網絡狀況被系統區分為兩種類型的節點：普通節點和中心節點。

1.1 MDS系統中的角色定義

節點群：由若干個具有相同特性的節點構成，這些節點擁有相近的網段、節點之間具有比較高效的數據傳輸效率、擁有一些類似的節目資源等。由于節點群中所有節點具有相似性，節點群中節點大部分的資源查詢以及數據傳輸都可以在節點群中完成。

中心節點：根據一些評判標準，例如節點的在線時長、節點的網絡狀況等，遴選出節點群中比較穩定的幾個節點作為中心節點，用來充當局部查詢服務器的角色，并將節點群中的節點組織起來，而其余節點稱為普通節點。

流媒體服務器：提供整個系統內部分的流媒體數據服務以及整個系統中的節點注冊服務，向新加入的節點返回最優的節點群信息，對節點群中的中心節點進行資源調度。

1.2 節點的組織

在流媒體系統中，節點的加入和離開會帶來系統的擾動，為了避免這樣的擾動所引起的網絡廣播，降低系統和節點信息的不可靠性，MDS系統會在相似的節點中挑選出一些中心節點，并通過分布式散列表DHT將這些中心節點組織在一起，由中心節點對新加入的節點以及節點的離開進行管理，然后通過更適用于流媒體查詢的DHT計算方法，將節點群中的普通節點組織在一起，向普通節點提供流媒體資源的查詢服務，從而避免了散列表的頻繁更新帶來的查詢效率下降、等問題[10]。

普通節點只需要保留中心節點的信息，在查詢時通過中心節點進行查詢，既有效地降低了流媒體服務器的負擔，又由于被遴選出的中心節點具有比較高的穩定性，從而能夠保證查詢效率不會受到影響。

另外，通過DHT算法也能夠將中心節點自身有效地組織在一起，并維護一份局部的中心節點散列表，用于向其他中心節點轉發查詢請求。MDS系統結構如圖1所示。

1.3 流媒體散列算法

一般的DHT算法都是將節點的特征做一個散列運算來避免系統中的散列沖突[11]。然而，在基于對等網絡的流媒體點播系統中，由于對流媒體資源有時限性以及順序性的要求，查詢資源時需要做到查詢結果能夠快速返回，資源結果能夠進行快速定位[12]。

針對流媒體系統時限性的特性，我們在設計散列算法時將用戶流媒體資源的標識符tvID，流媒體的起始時間startTime，系統當前時間curTime，IP地址這4個向量作為散列函數的參數，來提高查詢的準確性。

普通節點和中心節點的查詢側重點不同：普通節點的查詢更多的傾向于同一節點群中同一流媒體資源在時間上的查詢，并且由于視頻資源的特性，這種查詢具有時序性，用戶只會查詢后續的媒體資源；而中心節點的查詢更多的是針對流媒體節目源以及節目源所擁有的資源時序片段，因此，針對這兩種查詢方式的不同要求，我們對這四個向量采用了不同的組合來實現查詢結果的優化。

這4個向量計算出的散列值，可以在節點查詢時通過散列表進行二分查找，在時間復雜度log2N下就可以快速查詢到資源信息。

1.4 節點群的散列組織

節點群里的所有節點具有相同的節目資源，并且通過散列算法經由中心節點組織在一起，如表1所示。為了提高系統響應以及資源查詢效率，每個節點自身需要從中心節點獲取一部分最鄰近節點的節點信息作為一個查詢緩存池，節點會周期性的和中心節點進行通信，來更新這個鄰近節點信息表。

表1 普通節點散列函數

通過節點群自身的節點信息表，可以快速的查詢資源信息，并且能夠優先選擇同網段節點，以及從多個鄰近節點進行分段、并行傳輸流媒體資源。如果在節點群自身的節點信息表中對所需資源無法查詢到結果，那么節點可將查詢信息提交到中心節點，由中心節點向其他節點群或流媒體服務器進行查詢轉發。

1.5 中心節點的散列組織

不同于普通節點，由于中心節點需要頻繁的與流媒體服務器進行節點組織信息以及查詢信息的交換，所以中心節點在選取時需要更多的考慮節點的網絡穩定性，也就是節點的在線時長以及網絡狀態。

類似于普通節點的組織，中心節點也可以通過散列表組織在一起，如表2所示。流媒體服務器在為新加入節點分配中心節點時，會優先考慮節點所需資源在時間以及網段上更接近的，也就是endTime、startTime、IP Address更符合節點要求的中心節點。

表2 中心節點散列函數

每個中心節點也會保存一部分系統中其他中心節點的信息表，當節點群內普通節點的查詢需求無法獲得滿足時，中心節點需要將查詢請求轉發到網絡中的其他中心節點或者流媒體服務器進行查詢。

1.6 流媒體服務器

在MDS系統中，流媒體服務器需要承擔下列工作：

1）數據傳輸：響應不同的客戶請求，傳輸相應的流媒體數據；

2）新節點注冊：當有新的節點加入到系統中，作為系統內的調度者，需要將新加入節點注冊到最匹配的中心節點，加入到相應的節點群；

3）節點調配：當節點需要改變點播節目，此時需要向流媒體服務器發出點播變更需求以進行中心節點切換，流媒體服務器需要根據當前的點播需求，提供出符合條件的中心節點信息。

2 MDS原型系統

如上所述的MDS節點組織結構，我們設計出了MDS原型系統，如圖2所示為MDS原型系統框架。

圖2 MDS原型系統框架

2.1 數據模塊

數據模塊主要功能如下：

向流媒體服務器發起加入MDS系統的請求，接收從流媒體服務器返回的中心節點信息，并將中心節點信息反饋給管理模塊。

2.2 數據緩存區

用于流媒體數據的交換，可作為客戶端接收、保存從其他節點發來的流媒體數據，也可作為服務節點將保存的流媒體數據發送給其他節點；

2.3 管理模塊

管理模塊主要負責數據的傳輸整合以及與中心節點的通訊。

1）向中心節點提交數據請求，根據中心節點返回的數據節點信息，向多個數據節點發起請求，建立數據模塊和數據節點之間的聯系；

2）和中心節點周期性的進行通信，維持自身的節點信息資源表；

3）負責將接收的流媒體信息進行整合、播放；

2.4 流媒體服務器

流媒體服務器主要實現下列功能：

管理新加入節點的注冊信息；對系統中的中心節點信息進行維護；接收中心節點的查詢請求；對流媒體服務請求進行應答以及流媒體數據傳輸。

3 流媒體數據點播流程

3.1 節點的注冊

新節點加入系統步驟如下：

1）新節點數據模塊向流媒體服務器提交數據請求；

2）流媒體服務器向數據模塊返回中心節點信息；

3）管理模塊與中心節點進行通訊，向中心節點進行注冊；

4）中心節點返回與新節點匹配的部分節點信息表，完成新節點注冊。

3.2 數據的查詢與傳輸

MDS系統中數據的查詢與傳輸步驟如下：

1）管理模塊定期與中心節點進行通訊，對自身保存的節點信息進行更新；

2）節點通過自身的節點信息表進行數據查詢，如果無所需信息，將查詢請求提交給中心節點，等待返回；

3）對返回的查詢結果中的節點信息進行計算，根據不同的節點信息發起數據傳輸請求；

4）節點與流媒體服務器以及其他節點建立傳輸連接，接收數據，并進行數據整合，完成數據傳輸；

5）普通節點將自身擁有的資源信息更新到中心節點；

6）節點響應其他節點的數據請求，發起數據傳輸。

3.3 中心節點的遴選和建立

當有兩個或兩個以上節點時，可以設立中心節點：

1）在具有相似節目資源的節點中，由流媒體服務器對所有節點計算節點能力值，并挑選出能力值最大的節點。能力值的計算可根據節點的在線時長，網絡帶寬進行加權計算；

2）對所有參與能力值計算的節點進行中心節點更換通知；

3）節點在中心節點進行注冊。

3.4 中心節點的更換

當中心節點退出時，或者中心節點由于網絡帶寬下降導致能力值降低時，需要進行中心節點的更換，步驟如下：

1）流媒體服務器對原節點群中的所有節點暫時接管；

2）流媒體服務器將所有臨時接管的節點進行節點群的重新分配，將符合條件的節點加入到已有的節點群中；

3）對剩余的節點重新進行中心節點的遴選，挑選出新的中心節點；

4）將新遴選出的中心節點信息向剩余節點進行廣播；

5）完成剩余節點在新中心節點的注冊。

4 結束語

MDS系統通過基于DHT算法的節點群與中心節點的組織，有效的利用了校園網內流媒體客戶端的空閑資源，較好地緩解了流媒體服務器的壓力，其系統構架具有以下特點：

穩定性：通過節點群的組織方式，做到了將節點注冊系統和退出系統時的隨意性進行了比較好的隔離，避免了單個節點對整個系統的擾動，使得節點信息的可靠性得到了顯著的提升，對于整個流媒體系統來說，其穩定性也得到了充分的保障；

可靠性：所有普通節點都通過中心節點聯系在一起，當中心節點退出時，流媒體服務器會暫時進行接管，并挑選出下一個中心節點或對節點群進行分拆合并，保證了系統不會受到中心節點退出的影響；

高效性：通過針對于流媒體數據查詢設計的分布式散列算法，提高了系統中數據查詢操作的效率，節點的查詢請求可以在log2N的時間內獲得快速響應；

可擴展性：MDS系統的這種分布式散列的節點組織方式不僅可以適用于流媒體系統，對于文件共享系統只要選取好相應的散列函數算法，依然可以適用。

綜上所述，MDS系統解決了流媒體系統中組織和查詢這兩個主要問題。然而，仍然有多個問題需要進行更深入、細致的研究，例如：如何合理的采用激勵機制，讓整個系統的傳輸效率得到進一步的提升，更充分的將用戶的閑置資源利用起來[13-14]；如何保護版權數據，避免用戶在流媒體數據信息未經版權方授權的情況下，將數據資源進行保存等[15-16]。

[1]沈時軍，李三立.基于P2P的視頻點播系統綜述[J].計算機學報，2010（4）:613-624.

[2]秦豐林，劉琚.P2P網絡流媒體關鍵技術[J].電子學報，2011（4）:919-927.

[3]閔二龍，陳震，許宏峰，等.內容中心網絡CCN研究進展探析[J].信息網絡安全，2012（2）:6-10.

[4]李清霞，魏文紅.基于GCNET協議的校園網P2P流媒體直播系統[J].計算機工程與設計，2013（5）:1757-1761.

[5]張明軍，彭婭，俞文靜.P2P流媒體服務方案及其關鍵技術研究[J].計算機工程，2013（1）:125-130.

[6]宋俊平，張棪，周旭，等.基于SVC的P2P流媒體系統研究綜述[J].計算機應用研究，2013（4）:965-970.

[7]王昱華，江林，胡志剛，等.基于DHT的P2P系統負載均衡算法[J].計算機工程與應用，2015（23）:100-105.

[8]黃志敏，曾學文，陳君.一種基于Kademlia的全分布式爬蟲集群方法[J].計算機科學，2014（3）:124-128.

[9]李璞，陳世平，李劍鋒.一種基于對等網絡的云資源定位算法[J].計算機應用研究，2013（2）:570-573.

[10]王慧，王錚.基于新路由表的雙向搜索chord路由算法[J].計算機工程與應用，2014（23）:95-99.

[11]吳吉義.基于DHT的開放對等云存儲服務系統研究[D].杭州:浙江大學，2011.

[12]馬勇，王松，李玉卿，等.基于P2P的語義檢索系統設計[J].計算機工程與科學，2010（1）:141-145.

[13]虞歌，顏婷.一種改進的基于等級的P2P流媒體激勵機制[J].微電子學與計算機，2011（1）:169-172.

[14]王濤春，羅永龍，左開中，等.P2P網絡中基于權重的動態信任模型[J].計算機應用研究，2011（1）:300-303.

[15]史元春，徐光祐，高原，等.中國多媒體技術研究[J].中國圖象圖形學報，2011（7）:1127-1133.

[16]繆一心，楊明.基于數字水印的點對點流媒體內容保護[J].計算機工程，2011（9）:165-170.

A prototype system based on DHT node organization in campus video on demand service

FAN Yuan
（Information Technology Center，China University of Petroleum?Beijing，Beijing102249，China）

Aiming at the fast growth of media resource and the decrease of query efficiency in peer?topeer network，a distributed hash method built to streaming media is proposed.Based on this method，this system organizes nodes in layers，which not only reduces the perturbation of the random nodes to the system，but also quickens the speed of the system.The query time should be controlled by the binary in the log2Ntime complexity.The streaming media quality of service will be protected and enhanced.

campus network；multimedia system；peer to peer network；streaming media；DHT

TN919.85

A

1674-6236（2017）22-0186-04

2016-11-14稿件編號：201611110

范媛（1980—），女，河北南和人，碩士，工程師。研究方向：高校辦公自動化，校園網系統建設。