多源數(shù)據(jù)聚合系統(tǒng)及相關(guān)技術(shù)

劉輝

摘 要數(shù)據(jù)聚合是指通過同時聚集和多個數(shù)據(jù)源分析數(shù)據(jù)來獲取信息全貌的數(shù)據(jù)。在數(shù)據(jù)信息的多樣化發(fā)展下，為了實現(xiàn)對各類數(shù)據(jù)的多元化分析和應(yīng)用，相關(guān)人員需要結(jié)合實際采取多樣化的策略來處理多源數(shù)據(jù)下載，從而提升數(shù)據(jù)信息應(yīng)用效率。

【關(guān)鍵詞】多源數(shù)據(jù)聚合系統(tǒng) 視頻網(wǎng)站 聚合 傳輸加速

網(wǎng)絡(luò)技術(shù)的快速發(fā)展使得視頻分享技術(shù)也得到了進步，由此在社會上出現(xiàn)了一批視頻分享網(wǎng)站。成功的視頻網(wǎng)站往往需要具備節(jié)目內(nèi)容豐富和節(jié)目播放流暢的特點。但是現(xiàn)階段一些視頻網(wǎng)站應(yīng)用的都是B/S結(jié)構(gòu)，服務(wù)器自身承載能力和視頻播出流暢性是有限的。為了提升視頻播放質(zhì)量，在聚集互聯(lián)網(wǎng)各類視頻的基礎(chǔ)上提出了一種新型多源數(shù)據(jù)聚合系統(tǒng)。在這個系統(tǒng)上能夠讓用戶瀏覽更多網(wǎng)站的內(nèi)容，幫助用戶聚合資源，提升視頻播放流暢性。

1 多源數(shù)據(jù)聚合系統(tǒng)概述

1.1 概要設(shè)計

多源數(shù)據(jù)聚合系統(tǒng)建設(shè)的目的是為用戶提供高質(zhì)量、能夠交互的的媒體播放服務(wù)，并在此基礎(chǔ)航完成定向廣告、個性化搜索。多源數(shù)據(jù)聚合p2p流媒體點播系統(tǒng)——CloudMedia，是一個視頻分享網(wǎng)站系統(tǒng)，在視頻點播中添加了p2p技術(shù)。CloudMedia由爬蟲、視頻網(wǎng)站、客戶端、索引服務(wù)器、視頻網(wǎng)站等共同組成，以網(wǎng)絡(luò)視頻的形式向用戶展現(xiàn)信息。其中，爬蟲服務(wù)器主要是針對不同網(wǎng)站采用不同的方式來播放視頻。索引服務(wù)器主要是用來索引在線peer，實現(xiàn)對peer地點信息的有效管理。……