基于機(jī)會(huì)協(xié)作的動(dòng)漫產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)

郭繼聯(lián)

摘 要： 在網(wǎng)絡(luò)大數(shù)據(jù)處理技術(shù)的快速發(fā)展和廣泛應(yīng)用的前提下，提出基于機(jī)會(huì)協(xié)作的動(dòng)漫產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)處理機(jī)制，通過研究、分析動(dòng)漫產(chǎn)業(yè)發(fā)展需求，將機(jī)會(huì)協(xié)作機(jī)制引入到網(wǎng)絡(luò)大數(shù)據(jù)采集過程，并設(shè)計(jì)動(dòng)漫產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)處理、分析方案。利用網(wǎng)絡(luò)大數(shù)據(jù)實(shí)現(xiàn)“技術(shù)+內(nèi)容”的雙軌發(fā)展，構(gòu)建與動(dòng)漫用戶需求精確匹配的現(xiàn)代動(dòng)漫產(chǎn)業(yè)發(fā)展體系。通過試驗(yàn)對(duì)動(dòng)漫產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)傳輸、采集、處理進(jìn)行測(cè)試，結(jié)果表明設(shè)計(jì)的基于機(jī)會(huì)協(xié)作的動(dòng)漫產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)處理系統(tǒng)在數(shù)據(jù)吞吐率、傳輸可靠性和系統(tǒng)處理性能等方面表現(xiàn)出了更優(yōu)越的性能，為其他產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)提供了參考依據(jù)。

關(guān)鍵詞： 動(dòng)漫產(chǎn)業(yè)； 大數(shù)據(jù)處理； 機(jī)會(huì)協(xié)作； 系統(tǒng)設(shè)計(jì)

中圖分類號(hào)： TN958?34； TP391.4 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）09?0041?03

Abstract： On the premise of the fast development and wide application of network big data processing technology， the network big data processing mechanism for animation industry based on opportunity cooperation is proposed. The opportunity coope?ration mechanism is introduced into the network big data acquisition process by researching and analyzing the needs of animation industry development. The network big data processing and analysis schemes for animation industry were designed. The network big data is used to realize the double?track development of ″technology+content″， and construct the modern animation industry development system satisfying the demands of animation users entirely. The network big data transmission， acquisition and processing of the animation industry were tested. The test results show that the designed system based on opportunity cooperation has perfect performances in the aspects of data throughput， transmission reliability， system processing， etc.， and provides the reference basis for the design of network big data processing systems of other industries.

Keywords： animation industry； big data processing； opportunity cooperation； system design

0 引 言

隨著大數(shù)據(jù)時(shí)代的到來，動(dòng)漫產(chǎn)業(yè)與網(wǎng)絡(luò)大數(shù)據(jù)處理技術(shù)進(jìn)一步融合，使得動(dòng)漫創(chuàng)意、制作、傳播、消費(fèi)、服務(wù)構(gòu)成的產(chǎn)業(yè)鏈條越來越依賴互動(dòng)共生的網(wǎng)絡(luò)生態(tài)系統(tǒng)，從而推動(dòng)動(dòng)漫產(chǎn)業(yè)進(jìn)入躍遷發(fā)展新時(shí)期[1]。本文在大數(shù)據(jù)處理、分析技術(shù)的深刻影響下，提出利用大數(shù)據(jù)挖掘、深度分析與可視化結(jié)果重塑我國動(dòng)漫產(chǎn)業(yè)。通過網(wǎng)絡(luò)技術(shù)為動(dòng)漫產(chǎn)業(yè)發(fā)展提供重要支撐和平臺(tái)，是實(shí)現(xiàn)動(dòng)漫產(chǎn)業(yè)大數(shù)據(jù)處理、分析的前提。

針對(duì)動(dòng)漫產(chǎn)業(yè)在大數(shù)據(jù)采集、傳輸、處理等方面的問題，本文設(shè)計(jì)了一種適用于動(dòng)漫產(chǎn)業(yè)的基于機(jī)會(huì)協(xié)作的大數(shù)據(jù)處理系統(tǒng)（OCA）[2]。本文的主要工作包括：基于機(jī)會(huì)協(xié)作技術(shù)建立了數(shù)據(jù)采集模型；分析了動(dòng)漫產(chǎn)業(yè)互聯(lián)網(wǎng)中節(jié)點(diǎn)到聚合點(diǎn)的大數(shù)據(jù)傳輸可靠性和處理復(fù)雜度規(guī)律，據(jù)此建立大數(shù)據(jù)處理系統(tǒng)。

1 動(dòng)漫產(chǎn)業(yè)網(wǎng)絡(luò)模型

為了有效提高動(dòng)漫產(chǎn)業(yè)信息化水平，改善動(dòng)漫產(chǎn)業(yè)綜合決策，必須保證動(dòng)漫產(chǎn)業(yè)相關(guān)數(shù)據(jù)科學(xué)化、精確化。利用網(wǎng)絡(luò)技術(shù)，設(shè)計(jì)了一個(gè)動(dòng)漫產(chǎn)業(yè)網(wǎng)絡(luò)模型。該模型包括： 采集互聯(lián)網(wǎng)數(shù)據(jù)、機(jī)會(huì)協(xié)作通信技術(shù)、數(shù)據(jù)處理、實(shí)時(shí)監(jiān)控等功能，使得網(wǎng)絡(luò)技術(shù)能夠有機(jī)地結(jié)合動(dòng)漫產(chǎn)業(yè)數(shù)據(jù)[3]。動(dòng)漫產(chǎn)業(yè)大數(shù)據(jù)處理架構(gòu)模型如圖1所示。

本文設(shè)計(jì)的動(dòng)漫產(chǎn)業(yè)網(wǎng)絡(luò)模型包括物理層、協(xié)作層、大數(shù)據(jù)層和應(yīng)用層。其中物理層由互聯(lián)網(wǎng)中提供動(dòng)漫數(shù)據(jù)的網(wǎng)絡(luò)終端構(gòu)成；協(xié)作層通過應(yīng)用機(jī)會(huì)協(xié)作通信技術(shù)保障數(shù)據(jù)傳輸?shù)目煽啃浴⒎€(wěn)定性；大數(shù)據(jù)層由自適應(yīng)控制數(shù)據(jù)處理模塊和多樣性應(yīng)用數(shù)據(jù)處理模塊構(gòu)成，負(fù)責(zé)對(duì)匯聚的數(shù)據(jù)處理、分析[4]。同時(shí)在大數(shù)據(jù)層中建立不同類型數(shù)據(jù)庫，以方便對(duì)不同類型數(shù)據(jù)多樣性檢索，進(jìn)而提高數(shù)據(jù)挖掘效率和精度，數(shù)據(jù)多樣性檢索流程如圖2所示。應(yīng)用層通過多種網(wǎng)絡(luò)傳輸方式為客戶提供大數(shù)據(jù)分析結(jié)果。同時(shí)，本網(wǎng)絡(luò)模型架構(gòu)增加了跨層交互接口以實(shí)現(xiàn)更多形式的數(shù)據(jù)共享。

2 基于機(jī)會(huì)協(xié)作的大數(shù)據(jù)處理

2.1 機(jī)會(huì)協(xié)作機(jī)制

2.2 大數(shù)據(jù)處理機(jī)制與方法

基于構(gòu)建的機(jī)會(huì)協(xié)作機(jī)制的數(shù)據(jù)傳輸、采集模型，建立多元化的數(shù)據(jù)處理、分析方案[6]。通過數(shù)據(jù)類型的感知特性制定不同的映射機(jī)制，以提高系統(tǒng)的數(shù)據(jù)處理能力。本系統(tǒng)采用的大數(shù)據(jù)處理流程如圖3所示。

在實(shí)際大數(shù)據(jù)處理系統(tǒng)中，難以準(zhǔn)確預(yù)測(cè)用戶需要的數(shù)據(jù)庫類型及數(shù)據(jù)映射。本文在不同數(shù)據(jù)處理作業(yè)之間建立緩沖區(qū)，用于存放多樣性數(shù)據(jù)映射Hash二維矩陣，以便進(jìn)行排序和最優(yōu)化處理[7]。同時(shí)，在數(shù)據(jù)聯(lián)合檢索過程中采用數(shù)據(jù)作業(yè)流交互方式，以實(shí)現(xiàn)在數(shù)據(jù)替換時(shí)對(duì)檢索頻次高、檢索次序合理、交互間隔代價(jià)最小的數(shù)據(jù)映射表項(xiàng)以及Hash元素的快速查找。

（1） 設(shè)定初始數(shù)值：[i=1，p=0，Pbit=0]。

（2） 對(duì)大數(shù)據(jù)進(jìn)行機(jī)會(huì)協(xié)作算法處理，結(jié)合式（3）～式（5）得到[p，][Pbit，]然后更新Hash矩陣和處理作業(yè)編號(hào)[i]。

（3） 如果[μ<0.5，]則重新采用機(jī)會(huì)協(xié)作算法對(duì)數(shù)據(jù)流進(jìn)行優(yōu)化處理。

（4） 否則，繼續(xù)進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)和作業(yè)流處理。

（5） 如果處理作業(yè)編號(hào)[i>n]，則本次大數(shù)據(jù)處理結(jié)束；反之返回步驟（2）。

3 系統(tǒng)性能測(cè)試

通過2組實(shí)驗(yàn)對(duì)機(jī)會(huì)協(xié)作的大數(shù)據(jù)傳輸機(jī)制的可靠性以及動(dòng)漫產(chǎn)業(yè)的大數(shù)據(jù)處理系統(tǒng)的性能進(jìn)行驗(yàn)證與測(cè)試。

第一組實(shí)驗(yàn)對(duì)系統(tǒng)在傳輸數(shù)據(jù)吞吐量、丟包率和能效三方面進(jìn)行測(cè)試，通過檢測(cè)數(shù)據(jù)的數(shù)學(xué)分析和仿真驗(yàn)證分析基于機(jī)會(huì)協(xié)作技術(shù)大數(shù)據(jù)處理系統(tǒng)的性能，其中測(cè)試數(shù)據(jù)如表1所示，結(jié)果如圖4所示。

通過對(duì)大數(shù)據(jù)傳輸性能測(cè)試結(jié)果曲線圖研究、分析，表明基于機(jī)會(huì)協(xié)作技術(shù)的大數(shù)據(jù)傳輸方式相對(duì)于傳統(tǒng)數(shù)據(jù)傳輸方式有效地提高了數(shù)據(jù)吞吐量，并且具有較好的可靠性、能效性。

第二組實(shí)驗(yàn)通過實(shí)時(shí)監(jiān)測(cè)系統(tǒng)大數(shù)據(jù)傳輸流持續(xù)[100 min]，以實(shí)現(xiàn)系統(tǒng)對(duì)大數(shù)據(jù)的采集、檢索成功率進(jìn)行性能測(cè)試，實(shí)驗(yàn)結(jié)果如圖5所示。通過對(duì)大數(shù)據(jù)讀取性能、檢索成功率測(cè)試結(jié)果曲線圖研究、分析，表明該系統(tǒng)具有較強(qiáng)的數(shù)據(jù)讀取和檢索性能，滿足動(dòng)漫網(wǎng)絡(luò)大數(shù)據(jù)處理需求。

4 結(jié) 論

針對(duì)網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)膹?fù)雜性、高誤碼率和大數(shù)據(jù)多樣性等特點(diǎn)，為保證動(dòng)漫產(chǎn)業(yè)大數(shù)據(jù)采集的可靠性、高效性。本文提出基于機(jī)會(huì)協(xié)作的動(dòng)漫產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)處理機(jī)制，通過研究、分析動(dòng)漫產(chǎn)業(yè)發(fā)展需求，將機(jī)會(huì)協(xié)作機(jī)制引入到網(wǎng)絡(luò)大數(shù)據(jù)采集過程，并設(shè)計(jì)動(dòng)漫產(chǎn)業(yè)網(wǎng)絡(luò)大數(shù)據(jù)處理、分析方案。通過實(shí)驗(yàn)對(duì)系統(tǒng)數(shù)據(jù)傳輸可靠性和大數(shù)據(jù)處理性能進(jìn)行測(cè)試，結(jié)果表明，本系統(tǒng)在數(shù)據(jù)吞吐率、傳輸可靠性和系統(tǒng)處理性能等方面表現(xiàn)出了更優(yōu)越的性能。

參考文獻(xiàn)

[1] 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013，50（1）：146?169.

[2] 亓開元，趙卓峰，房俊，等.針對(duì)高速數(shù)據(jù)流的大規(guī)模數(shù)據(jù)實(shí)時(shí)處理方法[J].計(jì)算機(jī)學(xué)報(bào)，2012，35（3）：477?490.

[3] 田銳，孫利民，劉燕，等.CABRA：車載網(wǎng)絡(luò)中基于協(xié)作的大數(shù)據(jù)傳輸增強(qiáng)機(jī)制[J].計(jì)算機(jī)研究與發(fā)展，2009，46（12）：2076?2084.

[4] Association for the Advancement of Medical Instrumentation. Testing and reporting performance results of cardiac rhythm and ST segment measurement algorithms： ANSI/AAMI EC57?2012 [S]. Arlington： Association for the Advancement of Medical Instrumentation， 2012.

[5] 林闖，陳瑩，黃霽崴，等.服務(wù)計(jì)算中服務(wù)質(zhì)量的多目標(biāo)優(yōu)化模型與求解研究[J].計(jì)算機(jī)學(xué)報(bào)，2015（10）：1907?1923.

[6] 賈曉豐.基于物聯(lián)網(wǎng)的大數(shù)據(jù)量實(shí)時(shí)信息交換策略研究[J].電子政務(wù)，2011（4）：16?20.

[7] 王淑蓉，王長(zhǎng)元，喻鈞.基于服務(wù)計(jì)算的服務(wù)組合研究[J].現(xiàn)代電子技術(shù)，2012，35（12）：69?71.

[8] WIGAN M R， CLARKE R. Big data′s big unintended consequences [J]. Computer， 2013， 46（6）： 46?53.

[9] 敖莉，舒繼武，李明強(qiáng).重復(fù)數(shù)據(jù)刪除技術(shù)[J].軟件學(xué)報(bào)，2010（5）：916?929.