基于大數(shù)據(jù)背景下的圖形處理技術(shù)變革探索

趙 銳

基于大數(shù)據(jù)背景下的圖形處理技術(shù)變革探索

趙 銳

（西安郵電大學(xué)，西安，710121）

隨著信息技術(shù)的不斷發(fā)展，云計(jì)算及物聯(lián)網(wǎng)技術(shù)出現(xiàn)之后，又出現(xiàn)了一種新的技術(shù)變革，即大數(shù)據(jù)。大數(shù)據(jù)給計(jì)算機(jī)網(wǎng)絡(luò)相關(guān)的很多領(lǐng)域帶來(lái)了不同層次的影響，圖形處理技術(shù)就是其一，本文以大數(shù)據(jù)背景為基礎(chǔ)，對(duì)這一背景下圖形處理技術(shù)的變革進(jìn)行了深入的探索。

大數(shù)據(jù)；Hadoop；圖形處理技術(shù)；3DS TDI

1 大數(shù)據(jù)

1.1 大數(shù)據(jù)及特點(diǎn)

大數(shù)據(jù)是計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域，繼云計(jì)算和物聯(lián)網(wǎng)之后的一次新的技術(shù)創(chuàng)新與革命，給眾多相關(guān)領(lǐng)域帶來(lái)了極其重要的影響。從其字面意思來(lái)看，就不難發(fā)現(xiàn)，它的最大特點(diǎn)就是巨大的數(shù)據(jù)量，通常認(rèn)為其數(shù)據(jù)量大約在10TB-1PB以上（其中1TB=1024GB，1PB=1024TB）。

本文通過(guò)調(diào)查研究，將大數(shù)據(jù)的特點(diǎn)總結(jié)為以下3點(diǎn)，即：數(shù)據(jù)量大、快速化和多樣化。其中，數(shù)據(jù)量大就是指在大數(shù)據(jù)背景下，需要處理的計(jì)算機(jī)信息數(shù)據(jù)量非常大，甚至發(fā)展到ZB數(shù)量級(jí)（1ZB=1024EB,1EB=1024PB）；快速化就是指在大數(shù)據(jù)背景下，需要對(duì)實(shí)時(shí)的、高速的數(shù)據(jù)流進(jìn)行快速處理；多樣化就是指在大數(shù)據(jù)背景下，數(shù)據(jù)的類(lèi)型非常多，數(shù)據(jù)主要有圖片、文本、網(wǎng)頁(yè)、音頻、視頻等很多形式，這些都將增大計(jì)算機(jī)信息處理的能力。本文認(rèn)識(shí)到大數(shù)據(jù)對(duì)圖形處理技術(shù)的重要性，對(duì)大數(shù)據(jù)背景下的圖形處理技術(shù)變革進(jìn)行了較為深入的探討。

1.2 大數(shù)據(jù)處理的核心技術(shù)

大數(shù)據(jù)處理的核心技術(shù)就是Hadoop，大數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)之間是存在著差異的，它的數(shù)量級(jí)很可能達(dá)到PB，甚至是ZB，同時(shí)還包括了文本等非結(jié)構(gòu)化數(shù)據(jù)，這就直接導(dǎo)致諸如傳統(tǒng)的服務(wù)器和SAN方法難以對(duì)大數(shù)據(jù)進(jìn)行有效存儲(chǔ)，而Hadoop是目前比較流行，效果比較好的一種大數(shù)據(jù)處理技術(shù)。

Hadoop是一個(gè)基于Java的分布式密集數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架，其組件主要包括：通用模塊、分布式文件系統(tǒng)（HDFS）、Hadoop YARN、Hadoop MapReduce、Zoo Keeper、Oozie、HBase、Hive、Pig等。其具體的組件框架圖，如圖1所示：

圖1 Hadoop架構(gòu)組成

在圖1的Hadoop框架中，最底層的HDFS存儲(chǔ)Hadoop集群中全部存儲(chǔ)節(jié)點(diǎn)上的文件，在一組特定的節(jié)點(diǎn)下才可以構(gòu)建出HDFS架構(gòu)（圖2），在這些節(jié)點(diǎn)當(dāng)中，有一個(gè)是NameNote，其他還有很多是DateNote，在HDFS中進(jìn)行存儲(chǔ)的文件會(huì)被分成不同的塊，再將他們復(fù)制到計(jì)算機(jī)中，由客戶機(jī)來(lái)決定復(fù)制的塊的數(shù)量和大小。HDFS中的全部通信都是以TCP/IP協(xié)議為基礎(chǔ)的，通過(guò)NameNote，可以對(duì)其全部文件進(jìn)行控制。

圖2 HDFS架構(gòu)節(jié)點(diǎn)

Hadoop MapReduce是一種簡(jiǎn)潔的并行計(jì)算模型，它在系統(tǒng)層面解決了容錯(cuò)性、擴(kuò)展性等問(wèn)題，可以實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)的的處理與分析。

在Hadoop的應(yīng)用實(shí)例中，JobTracker指的是一個(gè)代表客戶機(jī)在單個(gè)主系統(tǒng)上啟動(dòng)MapReduce應(yīng)用程序，它與NameNote十分相似，是Hadoop集群中唯一一個(gè)控制MapReduce應(yīng)用程序的系統(tǒng)。

2 計(jì)算機(jī)圖形處理技術(shù)

計(jì)算機(jī)圖形圖像處理技術(shù)最主要的組成部分就是計(jì)算機(jī)的硬件設(shè)備與圖形圖像處理軟件。一般情況下，計(jì)算機(jī)的硬件設(shè)備的性能越高，處理圖形的效果越好，圖形圖像處理軟件的作用主要是將計(jì)算機(jī)與顯示終端之間建立聯(lián)系。

計(jì)算機(jī)的硬件基本上包含兩類(lèi)：一是微型機(jī)，二是工作站。軟件同樣包含兩類(lèi)：一是微型機(jī)上的軟件，主要有photoshop、Win—Images：morph以及3DS等。photoshop主要是用來(lái)處理二維圖像，同時(shí)它還可以進(jìn)行分色制版，3DS在微型機(jī)上專(zhuān)門(mén)用來(lái)制作圖形,是當(dāng)今社會(huì)中應(yīng)用的不較多的圖形處理軟件。二是工作站的軟件，主要有Alias和TDI，它們主要是用來(lái)制作工作站上的全部圖形。

從功能上來(lái)看，工作站要比微型機(jī)好一些，究其主要原因是工作站CPU的速度更快，能夠較好地進(jìn)行圖形顯示，并且具有較大的存儲(chǔ)容量；從造型上來(lái)看，3DS缺少了曲線曲面造型功能，而TDI則彌補(bǔ)了它的這一缺陷；從用戶界面來(lái)看，運(yùn)用3DS，需要先在一個(gè)模型上進(jìn)行材質(zhì)的調(diào)整，一般情況下是不能看到材質(zhì)在物體上的效果的，而運(yùn)用TDI，其IPR模塊可以對(duì)物體及光源材質(zhì)進(jìn)行自動(dòng)調(diào)整，直接獲取圖像，同時(shí)可以實(shí)現(xiàn)較好的效果。

3 大數(shù)據(jù)背景下的圖形處理技術(shù)變革探索

3.1 大數(shù)據(jù)背景下圖形處理技術(shù)的挑戰(zhàn)

大數(shù)據(jù)時(shí)代的到來(lái)給圖像處理技術(shù)帶來(lái)了發(fā)展機(jī)遇的同時(shí)，也為其帶來(lái)了挑戰(zhàn)。

首先，巨大的數(shù)據(jù)量給數(shù)據(jù)存儲(chǔ)、傳輸速度等方面帶來(lái)了挑戰(zhàn)。隨著數(shù)據(jù)量的增加，存儲(chǔ)空間也需要相應(yīng)的進(jìn)行調(diào)整，同時(shí)存儲(chǔ)技術(shù)也要不斷的提高，大數(shù)據(jù)背景下的傳輸時(shí)間也會(huì)加長(zhǎng)，其傳輸速度也要相應(yīng)的有所改善。

其次，大數(shù)據(jù)背景下的數(shù)據(jù)流十分多，在網(wǎng)絡(luò)中會(huì)存在著黑客等破壞用戶數(shù)據(jù)的現(xiàn)象，因此要加強(qiáng)網(wǎng)絡(luò)及圖形處理與存儲(chǔ)的安全性，避免不法分子對(duì)重要數(shù)據(jù)進(jìn)行盜取。

再者，大數(shù)據(jù)背景下，為計(jì)算機(jī)硬件設(shè)備及數(shù)據(jù)處理能力帶來(lái)挑戰(zhàn)。大數(shù)據(jù)背景下，計(jì)算機(jī)硬件設(shè)備決定了網(wǎng)絡(luò)的傳輸速度，而且對(duì)巨大的數(shù)據(jù)量的處理能力也同樣是一種挑戰(zhàn)。

最后，大量的數(shù)據(jù)流對(duì)有價(jià)值的數(shù)據(jù)進(jìn)行篩選和提取的能力提出了新的挑戰(zhàn)。在如此巨大的數(shù)據(jù)信息中，提取有價(jià)值的信息并不是一件容易實(shí)現(xiàn)的事情，因此，又對(duì)圖形處理技術(shù)提出了更高的要求。

3.2 大數(shù)據(jù)背景下圖形處理技術(shù)及其發(fā)展方向

首先，是信息存儲(chǔ)。信息存儲(chǔ)就是通過(guò)一定的方式將獲得的信息在結(jié)構(gòu)數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)，當(dāng)用戶需要某些數(shù)據(jù)時(shí)，能夠直接對(duì)其進(jìn)行提取，在大數(shù)據(jù)的背景下，存在數(shù)據(jù)量大、信息變更速度快等特點(diǎn)，因此需要對(duì)圖形圖像進(jìn)行合理的存儲(chǔ)，實(shí)現(xiàn)圖像處理技術(shù)對(duì)大量數(shù)據(jù)的長(zhǎng)時(shí)間、穩(wěn)定存儲(chǔ)。

其次，信息安全。為了能夠更好的使用大數(shù)據(jù)背景下出現(xiàn)的信息安全隱患，在圖形處理技術(shù)方面，需要做到以下幾點(diǎn)：一是構(gòu)建信息安全體系，二是加快研發(fā)大數(shù)據(jù)信息安全技術(shù)產(chǎn)品，在大數(shù)據(jù)背景下，傳統(tǒng)的信息安全軟件已經(jīng)無(wú)法實(shí)現(xiàn)其數(shù)據(jù)安全，所以，我們要加緊步伐對(duì)于新的數(shù)據(jù)安全技術(shù)產(chǎn)品的研發(fā)；三是對(duì)重要數(shù)據(jù)進(jìn)行深度檢測(cè)。因?yàn)榇髷?shù)據(jù)背景下的數(shù)據(jù)量是巨大的，對(duì)每個(gè)數(shù)據(jù)都進(jìn)行檢測(cè)是浪費(fèi)時(shí)間和精力的，也是基本上無(wú)法實(shí)現(xiàn)的，所以，我們強(qiáng)調(diào)對(duì)于重要數(shù)據(jù)的深度檢測(cè)。

最后，是數(shù)據(jù)的擷取與傳輸。任何信息處理手段都是需要進(jìn)行數(shù)據(jù)擷取的，數(shù)據(jù)擷取就是在對(duì)目標(biāo)信息源實(shí)時(shí)監(jiān)控的基礎(chǔ)上，在數(shù)據(jù)庫(kù)中存儲(chǔ)所需數(shù)據(jù)，從而實(shí)現(xiàn)向各個(gè)軟件系統(tǒng)平臺(tái)提供信息輸入，最后，利用數(shù)據(jù)傳輸技術(shù)，將處理好的數(shù)據(jù)傳輸?shù)礁饔脩簟?/p>

3.3 圖形處理技術(shù)的發(fā)展方向

因?yàn)槭艿接?jì)算機(jī)硬件的限制，圖形處理技術(shù)還存在著一些局限，大數(shù)據(jù)背景下圖像處理技術(shù)的發(fā)展，需要將目前的計(jì)算機(jī)網(wǎng)絡(luò)轉(zhuǎn)換為云計(jì)算機(jī)網(wǎng)絡(luò)。未來(lái)的計(jì)算機(jī)網(wǎng)絡(luò)將會(huì)把硬件與網(wǎng)絡(luò)數(shù)據(jù)分開(kāi)，從而實(shí)現(xiàn)將當(dāng)前的云計(jì)算轉(zhuǎn)換為云計(jì)算網(wǎng)絡(luò)，計(jì)算機(jī)會(huì)與信息網(wǎng)絡(luò)形成大數(shù)據(jù)網(wǎng)絡(luò)系統(tǒng)。

4 結(jié)論

綜上所述，本文通過(guò)對(duì)大數(shù)據(jù)及其核心處理技術(shù)的分析的基礎(chǔ)上，研究了圖形處理技術(shù)，并對(duì)其在大數(shù)據(jù)背景下面臨的挑戰(zhàn)及其發(fā)展前景作出了分析，希望能為大數(shù)據(jù)背景下的圖形處理技術(shù)變革提供借鑒。

[1]馮騫. 大數(shù)據(jù)時(shí)代的信息處理技術(shù)[J]. 信息通信.2013（08）

[2]吳金朋.一種大數(shù)據(jù)存儲(chǔ)模型的研究與應(yīng)用[J].北京郵電大學(xué).2012(12)

[3]王珊.大數(shù)據(jù)分析——RDBMS與MapReduce的競(jìng)爭(zhēng)與共生[J].軟件學(xué)報(bào).2011(09)

Explore technological change based on graphics processing large data under the background

Zhao Rui
(Xi'an University of Post and Telecommunications,Xi'an，710121)

With the development of information technology,after the emergence of cloud computing and physical networking technology,and the emergence of a new technological revolution,that big data.Big data related to many areas of computer networks has brought different levels of influence,is one of the graphics processing technology,the paper background with large data base,against this background of change graphics processing technology conducted in-depth exploration.

big data;Hadoop;graphics processing technology;3DS TDI

趙銳（1979-），男，漢族，陜西寶雞人，碩士，工程師，研究方向：高等教育管理、課程論與教學(xué)論