海量數(shù)據(jù)處理接口中的關(guān)鍵技術(shù)分析

李弈星

摘 要：本篇文章通過實(shí)際的數(shù)據(jù)測(cè)試應(yīng)用，經(jīng)過多次的數(shù)據(jù)測(cè)試開發(fā)一套統(tǒng)一的數(shù)據(jù)接口，這樣可以滿足許多企業(yè)對(duì)數(shù)據(jù)的要求，各個(gè)企業(yè)可以在短時(shí)間內(nèi)實(shí)現(xiàn)數(shù)據(jù)資源的共享。

關(guān)鍵詞：海量；數(shù)據(jù)處理；接口；關(guān)鍵技術(shù)

海量數(shù)據(jù)處理關(guān)鍵技術(shù)以制造業(yè)信息化系統(tǒng)為研究背景，根據(jù)許多種結(jié)構(gòu)不同的海量數(shù)據(jù)處理進(jìn)行交換性強(qiáng)的數(shù)據(jù)溝通，其中系統(tǒng)中每一個(gè)設(shè)計(jì)開發(fā)都是統(tǒng)一用一個(gè)數(shù)據(jù)接口程序。

1 接口設(shè)計(jì)關(guān)鍵技術(shù)

本篇文章所談及的接口設(shè)計(jì)，是根據(jù)制造企業(yè)在進(jìn)行信息化基礎(chǔ)建設(shè)而設(shè)計(jì)的，數(shù)據(jù)資源中明確顯示所涉及到的各種生產(chǎn)設(shè)備。倉庫統(tǒng)計(jì)的數(shù)據(jù)會(huì)與企業(yè)所記錄的數(shù)據(jù)相符合，這樣在上層決策系統(tǒng)中就會(huì)有一個(gè)數(shù)據(jù)處理的痕跡。

首先，要規(guī)定一塊特定的智能識(shí)別板塊，它的主要工作內(nèi)容是要識(shí)別所有系統(tǒng)中的數(shù)據(jù)來源及該數(shù)據(jù)所服務(wù)的企業(yè)部門；其次，還要設(shè)有專門的標(biāo)準(zhǔn)化模版，這個(gè)設(shè)置主要是為了可以把所有系統(tǒng)中的數(shù)據(jù)進(jìn)行規(guī)范性格式，有些數(shù)據(jù)可能在根源上就會(huì)出現(xiàn)識(shí)別排斥，由于格式的不同造成海量數(shù)據(jù)接口難以識(shí)別；最后，還會(huì)有一個(gè)專門的數(shù)據(jù)接收模塊，他的工作主要是服務(wù)于企業(yè)各個(gè)系統(tǒng)的數(shù)據(jù)，在此之上可以智能的接收并且智能的對(duì)這些操作口令加以處理。

2 數(shù)據(jù)接口必須具有如下特點(diǎn)

2.1 海量處理能力

數(shù)據(jù)接口會(huì)具有以下許多特點(diǎn)，其中最主要突出的就是數(shù)據(jù)的海量處理能力，許多大公司所設(shè)置的信息系統(tǒng)都是每天進(jìn)行更換，這些數(shù)據(jù)會(huì)在一天結(jié)束以后進(jìn)行更新處理。如果要對(duì)系統(tǒng)中的數(shù)據(jù)互相交流，就需要提高數(shù)據(jù)接口的處理能力，這樣數(shù)據(jù)就可以在短時(shí)間內(nèi)得到合理性、規(guī)范性和系統(tǒng)性的處理。

2.2 智能識(shí)別性

大多數(shù)數(shù)據(jù)來源于不同企業(yè)的不同系統(tǒng)，每一個(gè)企業(yè)為了保護(hù)自身的安全，會(huì)設(shè)置一套獨(dú)特的信息識(shí)別系統(tǒng)。這樣雖然給自身企業(yè)提高了安全，但是同時(shí)也給數(shù)據(jù)處理增加了難度，當(dāng)不同的企業(yè)不同的數(shù)據(jù)進(jìn)行規(guī)范性統(tǒng)一時(shí)，由于數(shù)據(jù)格式的不同，這些數(shù)據(jù)很難在短時(shí)間內(nèi)相融合。因此，這就需要海量數(shù)據(jù)接口要具有很強(qiáng)的智能識(shí)別能力，會(huì)在短時(shí)間內(nèi)對(duì)這些數(shù)據(jù)進(jìn)行融合性處理。

2.3 數(shù)據(jù)結(jié)合性

數(shù)據(jù)處理中最重要的就是數(shù)據(jù)接口要具有一定的數(shù)據(jù)結(jié)合性，在企業(yè)的內(nèi)部和外部都會(huì)設(shè)有許多的信息化系統(tǒng)，這些信息格式相異的信息系統(tǒng)保障著整個(gè)企業(yè)的安全運(yùn)行，可見數(shù)據(jù)結(jié)合性這一性能對(duì)海量數(shù)據(jù)接口來說是十分重要的。

2.4 實(shí)時(shí)性

數(shù)據(jù)處理不僅需要在短時(shí)間內(nèi)完成，還需要具有一定的實(shí)時(shí)性，如果數(shù)據(jù)處理緩慢，就會(huì)跟不上信息系統(tǒng)內(nèi)數(shù)據(jù)的整體變換。這樣就可以在短時(shí)間內(nèi)確定數(shù)據(jù)的準(zhǔn)確性、系統(tǒng)性及完整性，但是最重要的一點(diǎn)就是信息數(shù)據(jù)處理的實(shí)時(shí)性。

3 海量數(shù)據(jù)處理技術(shù)

3.1 實(shí)時(shí)、定時(shí)隊(duì)列

海量數(shù)據(jù)處理技術(shù)多種多樣，其中最重要的一項(xiàng)就是實(shí)時(shí)、定時(shí)隊(duì)列技術(shù)，簡(jiǎn)單來說就是對(duì)一些企業(yè)特殊需求進(jìn)行數(shù)據(jù)隊(duì)列服務(wù)。這些數(shù)據(jù)會(huì)通過統(tǒng)一的數(shù)據(jù)處理接口，在進(jìn)行系統(tǒng)性的智能識(shí)別，將數(shù)據(jù)在系統(tǒng)中放置到隊(duì)列當(dāng)中，這樣可以快速的將任務(wù)插入在海量數(shù)據(jù)之中。插入的任務(wù)數(shù)據(jù)就會(huì)在其他的系統(tǒng)中顯示出來，如果是定時(shí)隊(duì)列所排列的海量數(shù)據(jù)，這樣系統(tǒng)就可以在工作閑余之后進(jìn)行處理。

3.2 多維數(shù)據(jù)庫技術(shù)

多維數(shù)據(jù)庫采用的是統(tǒng)一的端口服務(wù)，這樣可以在短時(shí)間內(nèi)高效地整合各企業(yè)的共享數(shù)據(jù)資源，這種多維的數(shù)據(jù)庫一般較為集中，所建設(shè)的目的也只是為了提高工作的效率。這樣可以在短時(shí)間內(nèi)將分散的數(shù)據(jù)資源集中在一起，將需要共享的資源集中在數(shù)據(jù)庫進(jìn)行統(tǒng)一的處理。并且多維的數(shù)據(jù)程序采用的是繼承的概念，這樣可以有效規(guī)避海量數(shù)據(jù)處理時(shí)所出現(xiàn)的一些問題。

3.3 列表技術(shù)

列表技術(shù)簡(jiǎn)單來說就是利用儲(chǔ)存功能，提高信息數(shù)據(jù)傳遞的服務(wù)水平，首先，我們需要將所有的信息存放于計(jì)算機(jī)內(nèi)存條中，然后通過專門的快速搜索方法，進(jìn)行不間斷的計(jì)算機(jī)內(nèi)部?jī)?chǔ)存掃描。通過列表技術(shù)這種方式，可以系統(tǒng)性的建立一套完整的多線程數(shù)據(jù)系統(tǒng)，多線程數(shù)據(jù)系統(tǒng)最大的優(yōu)勢(shì)就是通過片段的時(shí)間輪軸運(yùn)轉(zhuǎn)。這樣就可以在短時(shí)間內(nèi)充分的利用計(jì)算機(jī)的內(nèi)部?jī)?chǔ)存空間，提高海量數(shù)據(jù)資源的共享效率，并且還可以在一定程度上提高數(shù)據(jù)處理的總量。

4 結(jié)語

本篇文章主要依據(jù)制造企業(yè)之間信息共享的特點(diǎn)，簡(jiǎn)單來說就是數(shù)據(jù)共享及數(shù)據(jù)之間的互相傳遞，我們可以將所有的數(shù)據(jù)進(jìn)行一個(gè)統(tǒng)一的處理，然后再對(duì)這些數(shù)據(jù)專門設(shè)定一個(gè)接口程序。這樣就可以在短時(shí)間內(nèi)將這些動(dòng)態(tài)的數(shù)據(jù)進(jìn)行傳遞，并且在短時(shí)間內(nèi)實(shí)現(xiàn)高效共享數(shù)據(jù)資源，為了確保該項(xiàng)技術(shù)的順利實(shí)施，我們可以通過大量的實(shí)踐加以證明。

參考文獻(xiàn)：

[1] 張文生，丁輝.基于鄰域原理計(jì)算海量數(shù)據(jù)支持向量的研究[J].軟件學(xué)報(bào)，2001.

[2] 任力安，何清.一種新的海量數(shù)據(jù)分類方法[J].計(jì)算機(jī)工程與應(yīng)用，2002.

[3] 卓桂榮，袁劍雄.并聯(lián)機(jī)床海量數(shù)據(jù)文件的處理[J].哈爾濱理工大學(xué)學(xué)報(bào)，2002.

[4] 艾菊梅，陸玲.海量數(shù)據(jù)的存儲(chǔ)與高速查詢方案設(shè)計(jì)與研究[J].計(jì)算機(jī)輔助工程，2003.