999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于決策樹挖掘算法的氣象大數(shù)據(jù)云平臺設(shè)計

2022-12-01 01:06:20王立俊杜建華劉驥超王雙雙謝寒生
計算機測量與控制 2022年11期
關(guān)鍵詞:數(shù)據(jù)挖掘模型

王立俊,杜建華,劉驥超,王雙雙,謝寒生,趙 冰

(1.海南省氣象信息中心,海口 570203; 2.海南省南海氣象防災(zāi)減災(zāi)重點實驗室,海口 570203)

0 引言

氣象數(shù)據(jù)為一類典型的時序數(shù)據(jù),在防災(zāi)減災(zāi)以及服務(wù)農(nóng)業(yè)、交通、旅游等領(lǐng)域都有重要意義,氣象數(shù)據(jù)的處理與分析準確高效直接關(guān)系到預(yù)報服務(wù)的質(zhì)量[1-5]。《“十四五”氣象信息網(wǎng)絡(luò)業(yè)務(wù)發(fā)展規(guī)劃》明確我國未來氣象業(yè)務(wù)的發(fā)展方向,主要是優(yōu)化結(jié)構(gòu)流程,提高氣象數(shù)據(jù)的標準化和統(tǒng)一化水平,促進信息網(wǎng)絡(luò)的智能化發(fā)展,建立起高效協(xié)同的數(shù)字氣象業(yè)務(wù)體系[6]。對于氣象數(shù)據(jù)來說,其在生產(chǎn)過程中秒級數(shù)據(jù)流量達到6萬次/秒,大數(shù)據(jù)、云計算技術(shù)在大量氣象數(shù)據(jù)的分析領(lǐng)域的應(yīng)用,為解決上述問題提供支持[7-9]。

Bilgin等[10]針對土耳其的氣象數(shù)據(jù)進行特征提取,確定出相關(guān)溫度特性,基于這些特性劃分出土耳其的氣候區(qū)。Reikard[11]基于頻域算法對復(fù)雜的氣象數(shù)據(jù)進行處理,且引入了神經(jīng)網(wǎng)絡(luò)工具,在此基礎(chǔ)上建立起基于時頻域的BP網(wǎng)絡(luò)氣象預(yù)測模型。根據(jù)仿真分析結(jié)果表明這種模型的預(yù)測準確率達到較高水平。邱聲春等[12]提出一種數(shù)據(jù)挖掘和數(shù)據(jù)融合相結(jié)合的預(yù)測方法,并將其運用到天氣預(yù)報領(lǐng)域。Nui等[13]提出距離度量學習方法用于氣象數(shù)據(jù)挖掘,將其應(yīng)用于2016年在肯尼迪等機場收集的天氣數(shù)據(jù)集,與其他傳統(tǒng)方法相比,在分類精度上顯示出非常有潛力的優(yōu)勢。Farouk等[14]運用決策樹、KNN和Naive Bayes算法研究了數(shù)據(jù)挖掘技術(shù)在預(yù)測不同的大氣現(xiàn)象中的應(yīng)用,并對每個模型進行評估。王丹妮等[15]通過對廣東省氣象觀測數(shù)據(jù)挖掘分析,以廣東省農(nóng)業(yè)氣象災(zāi)害中的高溫為例,預(yù)測可能存在的災(zāi)害及其等級。陳凱等[16]在進行降雨預(yù)測時,引入了加權(quán)最近鄰算法,基于這種算法進行預(yù)測時,設(shè)置降雨量作為類,氣象因素設(shè)置為分類因子,計算分析確定出二者的相關(guān)系數(shù),將所得結(jié)果賦予因子的權(quán)重,據(jù)此建立起相關(guān)區(qū)域的降雨預(yù)報模型。柯秀文[17]建立起海洋氣象災(zāi)害預(yù)測系統(tǒng),并對這種系統(tǒng)的預(yù)測性能做了仿真研究。胡冬梅[18]研究了城市空氣污染問題,并引入了氣象、交通相關(guān)的因素建立起城市空氣污染預(yù)測模型,對變量之間相關(guān)性進行分析,根據(jù)仿真分析結(jié)果表明,這種系統(tǒng)表現(xiàn)出較高的應(yīng)用價值。王春政等[19]在對氣象數(shù)據(jù)挖掘處理時,引入了貝葉斯算法、模糊K鄰近算法,通過這些算法對一定時段內(nèi)全美歷史航班和氣象數(shù)據(jù)進行分析,其所得結(jié)果表明節(jié)點預(yù)測誤差小于5分鐘,很好地滿足航空氣象預(yù)測要求。還有少部分學者為提高處理海量氣象數(shù)據(jù)的效率,將其與Hadoop平臺結(jié)合。張晨陽等[20]在一定簡化處理基礎(chǔ)上建立起基于MapReduce的數(shù)據(jù)約簡算法與樸素貝葉斯分類算法,對這種算法的性能進行研究,發(fā)現(xiàn)其在處理海量氣象數(shù)據(jù)方面的優(yōu)勢很顯著,且可以根據(jù)應(yīng)用要求進行適當?shù)臄U展。王昊等[21]為了提高傳統(tǒng)樸素貝葉斯分類器對氣象數(shù)據(jù)挖掘的精度,擁有更高的處理海量數(shù)據(jù)的效率,建立起基于離散貝葉斯網(wǎng)絡(luò)的數(shù)據(jù)挖掘模型,且進行了實證分析。

人工智能、大數(shù)據(jù)、云平臺、物聯(lián)網(wǎng)技術(shù)在氣象數(shù)據(jù)處理中的應(yīng)用,極大地提升了氣象業(yè)務(wù)能力和服務(wù)水平。傳統(tǒng)的氣象數(shù)據(jù)挖掘大部分為單機模式,在數(shù)據(jù)量不斷增加和算法更復(fù)雜形勢下,氣象預(yù)測的實時性明顯降低,同時也會出現(xiàn)硬件故障等相關(guān)的損失[22]。因此,本文基于主流的開源云架構(gòu)Apache Hadoop,建立氣象大數(shù)據(jù)云平臺,在此基礎(chǔ)上結(jié)合決策樹(CART,classification and regression trees)數(shù)據(jù)挖掘算法,并行創(chuàng)建隨機森林模型,對處理海量氣象數(shù)據(jù)提供支持,為相關(guān)研究起到參考作用。

1 基于決策樹算法的隨機森林模型

1.1 決策樹算法原理

在數(shù)據(jù)挖掘領(lǐng)域CART算法被大量應(yīng)用,其可以高效的進行分類預(yù)測,適應(yīng)性較強,對離散和連續(xù)數(shù)據(jù)都可以高效的分類。CART算法主要是進行數(shù)據(jù)類型差異實現(xiàn)分類作用。設(shè)置判定指標時主要是基于如下方法:

1)離散型數(shù)據(jù)——選擇GINI值作為分類依據(jù)。

GINI值和分類后的“純凈度”存在正相關(guān)關(guān)系,其數(shù)值大則可判斷選擇的特征更優(yōu)。 一般條件下對于樣本集S,可通過如下公式計算出GINI:

(1)

在上式當中,S代表的為樣本數(shù)據(jù)集;Pi代表的為分類結(jié)果中第i個種類對應(yīng)頻率。

對含N個數(shù)據(jù)的集S,基于A的第i個屬性值進行劃分而分為兩部分,劃分后GINI的表達式為:

(2)

在上式當中,n1,n2各自代表的是樣本子集S1,S2對應(yīng)樣本數(shù)。

對于屬性A,先帶入數(shù)據(jù)確定出GINI系數(shù),然后進行排序確定出其中的最小值,設(shè)置為此特征條件下的最優(yōu)二分方案:

mini∈A(GINIA,i(S))

(3)

對集合S,帶入數(shù)據(jù)計算出全部特征的最好二分方案,進行排序后得到最小值,將其設(shè)置為集合S的此種方案:

minA∈Attributemini∈A(GINIA,i(S))

(4)

2)連續(xù)型數(shù)據(jù)——選擇σ值,進行分類預(yù)測。

回歸樹方法在進行預(yù)測分析時,設(shè)置σ來評價分類效果,確定出σ最小的特征及值,對應(yīng)于最佳的分類特征和值。一般條件下σ值大則可判斷出分類后子集的“差異性”大,相反情況下則可判斷出此特征下,可取得更優(yōu)分類結(jié)果。

對連續(xù)型集合S,總方差表達式為:

(5)

在上式當中:μ代表的為樣本集針對S中預(yù)測結(jié)果之下的均值;yk代表的為第k個樣本對應(yīng)預(yù)測結(jié)果。

集合S中含有N個樣本條件下,基于特征A的第i個特征值,對其進行二分處理,劃分后可通過如下方法計算出σ:

σA,i(S)=σ(S1)+σ(S2)

(6)

接著對特征A,帶入數(shù)據(jù)進行分析確定出任意特征進行劃分條件下的σ,然后排序得到最小值,這樣可確定出A下的最優(yōu)分類方案:

mini∈A(σA,i(S))

(7)

對集合S,帶入數(shù)據(jù)進行處理確定出全部特征的最優(yōu)分裂方案,確定出其中最小者作為集合S的此類方案:

minA∈Attributemini∈A(σA,i(S))

(8)

這樣處理后得到的特征A及值,就表示為集合S的最優(yōu)二分屬性和相關(guān)的屬性值。

1.2 構(gòu)建隨機森林模型

氣象數(shù)據(jù)云平臺存儲的數(shù)據(jù)種類不斷增加,且數(shù)據(jù)類型也日益復(fù)雜,涉及到雷達、衛(wèi)星、地面、高空、海洋等相關(guān)的氣象數(shù)據(jù),基于組織形式不同對這些數(shù)據(jù)進行劃分,可分為結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。分析氣象數(shù)據(jù)特征,設(shè)計對應(yīng)的大數(shù)據(jù)云平臺整體解決方案,用于對天氣狀況進行預(yù)測、分類,使其應(yīng)用到農(nóng)業(yè)、交通、旅游等領(lǐng)域。氣象資料和服務(wù)數(shù)據(jù)大部分為視頻、音頻、文本,在長時間運行后對應(yīng)的數(shù)據(jù)量急劇增長,符合大數(shù)據(jù)的4 V特點。

在大數(shù)據(jù)領(lǐng)域中,Hadoop是最著名的大數(shù)據(jù)處理框架之一,它以可靠、高效、可伸縮的方式進行大數(shù)據(jù)的存儲、處理和分析。在經(jīng)濟社會發(fā)展過程中,隨著信息化水平不斷提高,數(shù)據(jù)量與日俱増,在對這些數(shù)據(jù)進行處理時,傳統(tǒng)的隨機森林模型開始不滿足應(yīng)用要求,這樣就需要引入新的數(shù)據(jù)分析技術(shù)。如為提高算法的處理性能,可引入并行化的決策樹算法,這樣可以綜合利用更多的資源進行同步處理。對并行化相關(guān)的算法,其并行化時可選擇的模式主要有三類,其一為數(shù)據(jù)間并行,后兩種則為屬性間、節(jié)點間的并行方式,其各有一定的適用范圍。運用決策樹算法,基于MapReduce并行創(chuàng)建CART樹形成隨機森林模型,建立氣象業(yè)務(wù)預(yù)測以及各領(lǐng)域服務(wù)功能模塊。

基于隨機森林算法的特征和MapReduce性能,考慮到研究要求,采用下述的并行化策略:對原始數(shù)據(jù)的隨機采樣的方式選取,建立相關(guān)決策樹模型過程中,隨機篩選對應(yīng)的屬性,對應(yīng)的樣本集保持獨立。因而建立的單棵決策樹間不存在相關(guān)性。這種模型在進行并行化操作時,主要應(yīng)用MapReduce編程實現(xiàn),相關(guān)的工作流程可劃分為,設(shè)置決策樹、確定出森林模型、結(jié)果投票。在MapReduce中并行創(chuàng)建CART樹,構(gòu)建隨機森林模型并行化過程如圖1所示。

圖1 并行創(chuàng)建CART樹構(gòu)建隨機森林模型

具體分析圖1進而可發(fā)現(xiàn),這種模型建立過程中主要是并行化單棵樹的建立過程。首先基于Map方法切片處理HDFS中數(shù)據(jù),接著通過Bagging隨機抽樣,將抽取后的數(shù)據(jù)劃分為訓(xùn)練集和屬性集,然后分布到集群的各節(jié)點上,在此基礎(chǔ)上利用并行化Map任務(wù)進行分析,而得到其中各屬性的Gini值,將所得結(jié)果輸出到Reduce中,利用Reduce功能進行處理,而得到最優(yōu)的屬性、節(jié)點的編號,這樣既可以獲得所需要的單棵決策樹,對樹的參數(shù)進行輸出后,對多棵CART樹進行一定的集群映射而得到隨機森林。在一定投票基礎(chǔ)上匯總多棵樹的結(jié)果,在此處理時可調(diào)用Map、Reduce函數(shù)。

在氣象大數(shù)據(jù)云平臺下,在完成收集氣象相關(guān)數(shù)據(jù)處理后,創(chuàng)建相應(yīng)的預(yù)報預(yù)警。此時將相關(guān)樣本集經(jīng)由MapReduce并行創(chuàng)建CART樹形成隨機森林,訓(xùn)練模型,根據(jù)相關(guān)氣象數(shù)據(jù)進行預(yù)測天氣預(yù)測或分類,并由控制器將新生成的氣象情況以及其它相關(guān)附加信息等一并傳輸至各個功能模塊中,使得氣象大數(shù)據(jù)云平臺中應(yīng)用層功能模塊能夠?qū)崿F(xiàn)動態(tài)數(shù)據(jù)更新,更好的為農(nóng)業(yè)、交通、旅游等領(lǐng)域服務(wù)。

2 氣象大數(shù)據(jù)云平臺的設(shè)計

2.1 Hadoop生態(tài)系統(tǒng)架構(gòu)

Hadoop是谷歌公司研發(fā)的高性能云計算平臺,在分布式計算領(lǐng)域被廣泛應(yīng)用。HDFS是Hadoop的分布式文件系統(tǒng),也是Hadoop系統(tǒng)的最重要組成單元,HDFS集群中包含了大量的服務(wù)器,這樣可以通過并行模式來高效的處理海量氣象數(shù)據(jù)。在MapReduce模型下,程序可以高效快速的處理大量集群上的海量數(shù)據(jù)。

Hadoop云平臺在不斷發(fā)展改進基礎(chǔ)上其性能水平明顯提升,功能組件也日益豐富,滿足各領(lǐng)域的分析要求。其中的模塊主要包括固定模塊以及特定功能模塊,根據(jù)相關(guān)資料可知其中的核心模塊主要如下。

1)Hadoop Common:為其中的基礎(chǔ)模塊,可為其他單元的功能實現(xiàn)提供支持,這種模塊中設(shè)置了很多公用API接口,與HTTP認證功能密切相關(guān)。

2)HDFS:主要是對海量數(shù)據(jù)進行分布式存儲和處理,在數(shù)據(jù)處理時依據(jù)一次寫入多次讀取相關(guān)原則,此外還可提供流式數(shù)據(jù)訪問。

3)YARN:為一種全新框架,發(fā)展初期的MapReduce功能繁雜,對系統(tǒng)運行可靠性產(chǎn)生很不利影響,因而此后分布的版本中獨立的處理數(shù)據(jù)和資源,這樣就通過YARN模塊進行資源管理,且可實現(xiàn)一定調(diào)度功能

4)MapReduce:為一種高性能的分布式計算框架,在進行編程過程中不需要考慮到數(shù)據(jù)存儲相關(guān)因素,從而大幅度簡化了編程過程。主要是編寫Map()、Reduce()方法就可滿足要求。此種平臺的系統(tǒng)結(jié)構(gòu)如圖2。

圖2 Hadoop生態(tài)系統(tǒng)架構(gòu)

Hadoop中的組件主要如下。

1)ZooKeeper:主要是提供集群相關(guān)的協(xié)調(diào)服務(wù),主要是改進YARN形成的,在應(yīng)用過程中可實現(xiàn)的功能主要包括集群管理、分布式鎖等,可據(jù)此實現(xiàn)特定的功能。

2)Flume:主要的作用是進行日志采集和傳輸,對應(yīng)的采集模式有兩種,分別為在單服務(wù)器和集群上采集,對獲得的日志進行匯總,然后在一定統(tǒng)一格式基礎(chǔ)上發(fā)送到HDFS中。

3)Spark:為一種高性能的計算系統(tǒng),其功能強大,可實現(xiàn)機器學習、圖形計算相關(guān)的功能。此外也有很強的支持性,對Java、SQL等相關(guān)的語言都支持。可以運行在EC2、YARN框架之上而滿足應(yīng)用要求。

4)HBase:這種模塊主要是基于“Bigtable”思想建立的,可以看作為一種特殊的分布式數(shù)據(jù)庫,可以為集群的協(xié)調(diào)提供支持。

5)Hive:在其支持下,用戶可對HDFS上的數(shù)據(jù)通過SQL相關(guān)的語言進行讀寫和查詢處理,對降低編程難度有重要意義,使得用戶對Hadoop上手更容易。

2.2 MapReduce任務(wù)流程

MapReduce在進行數(shù)據(jù)處理時的操作主要包括Map、Shuffle、Reduce階段,如圖3。以下對這三個階段的工作內(nèi)容和特征進行說明:

1)Map階段。在此階段處理過程中,應(yīng)用程序基于輸入的數(shù)據(jù)進行分片處理,建立起一定量的Map任務(wù),接著對分片數(shù)據(jù)依據(jù)相關(guān)的規(guī)則映射形成一定量鍵值對,然后通過Map()方法處理這些鍵值對,處理后的結(jié)果保持為的形式,且進行輸出。

2)Shuffle階段。上一階段處理后的結(jié)果為無規(guī)則的,然后通過Shuffle()方法進一步轉(zhuǎn)換處理,形成規(guī)則的數(shù)據(jù)輸出。在此環(huán)節(jié)處理時主要是合并同大小的鍵值對,進行排序后形成相應(yīng)的鍵值對列表。

3)Reduce階段。上一環(huán)節(jié)處理后的數(shù)據(jù)通過Reduce()方法處理,將上述的列表進行匯總,且基于特定的函數(shù)輸出。

在實際處理時,用戶只需要編寫出Map()和Reduce()方法,在運行過程中程序可自動的調(diào)用這些方法進行操作,從而滿足特定的功能要求。

圖3 MapReduce任務(wù)流程

2.3 氣象大數(shù)據(jù)云平臺集群部署結(jié)構(gòu)

圖4 氣象大數(shù)據(jù)云平臺總體架構(gòu)

氣象大數(shù)據(jù)云平臺的構(gòu)建基于Hadoop集群、Impala集群和GBase集群構(gòu)建。其中大數(shù)據(jù)云平臺的數(shù)據(jù)源層中全部與氣象密切相關(guān)的數(shù)據(jù)進行適當?shù)姆诸愄幚砗螅纬梢欢康臄?shù)據(jù)塊,這些數(shù)據(jù)可基于特征和來源不同進行劃分,而分為互聯(lián)網(wǎng)數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、氣象外部數(shù)據(jù)等。Impala集群在運行過程中可接收結(jié)構(gòu)化和基礎(chǔ)數(shù)據(jù),且調(diào)用函數(shù)來實現(xiàn)數(shù)據(jù)處理功能。Hadoop集群可對非結(jié)構(gòu)化數(shù)據(jù)進行存儲,其中包含了HDFS,HBase相關(guān)的單元。GBase集群在也應(yīng)用過程中可對相關(guān)專題應(yīng)用數(shù)據(jù)進行存儲,系統(tǒng)上層設(shè)置Solr集群,這樣在運行過程中可充分利用Solr的集中式配置、容錯相關(guān)功能,滿足高索引和訪問相關(guān)的數(shù)據(jù)應(yīng)用需求。Solr集群可對索引數(shù)據(jù)進行存儲,其上層設(shè)置了氣象數(shù)據(jù)統(tǒng)一服務(wù)接口,在運行過程中大數(shù)據(jù)云平臺,氣象管理人員可通過這一接口來獲取不同類型的數(shù)據(jù)。此外,還可以在后臺上部署各種格式的數(shù)據(jù),對相關(guān)數(shù)據(jù)進行統(tǒng)一集中的展示,為其后的處理提供支持。

2.4 氣象大數(shù)據(jù)云平臺總體架構(gòu)

在以上基礎(chǔ)上建立起大數(shù)據(jù)可視化平臺,在運行過程中其可以實現(xiàn)復(fù)雜的管理功能,如調(diào)度管理、元數(shù)據(jù)管理、分布式ETL管理、質(zhì)量管理,此外也可以實現(xiàn)數(shù)據(jù)共享功能。為系統(tǒng)的運行維護以及功能實現(xiàn)提供支持。總體架構(gòu)分為基礎(chǔ)設(shè)施層、數(shù)據(jù)處理與管理層、應(yīng)用層,氣象大數(shù)據(jù)云平臺總體架構(gòu)如圖4。在運行過程中為確保數(shù)據(jù)高效處理,這種平臺在應(yīng)用時可以全流程管理各類型的氣象數(shù)據(jù)信息,且可以方便的進行交換、質(zhì)控,表現(xiàn)出較高的應(yīng)用性能優(yōu)勢。

表1 平臺性能測試

大數(shù)據(jù)云平臺層對全部的氣象數(shù)據(jù)可基于接口機集群高效處理,進行一定轉(zhuǎn)換后得到各種類型的數(shù)據(jù)產(chǎn)品,且對不同類型的數(shù)據(jù)進行分類管理和存儲;對采集的原始數(shù)據(jù)通過分布式ETL工具抽取、清洗操作后,接著基于設(shè)定的倉庫模型進行加載處理。對這種架構(gòu)而言,大數(shù)據(jù)云平臺有重要的意義,也是其中的最重要單元,能夠提供氣象業(yè)務(wù)綜合管理、天氣預(yù)測預(yù)報、農(nóng)業(yè)氣象服務(wù)、交通氣象服務(wù)、旅游氣象服務(wù)等功能。

3 平臺性能測試與分析

全國綜合氣象信息共享系統(tǒng)(CIMISS)是氣象部門數(shù)據(jù)收集、存儲、加工和共享的業(yè)務(wù)支撐系統(tǒng),通過數(shù)據(jù)統(tǒng)一服務(wù)接口整合CIMISS與本地數(shù)據(jù)服務(wù),提供數(shù)據(jù)訪問服務(wù)和應(yīng)用服務(wù)。對比測試平臺的性能,將相同大小的任務(wù)分別在CIMISS、氣象大數(shù)據(jù)云平臺及基于CART氣象大數(shù)據(jù)云平臺上運行,響應(yīng)時間如表1所示。其中,在CIMISS中,根據(jù)統(tǒng)計、質(zhì)控、解碼應(yīng)用頻率,按照10:1:1頻次做加權(quán)平均;氣象大數(shù)據(jù)云平臺按照Map和Reduce任務(wù)統(tǒng)計響應(yīng)時間,考慮HDFS分布式特性,對不同大小數(shù)據(jù)處理性能也有不同,通過Map操作、設(shè)置reducer參數(shù)、任務(wù)大小提高平臺執(zhí)行效率,其中Map和Reduce任務(wù)個數(shù)通過多次設(shè)置優(yōu)化執(zhí)行時間;采用了決策樹算法的氣象大數(shù)據(jù)云平臺,自動選擇數(shù)據(jù)挖掘、機器學習、深度學習來處理提交的任務(wù)。

結(jié)果可以看到,氣象大數(shù)據(jù)云平臺對數(shù)據(jù)統(tǒng)計、質(zhì)控、解碼等處理性能均有較大提升,平均提升3.6倍。采用決策樹挖掘算法后,平臺性能可以提升到1.4倍。

4 結(jié)束語

當今已經(jīng)進入大數(shù)據(jù)時代,氣象數(shù)據(jù)規(guī)模迅速的增長,在此背景下如何高效的利用海量氣象數(shù)據(jù)并充分發(fā)揮其資源價值,就成為當前氣象研究的熱點。Hadoop平臺是內(nèi)網(wǎng)分布式在運行時不會產(chǎn)生明顯的延遲,且簡化了系統(tǒng)結(jié)構(gòu)。氣象大數(shù)據(jù)云平臺的整體解決方案,對收集氣象相關(guān)數(shù)據(jù)進行處理,將相關(guān)樣本集經(jīng)由MapReduce并行創(chuàng)建CART樹形成隨機森林,訓(xùn)練模型,使得氣象大數(shù)據(jù)云平臺中應(yīng)用層功能模塊能夠?qū)崿F(xiàn)動態(tài)數(shù)據(jù)更新,更好地為其他領(lǐng)域服務(wù)。Hadoop平臺表現(xiàn)出明顯的異構(gòu)和集群化特征,未來很有必要研究異構(gòu)下的數(shù)據(jù)集處理方法,更好的滿足異構(gòu)條件下的數(shù)據(jù)處理要求,同時也為并行算法的廣泛應(yīng)用提供支持。在氣象信息管理的實際應(yīng)用中,許多數(shù)據(jù)是復(fù)雜異構(gòu)的,有很多非結(jié)構(gòu)化數(shù)據(jù),下一步可以對非結(jié)構(gòu)化氣象數(shù)據(jù)挖掘方法展開研究。

猜你喜歡
數(shù)據(jù)挖掘模型
一半模型
探討人工智能與數(shù)據(jù)挖掘發(fā)展趨勢
重要模型『一線三等角』
重尾非線性自回歸模型自加權(quán)M-估計的漸近分布
基于并行計算的大數(shù)據(jù)挖掘在電網(wǎng)中的應(yīng)用
電力與能源(2017年6期)2017-05-14 06:19:37
數(shù)據(jù)挖掘技術(shù)在中醫(yī)診療數(shù)據(jù)分析中的應(yīng)用
3D打印中的模型分割與打包
一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用
FLUKA幾何模型到CAD幾何模型轉(zhuǎn)換方法初步研究
數(shù)據(jù)挖掘的分析與探索
河南科技(2014年23期)2014-02-27 14:18:43
主站蜘蛛池模板: 最新国产你懂的在线网址| 亚洲人成网站观看在线观看| 高清免费毛片| 综合网天天| 欧美成人午夜影院| 欧美亚洲综合免费精品高清在线观看| 午夜欧美在线| 亚洲婷婷在线视频| 国产免费怡红院视频| 黄色免费在线网址| 免费观看精品视频999| 国产91视频免费| 中文字幕亚洲综久久2021| 日本一本在线视频| 亚洲愉拍一区二区精品| 国产精品久久久久久久久久久久| 亚洲永久免费网站| 国产不卡一级毛片视频| 欧美黄网站免费观看| 毛片最新网址| 亚洲中文无码h在线观看| 亚洲精品大秀视频| 福利姬国产精品一区在线| 中文字幕欧美日韩| 99视频在线免费看| 国产性爱网站| 国产成人艳妇AA视频在线| 亚洲综合在线网| 超碰色了色| 亚洲天堂成人在线观看| 亚洲有无码中文网| 日本爱爱精品一区二区| 亚洲精品免费网站| 狼友视频国产精品首页| 天堂网亚洲系列亚洲系列| 国产va免费精品| 久无码久无码av无码| 色综合天天操| 亚洲精品在线观看91| AV老司机AV天堂| 五月婷婷激情四射| 久久久黄色片| 精品无码一区二区在线观看| 国产精品所毛片视频| 色成人综合| 性喷潮久久久久久久久| 亚欧成人无码AV在线播放| 中日无码在线观看| 欧美国产视频| 亚洲综合中文字幕国产精品欧美| 91九色最新地址| 四虎影视永久在线精品| 日韩av无码精品专区| 亚洲AV无码一二区三区在线播放| 一本大道香蕉久中文在线播放| 成人在线综合| 人妻精品久久无码区| 国产精品一区二区久久精品无码| 久久永久免费人妻精品| 欧美日韩午夜| 国产va欧美va在线观看| 欧美一级高清免费a| 成年午夜精品久久精品| 欧美一区二区三区国产精品| 亚洲精品国产首次亮相| 亚洲精品免费网站| 激情综合网激情综合| 精品视频在线观看你懂的一区| 亚洲制服中文字幕一区二区| 国产在线无码av完整版在线观看| 免费一级毛片在线播放傲雪网| 国产成人午夜福利免费无码r| 日本精品影院| 99在线视频精品| 中文一区二区视频| av免费在线观看美女叉开腿| 成人欧美日韩| 亚洲久悠悠色悠在线播放| 精品国产污污免费网站| 5555国产在线观看| 最新国产高清在线| 亚洲天堂网在线播放|