采用云計(jì)算對(duì)糧食價(jià)格進(jìn)行分析和預(yù)測(cè)

◎劉永平，郭小波，胡坤倫

（河南工程學(xué)院計(jì)算機(jī)學(xué)院，河南 鄭州 451191）

我國(guó)作為一個(gè)農(nóng)業(yè)大國(guó)，糧食價(jià)格不僅關(guān)系到農(nóng)民的收入和消費(fèi)水平的提高，同時(shí)關(guān)系到我國(guó)農(nóng)業(yè)的長(zhǎng)遠(yuǎn)和健康的發(fā)展，對(duì)糧食價(jià)格進(jìn)行有效的調(diào)控，是穩(wěn)定國(guó)家和社會(huì)發(fā)展的基礎(chǔ)，也是目前我國(guó)國(guó)家宏觀調(diào)控的重要內(nèi)容之一[1]。

目前，國(guó)內(nèi)外對(duì)于糧食價(jià)格的預(yù)測(cè)大多數(shù)采用傳統(tǒng)的專家經(jīng)驗(yàn)和簡(jiǎn)單的數(shù)學(xué)模型來(lái)完成[2]。例如直線外推模型、指數(shù)平滑模型、回歸線分析模型等，使用這些模型進(jìn)行分析的過(guò)程中，往往只是強(qiáng)調(diào)糧食價(jià)格的歷史變化規(guī)律對(duì)未來(lái)糧食價(jià)格帶來(lái)的影響。然而，實(shí)際中的糧食價(jià)格并不僅僅受到來(lái)自糧食價(jià)格的歷史因素的影響，在這些眾多的影響因素中存在的關(guān)系也是一種不確定的關(guān)系[3]。如何考慮多種糧食價(jià)格影響因素構(gòu)建糧食價(jià)格預(yù)測(cè)模型對(duì)提高糧食價(jià)格分析和預(yù)測(cè)的準(zhǔn)確性和可靠性具有非常重要的意義。云計(jì)算技術(shù)建立在云服務(wù)基礎(chǔ)之上，通過(guò)云計(jì)算結(jié)合數(shù)據(jù)挖掘算法發(fā)現(xiàn)糧食價(jià)格與各種影響因素之間的關(guān)系，實(shí)現(xiàn)對(duì)糧食價(jià)格的分析和預(yù)測(cè)，相對(duì)于傳統(tǒng)的線性分析法和單一的歷史價(jià)格分析法具有更高的效率和準(zhǔn)確性，可以有效提高糧食價(jià)格分析預(yù)測(cè)效率和準(zhǔn)確性[4]。

基于此，本文提出了一種基于云計(jì)算的糧食價(jià)格分析和預(yù)測(cè)模型，該模型利用apriori算法在云計(jì)算環(huán)境下執(zhí)行，實(shí)現(xiàn)了對(duì)影響糧食價(jià)格的各類影響因素和糧食價(jià)格之間的關(guān)聯(lián)性進(jìn)行分析挖掘，根據(jù)得到的關(guān)聯(lián)性和置信度實(shí)現(xiàn)了對(duì)糧食價(jià)格的分析和預(yù)測(cè)。

1 云計(jì)算技術(shù)

1.1 云計(jì)算技術(shù)

云計(jì)算是分布式計(jì)算的一種，云計(jì)算的基本原理就是將復(fù)雜的計(jì)算自動(dòng)拆分成多個(gè)小的計(jì)算過(guò)程（子程序），然后通過(guò)網(wǎng)絡(luò)形式交由網(wǎng)絡(luò)上多個(gè)云服務(wù)器來(lái)共同完成，最后將結(jié)果返回給用戶[5]，其整個(gè)過(guò)程涉及到網(wǎng)絡(luò)搜尋、計(jì)算分析和程序拆分匯總等一系列操作過(guò)程。

通過(guò)云計(jì)算技術(shù)，在龐大的云網(wǎng)絡(luò)服務(wù)下，云計(jì)算服務(wù)提供者可以實(shí)現(xiàn)對(duì)云網(wǎng)絡(luò)上所有計(jì)算設(shè)備資源進(jìn)行有效的整合，實(shí)現(xiàn)在短時(shí)間內(nèi)完成數(shù)以千萬(wàn)計(jì)的信息處理和數(shù)據(jù)處理，達(dá)到與大型超級(jí)計(jì)算機(jī)相同的計(jì)算能力和計(jì)算效果。借助于云計(jì)算這一特點(diǎn)，在糧食價(jià)格分析和預(yù)測(cè)中，可以充分的利用云計(jì)算技術(shù)對(duì)影響糧食價(jià)格的相關(guān)因素進(jìn)行分析和處理，在龐大的影響因素?cái)?shù)據(jù)中發(fā)現(xiàn)其變化和影響規(guī)律，進(jìn)而實(shí)現(xiàn)對(duì)糧食價(jià)格的預(yù)測(cè)和分析。

1.2 Hadoop云計(jì)算框架

Hadoop是一款非常著名的云計(jì)算框架，是由著名的Apache開源基金會(huì)組織開發(fā)的一個(gè)分布式基礎(chǔ)框架，通過(guò)該框架來(lái)構(gòu)建云計(jì)算和云服務(wù)，可以極大的降低設(shè)計(jì)的工作量，提高構(gòu)建的云計(jì)算系統(tǒng)的穩(wěn)定性和可靠性。基于Hadoop進(jìn)行云計(jì)算系統(tǒng)的設(shè)計(jì)時(shí)候，可以借助于其強(qiáng)大的并行計(jì)算控制機(jī)制，極大的提高計(jì)算處理效率[6]，結(jié)合本文研究的糧食價(jià)格分析預(yù)測(cè)系統(tǒng)的特點(diǎn)，本文采用Hadoop云計(jì)算服務(wù)框架來(lái)構(gòu)建糧食價(jià)格分析預(yù)測(cè)系統(tǒng)。

2 基于apriori算法的糧食價(jià)格分析和預(yù)測(cè)模型的構(gòu)建

2.1 apriori算法

apriori算法是一種經(jīng)典的數(shù)據(jù)挖掘算法，在目前大型的數(shù)據(jù)分析系統(tǒng)中被廣泛使用。它可以很好的找出各類因素與糧食價(jià)格的影響關(guān)系，通過(guò)apriori算法挖掘糧食當(dāng)前價(jià)格與歷史數(shù)據(jù)以及各個(gè)影響因素之間的關(guān)聯(lián)性。

本文在利用apriori算法對(duì)糧食價(jià)格進(jìn)行分析和預(yù)測(cè)過(guò)程中，主要是通過(guò)apriori算法找出糧食價(jià)格與各類影響因素之間的置信度，通過(guò)其置信度構(gòu)建糧食價(jià)格分析模型，以置信度計(jì)算出糧食價(jià)格對(duì)其進(jìn)行預(yù)測(cè)。

2.2 糧食價(jià)格預(yù)測(cè)模型構(gòu)建

本文設(shè)計(jì)的基于apriori算法的糧食價(jià)格預(yù)測(cè)模型如圖1所示，整個(gè)糧食價(jià)格是建立在2005年到2015年十年的糧食零售價(jià)格指數(shù)、糧食生產(chǎn)價(jià)格指數(shù)、世界糧食價(jià)格指數(shù)、農(nóng)村及城鎮(zhèn)居民糧食消費(fèi)與供給比率和居民消費(fèi)價(jià)格指數(shù)數(shù)據(jù)基礎(chǔ)之上，通過(guò)從我國(guó)農(nóng)業(yè)部門和世界農(nóng)業(yè)部門的官方數(shù)據(jù)庫(kù)中導(dǎo)入這十年的糧食指數(shù)參數(shù)作為預(yù)測(cè)數(shù)據(jù)的基礎(chǔ)，基于這些數(shù)據(jù)構(gòu)建數(shù)據(jù)挖掘模型數(shù)據(jù)庫(kù)，利用apriori算法對(duì)其進(jìn)行數(shù)據(jù)挖掘分析，得出各種因素與糧食價(jià)格之間的置信度，然后通過(guò)計(jì)算模型實(shí)現(xiàn)對(duì)糧食價(jià)格的計(jì)算和預(yù)測(cè)，得出當(dāng)前時(shí)間的糧食價(jià)格。

3 基于Hadoop云計(jì)算框架的糧食價(jià)格分析和預(yù)測(cè)

3.1 Hadoop數(shù)據(jù)預(yù)處理

從《中國(guó)統(tǒng)計(jì)年鑒》《中國(guó)農(nóng)產(chǎn)品價(jià)格調(diào)查年鑒》、聯(lián)合國(guó)糧食及農(nóng)業(yè)組織網(wǎng)站（http://www.fao.org/home/en/），以及農(nóng)業(yè)部和世界農(nóng)業(yè)組織中可以獲取指數(shù)數(shù)據(jù)，這些數(shù)據(jù)被存儲(chǔ)到預(yù)測(cè)模型的數(shù)據(jù)倉(cāng)庫(kù)中，由于apriori算法處理效率較低，這些數(shù)據(jù)包含了近十年的歷史數(shù)據(jù)，如果同時(shí)對(duì)其處理將導(dǎo)致整個(gè)預(yù)測(cè)效率極低，因此本文采用云計(jì)算方法，通過(guò)Hadoop云計(jì)算框架來(lái)實(shí)現(xiàn)apriori算法，在利用Hadoop進(jìn)行計(jì)算的過(guò)程中，首先需要將十年的數(shù)據(jù)處理成html格式存儲(chǔ)到Hadoop框架的中，使用MapReduce來(lái)進(jìn)行糧食價(jià)格影響因素?cái)?shù)據(jù)的提取，在完成糧食價(jià)格影響因素?cái)?shù)據(jù)的提取之后，將基于apriori算法的糧食預(yù)測(cè)模型與Hadoop云計(jì)算框架進(jìn)行關(guān)聯(lián)，可以直接將獲得的數(shù)據(jù)寫入到HDFS數(shù)據(jù)庫(kù)中，為后續(xù)Hadoop算法處理做準(zhǔn)備。

3.2 基于Hadoop云計(jì)算框架實(shí)現(xiàn)的糧食價(jià)格分析和預(yù)測(cè)

圖2 基于Hadoop云計(jì)算框架實(shí)現(xiàn)的糧食價(jià)格分析和預(yù)測(cè)框架模型

在數(shù)據(jù)預(yù)處理的基礎(chǔ)上，結(jié)合Hadoop云計(jì)算框架，本文設(shè)計(jì)了基于Hadoop云計(jì)算處理的糧食價(jià)格分析預(yù)測(cè)模型如圖2所示，Hadoop云計(jì)算框架部署于Linux虛擬機(jī)上，通過(guò)Hadoop云服務(wù)組件構(gòu)建整個(gè)云計(jì)算框架，然后設(shè)計(jì)Hadoop并行apriori處理任務(wù)，交由Hadoop并行調(diào)度控制器進(jìn)行調(diào)度執(zhí)行，將apriori算法挖掘分成多個(gè)并行任務(wù)分布到不同的虛擬計(jì)算節(jié)點(diǎn)上進(jìn)行處理，同時(shí)通過(guò)Hadoop數(shù)據(jù)預(yù)處理模塊從糧食價(jià)格預(yù)測(cè)數(shù)據(jù)庫(kù)系統(tǒng)中導(dǎo)入糧食零售價(jià)格歷史數(shù)據(jù)、糧食生產(chǎn)價(jià)格歷史數(shù)據(jù)、世界糧食價(jià)格歷史數(shù)據(jù)、農(nóng)村及城鎮(zhèn)價(jià)格歷史數(shù)據(jù)和居民消費(fèi)價(jià)格指數(shù)歷史數(shù)據(jù)到Hadoop的HDFS文件系統(tǒng)中，為Hadoop執(zhí)行apriori算法提供數(shù)據(jù)支持，這樣極大的提高apriori算法的執(zhí)行效率，最后執(zhí)行完aprior算法后得到各個(gè)影響因數(shù)與糧食價(jià)格的置信度，交由糧食價(jià)格計(jì)算模塊進(jìn)行計(jì)算得出糧食價(jià)格的預(yù)測(cè)值。

4 實(shí)驗(yàn)分析

本文基于Hadoop云計(jì)算框架構(gòu)建了糧食價(jià)格分析和預(yù)測(cè)模型，以河南省駐馬店市糧食市場(chǎng)的通貨花生為例，對(duì)2014年1月份、6月份和12月份的三個(gè)月的歷史糧食價(jià)格進(jìn)行預(yù)測(cè)分析以驗(yàn)證其價(jià)格預(yù)測(cè)分析的準(zhǔn)確性和可靠性，通過(guò)實(shí)際運(yùn)行得到的結(jié)果如表1所示，通過(guò)預(yù)測(cè)值和實(shí)際價(jià)格值對(duì)比分析，可以看出本文設(shè)計(jì)的基于Hadoop云計(jì)算的糧食價(jià)格分析和預(yù)測(cè)模型對(duì)糧食價(jià)格進(jìn)行預(yù)測(cè)具有較高的可靠性和準(zhǔn)確性，其誤差大致在每500g需要0.1元左右，符合一般的金融統(tǒng)計(jì)和分析要求。

表1 實(shí)驗(yàn)預(yù)測(cè)結(jié)果分析表

5 結(jié)論

對(duì)糧食價(jià)格進(jìn)行有效的分析和預(yù)測(cè)，可以提高國(guó)家對(duì)糧食價(jià)格的調(diào)控準(zhǔn)確性和采取相應(yīng)的措施的有效性，本文提出了一種基于云計(jì)算的糧食價(jià)格分析和預(yù)測(cè)模型，該模型利用apriori算法在云計(jì)算環(huán)境下實(shí)現(xiàn)了對(duì)影響糧食價(jià)格的各類影響因素和糧食價(jià)格之間的關(guān)聯(lián)性進(jìn)行挖掘，根據(jù)得出的關(guān)聯(lián)性和置信度實(shí)現(xiàn)了對(duì)糧食價(jià)格的分析和預(yù)測(cè)。通過(guò)實(shí)驗(yàn)分析表明，本文構(gòu)建的糧食價(jià)格分析預(yù)測(cè)模型可以很好的對(duì)糧食價(jià)格進(jìn)行預(yù)測(cè)，具有較高的準(zhǔn)確性和可靠性，對(duì)促進(jìn)我國(guó)農(nóng)業(yè)生產(chǎn)發(fā)展具有非常重要的意義。

[1]黃承真.云計(jì)算環(huán)境下機(jī)票價(jià)格預(yù)測(cè)及任務(wù)分配研究[D].合肥:中國(guó)科學(xué)技術(shù)大學(xué),2014.

[2]劉春海,佟鳳奇,崔濤. 糧食價(jià)格預(yù)測(cè)方法探討[J].農(nóng)業(yè)發(fā)展與金融,2012(6).

[3]鄧自立.云計(jì)算中的網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)和Hadoop平臺(tái)研究[D].合肥:中國(guó)科學(xué)技術(shù)大學(xué),2013.

[4]朱信凱,呂捷.中國(guó)糧食價(jià)格與CPI的關(guān)系（1996—2008）——基于非線性關(guān)聯(lián)積分的因果檢驗(yàn)[J].經(jīng)濟(jì)理論與經(jīng)濟(jì)管理,2011(3).

[5]戴文娟,雒偉民,陳靚瑜,等.Aprior算法在海濱觀測(cè)數(shù)據(jù)相關(guān)性檢驗(yàn)中的應(yīng)用[J].海洋信息,2014(4).

[6]陳勇.基于Hadoop平臺(tái)的通信數(shù)據(jù)分布式查詢算法的設(shè)計(jì)與實(shí)現(xiàn)[D].北京:北京交通大學(xué),2011.