基于互聯網搜索指數的大宗商品農產品價格指數預測

【摘要】本文利用因子模型思想構建互聯網搜索指數，從與大宗農產品價格相關的11類基準關鍵詞中篩選出共計17個關鍵詞構建搜索指數，并分析其與大宗農產品價格之間的關聯。實證結果表明：本文提出的互聯網搜索指數與實際大宗商品農產品價格指數的相關性較高，其長期趨勢體現出較高的一致性，在短期也能擬合絕大部分拐點，能夠反映互聯網用戶主要是投資者對大宗農產品市場動態變化的關注程度。

【關鍵詞】互聯網搜索指數 大宗商品農產品價格 因子分析

一、引言

隨著大數據時代的降臨，高效的信息檢索功能是搜索引擎成為網民獲取互聯網信息的重要入口。用戶信息搜索行為的群體表現在一定程度上體現了用戶心理形態和外部環境的變化，與實際經濟行為具有較強的相關性，為經濟預測提供了新的信息資源。故而相對于傳統的數據來源，諸如機構發布的統計數據及調察問卷數據等，從互聯網中甄選更具全面和代表性的能夠反應用戶關注的熱度、趨勢且具有較好預測能力的數據，是對傳統數據來源數據的有效擴充，如何有效應用互聯網數據也是目前學術界和業界急需解決的問題。

搜索引擎的廣泛使用，在滿足用戶信息需求的同時也記錄了用戶的搜索行為，從而使得基于互聯網的搜索數據中蘊含了用戶的關注及意圖，能夠映射用戶在現實生活中的行為趨勢和規律（Lynn Wu 2009）。基于網絡搜索數據的社會經濟行為研究大多出現于2008年之后，研究的領域始于流行病監測，發展至今日已逐漸成為一個新的學術熱點，并在宏觀經濟指標、投資市場以及房地產價格等經濟領域的研究中取得了一定成果。

在經濟領域中，搜索指數可用于消費行為、失業率、通貨膨脹等指標的預測。McLaren N證明了互聯網搜索指數可以用作的經濟指標的編制，Guzman G 將搜索指數用于通貨膨脹的預測。Li X，Shang W，Wang應用MIDAS模型結合谷歌搜索數據編制了中國通貨膨脹的預測指數。

在投資市場中，搜索指數可用于天然氣、原油價格以及房地產價格Li X，Ma J，Zhang X利用谷歌搜索數據研究了公眾注意力如何影響天然氣價格。李新和張珣運用廣義動態因子模型構建了可預測原油價格的搜索指數，并使用生物信息學中因果分析方法對指數進行評價，證實了所構造的搜索指數與期貨價格和現貨價格均存在顯著的因果關系，并能準確探測原油價格的拐點。

目前基于互聯網搜索的預測研究在實證領域取得了不小的成果，但仍需要不斷改進與完善，本文粗略提出三點：首先，在理論基礎方面，基于網絡搜索指數的研究存在一個基本的理論前提，即信息構造引起行為變化，行為變化導致現象產生。這種理論前提在不同領域的內在機理的作用過程及其普遍適用性有待討論；其次，在預測方法上，相關學者對于如何進行關鍵詞的選取、數據模型處理上都尚未達成共識，其中關于關鍵詞的選擇方法，主要分為兩類，其一以研究問題作為關鍵詞，以該研究方向的理論體系為基礎，選取關鍵變量進行分類和拓展，這種方法的優越性在于所構建的指數能夠反映最相關信息，但由于主觀性較強且依賴于理論基礎的完備程度，故而存在著代表不完全且難以主動識別新變量的問題；其二，有部分學者提出將數據挖掘算法應用到關鍵詞選擇中，運用決策樹、文本挖掘、向量機等多種數據挖掘算法進行特征搜索的選擇，在實證中也取得了較好的效果，這類方法更具有客觀性和嚴謹性，但所選取的指標是否具有經濟含義還需要大量的人工判斷，這也使這種方法變得十分繁瑣。最后，關于互聯網搜索指數的研究大多是針對國外市場進行的，該方法是否對中國情境下的研究問題有效尚無確定的結論。

本文正是基于上述文獻的研究結果，從投資者行為視角建立了互聯網搜索行為與大宗農產品價格之間的映射關系，如圖1所示，構建過程分為3步：

第一，市場的重要信息的發布會影響投資者的心理預期，相反投資者也會通過主動搜索捕捉重要信息以輔助其進行投資決斷。

第二，在新經濟的背景下，互聯網成為投資者獲取大宗商品市場變動信息的最佳途徑，投資者可以通過互聯網的搜索、瀏覽及論壇等應用獲取新信息，其中搜索引擎作為互聯網的入口，蘊含了無數投資者對影響農產品價格的關注。投資者對農產品價格信息的采集可能主要集中于宏觀形勢、金融市場、行業特征以及突發事件等方面。

第三，在有效資本市場理論中，新信息是影響股票市場變動的唯一因素，期貨市場作為衍生品市場，其變動在市場充分有效的情形下也可以看作是新信息所引致的，因此及時準確的捕捉最有效信息對期貨市場、現貨市場的投資者而言至關重要。

二、實證分析

本文利用搜索關鍵詞數據對大宗商品農產品進行預測。農產品價格選取由中國流通產業網發布的大宗商品價格指數（CCPI）中的農產品價格指數來衡量，時間跨度為2011年1月至2016年5月。由于所預測的是國內大宗商品價格的變動，故而搜索行為的觀察數據來源于國內所有使用度最高的百度搜索引擎所提供的數據，百度指數與前述眾多文獻中使用的谷歌指數類似，所提供的搜索量數據是一個相對數據，而非絕對搜索量，代表的是在某段時期內，某個特定關鍵詞的被關注程度和熱門程度。本文采集數據所使用的軟件可以抓取百度指數上每個關鍵詞從2011年1月1日至今的用戶關注度的天數據。用戶關注度是以數千萬網民在百度的搜索量為數據基礎，以關鍵詞為統計對象，科學分析并計算出各個關鍵詞在百度網頁搜索中搜索頻次的加權和，并以曲線圖的形式展現可以反映與該關鍵詞相對應的某類事物的熱門程度和被關注程度該數據是絕對值的形式，故已有的數據不會隨著時間的推移而變化。

（一）初始搜索關鍵詞集合

為了獲取盡可能相關、完整的關鍵詞，根據上文中的理論框架，將關鍵詞分為宏觀形勢、金融市場、行業特征以及突發事件四類，據此獲取基準搜索關鍵詞集合。其中，宏觀形勢因素的基準關鍵詞為匯率、利率、通貨膨脹、貨幣供應、原油價格；金融市場因素的基準關鍵詞為農產品期貨、農產品現貨；行業特征因素的基準關鍵詞為農業產業化、農業機械、農業技術；突發事件因素的基準關鍵詞為自然災害。endprint

然后利用搜索引擎的關鍵詞推薦功能，產生這11個基準關鍵詞的所有相關搜索詞，每個類別50個，進而得到550個百度所能提供的搜索詞。通過對每一類別的關鍵詞進行初步文本分析，篩選出57個有效關鍵詞。

（二）數據收集及預處理

對這57個搜索數據進行Pearson相關性檢驗，選取了通過雙邊0.01顯著性檢驗的關鍵詞序列，以保證進入模型的每個關鍵詞與大宗商品農產品指數之間的相關性。對剩余數據進行平穩性分析，選取通過平穩性檢驗的序列用以形成最終關鍵詞集合，相關檢驗結果如表1所示。

表1 最終關鍵詞集合及檢驗結果

■

（三）搜索指數的合成

因為本文旨在研究基于因子分析模型構建的搜索指數與大宗商品農產品價格之間的關聯，所以首先我們根據關鍵詞數據和因子分析原理構建搜索指數，然后分析搜索指數與農產品價格之間的匹配關系。在對數據進行標準化處理后，對變量之間的相關性進行KMO檢驗，得KMO值為0.732，此外Bartlett球形檢驗值為0.000，表示數據之間具有一定的相關性，適合做主成分—因子分析。本文采用因子貢獻率標準選取公共因子，一般來講，因子對總體的解釋程度達到80%左右為宜，因此，本文選取特征大于1的5個公共因子和特征值為0.874的1個公共因子，累計對總體的解釋程度達到79.389%。本文采用常用的最大方差法旋轉因子載荷矩陣，旋轉后的因子載荷矩陣可得每個因子的因素表達式：

C1=-0.832X1-0.625X2+0.684X3+0.500X4-0.127X5

-0.891X6+0.169X7+0.872X8-0.401X9+0.026X10

+0.094X11+0.242X12-0.026X13-0.205X14+0.083X15

-0.030X16+0.908X17

同理可得C2～C6因子的表達式。

根據主成分對總體的解釋程度可得總體的各因子表達式：

Y=0.28017C1+0.20585C2+0.11227C3+0.08352C4+0.06067C6

將C1～C6的表達式代入上式即可得個影響因素的權重，對各權重進行歸一化處理，得到各指標對總體的綜合評價權重，再將初始數據帶入可得綜合指標的序列，這樣的方法提取出了總體輸入數據的共同成分，驅使各個不同關鍵詞序列去世的共同成分即他們的共性——大宗商品農產品的價格，由此我們使用綜合評價Y序列作為搜索指數，圖1為合成的搜索指數與大宗商品農產品價格指數（ccpi）的兩個序列趨勢信息。

如圖1（橫軸為自2011年1月1日起累計周數，縱軸為價格指數，系列1為大宗商品農產品價格趨勢，系列2為搜索指數變動趨勢）所示，兩個變量間的走勢表現出較強的一致性。在圖1中45周～62周的上行區間、117周～187周的平穩震蕩區間以及23周～262周的下行區間內，本文構建的搜索指數與實際農產品價格指數走勢均呈現出較強的一致性。

為了突出短期的變化相關性，圖2截取了2016年1月1日至2016年5月27日的價格指數和搜索指數對比圖，在2016年前5周，兩個指數都呈現出變動較為平緩的態勢，在第8周和第17周，兩個指數同時達到一個小峰值從圖中可以看出搜索指數能夠預測出大部分大宗商品價格走勢的拐點，說明了搜索指數內包含了能夠極大程度的反映搜索關鍵詞之間的共性信息，同時表明了關鍵詞關注度指數可以幫助提高大宗商品農產品的預測水平。

三、小結

大宗商品農產品價格一直都是投資者關注的重點之一，但由于影響因素龐雜，經濟影響因素的滯后性等原因，使農產品的價格預測結果總是不盡人意，國內外研究者一直都在積極尋求更加準確地預測方法。近年來，隨著互聯網技術及大規模數據分析方法的發展，海量搜索數據及社交媒體數據等逐漸在社會、經濟、金融和能源預測中得到廣泛應用，這也為大宗商品農產品價格的預測提供了新的思路。本文也在此種背景下針對網絡搜索數據是否能提高農產品價格預測的準確性和時效性進行了討論。由于目前對于搜索指數的合成方法還沒有一個公認的方法，本文在經過大量模型的嘗試之后選擇使用因子分析方法的思想構建互聯網搜索指數，為了解決了大量搜索數據之間的多重共線性問題，我們從與大宗農產品價格相關的11類基準關鍵詞中篩選出共計17個關鍵詞，合成旨在預測農產品價格的互聯網搜索指數，并分別在長期和短期驗證該合成指數的預測效果。檢驗結果顯示，本文提出的互聯網搜索指數，與實際大宗商品農產品價格指數的相關性較高，其長期趨勢體現出較高的一致性，在短期也能擬合絕大部分拐點，能夠反映互聯網用戶主要是投資者對大宗農產品市場動態變化的關注程度，提高農產品價格的預測精確度。

需要指出的是，由于互聯網大數據的應用在經濟學領域的研究還處于一個初步的探索階段，故還有許多問題需要進一步研究， 如關鍵詞的關注度與投資者的投資決策之間的關系，關鍵詞關注度對農產品價格的影響方向以及關鍵詞的選擇等將是下一步研究的重點。

參考文獻

[1]Ginsberg J，Mohebbi M H，Patel R S，et al.Detecting influenza eqidemics using search engine query data[J].Nature，2009，457（7232）：1012-1014.

[2]李秀婷，劉凡，董紀昌，等.基于互聯網搜索數據的中國流感檢測[J].系統工程理論與實踐，2013，33（12）：3028-3034.

[3]Guzman G.Internet and Social behavior as an economic forecasting tool：The case of inflation expectations[J].Journal of Economic and Social Measurement，2011，36（3）：119-167.

[4]Goel S，Hofman J M，Lahaie S，et al.Predicting consumer behavior with Web search[C].Proceedings of the National Academy of Sciences，2010，107（41）：17486-17490.

[5]Li X，Shang W，Wang S，et al.A MIDAS modeling framework for Chinese inflation index forecast incorporating Google search data[J].Electronic Commerce Research and Applications，2015，14（2）：112-125.

[6]Li Z，Xu W，Zhang L，et al.An ontology-based Web mining method for unemployment rate prediction[J].Decision Support Systems 2014，66（10）：114-122.

[7]Askitas N，Zimmermann K F.Google econometrics and unemployment forecasting[J].Applied Economics Quarterly，2009，55（2）：107-120.

[8]孫毅，呂本富.網絡搜索與經濟行為相關性研究綜述[J].管理評論，2011，23（7）：72-77.

[9]楊欣，呂本富，彭賡，劉穎.基于網絡搜索數據的突發事件對股票市場影響分析[J].數學的實踐與認識，2013，43（23）：17-28.

[10]蘇應蓉.全球農產品價格波動中金融化因素探析[J].農業經濟問題，2011，6.

作者簡介：周湘蕾（1994-），女，漢族，廣西大學商學院在讀研究生，研究方向：數量經濟學理論與方法。endprint