探索數據挖掘技術在甲醇價格預測模型中因素分析的應用

竇昀翬

上海華誼（集團）公司（上海　200025）

化工管理

探索數據挖掘技術在甲醇價格預測模型中因素分析的應用

竇昀翬

上海華誼（集團）公司（上海200025）

介紹了數據挖掘技術的含義，以甲醇價格預測模型的建立為例，通過對已知因素的分析、計算和統計，確定了影響甲醇價格變化的因素及其影響值。運用數據挖掘技術客觀地顯現影響甲醇價格變化的真實因素，避免人為情緒波動對預測工作產生負作用。

數據挖掘價格預測因素分析

信息和數據的交互是信息時代的特征和產物，隨著電子商務的興起與發展，人們已經認識到信息和數據的重要性，它既是全程工作運轉的記錄累積，也是驅動商業行為的動力之源。正如阿里巴巴、京東等公司的掌門人所夸耀的，目前他們的交易平臺可以在用戶模糊輸入產品信息進行產品搜索時，自動匹配出買家和賣家的精準內容，從而使用戶在數量龐大的產品中找到自己最想要的或相關度最高的產品。這種互聯網技術的應用，正是基于數據挖掘（Data Mining）技術而實現的。

1　數據挖掘的定義

數據挖掘是指從大量的、不完全的、有噪聲的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的但又具有潛在有用信息和知識的過程。隨著信息技術的高速發展，人們積累的數據量急劇增長，動輒以TB（太字節，1 TB=1024 GB）計。從海量數據中提取有用的知識成為當務之急，數據挖掘就是為順應這種需要應運而生并發展起來的數據處理技術，是數據庫知識發現(Knowledge Discovery in Database)的關鍵步驟[1]。

數據挖掘功能一般可以分為兩類：預測和描述。描述性挖掘功能用來描述數據庫中數據的一般特性，而預測性挖掘功能是在現有數據上進行推斷，以進行預測。數據挖掘是從大量數據中抽取知識的過程，鑒于數據本身的性質，那些符合推理和統計原理、信息論、遺傳算法和神經網絡的知識被首先運用到知識發現的算法設計中。[2]

數據挖掘與傳統意義上的統計學不同。統計學推斷是由假設驅動的，即形成假設并在數據基礎上進行驗證；數據挖掘是由數據驅動的，即自動地從數據中提取模式和假設。數據挖掘的目標是提取可以容易轉換成邏輯規則或可視化表示的定性模型，與傳統的統計學相比，更加以人為本。

2　問題的提出

甲醇價格預測模型通過分析歷年數據，借助統計學理論來推導甲醇價格后市變化的可能性。正確的模型可以降低主觀判斷中人為因素的影響，并適當延長后市判斷的時間周期，相比于原來僅依據經驗來進行中長期預測的結果，具有可度量性。

建立甲醇價格預測模型，首先需要找到影響甲醇價格變化的因素。在現實工作中，影響甲醇價格的因素有很多，如上游的價格和供給、下游需求、進出口情況、產量、區域內的庫存能力、運輸條件、氣候、地理環境及不可預知的各類突發因素等，這些因素和甲醇價格之間有著必然關系或間接關系，可能隨時都會對甲醇價格的變化產生單獨作用力或合力。人們在事后回顧價格走勢時，通常容易指出影響甲醇價格的變化主要因素，但在分析影響因素、預測后市價格時，如果僅憑主觀判斷和經驗判斷，會出現眾說紛紜、“百家爭鳴”的情況，特別是在行情膠著的情況下，更難以理清影響價格因素的關鍵和核心。

統計分析是應用最早、也是目前最成熟和行之有效的一種數據挖掘方法，其關鍵是構造合適的統計模型和數學模型來解釋被分析的數據。該方法要求使用者具有較豐富的相關領域知識。統計分析一般由兩個步驟構成：首先，使用者從數據庫中選擇抽取適當的數據；其次，使用者執行統計分析工具提供的可視化功能和分析功能來尋找數據間的關系，并構造統計模型和數學模型來解釋數據。其中第二步是反復的和不斷求精的。

本課題搜集了2008年1月至2014年7月的甲醇月度價格，并采集了每月的主觀和經驗因素，通過數據挖掘技術，從定性和定量兩方面確定影響甲醇價格的因素指標及影響比重。數據處理采用Eviews 6.0軟件。

3　影響因素的計算

從現實情況了解到，目前影響甲醇價格變化的因素可分為宏觀因素、主觀因素和突發因素等，其中紐約商品交易所輕質低硫原油（WTI）期貨交易價格、工業品出廠價格指數（PPI）、制造業采購經理人指數（PMI）為宏觀因素，中國及周邊地區港口的月度均價、華東地區主流煤炭交易價格、全國甲醇月度產量、華東地區甲醇價格等為主觀因素，局部戰爭、氣候、地質及交通變化等為突發因素。

3.1數據的歸一化

為統一數據的量化，方便對數據進行分析和計算，需要對已采集到的各類數據進行歸一化處理。本課題采用通過計算變量的標準化得分來進行數據的歸一化處理，轉換函數為：

其中x為原始樣本數據，u為樣本數據的均值，σ為樣本數據的標準差。

3.2異常值的分析與處理

通過分析各個指標的時間序列趨勢圖（見圖1），發現一些異常值，這些異常值大體可分為兩類：

（1）統計錯誤，如2012年12月的煤炭價格；

（2）受突發因素影響，如2008年12月由于金融危機導致的甲醇價格下降和2013年11月由于國外裝置故障導致的甲醇價格突然上漲。

圖1　甲醇價格影響因素趨勢圖

統計錯誤導致的異常值主要通過移動平均法來處理，而突發因素導致的異常值則不需要處理。

3.3甲醇價格與各影響因素之間的相關性分析

圖2為甲醇價格與各影響因素的趨勢圖，表1給出了甲醇價格（出罐價格）與各因素的相關系數，由此可看出，甲醇價格與各影響因素具有一定的相關性，尤其與中國港口到岸價格、WTI價格、進口價格、PPI的相關程度都很高（相關系數＞0.5），這說明利用甲醇價格與影響因素之間的關系進行預測是可行的。

左側線條自上而下依次為：中國港口價格、甲醇港口出罐價格、WTI價格、甲醇進口月均價格、國內煤炭月均價格、甲醇月進口量、PPI、PMI、國內甲醇產量

表1　甲醇出罐價與各因素的相關系數

3.4各影響因素之間的相關性分析

（1）各國港口到岸價之間的相關性

中國及周邊國家和地區主要港口甲醇交易月度價格趨勢見圖3，通過計算后得到的各因素相關系數值見表2。

虛線處從上至下依次標識為：甲醇的中國港口價格、印度港口價格、中國臺灣省港口價格、日本港口價格、東北亞港口價格和韓國港口價格

表2　各國港口價格的相關系數

從圖3和表2可以看出各國港口甲醇到岸價格具有很強的相關性（相關系數都在0.95以上），而在進行統計分析時不能同時考慮它們，只能選擇一個做代表，綜合考慮，認為選擇中國港口價格更具有代表性和現實意義。

（2）各因素之間的相關性

各因素之間的相關性見表3，所有的國外港口價格已用中國港口價格代替，可以看出，某些影響甲醇價格的因素之間也存在較強的相關性，這種相關性會對統計分析結果產生影響，所以需要對這些因素進行篩選，這將在以后的模式匹配工作中進行。

表3　各影響因素之間的相關系數

4　影響因素的確定

4.1純統計學方法

逐步回歸法是多元回歸分析中克服變量相關性的常用方法。運用逐步回歸法得到的回歸結果如表4所示，擬合程度為96.5%。表4表明在考慮變量相關性的條件下，對甲醇價格有顯著影響的變量包括：中國港口價格、產量、WTI價格、煤炭價格、出口量和PPI。

4.2考慮變量的實現意義

根據業內專業人士的經驗建議，在現實情況中，“進口量”對甲醇價格的影響遠大于“出口量”，因此選擇“進口量”作為影響因素。用“進口量”替代“出口量”的回歸結果如表5所示，在回歸模型中，雖然“進口量”對甲醇該變量不會影響其他變量的統計性質。

表4　運用逐步回歸法的回歸結果

5　結論

通過分析計算和數據挖掘技術的應用，甲醇價格的影響因素最終確定為中國港口價格、產量、進口量、原油價格、煤價和PPI。這些因素覆蓋了宏觀因素和微觀因素兩方面，而且因素影響值的大小也通過計算得以確定。

由于影響甲醇價格變化的因素存在復雜性，本研究也存在一定的局限性：第一，沒有考慮到突發性的影響因素，該類因素雖然可以采集，但因為具有臨時性和多變性，無法確立和計算；第二，由于數據采集的原因，所有影響因素的采集時間存在不同步，如原油價格是采集當期之后一個月的期貨價，主要反映了人們對甲醇原料供給的信心影響指數；第三，可能存在還未發現的影響因素，需要今后在工作中不斷發現積累和計算。

表5　“進口量”替換“出口量”的回歸結果

[1]數據挖掘技術簡介[Z].[2004-01-29].http：//www.yesky. com/430/1763930.shtml.

[2]陳疇鏞,陸錦洪.數據挖掘方法在供應鏈產品價格預測中的應用[J].杭州電子工業學院學報,2002,22(6)：19-23.

Application of Data Mining Technology in Factors Analysis of Methanol Price Forecast Model

Dou Yunhui

The implication of data mining technology is introduced.Taking the methanol price model as an example, the known factors are analyzed,calculated and counted,and the factors affecting the methanol price and corresponding influence values are determined.Applying data mining technology can objectively reflect the real factors that affect methanol price and avoid effects of human emotions in forecasting work.

Data mining;Price forecasting;Factor analysis

TP 311.13

竇昀翬男1979年生本科工程師從事化工產品專業銷售管理工作

2015年7月