人工智能與數據挖掘技術在金融市場中的應用

王娟 姚雪筠

摘要：運用人工智能技術是為了尋找能夠適應環境變化的機制，例如能夠排除不合理解決方案的機制。如今，人工智能技術在醫學，游戲，運輸和重工業等領域已有了廣泛應用。本文主要研究的是一個跨學科問題——人工智能與金融的融合。通過簡要介紹數據挖掘技術，專家系統和基于主體的計算智能，并指定用這些技術來解決金融方面的問題，以便更深入地了解智能系統在金融市場上的潛在用途。

關鍵詞：人工智能，數據挖掘，金融市場，應用

引言

當前的經濟形勢下需要一個能夠在不斷變化的市場環境中迅速、準確做出決策的處理體系，所以經濟主體在決策過程中使用信息技術的趨勢越來越明顯。近來，傳統的統計方法逐漸被機器學習方法所代替。應用機器學習的潛在優勢不僅在于其迅速可靠的處理能力，還在于其發現大量數據中隱藏信息的能力。利用人工智能輔助決策可以消除部分決策者的有限理性，以便決策者利用更相關的數據和信息做出更好的決策。

人工智能能夠處理分類，預測和優化等屬于智能決策過程且不能被簡單形式化的問題，這些都是經濟學中的典型問題。本文的主要目的是指出可用于金融領域的人工智能技術，并提供該領域的研究概述。

1、數據挖掘和人工智能

數據挖掘是指從大型數據庫中提取有效的，未知的，可理解和可操作的信息并據此做出關鍵業務決策的過程。它被認為是數據庫中知識發現（KDD）的關鍵過程。主要包括的技術有聚類分析，時間序列挖掘和關聯規則挖掘。數據挖掘技術主要基于統計和機器學習，其模式可以從不同類型的數據中推斷出來。其中機器學習，屬于人工智能領域。

人工智能（人工智能）系統旨在適應和學習。人工智能的第一個定義是基于圖靈測試。艾倫·圖靈對機器展示智能的能力進行了測試。測試過程如下：一個人類法官與一個人和一個機器進行對話，他們都要努力證明自己是人。法官的目標是僅憑對話區分出人和機器（沒有視覺或其他幫助）。當法官無法區分人和機器時，機器則被認為是智能的。

人工智能方法可以分為兩種主要方法——符號（傳統）人工智能和亞符號人工智能（計算智能）。傳統人工智能使用邏輯和規則來做出決策，例如專家系統和貝葉斯網絡，這是一種自上而下的方法。計算智能（軟計算）是從生物機制中獲取靈感，并采用自下而上的方法。經濟應用中使用該技術的例子有神經網絡，遺傳算法，模糊系統等。

2、數據挖掘在金融市場中的應用

最近的研究涉及基于數據挖掘技術的定量交易工具的設計。數據挖掘有助于查找資產之間的關系，并根據廣泛的數據創建預測模型。利用歷史數據、短期匯率、利率和股票價格可以進行預測。數據挖掘在股票市場得到了廣泛的運用。Tung（2003）等人對十個證券交易所指數采用了一種簡單的支持與信任交易策略并發現關聯規則在股票預測中作為分類任務的一種形式是適用的。

文本挖掘也是解決股票價格預測問題的有用工具。Schumaker和Chen（2009）將統計機器學習方法應用于財經新聞。使用技術的主要目標是了解雅虎財經中的哪些條款將對標準普爾500指數中所列公司的股價產生影響，它們將產生多大的影響，然后估算在未來二十分鐘的股票價格。為了測試擬議系統的有效性，他們隨意選擇了一組專家和基金進行比較。他們的模擬交易收益率為8.50%，優于標準普爾500指數，著名的交易專家和2005年四大量化共同基金。

數據挖掘工具擁有很強的交互性，易于理解，且投資成本低，還能夠識別出需要進一步檢查的重大異常。它在金融市場上的巨大潛力得到了證明，但使用數據挖掘工具需要注意數據的預處理。很明顯的異常值在實際中也可能是真實的，并且可能需要對缺失的數據進行回填。預防過度擬合數據非常重要，因此僅在樣本外分析是無用的（Johnson，2011）。

3、人工智能在金融市場中的應用

3.1 專家（知識）系統（ES）

專家系統是基于計算機的人工智能系統，它能模擬特定知識領域內的人類專家的推理過程。專家系統基于從專家那里獲得的特定的專業知識，以實現專家級的決策（Feigenbaum，1988）。專家系統的目的不是為了在決策過程中對人類專家的心理過程進行建模，而是為了實現高質量的決策。即使部分所需數據不可用，專家系統也必須提出建議，這就需要數據庫提供多個或可替代的推論。此外，部分推論是可以通過專家系統來解釋，并且可以據此提出合理的附加問題。

Collopy和Armstrong（1992）研究開發了一個規則庫，用于對市場競爭模型數據中的經濟和人口時間序列進行年度外推預測。他們基于規則的專家系統比隨機獲取和等權重組合預測出的結果更準確，特別是對具有顯著趨勢，低不確定性，高穩定性和專業知識充足的領域進行長期預測時，它們結果更加精準。Korczak和Lipinsky（2004）測試了兩個實時交易系統的隨機指標，相對強弱指標和簡易波動指標，并將它們進行了對比。第一個交易系統是基于350個交易規則，第二個交易系統則是基于由第一個系統交易規則線性組合而創建出的150個交易規則。該實驗在巴黎證券交易所實現，他們發現減少交易規則可縮短計算時間，且不會對預測結果的準確性產生重大影響。

專家系統的主要優點之一是它們能夠結合不同的知識源，且能永久保存決策的過程和所有步驟的概述。但另一方面，與人類專家相比，專家系統必須進行準確的更新，而不能通過類比其他來源遇到的問題來解決類似的新問題。

3.2 人工神經網絡（ANNs）

人工神經網絡是由并行操作的簡單元件所組成的。與生物神經系統類似，人工神經系統的功能主要取決于元素之間的聯系。通過對目標值的明確了解，該網絡能夠調整聯系之間的值（元素之間的權重）來進行“學習”，所以人工神經網絡被廣泛用于解決分類，預測和控制等問題。

使用人工神經網絡的主要優點是能夠在未知變量之間函數關系的情況下捕獲其中的非線性關系。人工神經網絡作為“通用近似系統”運行，幾乎能夠模擬任何函數依賴。它們可以排除異常值，而不需要特定的分布。與計量經濟模型相比，人工神經網絡能在更短的時間內給出結果，且重量和參數系統均可調節，還可以以給定的精度進行工作（Fanta，2001）。

人工神經網絡應用的缺點是缺乏設計網絡的標準范例，“黑匣子”的概念描述了使用人工神經網絡最大的弊端，它很難確定所選輸入變量對輸出的影響。當使用人工神經網絡時，需要有一個長度足夠的數據集來防止在學習階段過度擬合網絡。

人工神經網絡已成功應用于解決企業債券評級預測的普遍性問題，這是傳統數學建模技術很難實現的。

Kim（2009）等人模擬了一個系統，該系統運用人工神經網絡建立的靜態自回歸模型對當前的時間序列與過去的穩定時間序列進行評估。該模型的潛力在韓國股票市場得以證明。

人工神經網絡被中央銀行廣泛用于預測政府的利率和貨幣政策，它的使用在通貨膨脹預測研究中也很常見；使用者們主要關注的是它與計量經濟模型預測準確性的比較。

其他研究表明，神經網絡在長期預測中表現更好，與非線性回歸模型相比，它對國內生產總值，國民生產總值和失業率的長期預測更為精準。研究人員對人工神經網絡在金融市場時間序列中的適用性也進行了研究，他們重點關注了外匯因素。

近年來，有大量研究試圖預測國際股票市場指數的價格水平，研究均集中在用技術分析指標作為人工神經網絡系統的輸入變量。結果表明，以技術分析指標作為人工神經網絡的輸入變量提高了預測的準確性，盡管研究人員只統計了以前股票的價格。

3.3 遺傳算法

遺傳算法（GA）源于生物學，是進化算法的一個子集。遺傳算法的主要思想是運用遺傳算子（如突變或交叉），在進化的迭代過程中增加個體適應度。這能使滿足給定條件（可用適應度函數表示）的個體的進化優于他們的祖先。人類個體可用染色體表示，染色體經常用二進制字符串表示，但它們通常也可以用其他類型的值表示?；蜃鳛槿旧w的一部分，與個體的特定特征有很大關系。

遺傳算法的主要優點是運用該算法不需要有任何關于目標函數的明確信息，它能在大量潛在數據集中進行準確預測，但是它難以設定選擇機制的參數和條件，選出主要代表個體的樣本。

遺傳算法可用于解決優化問題（例如：投資組合優化問題）和檢索問題。

Baba（2003）等人試圖改進智能技術分析應用系統以做出更好的決策。他們用13周和26周的移動平均值和遺傳算法技術建立了一個基于日經225種平均股價指數和東證股價指數的交易系統，并進行了大量的計算機模擬，發現僅使用技術分析技術獲得的結果更好。

De la Fuente（2006）等人試圖通過自動化交易者來優化股票市場的時機。他們將遺傳算法應用于西班牙電信公司2004-2005產生的日常數據，基于技術分析指標（相對強弱指數，異同移動平均線和隨機指數）進行決策，且將適應度函數建立在不合理數據評定結果最差的規則上，那么重復出現的染色體則為陽性。該研究證明了應用遺傳算法擊敗市場的可能性。

遺傳算法已被Hirabayashi等人應用于如何優化問題解決方法的研究中。他們試圖通過應用了遺傳算法的交易系統來增加外匯投資的短期回報。他們的目標是建立一個能夠從歷史數據中學習交易規則的細微差別，并適應不斷變化的市場環境的演化系統。這個學習系統會搜尋能將技術分析指標及其參數高效結合的購買、銷售信號。其測試集是使用美元/日元的小時匯率創建的。系統用四個指標（相對強弱指標，移動平均線，多元指數移動平均指標和移動平均線的百分比差異）和遺傳算法獲得了預測匯率與實際匯率的變化趨勢相差無幾的結果。該方法解釋了雷曼兄弟在倒閉期間價格快速下跌卻獲得高收益的原因。

綜上所述，由于人工智能具有研究非線性關系，及時學習和進化，做出專家級別的決策等功能，研究為人工智能方法在各種經濟應用中使用的適用性提供了支持性證據。

遺傳算法可用于優化問題——優化股票市場的時機和投資組合的創建。在解決預測問題時，遺傳算法可與其他人工智能方法結合使用。數據挖掘工具可用于創建短期預測交易和利率的定量工具。專家系統試圖做出專家級別的決策，可將其應用于證券分析和公司評估。

3.4 模糊系統

模糊系統是源于模糊邏輯的專家系統。模糊邏輯測量的是（0.0，1.0）范圍內隸屬值的不確定性，其中0.0表示絕對假值，1.0表示絕對真值。與概率論相比，模糊邏輯并不假設所有可能性出現的概率總和為1。對于隸屬值的限度也沒有明確的定義，模糊集使用的是類似于可能、也許、充分等的語言變量。

模糊系統的流程包括三個步驟：模糊化，模糊推理和解密。整個過程從模糊化開始，模糊化就是將實際數據轉換為模糊數據，然后用模糊邏輯系統進行模糊推理，通常是基于如果…就的規則，最后將模糊數據轉換回實際數據。

模糊系統非常適合用來完成一些特性不確定的決策任務，因此它們非常適合應用在金融市場中來進行相關資產購買/出售量的決策。Romahi和Shen（2000）建立了一個基于金融預測演化規則的專家系統，他們將模糊邏輯與歸納規則相結合，創建了一個具有泛化能力的系統。

基于模糊規則的神經網絡系統已多次在研究中被應用于預測股市的收益。Ang和Quek（2006）提出了一種基于移動平均規則的交易系統，它的紙張回報率比隨機交易系統的更高。Wong（1992年）等人利用32家公司的基本數據發現了一個基于交易規則的模糊神經網絡（FNN）的類似方法。Kuo（1998）應用測量定量和定性因素的模糊神經網絡在臺灣股市建立了一個決策支持系統，并獲得了比單一人工神經網絡更好的結果。

Gil-Aluje（2011）等人基于拓撲公理提出了一個新的投資組合管理框架來選擇該組合中的投資項目。找到各屬性中的同質性并據此選出每個子集的一個或多個項目以獲得期望的屬性。該系統簡化了以前的投資組合選擇算法。

模糊系統的主要優點是能夠解決無嚴格界限，概念定義模糊和不確定性的問題。模糊系統中的每個規則都易于理解和修改（例如，如果成本高，那么制造過程效率就低，反之亦然）。而它的缺點是它們需要有已解決問題的相關知識。

3.5 基于主體的計算經濟學（ACE）

經濟可以被描述為具有適應外部環境能力的復雜適應系統。在經濟中運作的主體在沒有意識到這種適應的情況下調整他們對系統的行為。經濟主體會考慮他們的行為以及他們行為的后果，并據此來調整他們的行為。它們構成了所屬系統的概念，它們的行為也影響著整個系統。

從經濟的概念出發，作為誕生了基于主體的計算經濟學的復雜自適應系統（ACE），它是一個自下而上的系統，構成主體和交互規則模型的自上而下的系統，該交互規則即使用模擬的方法建立整個系統。在這種建模方法中，結構發展的同時不強制建模人員對其進行任何推測。由此產生的基于主體的計算經濟學模型必須動態完成——建模的經濟系統必須能夠在主體的交互作用的基礎上隨著時間的推移而發展，而無需建模人員的進一步干預。

基于主體的計算經濟學是一個自下而上的系統，需要有特定的功能，因此，高數據可訪問性和明確的主體目使得金融市場對于基于主體的計算經濟學的應用來說是一個極具挑戰性的領域。

人工智能體的早期研究是基于零智能主體的。LeBaron（2000）調查了零智能交易者在人工外匯市場上的效率，他發現這些主體的預算分配效率與人類主體相似。在其他研究中，已發展使用更復雜的主體進行模擬。Raberto（2003）等人建立了一個主體的交易策略以技術交易規則和基本價值為基礎的模型。Kendall和Su（2003）對倫敦證券交易所的五只股票采用了基于主體的方法。人工主體的交易行為以技術分析指標為主題。該研究表明人工交易者的學習能力穩定且令人滿意。獲得了一個有利于進一步研究投資組合選擇的重要發現，不同股票價格模式下人工交易者有不同學習行為。Kumar和Bhattacharya（2009）使用多智能體的方法進行投資組合選擇，他們在一個月，兩個月和三個月的非抽樣期間獲得了比富時100指數更高的平均回報。

將市場視為一個非常大的想法、目標各不相同的主體的聚集地，往往能揭示出與傳統理論思維截然不同的觀點。以基于主體的計算經濟學建模的主要優點是系統能創建出更逼真的自主主體——它們能夠交流，根據以前的經驗適應外部環境，模仿，創建和維護社交行為模式等。這些功能是基于對外部環境中其他主體隱藏的內部進程，會使主體產生與其外部環境相關的不可預測和不受控制的行為。該模型提高了建模過程的透明度和清晰度，同時補充了分析和統計建模的方法。

基于主體的計算經濟學建模的相對缺點是它需要有詳細的說明（包括主體數據和確定的結構屬性），制度安排和行為傾向。如果主體間相互作用引起足夠強烈的正反饋，那么初始規格的微小變化也可能從根本上影響結果的類型。所以，很難通過模擬獲得結果的實驗證據。

4、結論

由于人工智能具有研究非線性關系，及時學習和進化，做出專家級別的決策等功能，研究為人工智能方法在各種經濟應用中使用的適用性提供了支持性證據。遺傳算法可用于優化問題——優化股票市場的時機和投資組合的創建。在解決預測問題時，遺傳算法可與其他人工智能方法結合使用。數據挖掘工具可用于創建短期預測交易和利率的定量工具。專家系統試圖做出專家級別的決策，可將其應用于證券分析和公司評估。如果我們不確定決策方法（人類決策者的典型方法）的概念，那么模糊系統可能是合適的解決方案，所以模糊系統可主要應用于保險行業。近年來，基于主體的計算經濟學已經出現，目前主要應用于金融市場建模。人工神經網絡則因其能研究變量之間的非線性關系且能處理不確定性而得以應用，它們經常被用于解決預測問題——預測宏觀經濟指標和金融市場的時間序列問題。

參考文獻：

[1] Tung， A. K. H.，Hongjun L.，Jiawei H.， Ling F. Efficient mining of intertransaction association rules[J]. Knowledge and Data Engineering， 2003，15（1）：43-56 .

[2] SCHUMAKER， P.， CHEN， H. A.quantitative stock prediction system based on financiel news[J]. Information Processign&Management，2009，45（5）：571-583.

[3] JOHNSON， B. Algorithmic Trading & DMA： An introduction to direct access trading strategies[J]. London： Myeloma Press，2011，1（4）： 574.

[4] FEIGENBAUM， E. A.， MC CORDUCK， P， NII， H. P. The Rise of the Expert Company[N]. London： Times Books，1988， 336.

[5] COLLOPY， F.，ARMSTRONG， J. S. Rule-Based Forecasting： Development and Validation of an Expert Systems Approach to Combining Time Series Extrapolations[J]. INFORMS，1992，38（10）：1394-1414.[6] KORCZaK， J. J.， LIPINSKi， P.Evolutionary building of stock trading experts in real-time series[C]. Proceeding of the 2004 Congress on Evolutionary Computation. Portland，2004： 940-947.

[7] FANTA， J. Psychologie， algoritmy a umělá inteligence na kapitálovych trzích[N].Praha ： Grada publishing，2001，1： 168.

[8] Kim， D. H.， Lee， S. J.， Oh， K. J. An early warning system for financial crisis using a stock market instability index[J]. Expert systems，2009，26（3）：260-273.

[9] Baba， N.， Yaai， W.， Kawachi， T.， Xu Lima， Zhenglong， D. An Intelligent DSS Which Improves the Traditional Technical Analysis[J]. SICCE ： Annual Conference. Fukui，2003： 3216-3219.

[10] De LA Fuente， D.，Garrido， A.， Laviada， J.，Gómez， A.Genetic algorithms to optimize the time to make stock market investment[C].Proceedings of the 8th Annual conference on Genetic and evolutionary computation，2006，06：1857-1858.

作者簡介：

王娟，南京大學博士后，南京郵電大學管理學院副教授，研究方向為工商管理；

姚雪筠，南京郵電大學管理學院碩士研究生，工作單位：鹽城市東亭科技小額貸款有限公司，研究方向為財務管理。