基于深度學習的智能交易Agent的交易行為研究

胡前芳，李保坤

（西南財經大學統計學院，成都611130）

0 引言

一個證券市場的表現是該證券市場的制度結構、市場環境以及交易者行為的綜合結果。其中交易者行為的多樣性使之成為市場發展變化最關鍵也是最復雜的因素，在不能實現對眾多交易者進行實時調查的情況下，通過計算機程序模擬交易進行市場交易行為研究成為必然。關于證券市場最初的模擬市場研究是在一個給定的競爭市場環境下，市場中每個交易者給予一定的資本，根據不同的市場設置，研究怎樣有效實現其資源分配功能（Davis（1993）等），但是模擬市場始終沒有充分考慮市場交易者行為因素。

基于Agent的（仿真交易者）模型（ABM）可以克服模擬市場的一些理論和實驗方案的局限性。第一個人工股票市場（SFI-ASM）是由Santa Fe研究所于1989年研究在復雜系統中具有自適應能力的Agent的交互能否形成市場中預期的均衡而建立的，隨后研究員Arthur等在此基礎上建立了一系列人工股票市場，擴展了研究范圍。該系列市場的建立基于不完全理性、非線性、非均衡以及非有效等概念，在這系列模型中，只需要調整一個參數就可以自動得到股票市場的很多結論。自此以復雜自適應系統為理論基礎的ABM在金融領域應用研究不勝枚舉。

本文Agent的設定是在深度學習的基礎上融合了行為金融學，比一般的agent更接近真實交易者。模型中Agent在決策過程中分別擁有個人學習和社會學習兩種機制。設定的Agent之間的學習能力與學習速度并不完全一樣，不同的學習能力、不同的學習速度、不同的社交網絡的組合構成完整的股票市場交易人員。對于第二個問題的研究，本文將在人工股票市場中得到的結論運用于中國股票市場，在人工股票市場中將完全按照中國股票市場的交易機制與市場環境設置，將相應的結果與真實市場的股票價格變化情況進行對比。

1 實驗設計

本文的實驗設計包括如下部分：整體市場結構、交易機制、Agent類型及其學習算法。

1.1 市場結構與交易機制

本文模擬一個撮合交易市場，該市場包含兩類資產：無風險的現金和有風險的股票。其中現金的供應無限，且現金利率為rt,cash。股票總量等于所有Agent初始稟賦之和，每股交易成本率為ct，只要交易活動發生，雙方均產生交易費用，股票無股息或紅利等，Agent只能根據股票的買賣獲取收益，現金利率與交易成本率提前公布。模擬期內包含1000個交易日，每個交易日分為80個小交易區間，相鄰交易日相隔3個小交易區間。任何交易都只能在交易時段內進行，市場信息通過市場價格的變化或Agent之間的關系傳遞。

本文采用中國股票市場的交易機制：集合競價與連續競價。在價格方面遵循“價格優先時間優先”原則，在交易量方面采用“逐筆交易處理”原則。在每個交易期結束,Agent根據自身對下期收益率的預測決定自己下期股票的買入或賣出量。在該市場中，沒有借貸與賣空機制。在每一次的實驗中，交易者的稟賦只在初始交易時設置，在之后的交易中不再重新設定，每次實驗進行1000次模擬，根據該系列實驗逐步得到結論。

1.2 Agent

市場中的Agent都智能，他們都是用策略集來表示，不同之處在于各自的學習方式以及學習能力的不同。本文考慮三種不同的學習方式，在預訓練過程中都采用去噪自編碼器（DAE），在微調過程分別采用Logistic回歸模型、決策樹、神經網絡。通過DAE的訓練層數、最后一層特征數以及微調模型參數的不同可將每大類學習方式分為多個小類，至此Agent之間的學習能力與學習速度并不完全一樣，不同的學習能力、不同的學習速度組合構成完整的股票市場交易人員。

1.3 深度學習

自動編碼器網絡結構如圖1所示，包含以下主要部分：

圖1 自動編碼器（AE）網絡結構圖

x：無標簽的輸入樣本集。

f：編碼器，輸入樣本集在編碼器的作用下轉換成隱藏層的變量。

h：隱藏層變量，h=fθ(x)=sf(Wx+b)，編碼網絡的激活函數為sf，參數θ={W,b}，W是一個m×n的矩陣，b是一個含n個元素的向量。

g：解碼器，隱藏層的變量通過解碼器轉換成一種重構的輸入樣本集。

r：輸出層變量，r=g0,x=sg(W′x+b′)，解碼網絡的激活函數為sg，參數θ′={W′,b′}，W′是一個n×m的矩陣，b′是一個含n個元素的向量。

DAE的核心思想是在AE的基礎上，訓練數據加入噪聲，通過學習去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入。這使編碼器去學習輸入信號的更加魯棒的表達，也是DAE泛化能力比一般編碼器強的原因。具體過程是先對輸入樣本集x按照二項隨機隱藏噪聲qD分布加入隨機噪聲變成含噪聲的輸入樣本集x′，即x′～qD(x′|x)，然后通過損失函數完成DAE的訓練。詳細過程如圖2所示。

圖2 去噪自動編碼器（DAE）網絡結構圖

如圖3所示，深度學習由預訓練過程與微調過程形成，在預訓練過程中，本文使用的DAE，多個DAE經過層層訓練之后得到最后的特征提取向量hN。在微調的時候，將特征提取向量hN作為訓練的輸入變量，經過微調之后得到最后的輸出值y′。將深度學習輸出與原始輸出不斷對比，然后調整，如此循環得出最接近原始輸出的深度學習輸出規則。

圖3 深度學習網絡結構圖

1.4 市場參數設置

表1列出了前述基于人工智能Agent模型的股票市場運行時的參數具體設置。

表1 市場參數設置

2 仿真實驗分析

2.1 相關度量的界定

為了更好地研究市場交易行為變化，本文提出上漲力量、下跌力量、集中趨勢以及離散程度指標分析市場交易者以及整體市場的交易行為。

上漲力量即整個市場中Agent提交的買入訂單促使股價上漲的綜合力量，下跌力量即整個市場中Agent提交的賣出訂單促使股價下跌的綜合力量。集中趨勢在統計學中是對頻數分布資料的集中狀況和平均水平的綜合測度，即一組數據向某一中心值靠攏的程度，它反映了一組數據中心點的位置所在，采用算數平均數進行測度。離散程度與集中趨勢相反，是實驗分析上表達誤差大小的參數，在統計學上描述觀測值偏離中心位置的趨勢，反映了所有觀測值偏離中心的分布情況，采用標準差計量。本文將分析市場每時每刻的上漲力量以及下跌力量的集中趨勢與離散程度，通過對比兩種力量的兩種指標的變化趨勢分析市場整體交易趨勢的具體情況。其計算步驟如下：第一步，記錄所有Agent在每個交易日的訂單提交情況，假定每個交易日只有5個交易時段，第i個Agent在第j個交易日的訂單提交情況是Aij=[0,0,10,0,]，表示該交易者在該交易日的第3個交易時段以市價提交了10單位的買單，Aij=[0,-21,0,0,0]表示該交易者在該交易日的第2個交易時段以市價提交了21單位的賣單。第二步，記錄每個交易日的每個交易時段市場價格變化量，如第j個交易日的價格變化情況為△pj=[-2,3,2,-1,2]表示在第1、4個交易時段內股價分別下跌了2、1個單位，第2、3、5個交易時段內股價分別上漲了3、2、2個單位。第三步，加總所有Agent在相應交易日的訂單提交情況，根據訂單的方向確定訂單力量，如果對應時間內的訂單為正表明整體力量向上漲方向移動，記為上漲力量，反之向下跌方向移動記為下跌力量。如在第j個交易日所有Agent訂單加總為Aj=[-100,50,58,-46,91]。那么該交易日的上漲力量為Uj=[0,3,2,0,2]，下跌力量為Uj=[-2,0,0,1,0]，整個交易日的上漲下跌綜合力量分別是9和-3。第四步，通過以上三步記錄所有交易日的上漲下跌綜合力量，與一般的統計方法相似，集中趨勢用相應數據均值代替，離散程度用方差表示，根據設定交易期的長短分別計算上下跌的集中趨勢與離散程度。

上漲綜合力量與下跌綜合力量表示市場在Agent的不同訂單作用下的市場面結果：上漲綜合力量的值一般情況下為正，其值越大表示市場Agent通過買單將股價向上推得越高；下跌綜合力量的值一般情況下為負，其絕對值越大表示市場Agent通過賣單將股價下拉越低。理論上每個交易日股價是整個交易日上漲綜合力量與下跌綜合力量的較量結果，即股價變化量與上漲綜合力量和下跌綜合力量都相關。在兩種力量的基礎上計算出的集中趨勢是市場Agent訂單運行方向，上漲集中趨勢向上表明市場買單運行在上升通道，下跌集中趨勢向下增加表明市場賣單趨勢運行在上升通道。訂單運行趨勢一旦形成，將在一段時間內繼續保持。而離散程度越大表明市場Agent在決策時搖擺不定，在這種情況下市場很容易出現大的波動，要具體確認市場變化情況需要綜合市場上漲下跌的集中趨勢與離散程度。

2.2 人工股票市場訓練樣本結果

仿真實驗首先隨機產生200個交易期內的交易數據，隨后仿真Agent根據“歷史數據”進行分析與決策，在Agent的決策下得到仿真股價的變化情況。每個實驗經過1000次仿真，得到如下結果，由于篇幅有限，圖4是具有代表性的實驗一的實驗結果，實驗二到實驗六的結果類似，在此不一一描述。圖4中(a)表示實驗一中具有代表性的股價時間序列，(b)是通過跟蹤市場所有Agent交易記錄所得的市場總上漲力量與下跌力量的時間序列，(c)表示相應股價收益時間序列圖，通過市場總力量與市場收益之間的差值得到實驗誤差時間序列圖(d)，(e)與(f)分別表示市場中兩種力量的集中趨勢與離散程度的對比圖，通過該圖可以了解市場Agent整體交易行為的變化情況。

圖4 具有代表性的實驗一的結果

（1）Agent整體交易行為與股市一般風險的關系

第一，當市場中上漲力量大于下降力量的絕對值時，下一交易日的收益為正，即股價上漲；反之當市場中上漲力量小于下降力量的絕對值時，下一交易日的收益為負，即股價下跌。理論上，每個交易日的收益是該交易日上漲力量與下跌力量的綜合對比，因此當上漲力量大于下跌力量時，相應時期內的收益為正，反之為負。在實驗一中得到的結果符合預期，圖4中(d)的誤差值為(b)中的上漲綜合力量與下跌綜合力量之和與(c)中市場收益時間序列之差，誤差基本在±6內，極少數誤差超出6，但都在±8之內，該結果與理論很一致，由于實驗一的市場設定相對于實際市場更“理想”，該結論的實用性需要實際市場交易數據的進一步實證檢驗。

第二，相鄰幾個交易日的上漲力量與下跌力量的變化趨勢相反。圖4(a)中實驗一的股價變化序列可以看做連續變化，相應地，市場Agent在買賣單的決定上也應該是平緩變化，所以買單、賣單的趨勢變化應該相反。而實驗一也正好驗證了這一理論，圖4(b)中上漲力量增大時，下跌力量的值越來越小，反之亦然，圖4(b)中該現象很明顯。

上漲力量與下跌力量的變化在實驗一設定的理想環境下的變化相反，但在實際市場中，條件并沒有實驗中理想，比如存在股價操縱、內幕交易等現象，買單賣單的變化并不完全相反變化。因此在實際中，買單賣單的變化出現不一致的情況一般情況下可以判斷為市場出現了異常，該結果可由真實市場數據檢驗。

（2）Agent交易行為與牛市風險的關系

無論在長期還是短期，股票市場都是上漲與下跌更替出現，不斷循環反復，即牛市與熊市不斷更替。在股市自然發生的狀態下，Agent最大的損失主要發生在每次牛市到頂后的下坡階段，其次是爬坡階段的轉換也可能發生較大損失，造成這類損失的風險就稱為牛市風險。

如圖4（e）與（f）所示，在上漲和橫盤的過程中，當市場中Agent上漲力量與下跌力量的離散程度變大，且各自的集中趨勢越來越小時，牛市風險越來越大。如從（f）圖看出上漲力量與下跌力量的離散程度同時變大的時段有6處：第40～50個交易日；第112～120個交易日；第201～213個交易日；第331～350個交易日；第600～610個交易日；第770～780個交易日。（e）圖中兩股力量的集中趨勢同時越來越小的交易時段有：第201～213個交易日；第331～350個交易日；第600～610個交易日；第770～780個交易日。集中趨勢遞減的階段與離散程度遞增的階段重合期間共5個，剛好對應人工股票市場中股價牛市階段的重要轉折點（對應圖4(a)）。在理論上這與真實市場行情一致。在牛市行情的操作猶如刀口舐血，暴漲暴跌的現象屢有可見,如果短線操作成功的話會大有斬獲。但是一般投資人大多在此階段慘遭虧損,甚至落得傾家蕩產的局面，因此在該階段如果能識別出股市風險的變化至關重要。在牛市階段很多Agent手中大多擁有股票,以期待著股價進一步上升，但是股價的漲升卻顯得步履蹣跚，即集中趨勢慢慢減弱。此情此景很多投資者開始搖擺不定，造成市場兩股力量離散程度越來越大。由于實驗一的市場設定相對于實際市場更“理想”，該結論的實用性需要實際市場交易數據的進一步實證檢驗。

（3）Agent交易行為與熊市風險之間的關系

在股市自然發生的狀態下，Agent想要得到最大收益，就必須把握住熊市底部階段，其次是爬坡階段的轉換也可能得到很大收益，需要把握住的這類風險變化就稱為熊市風險。如圖4(a)與(e)所示，Agent交易行為與熊市反彈之間的關系是：當市場處于熊市一段時間之后，如果基于Agent的上漲力量與下跌力量的集中趨勢都慢慢變大，那么熊市開始反彈。理論上，在熊市的行情時持續屢創低價，在該階段愿意投資的Agent甚低。當該低迷期持續一段時間之后，股價已跌至不合理的低價了，在此時買進的Agent因成本極低再跌有限,大多不輕易賣出,而高價套牢未賣的Agent,因虧損已多,也不再追價求售,市場賣壓大為減輕。部分Agent開始較積極的買進股票進行短線操作,但也有不少自認精明的Agent及嘗到未跌段做空小甜頭的Agent,仍予套現賣出。該期股票上漲的速度雖嫌緩慢,但卻是真正可買進作長期投資的時候,即為一般認為熊市開始反彈了。如圖4(e)中的兩股力量的集中趨勢由小變大的階段分別為：第40～50個交易日；第240～250個交易日；第550～560個交易日；第640～650個交易日；第730～740個交易日。集中趨勢遞增的階段剛好對應人工股票市場中股價熊市階段的重要轉折點（對應圖4(a)）。由于實驗一的市場設定相對于實際市場更“理想”，該結論的實用性需要實際市場交易數據的進一步實證檢驗。

3 實證分析

在人工股票市場模擬部分，分別模擬了四種實驗中不同比例下Agent決策行為對市場趨勢的影響。為了驗證四個不同實驗條件哪個能更符合真實市場具體情況，本文運用上證綜指1999年3月17日到2015年12月31日的1分鐘交易數據進行反向驗證，其中1999年的市場交易數據是最開始的訓練樣本，因此得到的收益從2000年開始，得到下頁表2的結果。

如表2的結果所示，在這16年中，上證綜指的收益為2.59，而四種不同的實驗設置下的收益分別是：15.24、3.21、5.89、4.09，三種實驗環的設置在上證綜指的運用上都能得到比大盤本身更好的收益。對于市場中只存在一大類投資者的情況，在不同的時間表現結果并不一致，沒有一類實驗能在每年都表現得最好。該結果說明現實市場中不止一類Agent存在，且每類Agent的比例一直在變化，因為只有Agent比例占絕對優勢時，預測結果才能完全正確。實驗一的三大類Agent比例為3：3：4，類似均分，正是因為在實驗中固定了三大類比例，才得到了表3的結果。在16年內實驗一的收益是15.24，遠遠大于2.59，這說明實驗一相較于其他3個實驗而言，能夠很好地預測出市場趨勢的變化，實驗一的條件設置更接近真實市場情況。

表2 上證綜指實證結果比較

為了更加直觀地觀察實驗一在實際市場中的表現情況，通過圖展示結果更加直觀。圖視的結果在交易時間越短越清晰。本文以上證綜指為例，大盤行情是整個市場狀態的反應，在細節上的變化沒有單個證券多，但很具有代表性。樣本數據是歷史一分鐘交易數據，該數據時間范圍為：2013年1月1日到2016年12月30日，共971個交易日，233040個樣本交易數據。之所以選擇該段時間作為樣本期間，因為中國股市在2015年牛市到來之前經歷了長達7年的熊市，在熊市期間內市場總是不溫不火，沒有多大變化，將所有時間內的樣本包含在內研究的意義并不大。本文選擇的樣本交易時間剛好包含了一個完整的牛熊轉換，且在該樣本期內還包含很多小波段的變化，很具有代表性。樣本成交數據主要包括：開盤價、收盤價、最高價、最低價以及交易量。采用通信達的前復權數據。

圖5(a)是2014年1月2日到2016年12月30日上證綜指日收盤價，2013年整年的數據作為深度學習初始訓練樣本，因此能得到2014—2016年上證綜指相關的上漲力量與下跌力量以及它們的均值、方差，如圖5(b)至(d)。下面將一一驗證人工股票市場得到的基本結論。

（1）牛市風險識別

上證綜指在樣本區間內的變化異常活躍，主要上漲及調整波段有：2014年1月直接上漲至2015年1月，經過一小段時間的調整后，在2015年4月有所動搖，隨后一路上揚至2015年6月的最高點。而在所有前述上漲波段或者調整波段的后期，市場上漲力量與下跌力量的表現都與人工股票市場中的結論一致。如圖5(c)與(d)中，在2015年1月時，上漲力量與下跌力量的集中趨勢越來越大，對應的兩股力量的離散程度非常明顯地凸顯出來。在2015年4月兩股力量的集中趨勢與離散程度都比1月時候更加明顯，此時的離散程度，雙方都突破1000，上漲力量集中趨勢變小，下跌力量的集中趨勢反方向變小形成匯合狀態。2015年6月的兩股力量離散程度突破5000，是樣本期間內最高點，對應的上漲力量突然下降，下跌力量絕對值也變小。如圖5所示，2015年8月與年底時，兩股力量的變化依然是：上漲力量與下跌力量的離散程度變大，且各自的集中趨勢越來越小。

圖5 上證綜指實證結果

（2）熊市反彈識別

除了上漲波段剩下的就是下跌波段，如圖5(b)所示，在2015年3月底、6月以及8月的時候，上證綜指的上漲力量與下跌力量的絕對值都明顯處于上漲階段，且兩股力量的集中趨勢也越來越明顯，二者之間的變化趨勢非常一致。這與人工股票市場得到的結論一致。

（3）市場一般風險的識別

在正常的股票市場中，如果上漲力量大于下跌力量，那么股價應該上漲。而且上漲力量集中趨勢與下降力量集中趨勢也應該相反。該結論也同樣適用于中國股票市場，在上證綜指的檢驗中可以看出。結合圖5中(a)、(b)，相對于整個區間的上漲力量與下跌力量的大小變化情況而言，2014年1月與2014年7月之間，上漲力量與下跌力量相互糾纏，很少存在上漲力量持續大于下跌力量的情況，也很少出現下跌力量持續大于上漲力量的情況。同時在該段時間內，上漲力量與下跌力量的集中趨勢、離散程度都小，整個上證綜指的變化很微妙，基本處于盤整狀態，市場很不活躍，上證綜指收盤價幾乎呈水平狀態。2014年7月到2015年6月這段時間內，上證綜指的上漲力量總趨勢上慢慢變大，下跌力量也慢慢減弱，上漲力量與下跌力量之間的差異也越來越明顯，特別是該段時間內兩股力量的離散程度變化異常大。市場在該段時間越來越活躍，在交易意愿上上漲，因此在上證綜指的收盤價上體現出上漲的趨勢。2015年7月到2015年8月的時間內，初期下跌力量非常大，中期上漲力量很足，后期下跌力量與上漲力量不相上下，加之股價已上漲到很高水平，所以上證綜指的收盤價下降幅度很大。在2015年8月到2016年1月之間，上漲力量大于下跌力量，但是上漲力量的相對大小并不明顯，所以該段時間內，上證綜指收盤價呈上漲趨勢，但上漲非常緩慢。隨后又下降，最后回到了震蕩時期。綜上分析，在長期趨勢交易中，上證綜指的上漲力量與下跌力量的變化關系與上證綜指價格變化在大體上非常吻合。這符合模擬人工股票市場模型得到的結論。

4 結論

本文在深度學習算法基礎上融合行為金融學理論模擬了采用集合競價與連續競價相結合的人工股票市場。一方面，不同投資者在面臨各種信息沖擊時會有各自特有的反應，不同投資者根據其自身反應做出不同的投資決策。而以上模擬結果是在沒有任何假設條件下得到的，因此具有一般性。另一方面，將模擬結果用上證綜指進行實證檢驗結果表明本文模型非常接近真實市場。

根據人工股票市場以及上證綜指實際數據，可得市場主要表現與市場Agent交易行為密切相關，主要有：

（1）Agent交易行為與牛市風險的關系：在上漲和橫盤的過程中，如果市場中Agent的上漲力量與下跌力量的離散程度變大，且各自的集中趨勢越來越小，那么發生較大損失的概率非常高。

（2）Agent交易行為與熊市反彈之間的關系：當市場處于熊市一段時間之后，如果基于Agent的上漲力量與下跌力量的集中趨勢都慢慢變大，那么熊市開始反彈。

（3）Agent交易行為與股市一般風險的關系：在正常的股票市場中，如果上漲力量大于下跌力量，那么股價應該上漲，而且上漲力量集中趨勢與下跌力量集中趨勢的變化結果也類似。

[1]Becker G S.Irrational Behavior and Economic Theory[J].Journal of Political Economy,1962,(70).

[2]Davis D D,Holt C A.Experimental Economics:Methods,Problems,and Promise[J].Estudios Económicos,1993,(8).

[3]Gode D K,Sunder S.Allocative Efficiency of Markets With Zero-Intelligence Traders:Market as a Partial Substitute for Individual Rationality[J].Journal of Political Economy,1993,(101)

[4]Chen S H,Liao C C.Agent-based Computational Modeling of the Stock Price-volume Relation[J].Information Sciences,2005,170(1).

[5]Anufriev M,Arifovic J,Ledyard J,et al.Efficiency of Continuous Double Auctions Under Individual Evolutionary Learning With Full or Limited Information[J].Journal of Evolutionary Economics,2013,23(3).

[6]Hommes C H.Chapter 23 Heterogeneous Agent Models in Economics and Finance[J].Handbook of Computational Economics,2006,(2).

[7]Bottazzi G,Dosi G,Rebesco I.Institutional Architectures and Behavioral Ecologies in the Dynamics of Financial Markets[J].Journal of Mathematical Economics,2005,(41).

[8]Chen S H,Yeh C H.Evolving Traders and the Business School With Genetic Programming:A New Architecture of the Agent-based Artificial Stock Market[J].Journal of Economic Dynamics&Control,2001,(25).

[9]Kluger B D,Mcbride M E.Intraday Trading Patterns in an Intelligent Autonomous Agent-based Stock Market[J].Journal of Economic Behavior&Organization,2011,79(3).

[10]Lebaron B.Agent-based Computational Finance:Suggested Readings and Early Research[J].Journal of Economic Dynamics&Control,2000,(24).

[11]Girvan M,Newman M E J.Community Structure in Social and Biological Networks.[J].Proceedings of the National Academy of Sciences of the United States of America,2001,99(12).