基于多因子量化選股模型的采摘機器人學習策略研究

趙 睿

(中共鶴壁市委黨校,河南 鶴壁 458030)

0 引言

采摘農作物是一種重復且繁瑣的工作,對勞動力需求很大。雖然小麥、玉米和大麥等基本糧食都由收割機來完成收割任務,但對于采摘水果和蔬菜等作物則需要采摘機器人來完成。為此,基于多因子量化選股模型對采摘機器人學習策略進行制定,實現了對采摘機器人的路徑規劃,對采摘機器人的研究具有一定參考價值。

1 多因子量化選股模型研究

指數增強基金是利用數字模型和算法計算出交易決策,給基金經理作為調倉參考。其核心思路是:在保證超額波動率的情況下,采用多因子選股模型建立投資組合,選擇一些對股票收益影響大的因子,通過這些因子實現對收益率高的股票進行投資,實現超額完成目標指數的收益。當前環境下,采用多因子模型構建選股策略是非常普遍的做法,其多因子量化模型流程如圖1所示。

1.1 確定候選的影響因子

影響股票投資策略的因子有很多,候選因子的選擇也相應較多。其可以是基本指標,如市盈率PE(Price earnings ratio,即P/E ratio)和平均市凈率PB(Price to book ratio);也可以是技術指標,如動量、換手率、成交量、相對強弱指數和隨機指數等;又或者是其他宏觀方面的指標等。選擇哪些因子作為候選因子,是根據經濟環境和投資經驗決定的,而選擇有效因子是增強選股模型收益的核心因素。

圖1 多因子量化模型流程圖Fig.1 The flow chart of multi-factor quantitative model

1.2 數據預處理

在前期收集股票因子的過程中,這個數據會存在噪聲、量綱不一致和缺失等問題,需要對數據進行預處理,剔除掉不合適的數據,讓數據模型更具有適應性,從而滿足選股模型的需求。對股票因子進行預處理的方法很多,如對數據進行清理、集成、變化和規約等。本文是將多因子量化選股模型應用于采摘機器人路徑規劃中,數據完整性顯得尤為重要。因此,采用缺失處理、離群值處理,標準化和中性化等4種方法對因子數據進行預處理。

1.3 數據預處理

股票市場上的影響因子成千上萬,每個因子伴隨市場環境具有不同的作用。本文采用XGBoost模型方法對能影響股票收率的因子進行分析研究。

1)XGBoost模型方法理論基礎。XGBoost模型方法是采用梯度提升樹的智能算法,可以自動判斷獲取到的特征因子的重要性,并利用提升樹對這些特征進行選擇和分類。本文就是在算法框架上使用XGBoost模型方對重要的候選因子進行篩選。

XGBoostt模型方法是利用不斷添加新樹并學習新函數方法對上一次預測結果進行重新擬合,從而通過特征分裂組成新的樹。XGBoostt模型方法的核心是:在確定第t-1顆樹時,對下一棵樹的葉子結構權重ω和第t棵樹進行預測,其目標函數表達式為

(1)

其中,l為損失函數;Ω(ft)為正則項;c為常數項;f(x)為其中一顆回歸樹;yi為整個累加模型的輸出。

對式(1)進行二階泰勒處理后得

(2)

(3)

采用正則化項對式(2)進行展開,可得

(4)

對式(4)進行求導,求出葉子結構權重ωj的最優值為

(5)

帶入式(4),可得

(6)

其中,γ為葉子的個數。

式(6)是判斷一棵樹結果是否滿足要求的標準,分數越小,表示結構越好。其可以用來作為最佳切分點的判斷,也可以用來在確定是否還需要在此基礎上進行新的分裂。其分裂的增益表達式為

(7)

式(7)是整個XGBoost模型方法的根據,其是左子、右子和不分割等3部分的分數,通過該式可以在一定程度上對樹結構分裂程度上進行控制。

XGBoost模型方法處理流程為:①確定輸入條件,即當前節點的數據集;②確定輸出條件,即特征維度;③根據最高分進行分割輸出。XGBoost模型方法具體的流程圖如圖2所示。

1.4 構建多因子量化選股模型

多因子量化選股模型主要包括打分法和回歸法兩種構建方法,本文采用前者。其主要思路是:選擇一些對股票收益影響大的預測因子,再根據股票對這些因子進行排序,并在相對位置進行打分;隨后,根據每個因子的權重比例對每個因子進行計算,得出個股的綜合分數,并進行降序排列,挑選出分數高的股票作為投資的組合。但是由于行業變化和投資環境的變化,很多因子會出現不穩定的情況,隨著時間而逐漸失去作用,所以在打分模型中需對于選用的因子進行不斷的評價和改進,剔除不良和因子和加入新的有效因子。若每次都根據因子計算的個股綜合分數重新建立投資組合,這樣換手率會很大高,從而大大增加交易成本,所以還會利用半衰期IC加權方法構建模型,提前先確定每個因子影響力的長短,然后隔一段周期才進行大的調倉。

圖2 XGBoost模型方法流程圖Fig.2 The flow chart XGBoost model method

2 采摘機器人學習策略模型

采用學習策略模型對采摘機器人路徑進行規劃,環境場景通過柵格法建立二維地圖。在環境場景中,障礙物、起始點、終止點都是在初始時刻確定好,在整個過程中都不會發生變化。采摘機器人路徑規劃流程如圖3所示。

圖3 采摘機器人路徑規劃流程圖Fig.3 The flow chart of picking robot path planning

對二維地圖進行柵格化處理中,一般通過對x軸和y軸方向分別進行柵格化。圖4是對二維環境進行柵格化,黑色和白色分別為障礙物和無障礙物區域。

圖4 柵格地圖模型示意圖Fig.4 The schematic diagram of grid map model

3 基于多因子量化蟻群算法的采摘機器人路徑規劃

3.1 多因子量化的蟻群算法

蟻群算法以基于動物靈感的一種算法,其由Italy學者Dorigo等人提出,核心思想是實時對螞蟻行走路上的信息素進行更新,并通過最優反饋實現算法的收斂。該方法被廣泛應用在復雜組合優化問題上,如旅行商問題、車間調度、路徑優化、無線傳感器網絡控制等。為了實現對采摘機器人路徑規劃,本文將多因子量化方法應用在蟻群算法上,對其進行改進。改進包括兩個方向:①對蟻群信息素的更新方法進行改進;②利用多因子量化中的XGBoost模型方法,對蟻群算法中當前位置到下一位置的轉移概率進行改進。

蟻群信息素采用多因子量化的學習策略進行實時更新,將蟻群移動路徑上任何一點的信息素作為多因子量化學習策略的長期收益來求解。任意時刻對任意柵格的信息素采用多因子量化學習策略進行全局更新。

設定蟻群算法立即獎賞函數規則為:當螞蟻順利到達目標終點后,會獲得+10的立即獎賞;而到達非目標終點的位置,則獲得+1的累計獎賞。

設定蟻群算法遷移函數規則為:采摘機器人從下向上運動時,x軸坐標不變,y軸方向依次-1,往其反方向時則相反;采摘機器人從右向左運動時,y軸坐標保持不變,x軸方向依次-1,往其反方向時也相反。

采用多因子量化的學習策略對蟻群信息素進行實時更新的算法為:

1)輸入:路徑探索因子為ε,折扣率為γ,步長因子為α,情節最大值為ET,最大時間步為ETS。

2)參數初始化:二維地圖柵格化的狀態空間為X,動作包括5種,即向下(-1)、向上(+1)、向左(-1)、向右(+1)和原地(0);初始化時所有的動作收益值Q都是0,即Q0(x,u)=0;初始化狀態為x=x0。

Repeat(ET)

Loop(ETS)

Step2:根據路徑探索因子ε的值,設定1-ε的概率會選擇最優動作α,而選擇其他動作的概率為ε。

Step3:根據選擇的動作和實時狀態,根據蟻群算法遷移函數將其遷移到后續狀態x′,并根據獎賞函數設置立即獎賞為r。

Step4:根據多因子量化方法,對各個狀態出的收益值進行更新,并剔除不合格的狀態,Q值更新為Q(x,u)=Q(x,u)+α(r+γQ(x′,u′)-Q(x,u))。

Step5:更新螞蟻的當前狀態:x←x′。

Step7:更新下一狀態會執行的動作:α←α′。

Step8:更新當前時步;

End Loop

更新當前情節

End Repeat

3)輸出:各狀態動作處的收益值Q。

3.2 轉移概率的改進

為了增加策略的多樣性,在轉移概率中引入了隨機機制,如同多因子量化的學習策略中的ε。設定隨機參數s∈(0,1),每個時間步t會產生的一個隨機數st∈(0,1)。當s≤st時,可以計算轉移概率來確定移動到下一個的位置;而當s>st時,則查看周邊可以移動的位置,去除障礙物無法移動和已經移動的位置,隨機選擇一個可性位置。

(8)

其中,rand(allowedt)表示可行位置從非障礙物到未經過的位置集合allowedt中的選擇。

對于任何一個可行節點j,其轉移概率表達式為

(9)

其中,λ(i,j)為(i,j)區域內的蟻群信息素;μ(i,j)=1/d(i,j);d(i,j)為(i,j)區域內的面積;t為螞蟻已經移動過的列表。

3.3 采摘機器人路徑規劃

基于多因子量化蟻群算法的采摘機器人路徑規劃,其求解流程如圖5所示。

圖5 基于多因子量化蟻群算法流程圖Fig.5 The flow chart of ant colony algorithm based on multi-factor quantization

具體步驟如下:

Step1:搭建采摘機器人的二維環境地圖模型。

Step2:對蟻群算法參數進行初始化。

Step3:將所有螞蟻放置在起點A。

Step4:所有蟻群根據制定的規則和概率在節點間移動,并對每個螞蟻的移動次數進行統計。

Step5:采用多因子量化方法對信息表進行更新。若有螞蟻的移動次數小于設定的最大次數,但沒有到達目標點,則回到Step4重新開始;若有螞蟻的移動次數大于或等于設定的最大次數,但沒有達到目標點,則清除所有數據,并將其放于起點。

Step6:統計成功到達目標點的螞蟻路徑P,并查看是否滿足要求。

Step7:對比所有符合要求的螞蟻路徑P,選出最優值。

Step8:輸出采摘機器人最優路徑,也就是螞蟻的最優路徑。

4 仿真實驗

為了驗證基于多因子量化選股模型的采摘機器人學習策略的可靠性,采用MatLab 8.0對其進行了仿真實驗。實驗中,設定采摘機器人運動區域為一個二維平面,所有障礙物及其形狀都是已知的。初始化設置螞蟻總數為8000,移動次數NC=300,起始點為A,目標終點為B,要求是求出一條從起點到終點的無碰撞最優路徑。仿真結果如圖6所示。

圖6 Matlab仿真結果圖Fig.6 The Simulation diagram of MatLab

由圖6可知:基于多因子量化選股模型的蟻群算法為采摘機器人規劃了一條長度最短、轉彎次數最少的最優路徑,移動過程中沒有發生碰撞。這證明,該算法對改善采摘機器人移動路徑效果明顯,使規劃的路徑更合理。

5 結論

將多因子量化選股模型和蟻群算法相結合,設計了一種改進的蟻群算法,并對采摘機器人的路徑規劃進行了研究。該算法具有一定的學習策略,可以根據實際作業區域為采摘機器人設計最優的作業路徑。實驗結果表明:該算法為采摘機器人規劃了一條長度最短、轉彎次數最少的最優路徑,移動過程中沒有發生碰撞,改善采摘機器人移動路徑效果明顯,使規劃的路徑更合理。