基于預訓練模型的文本-時序雙模態股票收益率聯合預測

中圖分類號：TP18；F831.5 文獻標識碼：A 文章編號：2096-4706（2025）16-0168-06

Abstract：Stock price fluctuations exhibitrandomnessandcomplexitymaking ita challenging problem in financial markets toimprovetheaccuracyofstock pricepredictions.This paperproposesadual-modaljointpredictionmethodframework based on pre-trained models，which includes twocomponents ofLarge Language Models （LLMs）for predicting stock price movement intervals andtime-series prediction models for predicting dailyreturns.The final predicted returns are obtained by integrating theresultsof these two predictions.GPT-4and Chronos are employedasthe pre-trained LLMand time-series predictionmodel，respectively，inthejointfrmework.Comparedtosingle-modaltime-seriespredictiomodels，teroosed modeldemonstratessuperiorperformanceacrosmultipleevaluationmetrics，achieving higheraccuracyinstock priceprediction. This research approach notonlyreduces the dependenceonlarge volumesoftraining databut alsoenances textcomprehension capabities.Moreover，itseffctivenesscanbefurtherimprovedthroughfine-tuning，providingneisightsandmethodologies for stock return prediction.

Keywords：Large Language Model; stock market prediction; pre-trained time series prediction model; accuracy

0 引言

股價是市場對公司價值的即時評估，精確的股價預測對于投資者評估市場風險和監管機構分析宏觀經濟政策具有重要意義。然而，信息的不確定性、投資者情緒的影響以及市場流動性的變化，使得股票價格預測極具挑戰性。

在傳統的股價預測方法中，分析通常局限于歷史價格數據，而未能充分納入可能顯著影響市場動態的外部因素和最新事件。隨著機器學習技術的進步和互聯網的普及，當前的研究趨勢逐漸將這些變量納入分析范疇，從而實現對股價走勢更為全面和精確的預測。例如，Liu等人[將情感指標與市場數據融合，并用遞歸神經網絡 （RecurrentNeuralNetwork，RNN）進行股票波動性預測。Jing等人[利用卷積神經網絡（ConvolutionalNeuralNetworks，CNN）對投資者評論內容進行情感分類，并納入技術指標，通過長短期記憶網絡（LongShort-TermMemory，LSTM）預測股價。

這類方法能夠幫助模型學習情緒信息與股票價格變動的關聯性，但通常存在文本理解不足、依賴大量數據訓練、耗時耗資源等問題[3。針對這些問題，本文提出了一種基于預訓練模型的雙模態聯合預測方法框架。一方面利用預訓練大語言模型（LargeLanguageModels，LLMs）根據公司概況、過去八周的新聞和財務狀況以及宏觀經濟指標，預測股票的每周收益率區間；另一方面使用預訓練時間序列預測模 型（Pre-trained Time Series Forecasting Model，PTSFM），基于歷史收益數據預測未來的每日收益率。最后，通過集成兩部分預測結果，進行最終的股價收益率預測。

目前，大多數LLMs均基于Transformer架構，擁有數億級參數，并在大規模文本數據上預訓練，能有效捕獲文本序列之間潛在的復雜關系[4-5]，比起傳統模型擁有增強的情感識別和邏輯推理能力。此外，LLMs強大的零樣本學習能力[6-7也激發了研究者對時間序列基礎模型的興趣。例如，Ansari等人提出了基于T5系列架構的預訓練時間序列預測基礎模型Chronos[8]。通過在大量數據集上的預訓練，Chronos能夠在不同的時間序列預測任務中保持較高的準確性。因此，本文提出的股票預測框架一方面利用了LLMs增強的情感識別與邏輯推理能力，另一方面基于PTSFM的預測也避免了對大量訓練數據的依賴，節省了資源的同時，也可通過微調進一步提升有效性。

在本研究的股票預測框架中，LLM的提示詞輸入對預測結果有決定性的影響，需要盡可能引導模型提取相關信息并避免引入無關內容，因此，如何設計和優化結構化提示詞模板是一個主要難題。此外，由于該框架中LLM與PTSFM的預測粒度大小不同，如何對齊兩類數據以及分配權重也是關鍵問題。綜上所述，本文的主要貢獻如下：1）提出了一種基于預訓練模型的雙模態聯合預測方法框架，簡化了預測流程并改善了預測效果；2）將該方法應用于中國股市，并通過多項消融實驗對提示詞、超參數和方法設計進行了探索優化。

1雙模態聯合預測方法

1. 1 方法框架

基于預訓練模型的雙模態聯合預測方法框架如圖1所示，包含數據獲取，提示詞優化，LLM與PTSFM預測和集成對齊階段。

1.1.1 數據獲取

通過搜索引擎獲取與公司相關的宏觀和金融狀況等新聞文本，并引導LLM將獲取的新聞文本轉換為新聞摘要和關鍵詞。此外，LLM還生成公司描述，包括可能影響公司股價的常見正面和負面因素。

1. 1.2 提示詞優化

構建由任務指令、公司簡介和新聞文本組成的提示詞，引導LLM預測股票的每周收益率區間。通過將預測結果與真實每周收益率區間的均方誤差（MeanSquaredError，MSE）進行比較，對提示詞進行優化，主要聚焦于任務指令的改進。

1.1.3 LLM與PTSFM預測階段

通過優化后的提示詞引導LLM預測股票的每周收益率區間，每周收益率可以離散化為[-1， -2%] ！[-2% ， -1%] ， [-1% ，0]，[0， 1%] ！ [1% ， 2% ， [2% ，1]幾個區間。此外，利用PTSFM基于歷史數據預測未來的每日收益率。

1. 1.4 集成對齊階段

對于區間間隔為 1% 的區間，收益率取區間中位數，而對于[-1， -2%] 和 [2% ，1]區間，則將 3% 作為收益率值。將收益率值除以每周的工作日天數，通過線性增值方式將基于文本數據預測的每周收益率與基于歷史股價數據預測的每日收益率進行對齊。最后，通過加權平均的方式融合兩種預測結果，得到最終的預測股價收益率。

1.2基于LLM的收益率區間每周預測

為了引導LLM對股票每周收益率進行預測，需要收集股票公司相關的文本數據，其中包括公司簡介數據，財經新聞數據，宏觀經濟和金融狀況新聞數據。

公司簡介數據：引導LLM生成公司描述，這些描述包括可能影響公司股價的常見正面或負面因素。

財經新聞數據：利用Selenium自動化工具在DuckDuckGo搜索結果中爬取公司的每周前四條新聞。接著，通過LLM為每條新聞生成元摘要和關鍵字。為了減少輸入大小，進一步引導LLM將這四條元摘要和元關鍵字整合成每周內所有熱門事件的摘要和關鍵字。同樣的方法被用于獲取每周關于宏觀經濟和金融狀況的新聞。

如圖2所示，本文引導LLM進行預測使用的結構化提示中包括任務指令、公司概況及影響公司發展的正反因素、過去八周的金融狀況和宏觀經濟新聞報道，來引導LLM預測股票的每周收益率區間。任務指令為：根據公司概況、歷史每周新聞摘要和關鍵詞預測下周的股票收益（價格變化）。LLM返回的趨勢變動區間由以下符號表示：4 Δ^°D2+^° “D2”“D1”“U1”“U2”和 ^*U2+^* 。這里，4 D2+2 表示價格下降幅度在[-1， -2%] 區間，“D2”表示下降 [-2%，-1%] ！ ⁶U2+⁹ 表示上漲 [2% ，1]，“U2”表示上漲 [1% ， 2% ，以此類推。

1.3雙模態數據預測結果的對齊與融合

時序數值預測分別采用了傳統神經網絡模型和預訓練時間序列預測模型進行研究。傳統神經網絡模型的輸入特征包括Alphal58和Alpha 360^[9] ，通過對原始一級量化因子及部分財務數據進行一系列計算或遺傳算法挖掘而得。

對于預訓練時間序列預測模型，其輸入特征的設計詳見3.2.4。該模型通過分析輸入的每日收益率時間序列數據，預測未來的每日收益率，并對預測窗口的影響進行了深入探索（詳細內容見3.2.3）。為了優化預訓練時間序列預測模型預測結果，采用了不同的融合策略，例如輸出10次預測值，取這10次預測結果的平均值或中位數作為最終預測結果。

2 實驗設置

本研究主要在中證100指數股票上進行測試。為了評估本文提出的基于預訓練模型的雙模態預測框架，對于新聞文本，本研究使用GPT4大模型進行收益率區間預測；對于股價時序數據，比較了預訓練模型Chronos和LLMTime，以及神經網絡模型LSTM、時序路由適配器（TemporalRoutingAdaptor，TRA）模型[]、圖注意力網絡（GraphAttentionNetworks，GATs）模型[1]和基于神經網絡的集成學習模型DoubleEnsemble。

2.1 實驗環境

實驗環境基于Windows11（64位）操作系統，計算設備包括AMDRadeon（TM）GraphicsGPU和AMDRyzen 7 5800H withRadeon Graphics 處理器。

編程環境采用Python3.9.18，并使用Visual StudioCode作為開發工具。深度學習模型的訓練依托于Pyqlib0.7.2.99庫，并在CUDA11.1環境下進行計算加速。

2.2 評估指標

信息系數（InformationCoefficient，IC）表示衡量預測值與實際收益率之間線性相關性的指標。其計算公式為：

其中， Cov（P，R） 表示預測值 P 和實際收益率 R 的協方差， σP 和 σR 分別表示預測值和實際收益率的標準差。IC值越高，說明預測模型的準確性越高，預測值與實際值的一致性越強。

信息系數信息比率（InformationCoefficientInformationRatio，ICIR）表示衡量預測模型穩定性的指標，表示為IC的平均值與其標準差的比率。ICIR越高，表示模型的預測效果越穩定。

排名信息系數（RankIC）表示衡量預測排名與實際收益排名之間相關性的指標。其計算公式為：

Rank IC= Spearman（P，R）

其中，Spearman （P ，R表示預測排名 P 和實際收益排名 R 之間的斯皮爾曼相關系數。RankIC的取值范圍為[-1，1]，其解釋與IC類似，但RankIC更關注預測排名的一致性。

排名信息系數信息比率（RankICIR）表示衡量排名預測模型穩定性的指標，表示為RankIC的平均值與其標準差的比率。RankICIR越高，表示排名預測模型的效果越穩定。

3 實驗結果與分析

3.1 對比實驗

本文提出的基于預訓練模型的方法框架，用Chronos做基礎模型與其他傳統神經網絡模型進行了對比，結果如圖3所示。圖中數據為每種方法運行30次后的平均值。“LSTM+News（GPT4）”表示使用雙模態預測框架，其中時序模型為LSTM，并使用GPT4進行基于新聞文本的收益率區間預測。其余方法命名方式與此類似。

通過實驗結果可以看出：

1）單純使用LLMTime方法進行預測的效果不如使用LSTM、TRA和GATs神經網絡模型。這可能是由于LLMTime方法僅基于單一特征因子進行預測，而傳統神經網絡模型采用了多個特征因子（如Alpha158或Alpha 360^[9] ）。

2）盡管Chronos的輸入特征與LLMTime相同，使用股票回報率作為單一的特征因子，但Chronos的預測效果優于大部分其他單模態時序預測模型，這主要歸因于Chronos在T5模型上進行了復雜的預訓練過程，使其能夠更好地處理時間序列數據的特征。

3）LSTM+News（GPT4）、LLMTime+News（GPT4）等雙模態聯合預測的結果均優于對應的單模態時序模型預測結果，這表明雙模態集成股票預測方法中引入的金融文本內容有助于提升預測效果。

綜上所述，本文提出的雙模態聯合預測方法在相關性和穩定性上表現優秀，能夠更有效地預測股票收益率。其中，Chronos+News（GPT4）方法擁有最優的IC指標。該方法的其他三項指標僅次于GATs+News（GPT4），但基于預訓練時序模型Chronos的預測避免了對大量訓練數據的依賴，節省了資源的同時，也可能通過微調進一步提升有效性。

圖3雙模態與單模態預測結果對比

3.2 消融實驗

本小節除了使用2.2節列出的評估指標，還使用了二元精度和區間MSE[12]。二元精度用于衡量模型預測股票價格漲跌方向的能力；區間MSE通過對區間進行編碼并計算編碼之間的距離，衡量模型預測區間與實際區間的差異。賦予特定數值如下：‘ ”為-6，“D5”為-5，以此類推，“D1”為-1；“U1”為0，“U2”為1，…‘ ^?U5+ ”為5。

3.2.1 少樣本學習

本研究測試了幾種使用新聞數據預測股票走勢的少樣本學習方法，具體如下：

1）少樣本學習一一相似股票案例。利用與預測公司相似的公司同一時間段的真實數據作為案例進行學習。

2）少樣本學習一一同一股票案例。使用預測公司過去的真實數據作為案例進行學習。

3）由于第二種方法的預測結果大多顯示上漲，因此引入第三種方法，僅選擇同一股票的下跌案例。

4）零樣本學習。

實驗結果如表1所示（基于幅度區間個數為12的實驗結果）。從表中可以看出，零樣本學習案例的區間MSE的值最小，這表明在零樣本學習案例的情況下，模型的預測誤差最低。其原因可能是學習案例中的新聞與實際股票變動幅度不匹配，或者是上下文長度過長導致LLM的推理能力下降。

表1不同學習案例的性能指標

3.2.2 區間預測提示詞優化

根據任務指令中幅度區間個數的不同任務指令有變化。例如，有12個幅度區間時的任務指令為：預測下周股票的收益（價格變化），基于公司簡介、歷史每周新聞摘要和關鍵詞。趨勢由以下區間表示：4 ”“D5”“D4”“D3”“D2”“D1”“U1”

“U2”“U3”“U4”“U5”“ U5+^， ’，其中 ^sD5+^， 中表示價格下跌超過 5% ，“D5”表示價格下跌 4% 到5% 之間，‘ U5+ ”表示價格上漲超過 5% ，“U5”表示價格上漲 4% 到 5% 之間，等等。幅度區間有10個時，區間表示為‘ ^?D4+ ”“D4”“D3”“D2”“D1”“U1”“U2”“U3”“U4” ^°U4+^′ ’。依此類推，當幅度區間為8、6或4時，區間的表示方式會相應調整。

不同幅度區間數量實驗結果如表2所示。可以發現，隨著區間個數的減少，MSE值逐漸降低后增加，表明幅度區間數量的變化會影響基于新聞數據的LLM預測結果的準確性。表中數據顯示，當幅度區間數量為6時，其MSE值相對最低。LLMTime+News（GPT4）方法在不同幅度區間數量值下進行預測的實驗結果如表3所示。從表中可以看出幅度區間數量為6時，四種預測指標都是最佳的。因此，綜合考慮所有指標，幅度區間數量為6時是最優的幅度區間個數選擇。

表2幅度區間數量對區間MSE指標的影響

表3幅度區間數量對LLMTime+News（GPT4）方法的影響

3.2.3 時序模型超參數優化

在本研究中，對基于Chronos的預訓練時間序列預測模型的輸入窗口進行了深入探索。不同長度的輸入窗口對模型性能的影響實驗結果如表4所示。從實驗結果可以看出，輸入窗口長度為60時，模型表現最佳，IC和ICIR值均達到最高，表明該窗口長度能有效捕捉時間序列中的信息變化。隨著窗口長度的減小，模型性能逐漸下降，特別是40的窗口長度顯著降低了預測準確性。其原因可能是過短的窗口可能導致信息丟失。窗口長度大于60時，模型性能同樣下降，可能是過長的窗口引入了噪音，從而干擾了預測結果。

表4預測窗口對Chronos方法的影響

（續表）

3.2.4時序模型輸入選擇

由于LLMTime和Chronos均為單輸入PTSFM，這里使用簡單移動平均（SimpleMovingAverage，SMA）作為輸入，基于Chronos模型測試不同長度的SMA滑動窗口對預測性能的影響，實驗結果如表5所示。結果表明，最新數據在預測短期回報率時具有明顯優勢。因此，本研究的時序模型使用滑動窗口長度為1的SMA作為輸入（相當于不使用SMA）。

表5滑動窗口對Chronos方法的影響

4結論

針對股票預測問題，本研究提出了一種基于預訓練模型的雙模態預測框架。并與相關神經網絡模型進行了比較，實驗結果表明，本文提出的基于預訓練模型的雙模態預測方法在股票回報率預測上具有明顯優勢，且在相關性（IC）和穩定性（ICIR）指標方面表現出色。

未來，可以從以下兩個方面改善預測效果，一是拓展數據源的多樣性，進一步提升模型的預測能力。例如，除了新聞數據和股票歷史數據外，可以引入股票論壇帖子數據、財務報表數據等更多數據；二是在模型構建方面，繼續優化LLMs和預訓練時間序列預測模型的集成策略，探索更有效的特征融合方法，以提升預測的準確性和穩定性。

參考文獻：

[1]LIUY，QINZ，LIP，etal.StockVolatilityPrediction

UsingRecurrent Neural Networks with Sentiment Analysis [C]/

AdvancesinArtificialIntelligence：FromTheoryto Practice：30th

International Conference on Industrial Engineering and Other

ApplicationsofApplied IntelligentSystems，IEA/AIE2017.

Arras：SpringerInternationalPublishing，2017：192-201.

[2] JINGN，WUZ，WANGH.AHybridModel Integrating

DeepLearningwith Investor Sentiment Analysis for Stock Price

Prediction[J].ExpertSystemswithApplications，2021，178：

115019.

[3]BAO W，CAOY，YANGY，etal.Data-driven Stock

Forecasting Models Based on Neural Networks：A Review [J].

InformationFusion，2025，113：102616.

[4] DWIVEDIVP，BRESSON X.A Generalization of TransformerNetworksto Graphs[J/OL].arXiv：2012.09699[cs. LG].（2020-12-17） .https：//arxiv.org/abs/2012.09699. [5]RONGY，BIANY，XUT，etal.Self-supervised GraphTransformeronLarge-scaleMolecularData[C]// Proceedingsofthe 34th International Conferenceon Neural Information Processing Systems.Vancouver：Curran Associates Inc.，2020：1053. [6] GRUVER N，FINZI M，QIU S，et al.Large Language Models Are Zero-shot Time Series Forecasters [C]//Proceedings of the 37th International Conference on Neural Information Processing Systems.New Orleans：Curran Associates Inc.， 2024：19622-19635. [7]BROWNTB，MANNB，RYDERN，etal.Language ModelsAre Few-shotLearners[C]//Proceedings ofthe34th International Conference on Neural Information Processing Systems.Vancouver：CurranAssociatesInc.，2020：1877-1901. [8]ANSARIAF，STELLAL，TURKMENC，et al. Chronos：Learning the Language of Time Series [J/OL]. arXiv：2403.07815 [cs.LG]. （2024-03-12）.https：//arxiv.org/ abs/2403.07815.

[9]HUHY.PredictionofShanghaiStockMarketBasedon CNN-LSTMModel with GA Optimized Attention [C]//Proceedings ofthe2nd International Conference on Bigdata Blockchainand Economy Management （ICBBEM2023）.Hangzhou：EAI，2023. [10] LINH，ZHOUD，LIUW，et al.Learning Multiple StockTrading Patterns with Temporal Routing Adaptor and Optimal Transport[C]//Proceedingsof the27th ACM SIGKDD ConferenceonKnowledgeDiscoveryamp;DataMining.Singapore： AssociationforComputingMachinery，2021：1017-1026. [11]VELIKOVIP，CUCURULLG，CASANOVAA，et al.Graph Attention Networks [J/OL].arXiv：1710.10903 [stat.ML]. （2017-10-30）.https：//arxiv.org/abs/1710.10903.

[12]YUX，CHENZ，LUY.HarnessingLLMsfor TemporalData-AStudyonExplainableFinancialTimeSeries Forecasting[C]//Proceedings of the 2023 Conference on Empirical Methodsin Natural Language Processing：Industry Track. Singapore：ACL，2023：739-753.

作者簡介：何海靈（1997一），女，漢族，湖南永州人，碩士在讀，研究方向：大型語言模型的金融預測、投資組合優化方法；通信作者：彭晨（1989一），男，苗族，湖南吉首人，副教授，博士，研究方向：時間序列預測、表格推理以及基于人工神經網絡和大型語言模型的可解釋性。