基于改進LSTM的風險預測模型構建及應用比較

摘 要：為進一步提高LSTM網絡預測的精度，提出一種基于ResNet和Attention改進LSTM的風險預測模型。其中，利用ResNet10網絡對樣本數據進行特征提取，然后引入Attention賦予不同特征權重，進而提高重要特征的權重，最后運用LSTM對樣本數據進行預測。結果表明，本研究的方案得到的風險預測準確率、準確率等指標明顯高于其他風險預測模型，由此得出本方改進方案可行。

關鍵詞：ResNet10網絡；Attention；LSTM；風險預測；特征權重

中圖分類號：TP391 文獻標志碼：A 文章編號：1001-5922（2025）03-0193-04Research on risk prediction model and its application basedon deep learningGAO Min

（Heze Information Engineering School of Shandong Province，Heze 274000，Shandong China）

Abstract：To further improve the accuracy of LSTM network prediction，a risk prediction model based on ResNetand Attention improved LSTM is proposed. Among them，the ResNet10 network is used to extract features from thesample data，and then attention is introduced to assign different feature weights，thereby increasing the weight of im?portant features. Finally，LSTM is used to predict the sample data. The results indicate that the accuracy and otherindicators of risk prediction obtained by the proposed approach are significantly higher than those of other risk pre?diction models，indicating the feasibility of our improved approach.

Key words：ResNet10 network；attention；LSTM；risk prediction；feature weight

將深度學習應用于風險預測中，成為當前智能化的一個重要方向。對此，張瑋亞等 [1] 將深度學習算法應用到不停電作業風險的評估中，大大提高了評估準確率；龍鑫玉等 [2] 將深度學習算法用于電網的防汛風險的預測中，結果表明預測的準確率要高于傳統的機器學習算法；周遠翔等 [3] 則將深度學習算法用于設備風險預測中，大大提高了配電設備運行的可靠性；尤姍姍和邵思思等 [4-6] 將深度學習用于軟件的風險預測中，結果表明較常規方法具有很大的優勢。

本研究認為，深度學習算法主要用于文本和圖像的預測中，其中對特征的提取顯得非常關鍵。對此，基于以上的經驗，提出一種ResNet網絡結合改進LSTM的風險預測模型，并將該模型用于舞弊風險的識別中。

1 基本方法

1.1 ResNet 網絡

ResNet網絡屬于殘差網絡的范疇，在ResNet網絡內部存在多個ResNet-block子網絡相互堆疊，二層卷積基本殘差單元結構展示如下圖1所示。

2 基于LSTM-Attention的風險預測模型構建殘差結構能夠精簡學習過程、實現梯度傳播以及提高訓練速度，所以本文選用殘差結構進行特征提取，然后采用注意力機制對輸入的多種因素執行動態加權處理，由此提高與真實數據相關性強的因素的權值，最終建立起基于注意力機制的 LSTM模型。引入注意力機制的預測流程如圖3所示。

在LSTM-Attention網絡模型中，Attention層分布在LSTM后、扁平層（Flatten層）前，模型中添加扁平層是為了實現多維數據向一維數據的轉換，從而便于數據連接至輸出層。LSTM-Attention網絡架構如圖4所示。

3 試驗驗證

3.1 數據來源

本模型數據來源于部分上市公司的舞弊數據，包含130個評價指標。具體來說，結構化指標包括93個財務指標和28個非財務指標，剩余的9個指標均為非結構化指標。在完成PCA處理以后，最終獲得35個財務指標、21個非財務指標以及7個非結構化指標。通過 ResNet10 模型提取面板數據特征，輸入LSTM模型進行學習 [8] 。設定5年作為1個周期，由此執行滾動學習，具體數據集劃分如圖5所示。

同時，按照3∶3∶4的比例對樣本數據進行隨機劃分，由此分別得到訓練集、驗證集及測試集。旨在規避主觀因素對樣本數據劃分過程的干擾，本文調用了Python中的train_test_split 函數按照3∶3∶4的比例對樣本數據進行隨機劃分，如此能夠確保樣本數據劃分過程的隨機性、可靠性 [9] 。

3.2 模型參數設置

參數設置：激活函數為Sigmoid；損失函數為Bi?nary-cross-entropy；優化器為Adam；學習率為0.0001；Batch Size為128；訓練輪數為70次。

3.3 評價指標選取

本文建立的基于深度學習的風險預測模型用于識別上市公司舞弊風險，因此選用查準率（Preci?sion）、召回率（Recall）、準確率（Accuracy）、 F 1 分數以及AUC等指標對模型應用性能進行評價 [10] 。

AUC（Area Under Curve）指的是 ROC（ReceiverOperating Characteristic）曲線與坐標軸所圍成的封閉面積，面積數值介于0～1之間 [11] 。另外，ROC曲線通常分布在直線y=x以上，所以AUC數值通常介于0.5～1之間。AUC數值趨近于1，說明預測結果的真實性越高，反則反之 [12-14] 。若AUC=0.5，說明當前的預測模型無法辨識正例與反例，預測結果的可靠性很低。

3.4 數據不平衡處理

分別采取過采樣與欠采樣方式對數據不平衡問題進行處理，匯總如表1所示。

由表1可知，采取過采樣方式的處理結果在各項指標上都顯著優于欠采樣方式，由此判定過采樣方式更適于解決數據不平衡問題，因此，本文在利用風險預測模型對舞弊樣本進行識別分類時，就采用了過采樣方式來處理數據不平穩問題，最終得到了33 337 個樣本，其中測試集中的樣本數是 13 335個 [15] 。

3.5 模型比較

在確定評價指標以及建立預測模型以后，把完成過采樣處理的樣本數據輸入各模型進行學習，各模型的查準率、召回率、F 1 分數、準確率以及AUC如表2所示。

由表2可知，除了CNN模型屬于單一結構模型以外，其余三個模型均是混合模型，通過對比發現，CNN模型的查準率、召回率、F 1 分數、準確率以及AUC等各項指標的評分均低于混合模型，比如添加LSTM網絡后的CNN-LSTM模型的各項評價指標分值出現明顯提升，足可見LSTM網絡對于金融時間序列數據的預測上具有優勢 [16-18] 。與其他三類模型做對比，本文建立的ResNetl0-LSTM-Attention模型所對應的查準率、召回率、F 1 分數、準確率以及AUC分值均是最高的，這說明本文模型在識別舞弊方面相較于其他模型更具實用價值 [19-20] 。

4 結語

通過建立基于深度學習算法的風險預測模型，用以對舞弊樣本數據進行分類識別，實現了對舞弊的識別。其中，超參數的選擇及設定對于模型性能及應用效果起到關鍵影響，本文在選定超參數以后，建立了深度學習單一模型及混合模型，將采取過采樣方式處理后的數據樣本輸入各模型，建立各模型所對應的混淆矩陣以及確定各模型預測結果的準確率、召回率、F 1 分數、準確度、AUC分值，由此獲得各模型的綜合評價結果并進行對比，得出本文建立ResNetl0-LSTM-Attention 模型相較于其他三類模型具有明顯優勢，能夠更加精準地識別出舞弊風險。

【參考文獻】

[1] 張瑋亞，陳中，宮衍平，等. 基于多模態深度學習的不停電作業風險評估[J]. 高壓電器，2022，58（11）：138-150.

[2] 龍鑫玉，石英，林朝俊. 基于改進Transformer的電網防汛風險概率預測[J]. 武漢理工大學學報，2022，44（9）：79-88.

[3] 周遠翔，葛佳敏，陳健寧，等. 基于巡視文本挖掘的配電設備運行環境風險預測[J]. 高電壓技術，2022，48（4）：1213-1225.

[4] 尤姍姍，劉雪嬌. 基于非線性集成深度學習的軟件模塊風險預測[J]. 計算機仿真，2021，38（11）：305-308.

[5] 邵思思，李奎，堯海昌，等. 一種基于深度學習的Docker風險預測方法研究[J]. 南京郵電大學學報（自然科學版），2021，41（2）：104-112.

[6] 程洪亮，黃鶴，龐然，等. 基于改進ResNet網絡的光伏電站檢測方法[J]. 北京建筑大學學報，2023，39（6）：72-79.

[7] 吳文彥. 基于卷積通道注意力及改進ResNet的遙感場景分類[J]. 蘭州工業學院學報，2023，30（6）：26-30.

[8] 孫明正，李浩. 一種基于ResPNet的光伏組件紅外成像故障檢測方法[J]. 激光與光電子學進展，2023，60（24）：201-209.

[9] 儲天啟，陳秀明，王先傳，等. 融合LSTM-Attention和CNN模型的文本分類方法[J]. 安慶師范大學學報（自然科學版），2023，29（3）：89-94.

[10] 耿治勝，王月明，高東輝，等. 基于LSTM-Attention與MOPSO高爐節能減排控制算法研究[J]. 電子測量技術，2023，46（14）：102-108.

[11] 吳先紅，宋俊材，王驍賢，等. 基于雜散磁場感知與NBCNN-LSTM-Attention深度回歸建模的永磁直線電機氣隙磁密測量研究[J]. 儀器儀表學報，2023，44（7）：305-314.

[12] 孫晨宇，張樹東. 基于CEEMDAN與LSTM-Attention的股市預測模型[J]. 計算機應用與軟件，2023，40（12）：119-125.

[13] 唐 宇 峰 ，陳 星 紅 ，蔡 宇 ，等. 基 于 時 序 分 解 和SSA-LSTM-Attention模型的尾礦壩位移預測[J]. 科學技術與工程，2023，23（29）：12753-12759.

[14] 曹梅，楊超宇. 基于小波的CNN-LSTM-Attention瓦斯預測模型研究[J]. 中國安全生產科學技術，2023，19（9）：69-75.

[15] 毛百海，覃吳，肖顯斌，等. 基于LSTMamp;GRU-Attention多聯合模型的鋰離子電池SOH估計[J]. 儲能科學與技術，2023，12（11）：3519-3527.

[16] 蔣闖，艾紅，陳雯柏. 基于時域特征與LSTM-Attention的IGBT退化預測方法[J]. 中國測試，2023，49（8）：8-14.

[17] 穆晨宇，薛文斌，穆羨瑛，等. 基于VMD-LSTM-Attention模型的短期負荷預測研究[J].現代電子技術，2023，46 （17）：174-178.

[18] 馬佳成，王曉霞，楊迪. 基于Attention機制的TCN-LSTM非侵入式負荷分解[J].電力信息與通信技術，2023，21（8）：43-51.

[19] 李東澤，齊詠生，劉利強. 基于LSTM-ATTENTION融合神經網絡的光伏功率預測[J]. 內蒙古工業大學學報（自然科學版），2023，42（4）：350-354.

[20] 楊廷勝，盧志鵬，苗厚利. 基于PMS的設備故障數據分析模型構建及仿真[J]. 粘接，2022，49（7）：165-169.

（責任編輯：張玉平）