基于TransMP模型的Web系統剩余壽命預測方法

摘 要：針對當前軟件剩余使用壽命預測方法忽略了多性能指標間所蘊涵壽命信息的問題，提出一種融合多性能指標Transformer（TransMP）模型的Web系統剩余壽命預測方法。首先，搭建內存故障型Web系統加速老化實驗平臺，創建包含內存使用量、響應時間和吞吐率性能指標的數據集；其次，考慮不同性能指標蘊涵老化特征信息的差異性，構造由多編碼器-解碼器組成的TransMP模型，將性能指標數據分別輸入內存指標編碼器、響應時間編碼器和吞吐率編碼器提取老化特征信息，再引入特征融合層進行信息融合；最后，將融合信息輸入由掩碼注意力-多頭注意力結構構成的解碼器，預測得到系統狀態達到老化閾值的剩余壽命。實驗結果表明，該Web系統剩余壽命預測方法與最優的SALSTM方法相比，均方根誤差分別降低了12.0%、17.3%和13.2%，平均絕對誤差分別降低了13.3%、21.0%和10.4%，證明了該方法的有效性。

關鍵詞：Web系統； 軟件老化； 剩余使用壽命； Transfomer； 軟件再生

中圖分類號：TP391 文獻標志碼：A

文章編號：1001-3695（2024）06-026-1784-06

doi：10.19734/j.issn.1001-3695.2023.10.0437

Remaining useful life prediction method of Web systembased on TransMP model

Abstract：Focused on the problem of current software remaining life prediction methods ignore the life information contained among multiple performance indicators， this paper proposed a remaining life prediction method of Web software system based on the Transformer model with multiple performance indicators（TransMP）. Firstly， it constructed an accelerated aging experimental platform for a memory fault type Web system， and created a dataset containing performance indicators such as memory usage， response time， and throughput. Secondly， considering the differences in aging characteristic information contained in different performance indicators， it constructed the TransMP model consisting of multiple encoders-decoders. The performance indicator data was separately input into the memory indicator encoder， response time encoder， and throughput encoder to extract aging characteristic information， then it introduced a feature fusion layer for information fusion. Finally，it input the fused information into the decoder composed of a mask attention-multi-head attention structure to predict the remaining life when the system reached an aging threshold. The experimental results indicate that the remaining life prediction method of the Web system， compared to the SALSTM method， reduces the root mean square error by 12.0%， 17.3% and 13.2%， and decreases the mean absolute error by 13.3%， 21.0% and 10.4%， demonstrating the effectiveness of this method.

Key words：Web system; software aging; remaining useful life（RUL）; Transformer; software rejuvenation

0 引言

軟件老化［1］是指軟件內部錯誤使得可用資源逐漸減少，性能衰退而導致軟件發生故障。內存泄漏［2］會使Web系統出現響應時間變長、吞吐率下降的現象，當系統的資源消耗或性能衰退至系統不可接受狀態時，最終將導致系統掛起或崩潰［3］。

為避免軟件老化引起重大損失，Huang等人［4］提出了軟件再生概念?；诶匣撝档能浖偕峭ㄟ^收集軟件老化相關特征指標（如內存使用量、響應時間和吞吐率等），設定老化特征閾值，在軟件到達老化特征閾值前及時采取軟件再生的方式。因此，高效準確地預測軟件當前時刻到達失效時刻的剩余使用壽命（RUL）［5］，對于切實提高軟件運行的安全性、可靠性與可用性具有重要的實際意義［6］。

近年來，由于深度學習具有強大的非線性映射能力而逐漸被應用于軟件老化預測［7］。譚宇寧等人［8］針對Web服務器老化數據的時序特性，使用循環神經網絡（recur rent neural network，RNN）及其變種長短時記憶單元（long short-term memory，LSTM）預測內存變化趨勢來評估軟件老化。然而，由于LSTM中存在循環結構，序列數據需要依次通過每個處理單元來提取有用的特征信息，這不可避免地導致了重要信息的遺忘問題，對長序列依賴關系學習效果較差。Tan等人［9］考慮卷積神經網絡（convolutional neural network，CNN）能有效地捕獲軟件老化數據中存在的空間特征，構建CNN-LSTM模型用于預測性能指標的變化趨勢，但是其輸入數據依次進入CNN和LSTM模塊，導致提取的特征信息之間相互影響。黨偉超等人［10］考慮注意力機制能更多地關注老化數據中的重要特征信息，在LSTM架構基礎上引入自注意力機制（self attention，SA），提出基于SALSTM的RUL預測方法，然而其注意力機制是與LSTM架構相結合使用的，因此處理長序列仍然存在局限性。而且文獻［8～10］均僅以一種性能指標（即內存使用量、響應時間或吞吐率等）構建軟件老化預測模型，忽略了軟件運行過程中多性能指標間的相關性，因此難以充分利用各性能指標所包含的壽命信息。

綜上所述，雖然使用深度學習方法在軟件老化預測上取得了巨大成功，但現有方法從長序列中提取信息方面存在困難。Transformer是一種完全基于注意機制的編碼器-解碼器架構［11］，在自然語言處理［12］、計算機視覺［13］等領域都取得了巨大的成功。在Web系統RUL預測時，也可以使用自注意力機制來更多地關注老化數據中重要的特征信息，與RNN和LSTM等深度學習模型相比，能更有效捕獲長序列中的依賴關系。然而，對于Web系統RUL預測，原始Transformer模型忽略了不同性能指標之間所蘊涵壽命信息的差異性，導致在特征提取時不同性能指標相互影響。

為了克服上述問題，本文將Transformer架構引入到Web系統RUL預測領域，提出了一種融合多性能指標Transformer（multi-performance transformer，TransMP）模型的Web系統RUL預測方法。TransMP由三個編碼器（內存指標編碼器、響應時間編碼器和吞吐率編碼器）組成，每個編碼器都使用自注意力機制分別提取不同性能指標的老化特征信息，從而避免了不同性能指標在特征提取時相互影響。將編碼器提取的老化特征信息融合并輸入解碼器，得到RUL預測。通過與多種軟件老化預測方法的對比實驗驗證該方法的有效性，為及時實施軟件再生提供理論依據。

1 Web系統RUL預測框架

1.1 Web系統RUL預測任務

Yt=f（Xt）（1）

1.2 Web系統RUL預測流程

基于TransMP模型的Web系統RUL預測方法流程如圖1所示。具體步驟如下：

a）采集性能指標數據。搭建內存故障型Web系統加速老化實驗平臺，在Web系統從開始運行到發生內存資源耗盡故障過程中，創建反映系統資源使用情況和性能變化的性能指標數據集，為后續Web系統RUL預測提供數據支撐。

b）數據預處理。首先對原始性能指標數據作歸一化處理，其次計算數據集剩余使用壽命標簽，再使用滑動窗口法將原始性能指標數據序列分割為若干較短的性能指標數據序列，最后將數據集劃分為訓練集和測試集。

c）構建TransMP模型?；诮浻蓴祿A處理得到的性能指標數據作為模型的輸入，采用均方誤差作為模型訓練的損失函數并使用Adam優化器進行優化。

d）測試集驗證。將測試集性能指標數據輸入訓練好的TransMP模型中，預測性能指標數據對應的RUL值，從而實現對Web系統的RUL預測。

2 基于TransMP模型的Web系統RUL預測方法

2.1 Web系統性能指標選擇

Web系統運行過程中，資源使用量和性能變化趨勢中蘊涵豐富的壽命信息，能夠反映系統的老化狀態。有效收集系統性能指標數據是基于老化閾值Web系統RUL預測方法的前提。為了提高系統RUL預測的準確性，需要根據系統的特點選擇能夠準確反映系統老化狀態的性能指標。

在Web系統運行時，隨著會話請求的增加，內存使用量也會相應上升。當內存使用量［14］達到系統內存資源上限時，系統狀態不斷惡化，系統沒有可用資源而出現宕機現象，內存使用量是衡量系統老化狀態的重要資源型性能指標。系統資源的消耗也會導致系統性能下降，表現為服務器對用戶的會話請求響應時間變長甚至不響應，且單位時間內服務器處理的會話請求數量下降，響應時間［15］和吞吐率［16］是能有效反映系統服務器性能變化的指標。

本文研究內存故障型Web系統的RUL預測問題，通過將服務器中注入內存泄漏的方式，使系統可用內存資源枯竭而達到老化狀態。因此搭建系統老化平臺，收集內存使用量數據作為反映系統老化狀態的主要性能指標，響應時間數據和吞吐率數據作為輔助性能指標。三種性能指標都能描述系統老化狀態，共同影響系統RUL值，充分利用多種性能指標對Web系統RUL預測具有重要意義。

2.2 數據預處理

不同性能指標之間單位不同且取值范圍差異較大，如果直接用于模型訓練可能會影響RUL預測的精度［17］。因此為了消除性能指標之間可比性差的問題，使用最大-最小歸一化方法對數據集中內存使用量、響應時間和吞吐率指標數據分別進行處理，從而使每個性能指標數據都在（0，1）縮放，歸一化方式如式（2）所示。

Web系統RUL預測目標輸出為一個RUL值，需要對數據集設置剩余使用壽命標簽。每個時刻的性能指標數據對應一個RUL值，系統在t時刻到老化閾值T時的RUL計算方法如下：

RUL=T-t（3）

在歸一化后的數據基礎上，采取滑動窗口方法對性能指標數據集進行采樣?；瑒哟翱诜ㄊ且环N在時間預測任務中常用的數據處理方法［18］，可以利用數據集中有限的樣本數據構建若干個短序列，既能保留前后數據之間的依賴性，也能提升模型訓練效果。

首先從數據集的第一個數據開始，按照窗口大小m選取出第一個滑動窗口，然后將窗口向后滑動一步選取出第二個窗口，將每個滑動窗口中最后一個數據的RUL值作為該窗口的RUL值，以此將數據集所有樣本數據分割成若干個滑動窗口。在t時刻的滑動窗口序列可以表示為

2.3 基于TransMP的Web系統RUL預測模型

本文基于Transformer模型的編碼器-解碼器架構，設計了一個TransMP預測模型，它能夠同時學習不同性能指標的老化特征信息，并通過信息融合來獲得更有價值的描述系統老化狀態的信息。模型具體結構如圖2所示。模型主要由編碼器層（包括內存指標編碼器層、響應時間編碼器層和吞吐率編碼器層）、特征融合層和解碼器層三部分組成。根據各個性能指標老化特征信息不同，對每個性能指標設計一個基于多頭自注意機制的編碼器進行特征學習，每個編碼器可以被看作是一個獨立的性能指標特征信息提取器。模型的工作流程如下：首先多編碼器分別學習性能指標中的老化特征信息；其次通過特征融合層將從三個編碼器提取的老化特征信息進行融合；最后將融合后的特征信息發送到解碼器輸出最終的RUL預測結果。

由于Transformer模型使用并行計算而失去了學習序列中位置信息的能力，所以需要在序列中注入一些相對的位置標記。本文使用不同頻率的正弦和余弦函數來添加位置信息，如下所示。

其中：p為特征向量的位置；dmodel為特征向量的維度。

本文設計的內存指標編碼器、響應時間編碼器和吞吐率編碼器都具有相同的結構，它們并行提取三種性能指標的特征信息，避免了特征信息的相互影響，有助于提高RUL預測的性能。每個編碼器均由N個編碼器層堆疊組成，編碼器層主要包括多頭自注意力層和前饋神經網絡層兩個子層。編碼器層沿著時間維度提取性能指標數據的特征信息，它的多頭自注意機制可以不受人工經驗干擾，自動學習權重較高的老化特征信息。如圖3所示，每個子層中都有殘差連接和層歸一化，可以減輕模型訓練的難度，使模型收斂速度加快。

自注意力機制首先將數據序列映射為查詢矩陣、鍵矩陣和值矩陣，然后對查詢矩陣和鍵矩陣進行點積計算并使用softmax作歸一化處理，得到權重系數后再對值矩陣進行加權求和，如式（7）～（10）所示。

其中：Q為查詢矩陣；K為鍵矩陣；V為值矩陣；Xf為特征矩陣；WQ、WK、WV為可訓練的權重系數矩陣；d為Q、K、V的維數。

多頭注意力機制由多個自注意力機制組成，可以使模型分別學習不同子空間的信息，然后拼接為多頭注意力矩陣，從而提高預測性能。計算如下：

MultiHead（Q，K，V）=concat（H1，H2，…，Hm）·W（11）

Hk=attention（XWQK，XWKK，XWVK）（12）

其中：WQK、WKK和WVK分別為第k個注意力頭Q、K和V的權重矩陣；W為多頭注意力權重矩陣;m為注意力頭的數量；Hk為第k個注意力頭計算結果；concat函數表示拼接注意力頭計算結果。

從編碼器中提取老化特征信息后，對三種特征信息進行融合。特征融合層將三種特征信息相結合，生成了一個新的老化特征信息。特征融合計算方法為

Ft=concat（Ft1，Ft2，Ft3）Wf（13）

其中：Ft1、Ft2、Ft3為三種特征信息；Wf表示為特征融合層的權值。

解碼器主要由N個編碼器層和全連接神經網絡層組成，解碼器層主要包括掩碼多頭自注意層和編碼解碼器多頭自注意子層兩個子層，如圖4所示。編碼-解碼多頭自注意機制的鍵矩陣K和值矩陣V來自編碼器的輸出，而查詢矩陣Q來自掩碼多頭自注意力層的輸出。掩碼多頭自注意力機制通過將相應的點積設為-∞，保證模型預測時不會學習到未來的數據。最后，使用全連接神經網絡層對解碼器層降維，輸出RUL預測。

2.4 評價指標

為了檢驗本文Web系統RUL預測方法的有效性，使用均方根誤差（root mean squared error，RMSE）和平均絕對誤差（mean absolute error，MAE）評估模型的預測性能。RMSE和MAE值越小，表示預測效果越好。計算如下：

3 實驗與結果分析

本文實驗在CPU（AMD R7 6800H）、GPU（NVIDIA GeForce RTX 3060）、16 GB內存、Microsoft Windows 11操作系統的環境下進行。

3.1 內存故障型Web系統加速老化實驗

為了能夠有效地對Web系統的老化現象進行研究，梁佩［19］建立了一個實驗平臺，并部署軟件以模擬真實的運行環境。該實驗平臺使用Xen虛擬化服務器技術創建兩個虛擬機（virtual machine，VM），其中：一個VM充當應用服務器，部署Apache Tomcat應用服務器和MySQL數據庫；另一個VM充當客戶端，部署一組模擬瀏覽器。本文實驗平臺環境配置與該平臺一致，如表1所示。

在實驗平臺基礎上構建了一個典型的基于Web技術開發并符合TPC-W基準測試規范的電子購書系統［20］，用于模擬用戶對該系統進行購書訪問，如圖5所示。該購書系統能夠穩定高效地應對長時間、高負荷的工作，老化過程非常緩慢。為了盡快取得實驗數據，針對Web系統老化特性，在服務器中注入內存泄漏代碼以加速系統老化。

實驗主要模擬用戶在客戶端以一組模擬瀏覽器向服務器端發送會話請求，服務器將請求信息發送至應用程序，應用程序接收到請求后與數據庫連接、訪問并將操作結果返回給服務器，然后再由服務器將響應返回給客戶端。

當前內存泄漏被認為是造成系統老化故障的主要原因之一，然而在現實環境中，系統內存泄漏到耗盡所有可用內存資源需要很長時間。為了加速系統內存資源的泄漏，本文在服務器端應用程序中的購物結算頁面注入了一段內存泄漏代碼，在系統重新啟動之前，該應用程序每響應一次購物請求，Java虛擬機（Java virtual machine，JVM）泄漏6 KB虛擬內存。應用程序頻繁響應請求時會不斷消耗系統的可用內存資源，造成系統性能下降，當系統可用內存資源耗盡（out of memory，OOM）時發生宕機故障。

現實的系統應用環境中擁有大量的業務請求。本文實驗中，客戶端使用一組瀏覽器模擬大量用戶在同一段時間內向服務器端發送連續的購物會話請求，以實現系統真實運行環境的模擬。服務器的負載并發數為客戶端發送會話請求的并發數量，客戶端中每個瀏覽器模擬一個客戶向服務器發送購物會話請求。本文通過設置客戶端模擬瀏覽器的并發數量為200、250和300來實現三種不同的負載發生方案，隨著服務器的負載并發數加大，會縮短系統到達老化狀態的壽命周期。

檢驗系統是否到達老化狀態，可以通過監視系統性能指標數據，分析數據變化趨勢來判斷系統狀態。本文使用注入內存泄漏的方式來加速系統老化，因此當系統發生OOM故障時，系統可用內存資源耗盡，服務器出現對用戶的請求響應時間變長甚至不響應的現象，此時系統達到老化狀態。

在啟動客戶端模擬瀏覽器對服務端發起會話請求的同時，調用監視腳本每隔1 s采集一次系統老化相關的性能指標數據并記錄。當模擬瀏覽器不斷發生請求錯誤且監視到系統可用內存資源接近于0時停止實驗，此時系統因發生內存故障達到老化狀態，記為一次完整的Web系統全壽命周期實驗。保存此次實驗的數據，重新啟動服務器以重置系統狀態，從而進行下一次實驗。

3.2 數據集

本文共進行了9次Web系統全壽命周期實驗，每次實驗都是用內存泄漏注入的方式加速系統的老化，因此9次實驗系統都進入了老化狀態，并且由于負載并發數的差異，系統達到老化狀態的壽命周期也會明顯不同。負載并發數越大，系統的壽命周期越短。負載并發數為200時，系統在4 h左右達到老化狀態；負載并發數為250時，系統在3 h左右達到老化狀態；負載并發數為300時，系統在2 h左右達到老化狀態。

實驗共采集到9組完整代表系統全壽命周期運行時資源使用情況和性能變化的數據集，每組數據集包含內存使用量、響應時間和吞吐率三種性能指標數據。其中內存使用量描述了系統的資源使用信息，響應時間和吞吐率描述了系統的性能變化信息。

本文在每種負載并發數下選取兩組數據集為訓練集和一組數據集為測試集，劃分data1、data2、data4、data5、data7和data8數據集為訓練集，data3、data6和data9數據集為測試集，用于驗證本文的基于TransMP模型的Web系統RUL預測方法的有效性。數據集的詳細信息如表2所示。

以data4數據集為例，該數據集為加速老化實驗中負載并發數為250下Web系統在連續全壽命周期10 880 s內的內存使用量、響應時間和吞吐率的變化情況。如圖6所示，可以看出系統運行時三種性能指標隨時間的變化情況，能夠全面反映系統全壽命周期的老化趨勢。內存使用量整體表現出單調遞增的趨勢，在系統運行前期發生幾次驟降是因為服務器自帶的軟件再生機制發揮作用釋放了一些內存資源，在將達到老化狀態時內存使用量達到最高點，接近系統總內存資源量。響應時間和吞吐率在系統運行前期趨勢較為平穩，在將達到老化狀態時響應時間驟升、吞吐率驟降。

3.3 基于TransMP模型的Web系統RUL預測

本文使用Python 3.7編程語言、Anaconda 3.8解釋器、TensorFlow 2.3.0深度學習框架搭建模型，使用網絡搜索法得到最優的超參數，模型具體超參數如表3所示。模型訓練時使用RMSE作為損失函數，Adam為優化函數，學習速率設置為0.001，批量大小設置為64，迭代次數設置為30。每個編碼器層和解碼器層都設置dropout率為0.1。

Web系統較長老化壽命周期內，選擇合適的預測起始點至關重要［20］，過早預測效果不明顯，過晚預測不能起到提前維護的作用。Web系統發生OOT故障時，老化閾值為內存使用量256 MB、響應時間20 s和吞吐率0 rps。依據經驗設置內存使用量192 MB、響應時間5 s和吞吐率20 rps為測試集中預測起始點，將測試集輸入訓練好的模型，預測系統達到老化閾值時的RUL。

訓練前需要選擇一個合適的滑動窗口大小，窗口過小則難以學習到數據中的依賴信息，過大則會導致運算速度降低。將窗口大小設置為100、110、120、130和140，在測試集進行對比實驗。從表4可以看出，滑動窗口大小設置為120時，RMSE值最小。

為驗證本文TransMP的優越性，與目前最新的基于深度學習的軟件老化預測模型在內存使用量、響應時間和吞吐率三種性能指標上進行對比分析，對比模型包括LSTM［10］、CNN-LSTM［9］、SALSTM［8］和原始Transformer模型。表5展示了五種模型在測試集上使用RMSE和MAE兩種評價指標對比結果。

相較LSTM、CNN-LSTM和SALSTM三種方法，TransMP的RMSE和MAE值均最小。具體地，在data3測試集，本文方法RMSE值分別降低了26.6%、25.6%和12%，MAE值分別降低了20.8%、17.2%和13.3%。表5結果表明，本文基于Transformer架構提出的TransMP，有效提取長序列性能指標數據中老化特征信息的能力優于目前最新的基于RNN軟件老化預測模型，使得RUL預測結果更加精準。

為驗證TransMP改進的有效性，與原始Transformer進行對比分析。在三個測試集上，TransMP相較于原始Transformer的RMSE值分別降低了14%、8.3%和12.6%，MAE值分別降低了9.9%、17.4%和8.9%。表明TransMP中三個編碼器分別提取不同性能指標中的老化特征信息，能有效避免特征提取時的相互影響，進一步提升了RUL預測精度，在實際RUL預測中具有良好的應用前景。

各種預測方法對比結果如圖7所示。相比較而言，TransMP預測RUL曲線與真實的RUL曲線具有相似的軌跡，并且明顯優于其他預測方法，說明本文方法預測效果更好。

通過消融實驗來驗證本文考慮內存使用量（memory）、響應時間（response）和吞吐率（throughput）的多性能指標的Web系統RUL預測方法的有效性，為此設計了六個實驗。實驗1使用內存使用量性能指標和響應時間性能指標數據作為輸入。實驗2使用內存使用量性能指標和吞吐率性能指標數據作為輸入。實驗3使用響應時間性能指標和吞吐率性能指標數據作為輸入。實驗4使用內存使用量性能指標數據作為輸入。實驗5使用響應時間性能指標數據作為輸入。實驗6使用吞吐率性能指標數據作為輸入。以data3數據集為例，實驗結果如表6所示。

實驗結果表明，本文提出的多性能指標預測方法預測性能優于以往的單一性能指標方法。當任何一個性能指標被移除時，預測性能均會顯著下降，這表明來自三個性能指標的信息對RUL預測都是有價值的。實驗結果進一步驗證了考慮多性能指標能夠提升RUL預測的性能。

4 結束語

本文提出了一種基于TransMP模型的Web系統RUL預測方法，并使用Web系統加速老化實驗平臺收集的老化數據集來驗證本文方法的有效性。根據實驗結果，該方法能夠準確地預測系統RUL。未來工作將研究利用深度學習方法實現Web系統RUL預測時對預測結果進行不確定性量化，以及探索深度學習方法與數據增強技術的結合來解決訓練數據缺乏的問題。

參考文獻：

［1］Yan Yongquan. Variance analysis of software ageing problems［J］. IET Software， 2017， 12（1）： 41-48.

［2］Cotroneo D， Natella R， Pietrantuono R， et al. A survey of software aging and rejuvenation studies［J］. ACM Journal on Emerging Technologies in Computing Systems， 2014，10（1）： 1-34.

［3］Grottke M， Li L， Vaidyanathan K， et al. Analysis of software aging in a Web server［J］. Discussion Papers， 2005，55（3）： 411-420.

［4］Huang Yennun， Kintala C， Kolettis N， et al. Software rejuvenation： analysis， module and applications［C］//Proc of the 25th International Symposium on Fault-Tolerant Computing. Piscataway， NJ： IEEE Press， 1995： 381-390.

［5］Si Xiaosheng， Wang Wenbin， Hu Changhua， et al. Remaining useful life estimation-a review on the statistical data driven approaches［J］. European Journal of Operational Research， 2011，213（1）： 1-14.

［6］Araujo J， Melo C， Oliveira F， et al. A software maintenance metho-dology： an approach applied to software aging［C］//Proc of IEEE International Systems Conference. Piscataway， NJ： IEEE Press， 2021： 1-8.

［7］Vizarreta P，Sieber C，Blenk A，et al. ARES： a framework for management of aging and rejuvenation in softwarized networks［J］. IEEE Trans on Network and Service Management， 2020，18（2）： 1389-1400.

［8］譚宇寧， 黨偉超， 潘理虎， 等. 基于SATLSTM的Web系統老化趨勢預測［J］. 計算機應用與軟件， 2020，37（4）： 17-24. （Tan Yuning， Dang Weichao， Pan Lihu， et al. Prediction of Web system aging trend based on SATLSTM［J］. Computer Applications and Software， 2020，37（4）： 17-24.）

［9］Tan Xueyong， Liu Jing. ACLM： software aging prediction of virtual machine monitor based on attention mechanism of CNN-LSTM model［C］//Proc of the 21st IEEE International Conference on Software Quality， Reliability and Security. Piscataway， NJ： IEEE Press， 2021： 759-767.

［10］黨偉超， 李濤， 白尚旺， 等. 基于自注意力長短期記憶網絡的Web軟件系統實時剩余壽命預測方法［J］. 計算機應用， 2021，41（8）： 2346-2351. （Dang Weichao， Li Tao， Bai Shangwang， et al. Real-time remaining life prediction method of Web software system based on self-attention-long short-term memory network［J］. Journal of Computer Applications， 2021，41（8）： 2346-2351.）

［11］Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.， 2017： 6000-6010.

［12］Han Kai， Wang Yunhe， Chen Hanting， et al. A survey on vision transformer［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2022，45（1）： 87-110.

［13］Gillioz A， Casas J， Mugellini E， et al. Overview of the transformer-based models for NLP tasks［C］//Proc of the 15th Conference on Computer Science and Information Systems. Piscataway， NJ： IEEE Press， 2020： 179-183.

［14］Inoue H， Komatsu H， Nakatani T. A study of memory management for Web-based applications on multicore processors［C］//Proc of the 30th ACM SIGPLAN Conference on Programming Language Design and Implementation. New York： ACM Press， 2009： 386-396.

［15］Chen Yingying， Mahajan R， Sridharan B. A provider-side view of Web search response time［J］. ACM SIGCOMM Computer Communication Review， 2013，43（4）： 243-254.

［16］Ahmed W， Wu Yongwei， Zheng Weimin. Response time based optimal Web service selection［J］. IEEE Trans on Parallel and Distributed Systems， 2013，26（2）： 551-561.

［17］Li Han， Zhao Wei， Zhang Yuxi， et al. Remaining useful life prediction using multi-scale deep convolutional neural network［J］. Applied Soft Computing， 2020，89（3）： 53-82.

［18］李兆璽， 劉紅巖. 融合全局和序列特征的多變量時間序列預測方法［J］. 計算機學報， 2023，46（1）： 70-84. （Li Zhaoxi， Liu Hongyan. Combining global and sequential patterns for multivariate time series forecasting［J］. Chinese Journal of Computers， 2023，46（1）： 70-84.）

［19］梁佩. 基于WEB技術的軟件老化趨勢預測研究［D］. 哈爾濱： 哈爾濱工程大學， 2013. （Liang Pei. Research on the tendency of software aging for the WEB technology developed software［D］. Harbin： Harbin Engineering University， 2013.）

［20］Wang Youdao， Zhao Yifan， Addepalli S. Remaining useful life prediction using deep learning approaches： a review［J］. Procedia Manufacturing， 2020，49（1）： 81-88.