基于特征深度融合的Web 服務QoS 聯合預測

劉建勛，丁領航，康國勝，曹步清，肖勇

（1.湖南科技大學服務計算與軟件新技術湖南省重點實驗室，湖南 湘潭 411201；2.湖南科技大學計算機科學與工程學院，湖南 湘潭 411201）

0 引言

近年來，隨著面向服務架構（SOA,software oriented architecture）、云計算、移動計算等技術的廣泛應用，大量Web 服務被創建并發布在互聯網上供人們調用，如何從大量的功能相似的Web 服務中快速、準確地找到高質量的服務是一個挑戰性問題。服務質量（QoS,quality of service）描述了服務的非功能屬性，是區分功能相似服務的重要參考依據，廣泛用于QoS 感知的服務發現、服務推薦[1-2]、服務組合等服務管理任務中。常見的QoS 屬性包括響應時間、吞吐量、帶寬、丟包率、可靠性等。Web服務的QoS 同時依賴于用戶和服務雙方，且由于動態的網絡條件，同一個Web 服務被不同用戶調用的QoS 可能具有差異性。由于很多服務是收費的，通過調用及監測的方式獲取所有用戶?服務對的QoS是不現實的，因此準確和個性化的QoS 預測是一種可行的解決方案。

協同過濾（CF,collaborative filtering）技術目前已廣泛應用于Web 服務的QoS 預測，大致可分為基于鄰域的CF 方法、基于模型的CF 方法和混合的CF 方法。基于鄰域的CF 方法的核心思想是依據歷史QoS 數據計算用戶或服務之間的相似度并生成相似鄰居集，然后依據相似鄰居的已有QoS 估算目標服務的QoS。基于鄰域的CF 方法較簡單，并且一定程度上利用了難以量化的潛在的用戶特征或服務特征，但其預測性能受到數據稀疏性問題的影響較大，同時很難利用與目標節點相似度較低的節點所隱含的全局結構信息。基于模型的CF 方法的核心思想是預定義一個具有適當結構和參數的模型并使用已有的QoS 數據進行訓練，訓練后的模型具有較好的QoS 預測能力，且對整體結構有較好的估計。基于模型的CF 方法性能較高，在面對數據稀疏性問題時穩健性較強，但傳統的基于模型的CF 方法如矩陣分解方法，難以學習用戶和服務的深層特征和隱藏信息，可擴展性有限。

近年來，深度學習技術發展迅猛，并且在Web服務的QoS 預測任務上也得到了一些應用[3]。其中，圖卷積神經網絡（GCN,graph convolutional neural network）可以通過聚合相鄰節點的信息獲得目標節點的信息，能緩解數據稀疏性問題；同時，它可以通過神經網絡的逐層融合獲取圖的結構信息和深層特征，能有效解決基于鄰域的CF 方法和基于模型的CF 方法面臨的問題，因而是目前基于深度學習的QoS 預測方法中性能較好的方法。

然而，現有的基于GCN的CF 方法只考慮用戶與服務交互的顯式信息，未考慮用戶終端的環境特征信息和服務器的環境特征信息。環境特征是指客戶端主機或服務器主機的特征，例如網絡地址、子網、自治系統、地理位置等。這些因素可以通過不同的組合影響QoS，可以使用“偏好”來代表用戶客戶端主機和服務器主機對對方環境的適應程度，對對方環境特征適應程度更高的用戶?服務組合可以獲得更好的QoS，可以認為服務滿足了用戶的“偏好”，用戶也滿足了服務的“偏好”。因此，如果能夠從用戶?服務交互信息中挖掘出潛在的環境特征信息，就可以提供更全面和復雜的特征信息來提高QoS 預測精度。多組件圖卷積協同過濾[4]方法是最近提出的一種基于GCN的CF 方法，它考慮了用戶?項目的交互信息中潛在的用戶對服務的偏好，并將抽象的偏好映射為具體的組件，具有挖掘用戶或服務的潛在偏好的能力，因此本文前期工作采用該方法挖掘用戶和服務的潛在偏好，并針對QoS 預測任務提出一種新的方法[5]。然而，該工作依然存在以下2 個可改進的地方。1) 現有的基于GCN的CF方法大多只應用于單類QoS 屬性。在真實環境中，多類QoS 屬性分別從不同的角度反映了用戶特征或者服務特征，不同類別的QoS 屬性之間存在潛在的共同特征，這些共同特征是單類QoS 屬性的預測模型無法挖掘出來的。例如，一個擁有較優響應時間的用戶?服務對可能保持了非常通暢的網絡，也說明服務器此時可能負載較小，這些特征使該用戶?服務對可能也有較優的吞吐量；同理，擁有較優吞吐量的用戶?服務對也很可能具有較優的響應時間。如果能將多類QoS 屬性用合適的方法映射到同一個空間，就能以此建模多類QoS 屬性存在的共同特征及聯系，提升QoS 預測模型的準確度。2) 預測模塊應用DeepFM 對用戶和服務的特征向量進行一階特征、二階和高階特征的挖掘，但沒有區分不同交互特征的重要性，也沒有探究高階交互特征對預測性能的影響。

基于以上的問題分析，本文提出一種多類QoS聯合預測（JQSP,joint QoS prediction）方法。首先，引入一個包含多個卷積核的偏好提取模塊來提取各單類QoS的用戶?服務矩陣中隱含的用戶偏好特征和服務偏好特征；然后，使用加權融合方法將多類QoS的特征提取向量映射到同一個向量空間；最后，使用引入自注意力的因子分解機挖掘融合嵌入向量中的一階特征和各階交互特征，并進行多類QoS的聯合預測。本文的主要貢獻總結如下。

1) 分析了提取多類QoS 數據的共同特征對QoS 預測精確度提升的有效性，應用偏好提取模塊（MGCN 模塊）實現了單類QoS的環境特征偏好提取，選擇加權融合方法將多類QoS的提取向量映射到同一空間，實現了多類QoS 特征融合的目標。

2) 引入帶自注意力的因子分解機（ANFM，attention neural factorization machine）對嵌入向量中的一階特征、二階交互特征和高階交互特征進行深度融合，實現了特征深度融合，并為交互特征賦予注意力權重，提升特征提取的效果，最終實現QoS聯合預測的目標。

3) 在真實數據集WS-DREAM 上進行了大量的實驗分析，實驗結果表明了JQSP 方法的有效性。

1 相關工作

協同過濾方法是應用最為廣泛的QoS 預測方法，大致可分為基于鄰域的CF 方法、基于模型的CF 方法和混合的CF 方法，本文主要介紹前兩類方法的相關工作以及基于模型的CF 方法中發展迅速的基于深度學習的CF 方法的相關工作。

基于鄰域的CF 方法基本思想是借助相似用戶或服務的歷史QoS 來預測目標服務的QoS。Shao 等[6]首先提出一種基于用戶的CF 方法，該方法利用Pearson 相關系數（PCC,Pearson correlation coefficient）計算用戶?服務QoS矩陣中所有用戶的相似性，然后對目標用戶的前k個相似用戶的歷史QoS 值進行融合，得到預測結果。其后的相關工作大多致力于改進相似性度量辦法來增加衡量用戶或服務相關性的準確度。例如，Chen 等[7]使用A-余弦來計算服務之間的余弦相似性，然后減去服務的平均QoS 向量，以此消除不同QoS的尺度影響，有利于相似性計算；任麗芳等[8]在移動邊緣計算環境中通過K-means 聚類確定相似用戶和邊緣服務器。此外，在CF 方法中加入用戶或服務的時間信息或位置信息也有利于QoS 預測。例如，Wang 等[9]提出一種基于距離的增強型Top-K 選擇策略，在移動邊緣計算任務中利用緯度和經度坐標選擇相似邊緣服務集；鄧璇等[10]引入網絡嵌入式學習，提出一種基于信譽感知的QoS預測方法，充分挖掘高階隱式關系。基于鄰域的CF方法易于實現、效果較好，但它們面臨數據稀疏、冷啟動等問題，可擴展性也較差。此外，基于鄰域的CF 方法主要利用歷史QoS 值和上下文信息，該特點很好地利用了局部信息，但可能忽略了全局結構。

基于模型的CF 方法的基本思想是使用歷史QoS 值來訓練預定義模型，使模型趨向于真實QoS值的分布。最經典的模型是矩陣分解（MF,matrix factorization）模型[11]，其主要思想是將用戶?項矩陣分解為用戶和項的2 個潛在因素矩陣的乘積，這2 個矩陣提取了部分用戶或項的特征。大多數基于MF的模型采用梯度下降或隨機梯度下降方法來尋找目標函數的局部最小值，Luo 等[12]將交替方向法的原理引入基于交替最小二乘法的訓練過程中，加速了模型收斂；魯城華等[13]提出一種基于用戶和服務區域信息的QoS 預測方法，將全局的服務質量信息和局部的區域信息相結合構建預測模型。在改進方法上，Chen 等[14]將用戶ID、服務ID、服務位置和用戶位置信息嵌入向量中，為MF 模型引入了更多信息；Tang 等[15]通過合并服務用戶的位置，改進了經典的因子分解機模型，提升了模型預測的精確度；夏會等[16]分析用戶?服務QoS 矩陣的時空特征，提出一種基于全局和局部結構相似度的稀疏矩陣分解模型；陳蕾等[17]通過將Web 服務QoS 預測問題建模為L2,1 范數正則化矩陣補全問題，提出了一類基于結構化噪聲矩陣補全的Web 服務QoS 預測方法，有效緩解了QoS 信息受結構化噪聲污染的問題。在引入時間信息時，Luo 等[18]提出了一種有偏的非負張量潛在因子分解模型，有效緩解了QoS數據隨時間波動的問題。基于模型的CF 方法使用用戶?服務矩陣中的所有QoS 值來構建全局模型，有效利用了全局信息，因而可以很好地估計整體結構，但傳統的基于模型的CF 方法在挖掘關聯性較強的用戶組或服務組的局部信息時表現較差，且難以提取高階特征。

隨著神經網絡研究的深入，作為基于模型的CF方法的一個分支，基于神經網絡的CF 方法得到了較多研究。Kang 等[19]提出一種結合神經網絡和注意力的因子分解機模型，能有效捕獲非線性特征交互并賦予不同的重要性；Gao 等[20]提出一種能夠對上下文信息進行聚類的模糊聚類算法和一種新的組合相似度計算方法，并提出一個新的神經協同過濾（NCF，neural collaborative filtering）模型，可以利用本地和全局特性為預測提供信息；王安迪[21]提出基于自組織映射神經網絡與K-means 兩階段聚類的QoS 預測方法，對用戶和服務分別進行聚類，將基于相似用戶的預測值和基于相似服務的預測值結合進行混合預測；Chen 等[22]提出了一種由多個LSTM 層組成的遞歸神經網絡模型，并使用了多種正則化技術來提升預測性能。在GCN 相關方法中，Elif 等[23]針對Wi-Fi6的QoS 預測，采用GCN 對數據進行時間分析，提升了預測的效果。本文的前期工作[5]將用戶?服務的歷史QoS 值建模為二部圖，采用GCN 提取和聚合節點的鄰居信息，并采用ANFM 模塊挖掘低、高階交互特征并賦予權值，為預測提供了更多有價值的信息。基于神經網絡的CF方法能有效提取歷史QoS 值中的高維信息，有能力擬合任何非線性QoS 分布，但在提取特征的方法上還有較大的改進空間，如果能夠從用戶?服務交互信息中挖掘出潛在的環境特征信息，就可以提供更全面和復雜的特征信息來提高QoS 預測精度。

2 方法介紹

本節將詳細介紹JQSP 方法。圖1 展示了JQSP方法的工作流程。JQSP 主要由多組件圖卷積神經網絡（MGCN,multi-component graph convolutional neural network）和ANFM 這2 個模塊組成。JQSP方法使用MGCN 模塊提取各單類QoS的多維偏好特征，并將多類QoS的特征嵌入映射到同一個空間，然后通過ANFM 模塊將拼接的多類QoS 偏好特征進行深度融合，并實現多類QoS的聯合預測。作為一個端到端模型，JQSP 以數據預處理后的多個用戶?服務QoS 矩陣作為輸入，每個矩陣代表一類QoS。在整個JQSP 方法框架中，MGCN 模塊包含3 個子模塊。1) 具有節點級注意力的分解器，該子模塊可以從服務的特征信息和用戶的特征信息中識別和捕獲用戶?服務交互關系的潛在偏好，并將其映射為具體的組件；2) 具有組件級注意力的組合器，該子模塊可以獲得上述組件的權重系數，然后通過聚合組件與對應的權重系數得到用戶嵌入向量和服務嵌入向量；3) 加權融合器，該子模塊負責將多類QoS的用戶嵌入向量和服務嵌入向量采用加權融合的方式構成融合嵌入向量。ANFM 模塊使用線性部分挖掘融合嵌入向量的一階特征，使用交互部分挖掘其二階交互特征，使用全連接層部分挖掘其高階交互特征并應用自注意力層為交互特征分配權重，最后將多個部分的結果相加得到最終的多類QoS 預測結果。JQSP 方法框架如圖2 所示，考慮兩類QoS的聯合預測情形，其中對每類QoS分別為用戶和服務提取其偏好特征。

圖1 JQSP 方法的工作流程

圖2 JQSP 方法框架

2.1 數據預處理

數據預處理的目的是將QoS 矩陣轉換為模型可以識別的標準格式。在QoS 預測的背景下，可將用戶?服務的歷史QoS 值建模為用戶GCN服務二部圖G={U,S,R,E}，其中U和S分別為用戶Nu和服務Ns的集合，R為QoS 集合，E為邊集合，其元素邊e=(u,s,r)∈E表示存在用戶u調用服務s的QoS 值r。

為便于處理，將QoS 矩陣分別從用戶和服務視角來建模，即用戶特征矩陣和服務特征矩陣，其中，Lu和Ls分別為用戶特征和服務特征的維度，Nu和Ns分別為用戶和服務的數量。

2.2 MGCN 模塊

本文將編碼器稱為MGCN 模塊，它由多個結構相同、參數獨立的Single-MGCN 模塊構成。Single-MGCN 模塊在本文的前期工作[5]中已經得到實現，其思想主要借鑒文獻[4]，可以細分為分解器和組合器2 個部分，目的是將QoS 矩陣表征為嵌入向量。Single-MGCN 模塊的輸入為單類QoS的用戶特征矩陣和服務特征矩陣，輸出為該類QoS的用戶嵌入向量和服務嵌入向量。

2.2.1 分解器

本文構建分解器從特征信息中識別和捕獲交互中的潛在偏好，并將其映射為組件。分解器的輸入為用戶特征矩陣和服務特征矩陣，輸出為用戶聚合組件和服務聚合組件。

1) 多組件提取。假定用戶?服務二部圖G受M個潛在偏好影響，本文分別為用戶和服務設計M個獨立的轉換矩陣作為卷積核，對二部圖進行卷積操作：用戶轉換矩陣組和服務轉換矩陣組第m個轉換矩陣捕獲第m個用戶?服務交互潛在偏好。對于服務i，其第m個服務特有組件可以按式(1)提取；對于用戶j，其第m個用戶特有組件可以按式(2)提取。這兩組組件包含了QoS 二部圖中環境偏好特征對用戶和服務的分量。

2)節點級注意力應用。在用戶?服務二部圖中，每個節點都有若干可用于獲取鄰域信息的鄰居節點。對節點應用節點級注意力，可以學習該節點的各鄰居節點的重要性，區分鄰居節點之間的差別并為其分配不同的權重，以提升特征提取的效率。

經過多組件提取步驟，用戶j得到M個用戶特有組件服務i得到M個服務特有組件。考慮到用戶與不同服務的交互對描述各組件影響不同，分解器應用節點級注意力來凸顯對描述組件影響較大的服務。

具體來說，考慮到第m個組件對用戶j調用服務i的QoS 值的影響同時表現在用戶特有組件和服務特有組件中，則其影響因子可以由注意力計算式(3)學習得到，其中，attnode表示執行節點級注意力的神經網絡，Watt,m表示第m個組件的節點級注意力參數矩陣，σ表示激活函數，||表示拼接運算。在獲得影響因子后，將其按softmax 函數式(4)進行標準化，以獲得其權重系數該權重系數表示該服務特有組件的節點級注意力權重。

對于用戶j的調用服務集Pu中的所有服務，通過式(5)聚合其服務特有組件與對應的權重系數，可以得到用戶j特有的第m個服務聚合組件它描述了用戶j的客戶端主機受第m個偏好影響的程度。經過分解器的處理，所有用戶都獲得了M個服務聚合組件所有服務也獲得了M個用戶聚合組件

2.2.2 組合器

本文構建組合器學習潛在組件的權重系數并聚合它們，得到嵌入向量。組合器的輸入為用戶聚合組件和服務聚合組件，輸出為用戶嵌入向量和服務嵌入向量。

1) 組件級注意力應用。客戶端主機對服務環境的偏好可以通過服務聚合組件反映，而服務器對用戶環境的偏好可以通過用戶聚合組件反映。考慮到不同組件對學習用戶嵌入向量或服務嵌入向量有不同的貢獻，組合器應用組件級注意力來凸顯對學習嵌入向量影響較大的組件。

具體來說，考慮到第m個服務聚合組件的權重系數同時受到原始的用戶特征信息和節點級注意力加權的用戶特征信息的影響，本文通過拼接服務聚合組件和用戶特有組件并通過全連接層，按式(6)得到用戶聯合向量其中Cm是參數矩陣，bm是偏置向量。然后，按式(7)學習得到第m個服務聚合組件的影響因子wm，其中attcom是執行組件級注意力的神經網絡，q是組件級注意力參數矩陣，b是偏置值，q和b由所有用戶聚合組件和服務聚合組件共享，因為這2 個參數表示客戶端主機對不同服務環境和服務器對不同用戶環境的共同偏好傾向。然后，將影響因子wm按soft max函數式(8)進行標準化，獲得第m個服務聚合組件的權重系數，該權重系數表示了該服務聚合組件的組件級注意力權重。

2) 權重聚合。按式(9)聚合服務聚合組件與其對應的權重系數，獲得用戶j的嵌入向量zj。類似地，可以獲得服務i的嵌入向量vi。用戶嵌入向量zj和服務嵌入向量vi不僅捕獲了低維的用戶相似關系和服務相似關系，也捕獲了高維的用戶?服務交互中隱含的客戶端主機對服務環境、服務器對用戶環境的偏好信息。

2.2.3 加權融合器

獲得用戶嵌入向量zj和服務嵌入向量vi后，將它們按式(10)進行拼接，得到合并嵌入向量所有合并嵌入向量組合獲得合并嵌入矩陣emerge。

值得注意的是，合并嵌入矩陣emerge是Single-MGCN 模塊處理單個QoS 矩陣所獲得的單類QoS 合并嵌入矩陣，僅包含單類QoS的用戶特征和服務特征。對于多個Single-MGCN 獲得的多類QoS 合并嵌入矩陣emerge,k，在對齊用戶標識和服務標識后，本文采用加權融合的方式進行特征深度融合，按式(11)獲得融合嵌入矩陣zunion作為解碼器的輸入，其中，λi是可訓練的權重系數，且融合嵌入矩陣zunion中的每個融合嵌入向量zij都包含了用戶j和服務i在多類QoS 上的特征。

2.3 ANFM 模塊

本文將解碼器稱為ANFM 模塊，它主要借鑒ANFM 模型[24]。ANFM 模塊的輸入為融合嵌入向量，輸出為多類QoS 預測值。與傳統因子分解機相似，ANFM 使用線性部分提取嵌入向量中的一階特征；而在挖掘嵌入向量交互特征上，ANFM 進一步應用自注意力挖掘交互特征的注意力權重，然后使用深度神經網絡挖掘高階交互特征，這些工作使ANFM模塊擁有比傳統因子分解機FM 更優的性能。

2.3.1 ANFM 介紹及線性部分計算

ANFM的核心計算式如式(12)所示，其中，w0表示全局偏置，W1表示一階特征提取的參數向量，h(x)表示可變的高階特征提取函數。由此，對于輸入的混合嵌入向量zij，首先可以獲得線性部分

傳統FM的h(x)為該項為二階因式分解交互項，可以有效提取輸入向量中的二階交互特征，但在處理復雜的現實數據時表達受限[25]。考慮到各組交互對最終預測的貢獻不同，本文應用注意力來凸顯貢獻更大的交互項。文獻[24]證明在該任務中，自注意力機制[26]可以減少注意力特征提取對外部信息的依賴，有效捕捉特征的內部相關性，相比其他注意力機制有更優的表現，所以本文應用自注意力來強化高階特征提取。圖3 展示了適用于本文模型JQSP的式(12)中的ANFM 模塊中高階特征提取函數h(x)的框架。

圖3 高階特征提取函數h(x)框架

2.3.2 交互層計算

為提取特征之間的交互，對于給定的d維輸入特征向量zij={z1,z2,…,zd}，首先為其每個特征元素zi構建交互嵌入向量ei，按式(13)得到元素嵌入向量所有交互嵌入向量構成交互嵌入矩陣E，它由所有輸入特征向量共享。然后，按式(14)得到二階交互向量zpair，其中?表示哈達瑪積。

2.3.3 自注意力應用

自注意力機制是注意力機制的變體，它依據輸入向量的內部元素相關性計算各元素的自注意力值，減少了對外部信息的依賴，與傳統注意力機制相比更加靈活。對二階交互向量的自注意力機制實現過程如下。對于e維二階交互向量zpair={z1,z2,…,ze}，首先為每個交互特征元素zj構建注意力嵌入向量attj，按式(15)得到元素注意力嵌入向量zajtt。然后構建3 個由全部元素嵌入向量共享的自注意力參數矩陣WQ、WK、WV，按式(16)～式(18)分別計算得到查詢向量Qj、鍵向量Kj和值向量Vj。接著將Qj與Kj按式(19)相乘得到的注意力分數值scorej，其中⊙表示點乘。

對于多個交互特征元素zj，將它們的注意力分數值按式(20)進行softmax 歸一化，得到對應的權重值weightj，該權重值能判斷Qj和Kj的相似程度，也決定了Vj的重要程度。最后，將weightj和Vj按式(21)進行加權求和，得到帶自注意力的二階交互特征向量zij,att。區別于顯式注意力，應用自注意力的二階交互特征向量可以調整向量內部的元素值，使向量表征更加靈活、準確。

2.3.4 QoS 聯合預測

在獲得帶自注意力的二階交互特征向量后，為提取高階交互特征，本文將zij,att傳入一組全連接層，按式(22)～式(25)計算高階特征提取向量h(zij)。

其中，Wi和bi表示第i層神經網絡的權重矩陣和偏置值，σ表示激活函數，q表示預測層權重矩陣。

至此，已獲得了適用于本文模型JQSP的式(12)中的高階特征提取函數h(x)。注意，式(25)中q表示的是一個權重矩陣而非列向量，其列數等于MGCN 模塊輸入的QoS 矩陣的個數，因此h(zij)的輸出為一個多維向量，其維度等于QoS的類別數。

綜合以上結果，按式(26)獲得A個最終預測結果，其中表示用戶j調用服務i在第a類QoS 上的預測結果表示高階特征提取向量由的第a個分量，線性回歸部分ylinear,ij所有類的QoS 預測結果共享。

2.4 優化

本文方法采用均方誤差作為損失函數，具體計算如式(27)所示，其中，O是已知QoS的集合，|O|是O的元素數量是用戶j對服務i的第m類預測QoS 值是用戶j對服務i的第m類真實QoS 值，A是QoS的類別數量。此處假定了如果一個用戶?服務對獲得一類真實QoS 值，那么就能獲得所有類的真實QoS 值，因此獲得的真實QoS 值的數量為A|O|。

為緩解過度參數化和過擬合問題，本文對損失函數進行L0正則化，對多組件提取矩陣W和Q進行稀疏化，過濾無關自由度。最終的目標函數為式(28)，其中θ={W,Q}，λ表示用于平衡損失和系數正則化的超參數。

3 實驗評估及分析

本節進行若干對比實驗和JQSP的消融實驗，以期回答以下問題。

問題1JQSP 方法是否比其他基線方法表現更優？

問題2JQSP 方法模型的各子模塊是否產生了預期的作用？具體來說，用于提取環境偏好特征的MGCN 模塊是否對QoS 預測的準確度有優化作用？引入自注意力的ANFM 模塊是否能更有效地利用特征交互信息來提升QoS 預測準確度？將多類QoS 數據的特征映射到同一空間是否能更有效地挖掘隱含特征信息？聯合預測是否能提升預測性能？

問題3各類超參數是如何影響模型性能？

本文使用如下配置的計算機進行實驗。CPU 為Intel（R）Xeon（R）Silver 4210 CPU @ 2.20 GHz，內存為64 GB，GPU 為2 塊GeForce RTX 2080ti。

3.1 數據集描述及處理

為評估模型性能，本文使用公開數據集WS-DREAM 數據集。該數據集包含了339 個用戶與5 825 個Web 服務交互的1 974 675 個真實QoS結果，包括響應時間和吞吐量兩類重要QoS。

為去除無效數據，本文對響應時間數據集進行如下預處理。首先，舍棄響應時間為0（代表用戶未調用該Web 服務）和響應時間超過20 s（代表響應時間過長，用戶可能放棄調用該服務，所以該響應時間數據沒有意義）的元素；然后，為保證聯合預測時多類QoS的數據在同一個尺度，將響應時間數據集進行min-max 歸一化，使其數據尺度為（0,1）。吞吐量數據集中的元素均為有效數據，故僅進行min-max 歸一化。

現實中，用戶通常只會調用少量的服務，從而導致QoS 數據的用戶服務矩陣稀疏。考慮到預處理后的吞吐量矩陣和響應時間矩陣為稠密矩陣，為了在實驗中模擬真實情況，本文在訓練模型時使用訓練集密度（DoT，density of training set）較低的QoS矩陣。例如，DoT=5%表示隨機選擇5%的QoS 作為訓練集，剩余95%的QoS 作為測試集。

3.2 評估標準

為了評價模型的效果，本文采用以下2 種廣泛使用的評價參數：均方根誤差（RMSE,root mean square error）和平均絕對誤差（MAE,mean absolute error）。

1) 均方根誤差。RMSE 表示預測值與真實值偏差的平方與觀測次數比值的平方根，反映了樣本的分散程度。RMSE的計算方法為

2) 平均絕對誤差。MAE 表示預測值和觀測值之間絕對誤差的平均值，其所有差值的權重相等。MAE的計算方法為

其中，ypred,i表示第i個預測QoS 值，ytrue,i表示第i個真實QoS 值。RMSE和MAE的值越小，表示模型預測的準確性越高，結果越好。

3.3 對比方法與消融實驗

本文將JQSP 方法與基于鄰域、基于因子分解模型和基于神經網絡的CF 方法以及JQSP 方法的消融實驗進行比較，以證明JQSP 方法的性能。

1) UIPCC[27]。UIPCC 結合了基于用戶和基于項目的協作預測方法，采用PCC 來度量節點之間的相似度，并使用相似用戶和相似服務進行QoS 預測。它屬于基于鄰域的CF 方法。

2) PMF（positive matrix factorization）[28]。PMF采用概率矩陣分解方法對用戶?服務QoS 矩陣進行因子分解來提取隱藏特征，在面對大型稀疏數據集時具有良好的預測效果。它屬于基于因子分解模型的CF 方法。

3) 深度神經模型（DNM，deep neural model）[29]。DNM 是一種基于上下文的QoS 預測模型，具有較好的預測精度，在面對挖掘異構上下文特征的任務時具有較好的穩健性和可擴展性。它屬于基于神經網絡的CF 方法，因其在所有對比方法中表現最優，本文選用該方法作為基準方法。

4) MLP-ANFM（multilayer perceptron-attention neural factorization machine）。MLP-ANFM 使用MLP 替代MGCN 模塊作為編碼器，和ANFM 模塊一起組成完整的端到端模型。該方法的實驗結果可論證MGCN 模塊是否對QoS 預測的準確度有影響。

5) MGCN-MLP（multi-component graph convolutional network multilayer perceptron）。MGCNMLP 使用MLP 替代ANFM 模塊作為解碼器，和MGCN 模型一起組成完整的端到端模型。該方法的實驗結果可以論證ANFM 模塊是否能有效地利用特征交互信息來提升QoS 預測準確度。

6) Single-MGCN。Single-MGCN 使用單個MGCN 模塊，同時去掉了加權融合層，使整個模型只訓練和預測單類QoS。該方法的實驗結果可以論證聯合預測是否比單獨預測更精確。

3.4 參數設置

考慮數據稀疏性的影響，本文將QoS 數據集按如下比例隨機分成訓練集和測試集：DoT={5%,10%,15%,20%,25%,30%}，共6 個實驗組，注意隨機拆分時對齊多類QoS的用戶標識和服務標識。然后，本文對所有方法在所有DoT 數據集上各進行5 次實驗并取平均值，以評價QoS 預測性能并進行對比分析。

參考文獻[4,30]，JQSP 方法及其消融實驗的參數設置如表1 所示。對于其他對比方法，本文分別按照其參考文獻內的最佳參數進行設置。

表1 參數設置

3.5 實驗結果與分析

表2給出了基于響應時間數據集的所有QoS 預測評價結果，表3 給出了基于吞吐量數據集的所有QoS 預測評價結果，并對每個DoT 訓練集的最優數據進行加粗表示。表2和表3 中Gains 計算方式如式(31)所示，代表了JQSP 方法與基準方法DNM 相比性能提升的程度。

3.5.1 不同模型預測性能比較（問題1）

由表2和表3 可以得出，對于RMSE和MAE兩項評價指標，PMF 顯著優于UIPCC，在訓練集占比低的情況下更加明顯，這說明了矩陣分解方法在緩解數據稀疏性問題上比基于鄰域的方法表現更優。DNM 一定程度上優于PMF，在少數訓練集占比上持平，這說明神經網絡方法有比矩陣分解方法更優的建模能力。本文提出的JQSP 方法及其消融實驗（即 MLP-ANFM、MGCN-MLP、Single-MGCN）在RMSE和MAE 上始終優于對比方法，并且在吞吐量數據集、DoT=30%的RMSE評價指標上相比基準方法DNM 有28.94%的提升率，這說明本文所提方法JQSP 相比其他基線方法有更優的表現。

表2 基于響應時間數據集的所有QoS 預測評價結果

表3 基于吞吐量數據集的所有QoS 預測評價結果

3.5.2 JQSP方法與各消融實驗預測性能比較（問題2）

對比表2和表3 中的MLP-ANFM 方法和JQSP方法可以看到，JQSP 方法性能全面領先MLP-ANFM 方法，這證明了用于提取環境偏好特征的MGCN 模塊實現了以環境偏好特征為主要目標的細粒度潛在特征的挖掘，對QoS 預測準確度的提升有幫助。

對比表2和表3 中的MGCN-MLP 方法和JQSP方法可以看到，JQSP 方法依然有較優的表現，這證明ANFM 模塊因為有效提取了輸入向量的二階及高階交互特征而提升了預測的準確性，實現了特征深度融合。同時注意到 MGCN-MLP 方法和MLP-ANFM 方法的性能差距較小，說明MGCN和ANFM 這2 個模塊對模型預測性能的影響是接近的，單獨增加2 個模塊中的任一個對整個模型性能的提升相差不大。

對比表2和表3 中的Single-MGCN 方法和JQSP 方法可以看到，JQSP 方法依然有著較大的領先優勢，這證明了與提取單類QoS 特征相比，將多類相關的QoS 數據的特征映射到同一空間進行特征提取有更優的表現，QoS 聯合預測實現了對多類QoS 潛在的共同特征的挖掘。同時注意到Single-MGCN 方法與MGCN-MLP和MLP-ANFM方法相比更接近JQSP 方法的表現，這說明與MGCN和ANFM 這2 個模塊相比，單獨應用聯合預測框架對模型的預測精確度的提升較少，這可能是因為相比于MGCN 模塊挖掘的QoS 矩陣中的環境偏好特征信息和ANFM 模塊挖掘的二階和高階交互信息，Single-MGCN 所挖掘的多類QoS 潛在的共同特征信息的信息量更少，重要性更低，對模型性能提升的幫助更有限。

綜上所述，本文提出的JQSP 方法中3 個主要子模塊均產生了預期的作用，單獨添加任一子模塊都能有效提升模型的預測性能。

3.5.3 超參數影響分析（問題3）

本文針對以下超參數在DoT=30%的數據集上進行單一變量實驗，以探究它們各自對JQSP 模型性能的影響：轉換矩陣數m∈ {1,2,3,4,5}，神經網絡嵌入維度，自注意力嵌入維度。簡便起見，本文僅列出響應時間數據集上的結果。

1) 轉換矩陣數。轉換矩陣數m代表模型捕獲潛在環境偏好的數量，增加m可以提高模型的捕獲能力，但過高的m可能超過了真實數據中的潛在環境偏好數，增加了模型復雜度的同時無法提升模型性能。從圖4的實驗結果可以得出，隨著m的增加，模型性能有所提升，m=3時模型獲得了最優的性能，后續進一步增加m無法獲得明顯性能提升，同時還會大幅增加模型訓練的時間。

圖4 轉換矩陣數對模型性能的影響

2) 神經網絡嵌入維度。嵌入維度表示神經網絡層使用多少維度來表達特征，維度越高，表達特征越細膩，但過高的維度會引入過多的參數，可能造成過擬合和難以收斂的問題，大幅增加模型訓練時間。從圖5的實驗結果可以得出，隨著dneu增加，模型性能明顯提高，dneu=64時模型獲得最優表達能力，繼續增加dneu反而導致性能下降。

圖5 神經網絡嵌入維度對模型性能的影響

3) 自注意力嵌入維度。自注意力嵌入維度表示自注意力參數矩陣使用多少維度來表達自注意力特征。從圖6的實驗結果可以得出，從8 開始增加datt有效提升了模型的性能，datt=32時模型獲得了最優的表達能力，繼續增加datt降低了模型的性能。

圖6 自注意力嵌入維度對模型性能的影響

4 結束語

本文提出了一種JQSP 方法用于多類QoS 聯合預測，與現有的QoS 預測方法相比，所提方法具有以下優點：1) 所提方法能有效識別和挖掘用戶偏好信息和服務偏好信息，從而為特征提取提供了更豐富的信息；2) 所提方法將多類相關QoS的特征映射到同一個空間進行特征提取，這能獲取到處理單類QoS 無法獲取的多類QoS 相關性特征；3) 所提方法引入帶自注意力的因子分解機來挖掘特征提取向量中的一階特征、二階和高階交互特征，并為交互特征賦予注意力權重，有效提升了特征提取的效果，該效果優于傳統因子分解機和MLP。在未來的工作中，將考慮引入更豐富的異構信息來提升模型預測的精確度，同時考慮合理地簡化模型結構，降低模型的訓練時間，增加其可用性和穩健性。