基于圖卷積的多任務(wù)Web服務(wù)QoS預(yù)測

譚賀飛，宗 容，武 浩，王幸之

(云南大學(xué) 信息學(xué)院，云南 昆明 650500)

0 引 言

Web服務(wù)是一個(gè)平臺獨(dú)立、低耦合、自包含、基于可編程的應(yīng)用程序，用于開發(fā)分布式的交互操作的應(yīng)用程序[1]。隨著云計(jì)算的發(fā)展，各種功能相似的Web服務(wù)大量涌現(xiàn)在用戶面前，幫助用戶精準(zhǔn)預(yù)測并將預(yù)測結(jié)果推薦給用戶成為服務(wù)計(jì)算領(lǐng)域一項(xiàng)重大挑戰(zhàn)[2]。

目前，Web服務(wù)質(zhì)量(quality of service，QoS)預(yù)測可分為基于協(xié)同過濾、基于矩陣分解、深度學(xué)習(xí)3種方法。協(xié)同過濾服務(wù)質(zhì)量預(yù)測方法遇到數(shù)據(jù)稀疏的時(shí)候，準(zhǔn)確率會顯著下降。基于矩陣分解的方法，如朱杰明等[3]用位置信息和概率矩陣分解模型做模型預(yù)過濾，徐悅甡等[4]使用地理信息作為上下文，雖能夠挖掘用戶和服務(wù)之間更深層次的聯(lián)系，但隱含因子空間特征無法用現(xiàn)實(shí)生活中的概念來解釋。近年來，逐漸有學(xué)者使用深度學(xué)習(xí)方法解決QoS預(yù)測問題。熊偉等[5]引入深度學(xué)習(xí)模型，從上下文中學(xué)習(xí)隱藏特征，并根據(jù)隱藏特征計(jì)算用戶和服務(wù)之間的相似度。武浩等[6]利用上下文信息進(jìn)行多屬性QoS預(yù)測。周奇敏等[7]開發(fā)出一種利用空間和時(shí)間信息交互的方法。這些深度學(xué)習(xí)方法利用了很多上下文信息，但加大了計(jì)算復(fù)雜度。

圖神經(jīng)網(wǎng)絡(luò)挖掘了數(shù)據(jù)隱含的圖結(jié)構(gòu)信息，給予數(shù)據(jù)額外的特征學(xué)習(xí)方式[8]，可以解決因?yàn)槭褂蒙舷挛男畔?dǎo)致模型計(jì)算量增加的問題，本文基于此提出一種利用用戶和服務(wù)之間隱含的圖結(jié)構(gòu)的圖卷積網(wǎng)絡(luò)，通過自編碼器挖掘深層信息，并考慮了網(wǎng)絡(luò)響應(yīng)時(shí)間和吞吐量之間的相關(guān)性，完成多任務(wù)學(xué)習(xí)預(yù)測任務(wù)(multi-task denoising autoencoder graph convolutional network，GCN-M)。

1 挖掘圖結(jié)構(gòu)信息

實(shí)驗(yàn)所使用數(shù)據(jù)集包含真實(shí)世界多個(gè)用戶對多個(gè)服務(wù)的調(diào)用記錄矩陣。在網(wǎng)絡(luò)通信中，用戶和服務(wù)之間可互相到達(dá)，進(jìn)而可以將用戶和服務(wù)的調(diào)用記錄矩陣轉(zhuǎn)化成無向二部圖。考慮到實(shí)際場景下在Web服務(wù)中會有新的用戶或服務(wù)加入，所以需要模型具有一定的可擴(kuò)展性，故先對矩陣進(jìn)行元素抽取，然后利用所抽取元素構(gòu)成圖結(jié)構(gòu)。矩陣如圖1所示，Ui(i=1，2，3，4) 表示用戶編號，Sj(j=1，2，3，4，5) 表示服務(wù)編號。將矩陣元素按用戶分組，將調(diào)用記錄按升序排列，選取前K個(gè)服務(wù)，構(gòu)成不完全的二部圖，如圖2所示。

圖1 抽取的矩陣信息

圖2 用戶與服務(wù)構(gòu)成的二部圖

2 模型總體架構(gòu)

已有的大多數(shù)工作中將響應(yīng)時(shí)間和吞吐量作為單任務(wù)，然后分兩次完成預(yù)測，這樣做忽略了Web服務(wù)中響應(yīng)時(shí)間和吞吐量之間的聯(lián)系，本文提出一種共享淺層參數(shù)的多任務(wù)學(xué)習(xí)模型，以結(jié)合響應(yīng)時(shí)間和吞吐量之間特征信息。模型如圖3所示，共3部分，可分為輸入與嵌入層、圖卷積聚合與特征融合層、自編碼器與預(yù)測層。

圖3 模型總體架構(gòu)

2.1 模型輸入與嵌入層

網(wǎng)絡(luò)輸入(UserID，ServiceID)為用戶和服務(wù)的編號信息，表示用戶對服務(wù)的一次調(diào)用記錄。(GraphRT，GraphTP)為對RT矩陣和TP矩陣抽取的圖結(jié)構(gòu)信息。圖結(jié)構(gòu)中用戶節(jié)點(diǎn)編號為0至n，而服務(wù)節(jié)點(diǎn)編號為n+1至N，N為用戶數(shù)和服務(wù)數(shù)之和減1，如 [(0，n+1)，(1，n+1)(0，n+2)，(1，n+2)] 表示由0和1號節(jié)點(diǎn)的用戶和n+1和n+2號的服務(wù)構(gòu)成的二部圖。

將用戶和服務(wù)編號信息輸入到嵌入層可以得到對應(yīng)的向量表示，也得到了用戶和服務(wù)的初始特征信息，再將此初始特征信息和圖結(jié)構(gòu)信息輸入到圖卷積網(wǎng)絡(luò)中更新特征信息。

2.2 圖卷積聚合信息與特征融合處理

在得到服務(wù)和用戶的嵌入層的權(quán)重EW(embedding weight)后，將兩者拼接在一起，得到用戶和服務(wù)所有特征，如式(1)所示

Allembedding=Con(EWuser，EWservice)

(1)

Con表示拼接運(yùn)算。將此特征分別與兩個(gè)圖信息輸入到兩個(gè)圖卷積網(wǎng)絡(luò)

GCN(Allembedding，Graph_RT)

(2)

GCN(Allembedding，Graph_TP)

(3)

GCN表示圖卷積網(wǎng)絡(luò)GraphSage，一種利用已知節(jié)點(diǎn)信息產(chǎn)生未知節(jié)點(diǎn)嵌入向量的歸納式學(xué)習(xí)模型[9]。首先，對圖中某一節(jié)點(diǎn)h0的周圍鄰居節(jié)點(diǎn)進(jìn)行采樣得到一組鄰居節(jié)點(diǎn)向量

(4)

hi表示用戶或服務(wù)節(jié)點(diǎn)，然后對這一組向量進(jìn)行聚合

(5)

AGGREGATE表示聚合運(yùn)算，如Pooling聚合方式，將聚合后的向量與自身拼接即可得到下一層的特征

(6)

(7)

(8)

～Con表示分割操作，最后經(jīng)過全連接操作得出最后的輸出向量

out=σ(emb*w+b)

(9)

此時(shí)用戶和服務(wù)通過隱藏的圖信息在圖卷積采樣聚合后完成更新，聚合流程如圖4所示。

圖4 圖卷積聚合信息

在得到含有圖信息的嵌入向量后，為了對用戶和服務(wù)的特征更深層挖掘，將兩者向量進(jìn)行如下運(yùn)算

embprod=embuser·embservice

(10)

embsub=embuser-embservice

(11)

將用戶和服務(wù)兩者嵌入向量外積運(yùn)算，以捕獲用戶與服務(wù)的更高階相似性，而將兩者相減以獲得不同用戶選擇服務(wù)時(shí)的差異性。以上結(jié)果與用戶和服務(wù)自身向量進(jìn)行拼接以得到更細(xì)粒度特征融合

embout=Con(embprod，embsub，embuser，embservice)

(12)

2.3 降噪堆疊自編碼器與預(yù)測

自編碼器是一種無監(jiān)督學(xué)習(xí)方式，它對輸入數(shù)據(jù)降維，發(fā)現(xiàn)數(shù)據(jù)之間的聯(lián)系以提取對神經(jīng)網(wǎng)絡(luò)有用的信息[10]。原始自編碼器的層數(shù)只有三層，網(wǎng)絡(luò)表達(dá)能力較弱。通過對自編碼器堆疊更深的層數(shù)，可以獲得更深層信息表征，同時(shí)對網(wǎng)絡(luò)添加噪聲，能增強(qiáng)模型的魯棒性

(13)

(14)

3 模型學(xué)習(xí)策略與訓(xùn)練流程

多任務(wù)學(xué)習(xí)在模型訓(xùn)練時(shí)比單任務(wù)要復(fù)雜很多，時(shí)常出現(xiàn)一個(gè)任務(wù)收斂，而另一個(gè)任務(wù)還在學(xué)習(xí)中的情況，設(shè)計(jì)合適的損失函數(shù)和選擇高效的優(yōu)化器是解決這類問題的重要方法[11]。

3.1 損失函數(shù)和優(yōu)化器

多任務(wù)學(xué)習(xí)的損失函數(shù)由子任務(wù)損失函數(shù)疊加而成

(15)

(16)

(17)

其中，yTrue表示真實(shí)值，yP表示模型的預(yù)測值，MAE反映的是實(shí)際誤差的平均值，它對異常值不敏感，其曲線呈V型，在某些點(diǎn)不可導(dǎo)，故會使得模型收斂速度變慢。MSE由于平方項(xiàng)的原因，放大了對異常值的誤差，使得它對異常值很敏感。當(dāng)誤差在δ之內(nèi)會縮小誤差，在δ之外會放大誤差，其曲線光滑、連續(xù)可導(dǎo)，很適合梯度下降，模型收斂速度較快。綜合上述考慮，使用Huber損失[12]

(18)

Huber Loss是MSE和MAE綜合體，同時(shí)具備了兩者的優(yōu)點(diǎn)，減小了對異常值的敏感問題，實(shí)現(xiàn)了處處可導(dǎo)的功能，故Lossrt和Losstp均設(shè)置為Huber Loss。

Adam是深度學(xué)習(xí)中應(yīng)用較為廣泛的優(yōu)化器，吸收了自適應(yīng)學(xué)習(xí)率的梯度下降算法(Adagrad)和動(dòng)量梯度下降算法(Momentum)的優(yōu)點(diǎn)，既能適應(yīng)稀疏梯度，又能緩解梯度震蕩的問題，但它的權(quán)重衰減方式對較大的梯度不能產(chǎn)生有效的正則化。Adamw在原來Adam基礎(chǔ)上加入了L2正則項(xiàng)，解決了上述問題[13]，本文模型使用Adamw優(yōu)化器進(jìn)行模型訓(xùn)練。

3.2 訓(xùn)練流程

對模型訓(xùn)練流程如下：

步驟1 設(shè)定K值以獲得用戶和服務(wù)的二部圖G(V，E)。 初始化學(xué)習(xí)率lr、損失函數(shù)系數(shù)α和β、嵌入向量維度d、優(yōu)化器權(quán)重衰減因子ow、訓(xùn)練批量batch、最大迭代次數(shù)epoch。為了使梯度下降速度更快，對模型各層權(quán)重矩陣進(jìn)行均勻分布初始化。

步驟2 將用戶編號和服務(wù)編號輸入到嵌入層得到用戶和服務(wù)的向量表示embUser和embService， 即獲得用戶和服務(wù)的初始特征。

步驟4 在得到圖卷積更新后的用戶和服務(wù)特征后，對其進(jìn)行外積、相減、拼接的特征融合處理，以得到更深層特征表示embAll。

步驟6 自編碼器重構(gòu)的特征經(jīng)過全連接層得到預(yù)測值yp。

步驟7 預(yù)測值yp與目標(biāo)值yTrue形成損失，模型多次迭代和調(diào)整超參數(shù)使得損失最小，最后得到模型各層的權(quán)重和偏置參數(shù)。

4 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)計(jì)算機(jī)CPU為Intel(R)Core(TM)i5-9300H 2.40 GHz，GPU為NVIDIA Geforce GTX 1660Ti，內(nèi)存為16 G，所用深度學(xué)習(xí)框架為Pytorch1.9。

4.1 實(shí)驗(yàn)設(shè)置及結(jié)果分析

實(shí)驗(yàn)所用數(shù)據(jù)集為公開數(shù)據(jù)集WSdream-dataset1，其來自真實(shí)世界用戶對服務(wù)的調(diào)用記錄，包含響應(yīng)時(shí)間和吞吐量兩種QoS評價(jià)指標(biāo)，統(tǒng)計(jì)信息見表1。

表1 數(shù)據(jù)集信息

在真實(shí)世界中，用戶對服務(wù)調(diào)用記錄往往是一個(gè)稀疏矩陣，所以按照5%間隔，劃分訓(xùn)練集，劃分比例即矩陣密度(matrix density，MD)為5%、10%、15%、20%，其余為測試集[14]，比例若設(shè)置過高或過低，不能高效率訓(xùn)練模型，亦不能使模型擬合成功。

QoS預(yù)測問題為回歸問題，所用評價(jià)指標(biāo)為MAE(mean absolute error)和RMSE(root mean square error)，MAE見式(16)，RMSE公式如式(19)所示

(19)

其中，yTrue為真實(shí)值，yp為預(yù)測值。

為評價(jià)所提出GCN-M方法的預(yù)測精度，選擇以下模型在MAE和RMSE上進(jìn)行對比實(shí)驗(yàn)。

(1)UPCC，基于用戶的協(xié)同過濾方法，通過計(jì)算歷史用戶的相似度，對QoS進(jìn)行預(yù)測[15]。

(2)IPCC，基于服務(wù)的協(xié)同過濾方法，通過計(jì)算歷史服務(wù)的相似度，對QoS進(jìn)行預(yù)測[16]。

(3)UIPCC，混合協(xié)同過濾方法，綜合UPCC和IPCC兩種方法，通過權(quán)重系數(shù)的控制，對QoS進(jìn)行預(yù)測[16]。

(4)NMF，非負(fù)矩陣分解，將調(diào)用記錄矩陣分解為兩個(gè)非負(fù)的矩陣，符合QoS為非負(fù)值實(shí)際意義[17]。

(5)PMF，概率矩陣分解，在正則化矩陣分解的基礎(chǔ)上，引入了概率模型進(jìn)一步優(yōu)化[18]。

(6)NCF，神經(jīng)協(xié)同過濾，在矩陣分解中利用了多層感知機(jī)學(xué)習(xí)隱含特征[19]。

(7)GCN-M(S)，本文模型單任務(wù)版模型。

為保證對比實(shí)驗(yàn)對比公平性，同一類型預(yù)測方法設(shè)置參數(shù)相同，協(xié)同過濾模型UPCC、IPCC、UIPCC鄰居數(shù)設(shè)定為10。矩陣分解模型NMF和PMF的隱藏因子設(shè)置為10，NCF多層感知機(jī)設(shè)置為[128，128]。

本文模型訓(xùn)練數(shù)據(jù)批量大小設(shè)置為128，dropout設(shè)置為0.5，最大迭代次數(shù)epoch設(shè)為50，初始學(xué)習(xí)率設(shè)置為0.001，初始嵌入向量維度設(shè)置為{64，128}，抽取服務(wù)數(shù)量K為500，兩個(gè)損失函數(shù)的權(quán)重α和β分別為0.5和0.5，正則化系數(shù)λ設(shè)置為0.0001。響應(yīng)時(shí)間和吞吐量子任務(wù)損失函數(shù)δ分別設(shè)置為0.6和20。

實(shí)驗(yàn)結(jié)果見表2和表3，其中每列均有兩個(gè)加粗?jǐn)?shù)據(jù)，其中一個(gè)為對比實(shí)驗(yàn)中RMSE或MAE最低的模型，另一個(gè)則為本章兩個(gè)模型中MSE或MAE最低的一個(gè)，Gain一行表示后者比前者提升的百分比。

中華合作時(shí)報(bào)社總編室主任張弛結(jié)合自身豐富的攝影經(jīng)驗(yàn)，從攝影基礎(chǔ)知識、用光、構(gòu)圖、新聞紀(jì)實(shí)攝影及拍攝技巧和注意事項(xiàng)等方面詳細(xì)展開，以工作攝影中常見的會議、活動(dòng)、人物、景物等一系列作品作為實(shí)例，對新聞攝影的取景構(gòu)圖、光線應(yīng)用等進(jìn)行了重點(diǎn)講解。

表2 響應(yīng)時(shí)間預(yù)測實(shí)驗(yàn)結(jié)果

表3 吞吐量預(yù)測實(shí)驗(yàn)結(jié)果

UPCC在兩個(gè)任務(wù)上表現(xiàn)比IPCC更好，而UIPCC在這兩者之間，因?yàn)橛脩糁g的相似性比服務(wù)之間的相似性在網(wǎng)絡(luò)通信中具有更高的準(zhǔn)確性。NCF表現(xiàn)總體比NMF、PMF更好，NCF同時(shí)利用矩陣分解學(xué)習(xí)隱因子之間的線性關(guān)系和多層感知機(jī)學(xué)習(xí)用戶和服務(wù)之間的非線性關(guān)系，最后結(jié)合兩者得到結(jié)果。NCF在傳統(tǒng)矩陣分解中加入了神經(jīng)網(wǎng)絡(luò)，增強(qiáng)模型的表達(dá)能力、泛化能力，所以相對傳統(tǒng)矩陣分解有更好的效果[20]。

單任務(wù)模型GCN-M(S)相較于傳統(tǒng)矩陣處理數(shù)據(jù)方法不同，它將原始排列規(guī)則的矩陣數(shù)據(jù)轉(zhuǎn)化為非歐結(jié)構(gòu)的圖數(shù)據(jù)，考慮節(jié)點(diǎn)之間的信息傳遞，雖沒有利用上下文信息，但增加了用戶與服務(wù)之間的無向二部圖信息，進(jìn)而模型可以發(fā)掘更潛在的特征，并通過自編碼器，加入噪聲信息，增強(qiáng)模型的魯棒性。

多任務(wù)模型GCN-M在此基礎(chǔ)上，考慮了吞吐量與響應(yīng)時(shí)間內(nèi)在聯(lián)系，一般而言，用戶在訪問不同服務(wù)時(shí)，響應(yīng)時(shí)間越短，服務(wù)所能處理的請求越多，吞吐量也就越大，故將兩個(gè)子任務(wù)共享淺層參數(shù)，挖掘兩者的內(nèi)在關(guān)聯(lián)，雖使得模型參數(shù)增加，但可以在一次預(yù)測中完成兩個(gè)任務(wù)。在設(shè)定合適的損失函數(shù)系數(shù)后，可以平衡兩個(gè)子任務(wù)。

如圖5所示，因矩陣分解模型可使用梯度下降方式進(jìn)行優(yōu)化，故可將其與本文模型進(jìn)行迭代比較，GCN-M在訓(xùn)練次數(shù)較低時(shí)進(jìn)行子任務(wù)平衡，MAE(RT)曲線抖動(dòng)較為明顯。在不同矩陣密度下，GCN-M在平衡好兩個(gè)子任務(wù)后，所提升效果是顯著的，在兩個(gè)子任務(wù)上MAE提升平均在13.08%左右，而RMSE對異常值更敏感，提升效果相對而言要低一些，在5.74%左右。

圖5 MAE曲線對比

4.2 消融實(shí)驗(yàn)

考慮到GraphSage不同的聚合方式可以得到不同的嵌入向量表示，對聚合方式進(jìn)行消融實(shí)驗(yàn)。GraphSage聚合方式有3種：①均值聚合(mean aggregator)，通過將目標(biāo)頂點(diǎn)向量與鄰居節(jié)點(diǎn)向量拼接再取均值，得到下一層向量表示。②池化聚合(pooling aggregator)，先對目標(biāo)頂點(diǎn)周圍鄰居做非線性變換，再做一次最大或平均池化操作，將得到結(jié)果與目標(biāo)頂點(diǎn)拼接，最后再做一次非線性變換，得到目標(biāo)頂點(diǎn)在下一層的表示。③LSTM聚合，將輸入順序節(jié)點(diǎn)隨機(jī)排列，輸入到LSTM網(wǎng)絡(luò)中，得到頂點(diǎn)在下一層的表示。實(shí)驗(yàn)設(shè)置在0.2的矩陣密度下，僅改變聚合方式(aggregator，Agg)對實(shí)驗(yàn)結(jié)果的影響。

如表4所示，加粗字體為最優(yōu)數(shù)據(jù)，Pooling在4個(gè)評價(jià)指標(biāo)上均優(yōu)于另外兩種聚合方式，而Mean在RT和TP的MAE上比LSTM表現(xiàn)更好，而在RT和TP的RMSE上不如LSTM，因Mean聚合方式對異常值比LSTM更加敏感。LSTM的計(jì)算參數(shù)量比以上兩種更多，所需訓(xùn)練時(shí)間更長。

表4 聚合方式消融實(shí)驗(yàn)

4.3 參數(shù)K分析

圖6 服務(wù)數(shù)量K值對實(shí)驗(yàn)的影響

如圖6所示，在RT子任務(wù)中，MAE和RMSE分別在2500和3000時(shí)為最低值，在TP子任務(wù)則為3000和4000。單任務(wù)模型GCN-M(S)在1000和1500時(shí)，RMSE比多任務(wù)模型GCN-M低，在500時(shí)，MAE比GCN-M低，其余K值均為GCN-M表現(xiàn)更好，而在TP子任務(wù)中，K值除在1000外，GCN-M的RMSE和MAE表現(xiàn)更出色，表明適當(dāng)增加K值有利于多任務(wù)模型的平衡子任務(wù)能力。總體來看，在訓(xùn)練模型時(shí)，選取這2500到3000個(gè)服務(wù)和所有用戶之間進(jìn)行采樣聚合信息為最有效方式，即這些服務(wù)和用戶的交互信息最具有代表性。

4.4 算法復(fù)雜度分析

為比較本文對比模型計(jì)算消耗資源，分析各個(gè)模型的復(fù)雜度，結(jié)果見表5。

UPCC、IPCC、UIPCC主要通過用戶和服務(wù)之間計(jì)算皮爾遜相似度獲得相似用戶或服務(wù)，以U表示用戶數(shù)量，S表示服務(wù)數(shù)量，則空間復(fù)雜度為O(US)。 而NMF、PMF主要將用戶或服務(wù)映射到隱空間來得到用戶或服務(wù)的特征，以d表示隱空間維度，則空間復(fù)雜度為O(d(U+S))。 NCF在矩陣分解的基礎(chǔ)上增加了多層感知機(jī)，用L代表感知機(jī)層數(shù)，則NCF的復(fù)雜度為O(d(U+S)+L)。 GCN-M中圖卷積層的復(fù)雜度與圖結(jié)構(gòu)的節(jié)點(diǎn)以及邊的數(shù)量有關(guān)，節(jié)點(diǎn)共有U+S個(gè)，邊的數(shù)量與抽取服務(wù)參數(shù)K相關(guān)，K≤S，為KU*2+U+S條，自編碼器層數(shù)為E，則GCN-M的復(fù)雜度可表示O(2(KU+U+S)+E)。 矩陣分解類算法所耗資源小于協(xié)同過濾，而GCN-M模型在自編碼器層數(shù)E過大時(shí)，所耗資源會大于協(xié)同過濾，但提升了準(zhǔn)確率，故在設(shè)置合適的E后，可以平衡復(fù)雜度和預(yù)測率。

5 結(jié)束語

本文嘗試?yán)脠D神經(jīng)網(wǎng)絡(luò)來解決Web服務(wù)QoS預(yù)測問題，并結(jié)合多任務(wù)學(xué)習(xí)，挖掘在網(wǎng)絡(luò)通信中用戶和服務(wù)交互的特征信息以及響應(yīng)時(shí)間與吞吐量的內(nèi)在聯(lián)系，解決了傳統(tǒng)預(yù)測方法難以應(yīng)對數(shù)據(jù)稀疏的問題，適用于大規(guī)模缺失的QoS數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，相對于協(xié)同過濾和矩陣分解等方法，本文提出模型在準(zhǔn)確率、算法復(fù)雜度上有更好的表現(xiàn)，下一步考慮將IP地址、自治區(qū)域、地理位置等上下文信息融合到模型中，以得到更高維度的特征信息，進(jìn)一步提升模型性能，使得用戶可以得到更好的Web服務(wù)體驗(yàn)。