軟件定義數(shù)據(jù)中心基于殘差網(wǎng)絡(luò)的大象流預(yù)測機(jī)制

曾嘉麒，劉外喜，盧錦杰

(廣州大學(xué) 電子與通信工程系，廣州 510006)

1 引 言

研究顯示[1，2]，數(shù)據(jù)中心的流量包括大象流和老鼠流，大象流的流大小很大但數(shù)量很少，老鼠流的數(shù)量十分巨大但比較小.進(jìn)一步地，大象流和老鼠流對于網(wǎng)絡(luò)的需求并不相同：大象流需要的是更大的吞吐量以及盡可能少的流完成時間；相反，老鼠流通常是由時延敏感性應(yīng)用產(chǎn)生的，我們需要盡可能地滿足時限需求.因此，提高模型預(yù)測的準(zhǔn)確率是是實現(xiàn)流調(diào)度的基礎(chǔ)，而這是提高數(shù)據(jù)中心網(wǎng)絡(luò)傳輸效率的重要措施之一.

現(xiàn)有流類型預(yù)測方法在開銷、準(zhǔn)確性、預(yù)測時間等方面都有或多或少的缺點，例如，Mahout[3]的預(yù)測時間長達(dá)3.8s；NELLY[4]需要在流的第7個數(shù)據(jù)包到達(dá)時才能實現(xiàn)較高的準(zhǔn)確率，F(xiàn)lowSeer[5]中的開銷高達(dá)288kbps；而基于統(tǒng)計流量數(shù)據(jù)的模型[6，7]不僅需要消耗大量的帶寬也會導(dǎo)致較長預(yù)測時間 .然而，當(dāng)前數(shù)據(jù)中心網(wǎng)絡(luò)DCN(Data-Center Networks)的鏈路帶寬都是10Gbps以上；以UNI1數(shù)據(jù)集[8]為例，有高達(dá)70%的流的持續(xù)時間<3s，有高達(dá)67%的流的數(shù)據(jù)包數(shù)量<7個.

軟件定義網(wǎng)絡(luò)SDN(Software-Defined Networking)[9]將數(shù)據(jù)平面和控制平面分離，并實現(xiàn)了控制平面的可編程.此外，SDN具有的全局視圖集中控制的優(yōu)點，它能夠優(yōu)化DCN的性能已經(jīng)在很多實驗得以證明，例如谷歌的B4[10].

本文建立在軟件定義的數(shù)據(jù)中心網(wǎng)絡(luò)SD-DCN(Software-Defined Data Center Networks)的背景下，通過深度學(xué)習(xí)技術(shù)探索特征與類別的關(guān)聯(lián)性，提出了一種兩級流分類機(jī)制，即“邊緣預(yù)分類+中心精分類”，稱為Res-AM(Residual Network+Additive Margin Softmax).Res-AM包含兩個模型，預(yù)分類模型設(shè)置在SDN交換機(jī)上，該模型使用了殘差網(wǎng)絡(luò)(Residual Network)[11]+帶有代價敏感特性的Softmax交叉熵?fù)p失函數(shù)；精分類模型設(shè)置在SDN控制器上，該模型使用了殘差網(wǎng)絡(luò)+AM-Softmax(Additive Margin Softmax)交叉熵?fù)p失函數(shù).Res-AM中的預(yù)分類模型在網(wǎng)絡(luò)邊緣側(cè)過濾掉大部分老鼠流，這大大減少了發(fā)送給SDN控制器的流的數(shù)量，而只需要把那些被預(yù)分類模型認(rèn)為是疑似大象流的特征發(fā)送到精分類模型中進(jìn)行更精確的判斷，從而實現(xiàn)在減少開銷的同時提高流類型預(yù)測的性能.

2 相關(guān)工作

一種預(yù)測流類型的方法是通過統(tǒng)計流中每個包頭部的信息來預(yù)測[6，7].例如，N.Farrington等人提出的Helios[6]定期從交換機(jī)中采集流信息并進(jìn)行統(tǒng)計，顯然，該方法不但需要較強(qiáng)的硬件作為支撐，而且還需要較長的預(yù)測時間.

另一種常見的流類型預(yù)測方法是修改終端的軟件或者硬件.例如，K.Xi等人提出的PROBE[12]通過在終端安裝特有軟件來檢測大象流，而Mahout[3]在終端檢測TCP緩存，若某個流高于設(shè)定的閾值，那么該流就會判為大象流.該方法的預(yù)測時間極長，如閾值為100KB時，預(yù)測時間長達(dá)3.8s.

使用流挖掘技術(shù)建立的模型可以達(dá)到邊訓(xùn)練邊預(yù)測的效果，如Chao S C等人提出FlowSeer機(jī)制[5]以及Felipe E S等人提出NELLY方法[4].FlowSeer機(jī)制使用兩級分類，第1級模型通過代價敏感算法確保模型的召回率保持在一個比較高的水平上，然后將疑似大象流的信息發(fā)送到第2級模型中，第2級模型使用霍夫丁決策樹算法預(yù)測大象流.該機(jī)制的缺點是預(yù)測個別類的準(zhǔn)確率較低.NELLY方法采用自適應(yīng)決策樹算法來預(yù)測大象流，它的優(yōu)點是不會增加老鼠流的時延，缺點是預(yù)測的準(zhǔn)確率不高.Duque-Torres A等人在知識定義網(wǎng)絡(luò)架構(gòu)下[13]提出了一種識別大象流的方法，該方法雖然召回率較高，但是很多老鼠流無法被預(yù)測.

3 相關(guān)方法

本節(jié)簡要介紹本文系統(tǒng)涉及到的基礎(chǔ)理論知識，表1列出了本文中使用的一些符號的定義.

表1 本文中使用的一些符號列表

3.1 殘差網(wǎng)絡(luò)

隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，模型可能，會遇到梯度消失、網(wǎng)絡(luò)退化等問題.在本文的系統(tǒng)中，兩個模型均使用殘差網(wǎng)絡(luò)算法以及批歸一化(Batch Normalization)處理方法解決以上問題.殘差網(wǎng)絡(luò)是He K等人[14]在2015年提出來的，與其他網(wǎng)絡(luò)相比，殘差網(wǎng)絡(luò)最大的特點是增加了跳躍結(jié)構(gòu).該結(jié)構(gòu)使得模型中前面的層的信息可以直接傳遞到后面的層中，這種連接方式可以很好地解決因模型層數(shù)增多而產(chǎn)生的模型退化問題[11].

3.2 AM-Softmax交叉熵?fù)p失函數(shù)

A-Softmax(Angular softmax)交叉熵?fù)p失函數(shù)的定義如式(1)所示，如式(2)所示，AM-Softmax交叉熵?fù)p失函數(shù)[15]是對A-Softmax的改進(jìn).兩者最大的區(qū)別是：A-Softmax交叉熵?fù)p失函數(shù)通過增加類間的角度距離來提高模型準(zhǔn)確率，而AM-Softmax交叉熵?fù)p失函數(shù)通過增加類間的余弦距離來提高模型準(zhǔn)確率.雖然兩種損失函數(shù)的目標(biāo)都是通過增大類間距離來提高模型準(zhǔn)確率，但是在使用梯度下降優(yōu)化時，損失函數(shù)需要求導(dǎo)，因此AM-Softmax的計算量遠(yuǎn)小于A-Softmax的計算量.

(1)

(2)

其中，m和s為超參數(shù)，z代表一共有z種流類型.

圖1是AM-Softmax交叉熵?fù)p失函數(shù)以及Softmax交叉熵?fù)p失函數(shù)在進(jìn)行二分類的情況下，兩者決策面上的比較，Softmax只有1個決策面，而AM-Softmax有2個決策面.由于Softmax交叉熵?fù)p失函數(shù)中沒有類間距離，模型無法學(xué)習(xí)到較大類間距離的特征，所以不利于模型對兩類進(jìn)行區(qū)分，而AM-Softmax中有較大的類間距離、較小的類內(nèi)距離，這樣使得模型可以學(xué)到較大類間距離的特征，進(jìn)而提高模型的預(yù)測準(zhǔn)確率.

圖1 二分類的Softmax和AM-Softmax的決策面

3.3 代價敏感學(xué)習(xí)

解決分類問題是機(jī)器學(xué)習(xí)的任務(wù)之一，而數(shù)據(jù)不平衡是分類中最常見的問題[16].目前解決數(shù)據(jù)不平衡問題的方法主要分成兩大類型，第1類是在數(shù)據(jù)預(yù)處理階段使用抽樣技術(shù)[17]，第2類是修改模型的結(jié)構(gòu)或者模型的損失函數(shù)，而代價敏感學(xué)習(xí)屬于第2種類型.代價敏感學(xué)習(xí)指的是在模型中增加懲罰機(jī)制，即對不同的錯誤分類施加不同的懲罰，具體的懲罰值(cost)通常使用代價矩陣(cost matrix)來描述.修改損失函數(shù)是一種最常見的代價敏感學(xué)習(xí)方式，例如，修改Softmax交叉熵?fù)p失函數(shù)如式(3)所示.

(3)

式中l(wèi)ossi代表i樣本的Softmax交叉熵?fù)p失，costi代表i樣本相應(yīng)的懲罰值.

4 特征分析

如表2所示，本文通過深度學(xué)習(xí)技術(shù)對流在多層的聯(lián)合特征的準(zhǔn)確刻畫，實現(xiàn)流類型的準(zhǔn)確預(yù)測，這些特征主要包括流的時間分布特征、流的實時特征、數(shù)據(jù)包頭部特征等3個維度.顯然，如果把3個維度的特征都用于構(gòu)建預(yù)測模型，該模型能夠更準(zhǔn)確地刻畫流類型的特征，預(yù)測性能自然也會改善，但由此產(chǎn)生的更復(fù)雜的模型和這些特征的采集都會導(dǎo)致更大的預(yù)測時間，同時，上報這些特征的也會產(chǎn)生更多的開銷.所以，從眾多特征中選取最重要的特征顯得尤為重要.首先，本文利用隨機(jī)森林算法[18]篩選出對流類型預(yù)測真正有價值的特征；然后，利用Min-Max進(jìn)行特征的歸一化并對標(biāo)簽進(jìn)行獨熱編碼(One-Hot Encoding).

表2 隨機(jī)森林的特征評分

在隨機(jī)森林的超參數(shù)的設(shè)置上，本文使用了網(wǎng)格搜索算法確定隨機(jī)森林算法中樹的深度、樹的數(shù)量并通過K(K=5)折交叉驗證進(jìn)行篩選.實驗結(jié)果表明，樹的深度=15，樹的個數(shù)=800時，隨機(jī)森林模型準(zhǔn)確率最高，以UNI1數(shù)據(jù)集為分析對象[8]，各特征的評分如表2所列.

5 系統(tǒng)設(shè)計

5.1 系統(tǒng)概述

如圖2所示，Res-AM機(jī)制由邊緣預(yù)分類與中心精分類兩級組成，預(yù)分類模型使用殘差網(wǎng)絡(luò)+具有代價敏感特性的Softmax交叉熵?fù)p失函數(shù)；精分類模型使用了殘差網(wǎng)絡(luò)+AM-Softmax交叉熵?fù)p失函數(shù).其中，訓(xùn)練模塊用于離線訓(xùn)練預(yù)分類和精分類模型；而數(shù)據(jù)集模塊收集新的數(shù)據(jù)加入數(shù)據(jù)集，幫助訓(xùn)練模塊定期地訓(xùn)練出可跟蹤最新的流量模式的模型.

圖2 系統(tǒng)方案圖

首先，當(dāng)一個流的前N個分組到達(dá)SDN交換機(jī)時，預(yù)分類模型根據(jù)所選特征篩選出疑似大象流，實際上也起到了過濾掉大部分老鼠流的作用.然后，SDN交換機(jī)將疑似大象流的特征信息發(fā)送給控制器的精分類模型，對大象流和老鼠流的進(jìn)一步確認(rèn).如表3所列，我們根據(jù)第4節(jié)的特征分析結(jié)果為Res-AM的兩級模型選取了不同的特征.

表3 模型所選特征

選擇以上特征主要原因如下：本文劃分大象流與老鼠流的標(biāo)準(zhǔn)是流大小，而流大小是由包的數(shù)量以及大小累積而成，而流的流的實時大小、實時持續(xù)時間、流的實時速度、包之間的時間間隔、包的大小等5個特征的值具有時序性，都會隨著流中包數(shù)量的變化而變化.

大象流期望更大的吞吐量，而老鼠流是延遲敏感性應(yīng)用.預(yù)測系統(tǒng)會有以下兩種預(yù)測錯誤，并產(chǎn)生不同的后果，相對而言，第2種錯誤導(dǎo)致的后果稍輕.所以，我們的預(yù)測機(jī)制優(yōu)先防止第一種錯誤發(fā)生，具體到性能指標(biāo)上，在優(yōu)化調(diào)整模型參數(shù)時，優(yōu)先提高大象流的召回率.

1)大象流被誤判為老鼠流；此時，大象流沒有被安排到合適的路徑，其吞吐量受到影響，其搶占老鼠流的路徑而導(dǎo)致老鼠流的時延受到影響.

2)老鼠流被誤判為大象流；此時，浪費了SDN控制器的資源，增加了控制開銷.

5.2 模型結(jié)構(gòu)

5.2.1 預(yù)分類模型

預(yù)分類模型的目標(biāo)是篩選出大部分老鼠流和疑似的大象流，如圖3所示，預(yù)分類模型由4個殘差塊構(gòu)成，流的前N個數(shù)據(jù)包的5個特征以N×5 的矩陣形式輸入模型.其中殘差塊包含4個部分，分別是卷積層、GELU(Gaussian Error Linerar Units)[19]激活函數(shù)以及批量歸一化(Batch Normalization)處理.殘差塊數(shù)量的確定需要權(quán)衡考慮性能與開銷，繼續(xù)增加殘差塊數(shù)量雖然可以輕微提升性能，但會給SDN控制器帶來大量的訓(xùn)練開銷.同時，與其他激活函數(shù)相比，GELU在非線性基礎(chǔ)上結(jié)合了隨機(jī)正則化，可以防止模型的過擬合.

圖3 模型結(jié)構(gòu)

Softmax交叉熵?fù)p失函數(shù)如式(4)所示，帶有代價敏感性質(zhì)的Softmax是以此為基礎(chǔ)進(jìn)行修改，如式(5)所示.其中，代價矩陣如表4所示，當(dāng)大象流被預(yù)測為老鼠流時，懲罰值costi為5.5，其他情況下的懲罰值costi為1.也就是說，具有代價敏感性質(zhì)的Softmax交叉熵?fù)p失函數(shù)的作用原理是：通過增大大象流誤判為老鼠流的損失來提高召回率.

表4 預(yù)分類模型代價矩陣

(4)

(5)

5.2.2 精分類模型

精分類模型的作用是對疑似大象流和老鼠流進(jìn)行更準(zhǔn)確的分類，因此該模型使用了殘差網(wǎng)絡(luò)+AM-Softmax交叉熵?fù)p失函數(shù)，它的結(jié)構(gòu)如圖3所示，其中，與預(yù)分類模型相比，精分類模型使用了更加多的特征以及更換了損失函數(shù).一方面，精分類模型是將一個流的前N個數(shù)據(jù)包的10個特征以N×10的矩陣形式輸入模型.另一方面，精分類模型采用AM-Softmax交叉熵?fù)p失函數(shù)是為了讓模型學(xué)習(xí)到較大類間距離的特征從而提高模型準(zhǔn)確率.公式(2)有兩個超參數(shù)m和s，其中m的作用是增大的類間距離的值，s的作用是加快模型收斂.

6 實 驗

本次實驗使用的數(shù)據(jù)集是UNI1[8]，并且，當(dāng)流大小大于0.01Mbyte判斷為大象流，否則為老鼠流，該數(shù)據(jù)集的統(tǒng)計特征如表5所列.其中，把數(shù)據(jù)集的70%作為訓(xùn)練集，15%作為驗證集，15%作為測試集.

表5 UNI1的統(tǒng)計特征

由于數(shù)據(jù)集中大象流與老鼠流的數(shù)量是不平衡的，而不平衡的數(shù)據(jù)會對模型的訓(xùn)練會產(chǎn)生較大影響，因此對于訓(xùn)練集，本文通過欠采樣技術(shù)使得大象流與老鼠流的數(shù)量的比例是1∶1.對于測試集和驗證集，前3個包、前4個包、前5個包中大象流與老鼠流的數(shù)量比例分別為4∶21、19∶81、23∶77.

6.1 性能評估指標(biāo)

評價預(yù)測模型性能的混淆矩陣如表6所示.性能指標(biāo)如式(6)-式(11)所示，包括精確率Precision、召回率Recall、準(zhǔn)確率Accuracy、F1(F-Measure)、FPR以及馬修斯相關(guān)系數(shù)MCC(Matthews correlation coefficient).

表6 混淆矩陣

其中，前5個是評估預(yù)測方法的常見指標(biāo)，而作為評估二分類模型的指標(biāo)，MCC適用于樣本數(shù)量不平衡時描述真實值與預(yù)測值的相關(guān)性，MCC越接近1，意味著預(yù)測越完美.本文使用MCC評估模型有兩點考慮：1)測試集中兩類的樣本數(shù)量是根據(jù)數(shù)據(jù)集中兩類的實際比例設(shè)置的，而數(shù)據(jù)集中的兩類的比例不平衡;2)系統(tǒng)目標(biāo)是在減少控制器負(fù)載的前提下正確預(yù)測出大部分大象流.

(6)

(7)

(8)

(9)

(10)

(11)

6.2 模型參數(shù)

6.2.1 預(yù)分類模型參數(shù)

預(yù)分類模型參數(shù)為：卷積層中的卷積核的大小規(guī)格是2×2，整個模型的輸入只有1個通道，而每一個卷積層的輸出都是16個通道，即，每個卷積層有16個不同權(quán)值的卷積核，步長為1.

6.2.2 精分類模型參數(shù)

精分類模型參數(shù)如表7所列.如公式(2)所示，表中s與m指的是AM-Softmax交叉熵?fù)p失函數(shù)中的兩個超參數(shù)，即在上文5.2.2中提及的.參數(shù)m數(shù)值過大會導(dǎo)致模型難以收斂，本文精分類模型中的參數(shù)m設(shè)為0.25.

表7 精分類模型參數(shù)

6.3 實驗結(jié)果

6.3.1 性能分析

如圖4所示，由于使用了具有代價敏感性質(zhì)的Softmax交叉熵?fù)p失函數(shù)，預(yù)分類模型的召回率隨N的增大逐漸收斂，精確率、F-Measure、準(zhǔn)確率隨N的增大而增大.在N=5時，召回率、精確率、準(zhǔn)確率、F1-Measure、FPR、MCC分別達(dá)到93.91%、68.27%、88.64%、0.7906、12.92%、0.7325.

圖4 Res-AM的預(yù)分類模型的預(yù)測結(jié)果

精分類模型的預(yù)測結(jié)果如圖5所示，與預(yù)分類模型相比，由于精分類模型使用了AM-Softmax交叉熵?fù)p失函數(shù)以及更多的特征，所以，精分類模型的精確率、準(zhǔn)確率、F1-Measure、FPR都有所改善，其中，召回率、準(zhǔn)確率以及FPR隨N的增大變化不大.當(dāng)N=5時，召回率、精確率、準(zhǔn)確率、F1-Measure、FPR、MCC分別達(dá)到92.21%、81.11%、93.32%、0.863、6.36%、0.822.

圖5 Res-AM的精分類模型的預(yù)測結(jié)果

Res-AM的兩級機(jī)制預(yù)測結(jié)果如圖6所示，在召回率上，兩級模型比單級模型的略有下降，但是精確率、準(zhǔn)確率、F1-Measure都得到提高，Res-AM系統(tǒng)在N=5時，召回率、精確率、準(zhǔn)確率、F1-Measure、FPR、MCC分別達(dá)到91.07%、82.75%、93.63%、86.71%、5.62%、0.8269.其中，召回率下降的原因在于：預(yù)分類模型與精分類模型雖然召回率都比較高，但是仍然會有部分大象流被誤判為老鼠流，而Res-AM是當(dāng)且僅當(dāng)兩級模型都把判為大象流時才會確認(rèn)該流為大象流.

圖6 Res-AM的預(yù)測結(jié)果

值得注意的是，Res-AM既可以兩級一起使用，也可以單級單獨使用，這可以根據(jù)不同應(yīng)用場景下對預(yù)測性能指標(biāo)的不同要求進(jìn)行選擇.例如，可把預(yù)分類模型加載到可編程的智能網(wǎng)卡、可編程的交換機(jī)中[20，21].

由于高達(dá)67%的流的數(shù)據(jù)包數(shù)量少于7個，多于5個包的預(yù)測的實際價值大減，為此，我們選擇了5個包(即，N=5)進(jìn)行實驗.實驗結(jié)果表明，當(dāng)N=5時，各評價指標(biāo)已經(jīng)有明顯的收斂趨勢，如果繼續(xù)增大N，雖然各評價指標(biāo)會微小改善，但是以增加控制開銷、預(yù)測時間為代價.

6.3.2 性能對比

本節(jié)將Res-AM機(jī)制與當(dāng)前主流的方法FlowSeer[5]、ESCA[22]、NELLY[4]進(jìn)行性能對比，其中，F(xiàn)lowSeer是以流速度和流持續(xù)時間作為分類標(biāo)準(zhǔn)，而ESCA和NELLY均是以流大小作為分類標(biāo)準(zhǔn)，對比實驗的結(jié)果如表8所示.如果不做特別說明，表8是各機(jī)制最好的實驗結(jié)果，其中Res-AM是經(jīng)過預(yù)分類以及精分類后的結(jié)果.

從表8數(shù)據(jù)可以看出，Res-AM在大部分指標(biāo)上都是最好的，其中，Res-AM在控制開銷上是最低的，預(yù)測時間也僅僅比NELLY多.Res-AM的控制開銷極低的主要原因是：Res-AM預(yù)分類模型的FPR只有12.92%，該值只比ESCA高，這表明了有87.08%的老鼠流被正確預(yù)測，從而減少了向控制器發(fā)送流特征的數(shù)量.而Res-AM的預(yù)測時間較低是因為：Res-AM運(yùn)用了深度學(xué)習(xí)技術(shù)，它的訓(xùn)練可以在離線狀態(tài)下實現(xiàn)，并且可通過云計算等硬件進(jìn)行加速，而訓(xùn)練好的模型進(jìn)行在線的預(yù)測的時間極少.

表8 各機(jī)制的實驗結(jié)果

在前5個包時，Res-AM的召回率達(dá)到了91.07%，準(zhǔn)確率達(dá)到93.63%，MCC達(dá)到0.8269，即使在前4個包時，Res-AM的召回率也達(dá)到了91.49%，準(zhǔn)確率達(dá)到92.08%，MCC達(dá)到0.7748；同樣是采用兩級結(jié)構(gòu)的FlowSeer的召回率只有90.2%，并且它的控制開銷、預(yù)測時間遠(yuǎn)高于Res-AM.NELLY在前7個包時的召回率僅為85.97%，并且FPR也超過了35%，MCC為0.327，也就是說，雖然NELLY利用增量學(xué)習(xí)的方法減少了一些預(yù)測時間，但實際預(yù)測性能比Res-AM差很多；此外，由于UNI1中有67%的流少于7個包，也就是說，NELLY沒法預(yù)測到這部分流.ESCA的召回率最高只能達(dá)到88.3%，同時控制開銷十分巨大，達(dá)到215kbps.

7 結(jié) 論

在軟件定義數(shù)據(jù)中心網(wǎng)絡(luò)的背景下，本文利用深度學(xué)習(xí)技術(shù)，提出了Res-AM兩級預(yù)測機(jī)制，即邊緣預(yù)分類+中心精分類.預(yù)分類模型使用殘差網(wǎng)絡(luò)+具有代價敏感性質(zhì)的Softmax交叉熵?fù)p失函數(shù)以濾掉大部分老鼠流.精分類模型使用殘差網(wǎng)絡(luò)+AM-Softmax交叉熵?fù)p失函數(shù)對疑似大象流進(jìn)行更準(zhǔn)確的分類.基于UNI1數(shù)據(jù)集的實驗表明，當(dāng)流的第5個包到達(dá)時進(jìn)行預(yù)測，Res-AM的召回率可以達(dá)到91%，準(zhǔn)確率達(dá)到93%，控制開銷為0.1kbps，預(yù)測時間為7ms，MCC達(dá)到0.827.與FlowSeer、ESCA、NELLY等現(xiàn)有主流方法相比，Res-AM的各評價指標(biāo)均有改善.