遷移學習輔助基于機器學習的傳輸質量評估

王家馨

(南京郵電大學 電子與光學工程學院、柔性電子(未來技術)學院，南京 210023)

0 引 言

近年來，機器學習(Machine Learning，ML)評估方法在光通信領域擁有廣泛的研究，遷移學習(Transfer Learning，TL)已被證明是一種有效的知識轉移方法，但只有少數研究提出使用TL來預測與傳輸質量(Quality of Transmission，QoT)相關的各種指標(例如，誤碼率(Bit Error Ratio,BER)和Q因子)[1]。在文獻[2]中，采用一種基于人工神經網絡(Artificial Neural Network，ANN)的TL框架來預測實時混合線路速率光學系統中的Q因子。結果表明，應用知識遷移來準確預測目標領域的QoT，只需少量訓練樣本來微調權重。文獻[3]提出基于卷積神經網絡(Convolution Neural Network，CNN)深度TL的多損傷診斷技術，減少了95%以上的訓練時間且具有99.88%的準確率。文獻[4]提出深度神經網絡(Deep Neural Network，DNN)與TL相結合，對多域光網絡進行QoT預測。結果表明，該方法可以顯著降低估計精度新任務所需的訓練數據量。

以上研究工作發現，神經網絡是TL的研究熱點，但神經網絡性能不易解釋，缺失利用傳統ML算法方面的研究；其次，TL在光纖鏈路QoT評估上的研究較少。因此，提出新的思路，使用直接TL與TL并微調參數兩種方法在相關光通信系統中進行仿真分析并比較，驗證TL并微調的基于ML的QoT多分類器在相關光纖通信系統的優勢，其中ML算法使用傳統ML和神經網絡。

1 模型構建及多分類器介紹

系統A采用的光纖通信系統模型：在網絡線性拓撲中，假設使用9個信道、信道間隔為50 GHz的波分復用鏈路，碼元速率為32 GBaud，噪聲帶寬為32 GHz的偏振復用相干未補償系統[5]。拓撲采用色散無補償的標準單模光纖(光纖損耗系數為0.22 dB/km，非線性系數為1.3 1/(W·km)，色散系數為21 ps2/km )，構成等跨度的透明傳輸同質鏈路，每個跨度的損耗全部由光纖損耗組成，摻鉺光纖放大器(Erbium-doped Fiber Amplifier，EDFA)以相同跨距均勻放在鏈路上。EDFA完全彌補上一個跨度的損耗，噪聲指數為5 dB，EDFA增益由光纖損耗系數決定。節點由具有波長選擇開關(Wavelength Selection Switch，WSS)技術的可重構光分插復用器構成。光纖鏈路結構如圖1所示。

圖1 光纖鏈路結構圖Figure 1 The structure diagram of optical fiber link

系統模型B與A不同的部分是信道間隔，信道帶寬與碼元速率相同，為32 GHz(奈奎斯特-波分復用)；系統模型C與A不同的部分是信道帶寬為64 GHz，選擇大于系統A的帶寬值[6-7]。

1.1 鏈路系統參數設置

根據文獻[5]、[6]和[8]設置鏈路參數，如表1所示。為系統相關，實現TL，則3個系統鏈路參數的取值是相交的，有相同部分。

表1 A、B和C鏈路參數設置Table 1 A, B and C link parameter settings

1.2 獲取數據

根據文獻[4]，確定數據集的特征為鏈路長度、跨度長度、調制格式、數據速率和信道發射功率，QoT指標為BER[9]，即數據集標簽，并使用文獻[5]和[10]中的QoT評估公式，在Matlab2020a軟件平臺構建QoT評估公式，獲得初始數據集A、B和C。

根據國際電信聯盟電信標準分局(International Telecommunication Union-Telecommunication Sector，ITU-T)G.975.1建議的前向糾錯標準，BER閾值設置為4×10-3。對于多分類器而言，設置兩個閾值，分別為4×10-3和4×10-5。BER=4×10-3時QoT及格，符合基本鏈路QoT要求；BER=4×10-5時誤碼更少，QoT精度更高。將BER<4×10-5、4×10-54×10-3分別對應QoT優良、合格和不合格。數據集中根據BER值設置標簽。3個數據集記錄如表2所示，數據集的特征空間相同而分布不同，數據集相關。

表2 數據集內容Table 2 Dataset content

1.3 ML多分類器介紹

1.3.1 ML算法簡介

(1) 傳統ML算法

支持向量機(Support Vector Machine，SVM)是監督ML算法，通過一對多或一對一的策略實現多分類。SVM的優點是泛化能力強，過擬合概率小，分類準確率高，中小型數據集使用其頻率高[11-12]。

隨機森林是多個決策樹的集成，是使用bagging方法的代表之一，能夠執行分類和回歸任務[13-14]。在隨機森林對陌生樣本進行預測時，集成的所有決策樹對其進行預測，會得到很多預測結果。分類時，對預測結果采用投票法，而回歸時采用平均法。

(2) 神經網絡

ANN由一列相互關聯的人工神經元以拓撲結構的形式連接組成一個數學或計算模型，這些神經元有能力從經驗數據中進行學習，以此模擬人類神經網絡的功能和結構[14-15]。

DNN與ANN不一樣的部分是隱藏層的數量，除了一層輸出層，還包含兩層以上的隱藏層，是一種典型的深度學習模型，能夠實現逼近某個函數[15]。

1.3.2 多分類器介紹

多分類器結構如圖2～3所示。TL選擇基于參數的遷移方式，即源域A系統和目標域B和C系統共享模型參數。數據集A、B和C相關，則可進行微調技術。

圖2 遷移+微調分類器結構圖Figure 2 The structure diagram of migration and fine-tuning classifier

圖3 直接遷移分類器結構圖Figure 3 The structure diagram of direct migration classifier

微調技術將訓練集B和C輸入由訓練集A訓練好的ML多分類器中，在預先訓練好的多分類器的模型參數基礎上，由于系統相關，更快獲得擬合系統B和C的模型參數。SVM模型對決策函數的權重和偏置進行微調，隨機森林對節點特征和特征閾值進行微調，神經網絡對神經元的權重和偏置進行微調。直接TL將訓練集A訓練好的ML多分類器，直接用于系統B和C，輸入測試集B和C對模型進行評估。

2 仿真結果分析

以A系統為源域，B和C系統為目標域。算法進行超參數調優，使用系統A數據集以最優超參數的算法訓練得到多分類器，使用B和C系統的數據測試評估并比較直接TL和TL并微調兩種方式下的多分類器分類性能。

2.1 未微調的多分類器性能分析

多分類器在系統B中的多分類性能指標分數總結如表3所示，ANN和DNN均運行30次取均值。Kappa為統計學中評估一致性的一種方法，可用于衡量分類精度；F1_macro為F1分數的宏平均計算方式，取值范圍為0～1，是評估多分類性能的指標[16]。

表3 系統B的多分類性能指標分數Table 3 Multi-classification performances of system B

表3記錄了系統B中的多分類性能指標分數，SVM、ANN和DNN準確率在 0.92以上，Kappa和F1_macro關注樣本較少的類別，分數在0.87以上。隨機森林三者分數均最低，分別為0.896 4、0.812 6和0.824 4。海明距離，分數越低性能越好，SVM、ANN和DNN值相近。隨機森林比前3種分類器分數大一個精度。

綜上，4種性能指標分數，基于訓練集A的ML多分類器整體對系統B的QoT分類精度較高，但4種分類器的準確率都比F1_macro和Kappa高，所以沒有經過微調的多分類器對數據集B中樣本數量較少的類別分類能力一般，其中SVM性能最好。

多分類器在系統C中的多分類性能指標分數總結如表4所示，ANN和DNN均運行30次取均值。

表4 系統C的多分類性能指標分數Table 4 Multi-classification performances of system C

表4記錄了系統C中的多分類性能指標分數，SVM、ANN和DNN的準確率均在0.88以上，F1_macro和Kappa系數的分數皆在0.80以上，其中ANN和DNN分數相近。隨機森林三者分數均最低，分別為0.790 9、0.675 9和0.632 7。ANN和DNN的海明距離分數差距為0.001 6。隨機森林和SVM比ANN和DNN分數大一個精度。結合4個指標來分析，ANN和DNN在系統C中的QoT分類能力與SVM相比較強，分類精度較高。SVM的分類精度中等，隨機森林對系統C的分類能力較差。

比較4種分類器的準確率、F1_macro和Kappa系數，SVM、ANN和DNN的準確率比F1_macro和Kappa系數高0.05～0.06，隨機森林的準確率比F1_macro和Kappa系數高0.12～0.16。結果表明，沒有經過微調的多分類器對數據集C中樣本數量較少的類別分類能力一般。

綜上，基于訓練集A的ML分類器對系統C的分類能力總體尚優，其中ANN和DNN總體性能好。隨機森林對系統C的分類能力較差，不適合用于系統C。與系統B性能相比，系統C的性能分數均低。4種分類器對系統B的分類能力明顯好于系統C，這說明系統B與系統A的相關性更強。

2.2 微調的多分類器性能分析

多分類器在系統B中的多分類性能指標分數總結如表5所示，ANN和DNN均運行30次取均值。

表5 系統B的多分類性能指標分數Table 5 Multi-classification performances of system B

表5記錄了系統B中的多分類性能指標分數，SVM、ANN和DNN的準確率、F1_macro和Kappa系數三者分數皆在0.95以上。隨機森林三者分數均最低，分別為0.933 7、0.880 6和0.886 9，分數也均在0.88以上。所有分類器的海明距離精度級別都在0.01。結合4個指標分析，經過微調后的ANN和DNN在系統B中的QoT分類能力較SVM強，分類精度很高。SVM的分類精度也很高，隨機森林對系統C的分類能力也高。

測試集的大小對性能影響可忽略不計，與表3數據相比，經過微調的4種分類器分類質量明顯提高，表3中，SVM、ANN和DNN的F1_macro和Kappa系數的數值都處于0.88左右，隨機森林在0.82左右。經過微調，表4中SVM、ANN和DNN的F1_macro和Kappa系數數值都處于0.95以上，提升了0.07分，進步顯著。隨機森林在0.88左右，提高了0.06分，提高了隨機森林對系統B的分類能力。

綜上，得到經過微調的基于ML多分類器對系統B的分類能力提高甚多，分類精度高。DNN的性能最好，性能分數最佳。

多分類器在系統C中的多分類性能指標分數總結如表6所示，ANN和DNN均運行30次取均值。

表6 系統C的多分類性能指標分數Table 6 Multi-classification performances of system C

表6記錄了系統C中的多分類性能指標分數，SVM、ANN和DNN的準確率、F1_macro和Kappa系數三者分數皆在0.95以上。隨機森林分數三者均最低，分別為0.951 6、0.917 4和0.916 2，分數也均在0.91以上。ANN的分數與DNN相近。ANN和SVM的海明距離分數差距微小，為0.006左右，DNN最小，隨機森林分數最大，所有分類器的海明距離都在0.01級別的精度。結合4個指標來分析，經過微調后4種分類器對系統C的QoT分類能力增強，分類精度顯著變高。

同樣，與表4相比，微調后的4種分類器性能指標分數大幅度提高。表4中，SVM、ANN和DNN的F1_macro和Kappa系數的數值都處于0.84左右，隨機森林分數在0.66左右。經過微調，表6中SVM、ANN和DNN的F1_macro和Kappa系數的數值都處于0.95以上，提升0.11分。隨機森林分數在0.91左右，提高了0.25分，數量較少的樣本分類能力明顯提高。

綜上，得到微調后的分類器性能都比未微調的分類器性能提高很多，提升了系統C的分類精度，減少了樣本不均衡影響。隨機森林的變化非常大，這是由于隨機森林依賴數據以進行特征和特征閾值的選擇，若是不進行微調，則需要目標域與源域的系統相關性強，生成的隨機森林相關性也強，否則直接遷移不能實現較好的分類, 微調后所有指標分數都得到改善。

2.3 比較結果

比較系統B和系統C在直接TL和TL并微調的兩種方式下得到的多分類性能分數，得出結論，TL結合微調能夠極大改善分類器的性能，減少對系統間相關性的依賴。傳統ML分類器的分類質量不遜于神經網絡，且其算法復雜度較低，性能原因更容易解釋分析。因此，傳統ML對于TL是一個有效選擇。

3 結束語

本文提出直接TL和TL并微調兩種方法去解決ML光纖鏈路QoT評估器訓練復雜的問題，構造的4種ML鏈路QoT多分類器的直接遷移指標分數在0.63以上，TL并微調在0.88以上，與其他研究結果相比，從新的思路驗證了TL輔助并進行微調的多分類器實現少樣本高精度評估相關通信系統的鏈路QoT，傳統ML多分類性能優秀且易解釋，對光纖鏈路QoT評估具有很好的實現意義。未來可以引入更多TL和ML相關的技術，進一步提升評估光纖鏈路的效率。