非平衡集成遷移學習模型及其在橋梁結構健康監測中的應用

于重重，吳子珺，譚勵，涂序彥，田蕊

(1.北京工商大學計算機與信息工程學院，北京100048;2.北京科技大學 計算機與通信工程學院，北京100083)

隨著智能監測方法與評估技術的不斷發展，橋梁結構健康監測及狀態評估的研究逐漸成為熱點.為了對橋梁的安全和維護提供有力保障，通常需要連續監測橋梁靜應變、沉降等數據，同時必須保證監測數據的真實可靠.但通常存在一些干擾因素，如傳感器損壞、異常受力、天氣條件惡劣等，會造成監測數據的間斷性異常或缺損，從而無法對所獲得的監測數據進行有效的數據分析［1-2］.因此，利用相似的輔助測點數據，實現對有效數據量少的目標測點的建模與分析，是解決上述問題的重要思路.

遷移學習是一種強調在相似但不完全相同的領域、任務和分布之間實現知識轉化的學習方式.本文針對橋梁監測數據的間斷性異?；蛉睋p的特點，將遷移學習引入到橋梁結構健康監測領域，通過建模分析，解決目標測點實測有效數據過少時的數據分類和預測問題.文中提出了一個改進的遷移模型，首先通過對原始監測數據進行預處理，得到能夠表征數據變化規律的訓練數據集，然后再利用相似性度量函數，完成對具有相似數據變化規律的測點聚類，最后運用非平衡集成遷移學習算法(the unbalanced integrated transfer learning algorithm，UBITLA)［3］建立橋梁結構健康監測的分類模型，利用過往監測數據模型的遷移對新數據進行預測，以達到對監測數據的類別劃分和評定橋梁結構損傷級別的目的.

1 遷移學習的基本理論

遷移學習作為機器學習和人工智能領域研究的新方向，近年越來越受到關注.遷移學習強調的是區域、任務、分布相似但不相同的知識的傳遞［4-5］，其突破了傳統數據挖掘的兩大假設:一是訓練數據與測試數據必須同概率分布;二是兩者必須同特征空間.然而，隨著對遷移學習的研究，不同學者對遷移學習中存在的一些缺陷，提出了很多解決問題的算法，并得到了有效的應用.如運用基于EM的跨語言文本分類算法用以解決跨特征空間的遷移學習問題［6］，基于樸素貝葉斯分類器的支持跨領域文本分類的分類器實現了不同領域文本之間知識的遷移問題［7］，基于TrAdboost算法解決對稱的二分類問題等［8-9］.這些成功的應用推動了遷移學習在處理新任務中標記數據量小的問題中的迅猛發展.

在橋梁結構健康監測領域，監測數據存在以下特點:

1)不同類別的樣本分布極度不平衡，差異大;

2)輔助數據中存在大量的與目標數據集不相似的冗余信息;

3)橋梁實際監測的表征結構健康的正數據和表征結構損傷的負數據分布極度不平衡，負樣本數量遠遠小于正樣本，但負樣本對于橋梁健康監測影響很大.因此，對于橋梁結構的損傷判定可以將其看作是一個非對稱的二分類問題.

本文將遷移學習引入到橋梁結構健康監測領域，利用已有監測點數據，基于非平衡集成遷移學習算法(UBITLA)，提出了一種改進的遷移學習模型，該方法能夠有效地解決橋梁結構健康監測中存在的實際問題.

2 改進的遷移學習模型在橋梁結構健康監測中的應用

2.1 改進的遷移學習模型描述

本文提出的遷移學習模型總體思路如下:1)將橋梁結構健康監測系統中監測到的原始數據進行預處理，其中包括信息篩選、去冗余、去噪聲以及去除重復數據;2)對預處理后的監測數據，根據測點間的相似度，對具有相似變化規律的測點進行聚類;3)對聚類結果使用非平衡集成遷移學習算法，建立針對目標測點的數據分類模型，對目標數據集中的無標簽數據進行預測分類，以實現對監測數據進行類別劃分，評定橋梁各級損傷情況的目的.總體流程圖如圖1所示.

圖1 改進的遷移學習模型Fig.1 Improved transfer learning model

2.2 基于相似測點的SOM聚類

相似度函數是聚類的前提條件，這是由于分類是將相似的模式樣本聚為一類.因為數據存在不同的類型，所以有不同的方法計算相似度，如歐氏距離、切比雪夫距離、曼哈頓距離、明氏距離、加權的明氏距離、馬氏距離、夾角余弦函數等［10］.在自組織映射(self-organizing map，SOM)算法中經常使用相似度函數作為分類的基礎.SOM算法是一個由全連接的神經元陣列組成的無導師的自組織、自學習網絡，是神經網絡用于解決聚類問題的典型應用［11-12］.

由于橋梁結構健康監測系統所獲得的監測數據受突發應力與異常負載等影響，經常會出現個別監測點數據存在異常，如果使用上述方法難以有效克服個別維度的干擾，且易受到高維特性的干擾，若存在2個數據的個別維度上的值差異過大或過小，這會影響整體度量效果，使數據間的相似信息被這少數維度的過大差異所淹沒［13-14］.因此為減小這些異常數據對整體數據的影響，對傳統的距離度量函數進行修改，從根本上解決傳統的相似度度量函數在高維數據空間中存在的不足，有效地緩解大差異個別維度對相似度的影響，具體如下.

定義1 設有d維數據向量X=(x1，x2，…，xd)及 Y=(y1，y2，…，yd)，則相似度度量函數(similarity measurement points clustering，SMPC)如式 (1)所示:

改進后的相似度度量函數通過引入指數e，實現了在xi與yi大差異的情況下，分子數值變小的需求.通過對比計算發現，改進后的相似度度量函數SMPC對比于傳統的相似性度量函數，具有如下性質:

1)新函數充分考慮了2個數據向量間的所有維度，使大差異維度的貢獻率降低;

2)新函數的最大值為1，代表X和Y在所有維度上的值都相等，此時X和Y在d維空間上是完全重合的，相似度最大.若最小值為0，則代表X和Y在每個維度上的差異均接近于無窮大，此時X和Y相似度最小.

通過基于SMPC相似度度量函數的SOM網絡，完成對橋梁監測點的聚類，其具體訓練步驟如下:

1)初始化SOM網絡結構，對神經元權值向量隨機賦初值;

2)隨機選擇輸入樣本;

3)計算各神經元之間的相似度，選擇具有最大相似度的神經元作為獲勝神經元;

4)使用單調遞減函數對獲勝神經元及其鄰域范圍內的神經元的權值進行調整;

5)對算法的收斂性進行判斷，若不滿足收斂條件則重復上述步驟3)直至算法達到收斂.

2.3 UBITLA 算法

針對橋梁結構健康監測系統表征橋梁結構健康與否的正、負數據分布極度不均衡，若對其施行相同的權值調整策略會由于稀缺類樣本權值的迅速減小而導致訓練的失敗問題，因此模型采用非平衡樣本分類的集成遷移學習算法UBITLA進行處理.算法在TrAdaboost算法的基礎上，通過改變稀缺類樣本權值的調整策略，使其不會迅速變小，從而保證這部分樣本對模型建立的貢獻率;另外該算法還引入冗余數據動態剔除策略，適時剔除輔助訓練數據集中的冗余數據，以確保訓練數據的高質.UBITLA算法流程如圖2所示.

圖2 UBITLA算法Fig.2 UBITLA algorithm

UBITLA算法的主體思想為:將遷移輔助數據集A與目標數據集O按比例抽取部分數據后混合成訓練數據集C，并通過初始化樣本權重與歸一化樣本完成對原始樣本的預處理;然后在每次的訓練結果中選擇誤差最小的弱分類器ht，經T輪迭代后得到弱分類序列h1，h2，…，ht;最終將多個弱分類器疊加起來得到一個強分類器.

3 實驗結果與分析

3.1 實驗樣本數據

實驗采用已有2年監測歷史的杭州灣大橋作為研究對象，選用某天6:00—20:00共20個測點所測得的相鄰時段的數據差值作為實驗數據，其中包含了早、中、晚3個高峰時段，以及上、下午低峰時段的數據變化情況，并分別從各數據類型中抽取一定數目的數據按比例組成初始數據集S1和初始目標數據集S2，其具體組成如表1所示.

表1 實驗數據組成描述Table 1 Description of the experimental data

其中，正負樣本比例為5∶1;輸入數據為以1 h為監測周期，采集當日從6:00—20:00共14 h的靜應變數據，并組成具有14維的屬性向量(其包含監測數據在1 d內的變化情況).在訓練過程中從S1內隨機抽取1/2的數據，經數據預處理后作為源數據集Y1，同樣從S2內分別隨機抽取1/2的數據，經數據預處理后作為目標數據集G1與測試數據集T1，并通過由源數據集Y1與目標數據集G1所組成的訓練數據完成對遷移學習模型的訓練，實現對目標數據集T1中無標簽數據的預測分類，這樣就可以通過監測數據的類別來評定橋梁的級別損傷.

3.2 結果與分析

3.2.1 不同距離函數

通過對訓練數據采用不同的相似度距離函數的SOM網絡完成對監測點的聚類，其聚類結果如表2所示，其中 D(2)(x，y)為歐式距離的相似性度量函數.

表2 杭州灣大橋沉降數據監測點聚類Table 2 Hangzhou Bay Bridge settlement data monitoring points clustering

然后將上述2種不同的聚類結果，應用UBITLA遷移學習算法建立針對目標數據的分類模型，完成對目標數據中無標簽數據的預測分類.采用歐式距離作為相似度距離函數與采用SMPC相似度距離函數的SOM網絡聚類結果，對遷移學習模型分類精度的影響如圖3所示.

圖3 2種不同的距離函數對遷移學習模型分類精度的影響Fig.3 Effects of two different distance functions on migration learning model classification accuracy

從上述的結果來看，2種度量函數的總體聚類效果基本相近，但是對于個別測點，如杭州灣大橋的20號測點，在采用歐式距離作為相似度距離函數的SOM網絡的聚類結果中將其分入了類別2中，而在采用SMPC相似度距離函數的SOM網絡的聚類結果中將該測點分入了類別1中.通過對該測點和所在類別特點的進一步分析發現，該測點只是在某2個維度上的數據波動較大而在其余的12個維度的波動均比較小.由于傳統的距離函數將所獲得的14維數據向量都均等看待，放大了個別維度中異常數據所造成的影響，因此影響了整個聚類結果的合理性;但是本文提出的SMPC距離函數克服了傳統度量函數的這一缺陷，使得聚類結果更接近實際.因此，采用SMPC距離函數所獲得的遷移學習模型分類精度高于傳統的歐式距離函數.

3.2.2 輔助數據集的加入

選擇杭州灣大橋測點20作為目標分類測點，分別選擇同類輔助測點5和異類輔助測點8作為輔助訓練測點，代入UBITLA算法進行訓練.輔助數據集對遷移學習模型分類精度的影響如圖4和5所示.

圖4 同類輔助數據集的加入對遷移學習模型分類精度的影響Fig.4 Effects of similar auxiliary data sets on migration learning model classification accuracy

圖5 異類輔助數據集的加入對遷移學習模型分類精度的影響Fig.5 Effects of heterogeneous auxiliary data sets on migration learning model classification accuracy

實驗結果表明，同類輔助數據集的加入可以有效地幫助目標數據的學習，隨著目標數據集比例的增加，遷移學習模型分類精度不斷提高;異類輔助數據集的添加，有時會對目標數據的學習起到促進作用，但是隨著目標數據集所占比例的增加會出現相反的情況，這可能是由于異類輔助數據集數據與目標數據差異性較大，對遷移學習模型分類精度造成了一定的消極影響，導致分類精度下降.總之，引入同類輔助數據集能夠有效地在輔助數據與目標數據間進行知識遷移，提高對目標數據的學習效率和遷移學習模型分類的準確性.

4 結束語

本文圍繞遷移學習的基本理論和在數據分類問題中的應用，針對橋梁健康監測中監測數據存在的問題，提出了一個改進的遷移學習模型，并且介紹了模型總體思路和關鍵技術.通過對現役橋梁的監測數據的實驗，證明了該模型的有效性.隨著技術的創新、方法的完善，遷移學習在不久的將來會應用在不同的領域上，期待其有更好的創新.

［1］劉永前.大型橋梁結構健康監測技術研究與應用［D］.北京:北京交通大學，2007:1-12.LIU Yongqian.Research and application on structural health monitoring of long-span bridge［D］.Beijing:Beijing Jiaotong University，2007:1-12.

［2］李鵬飛，吳太成.橋梁健康監測技術研究綜述［J］.建筑監督檢測與造價，2010，7(7):28-31，40.LI Pengfei，WU Taicheng.A review of health monitoring techniques of bridge［J］.Supervision Test and Cost of Construction，2010，7(7):28-31，40.

［3］于重重，田蕊，譚勵，等.非平衡樣本分類的集成遷移學習算法［J］.電子學報，2012，40(7):1358-1363.YU Chongchong，TIAN Rui，TAN Li，et al.Integrated transfer learning algorithmic for unbalanced samples classification［J］.Acta Electronica Sinica，2012，40(7):1358-1363.

［4］許至杰.遷移學習理論與算法研究［D］.上海:華東師范大學，2012:4-10.XU Zhijie.Research about the theories and algorithms of transfer learning［D］.Shanghai:East China Normal University，2012:4-10.

［5］戴文淵.基于實例和特征的遷移學習算法研究［D］.上海:上海交通大學，2008:14-21.DAI Wenyuan.Instance-based and feature-based transfer learning［D］.Shanghai:Shanghai Jiao Tong University，2008:14-21.

［6］UNKELBACH J，YI S，SCHMIDHUBER J.An EM based training algorithm for recurrent neural networks［J］.Proceedings of the 19th International Conference on Artificial NeuralNetworks. Berlin/Heidelberg:Springer-Verlag，2009:964-974.

［7］DAI Wenyuan，XUE Guirong，YANG Qiang，et al.Transferring naive Bayes classifiers for text classification［C］//Proceedings of the 22nd National Conference on Artificial Intelligence.Vancouver，Canada，2007:540-545.

［8］RAINA R，BATTLE A，LEE H，et al.Self-taught learn-ing:transfer learning from unlabeled data［C］//The Twenty-fourth International Conference on Machine Learning.Corvallis，USA，2007:759-766.

［9］劉偉，張化祥.數據集動態重構的集成遷移學習［J］.計算機工程與應用，2010，46(12):126-128.LIU Wei，ZHANG Huaxiang.Ensemble transfer learning algorithm based on dynamic dataset regroup［J］.Computer Engineering and Applications，2010，46(12):126-128.

［10］邵昌昇，樓巍，嚴利民.高維數據中的相似性度量算法的改進［J］.計算機技術與發展，2011，2(2):7-10.SHAO Changsheng，LOU Wei，YAN Limin.Optimization of algorithm of similarity measurement in high-dimensional data［J］.Computer Technology and Development，2011，2(2):7-10.

［11］杜俊衛，李愛軍.一種基于聚類的文本遷移學習算法［J］.計算機系統應用，2010，19(12):238-241.DU Junwei，LI Aijun.Transfer learning algorithm for text classification based on clustering［J］.Computer Systems ＆ Applications，2010，19(12):238-241.

［12］戴群，陳松燦，王喆.一個基于自組織特征映射網絡的混合神經網絡結構［J］.軟件學報，2009，20(5):1329-1336.DAI Qun，CHEN Songcan，WANG Zhe.Hybrid neural network architecture based on self-organizing feature maps［J］.Journal of Software，2009，20(5):1329-1336.

［13］王戒躁，鐘繼衛，王波.大跨橋梁健康監測系統設計構成及其進展［J］.橋梁建設，2009(增刊2):11-16.WANG Jiezao，ZHONG Jiwei，WANG Bo.Designed components and development of health monitoring systems for long span bridges［J］.Bridge Construction，2009(S2):11-16.

［14］于重重，楊揚，涂序彥，等.DBSCAN算法在橋梁健康監測預測模型中的應用［J］.計算機工程與應用，2008，44(12):224-227.YU Chongchong，YANG Yang，TU Xuyan，et al.Application of DBSCAN algorithm in bridge-health monitoring prediction model［J］.Computer Engineering and Applications，2008，44(12):224-227.