一種深度學習結合遷移學習推斷大壩缺失監測值的方法

王麗蓉,鄭東健

(1.中國電建集團西北勘測設計研究院有限公司,西安 710065;2.河海大學水利水電學院,南京 210098)

0 前 言

大壩安全監測系統運行環境復雜，隨著時間推移，難以避免出現傳感器損壞，電源和通訊中斷等監測系統故障，導致大壩安全監測數據缺失，破壞了監測資料的連續性和完整性，尤其大壩內觀儀器一旦損壞失效，難以修復，監測數據的缺失不利于大壩安全狀態的分析。

大壩安全監測資料的缺失補全，目前主要通過臨近時間和相鄰測點進行推斷。如李夢龍等[1]通過KNN(K-最近鄰方法)搜索與缺省值樣本相關性最高的有效樣本，計算相關樣本平均值即得到預測值；這種方法比較簡潔，但用均值代替缺省值，可靠性難以保證。王娟等[2]基于核獨立分量分析(KICA)，對損壞測點的相關測點進行非線性變換，提取獨立分量，將獨立分量作為輸入，損壞測點測值作為輸出，通過訓練，建立關聯向量機(RVM)模型，實現測值缺失補全。但RVM的訓練需要缺失時段之前和之后的監測數據，僅能進行中間缺失段的插補，不適合儀器損壞后再無新增測值的情況。

可見現有方法常常利用相關測點推斷損壞測點缺失值，而相關測點的選取局限在與損壞測點相同的監測項目中；實際上不同項目測點測值，如變形、應力、揚壓力等從多方面反映大壩性態，本質上是大壩在內外因素作用下的不同響應，不同項目測點與損壞測點的時空關系也是進行缺失值推斷估計的重要信息源。同時，當測點損壞時間較長，自身積累的監測資料不足時，現有方法難以在這種情況下保證推斷模型的充分訓練，使推斷值滿足精度要求；利用相似區域監測點的資料信息，通過遷移學習，可以彌補自身監測資料的不足。

為此，本文在深入分析大壩安全監測資料缺失值特點的基礎上，運用深度學習中的卷積神經網絡(Convolutional Neural Network，CNN)和遷移學習中的finetune方法，挖掘工作性態相似區域，不同監測項目測值與損壞測點測值的內在邏輯關系，提出深度學習結合遷移學習的測值缺失估計推斷方法，為實現大壩安全監測資料的缺失補全提供支撐。

1 基本理論

1.1 卷積神經網絡的建模原理

CNN是深度學習技術的一種，是一種前向有監督神經網絡，是傳統人工神經網絡[3]進一步發展的成果，具有自主抓取數據特征的特點，由于卷積層發揮卷積運算的作用，CNN專門用來處理具有網絡結構的數據。

圖1 卷積神經網絡基本構成

(1)

遷移學習(transfer learning)是機器學習的一個分支，利用數據、任務或模型之間的相似性將在舊領域學習的知識遷移應用于新領域，在數據眾多而訓練樣本缺乏時尤為實用[6]。舊領域即為源域(the source domain)，是有知識、有大量訓練樣本的領域，是遷移對象；新領域即為目標域(the target domain)，是需要賦予知識、賦予標注的對象；知識從源域傳遞到目標域就完成了遷移[7]。遷移學習的基本方法包括樣本遷移，特征遷移，模型遷移和關系遷移等學習方法。本文采用基于模型的finetune遷移學習方法[8-9]。

CNN對二維矩陣數據進行卷積運算時，遵循公式(2)的二維離散卷積公式。

(2)

將荸薺用大量清水洗去泥土，用去皮刀除去荸薺表面的褐色表皮，將去皮后的荸薺1 kg放置在5 L的玻璃容器中，加無菌水至沒過荸薺，浸泡5 min后濾除水分(浸泡時間過長，鮮切荸薺細胞嚴重失水)，反復浸泡清洗三次，濾干水分備用，該種去皮后的荸薺即為鮮切荸薺。

1.2 遷移學習的原理

公式(1)中：s(t)為信號的連續估計函數；函數x(·)為信號測量結果；w(·)為加權函數；a為測量結果距當前時刻的時間間隔；t為任意時刻。

硬度測試：同樣取樣自來水與凈化水、水量相等。各滴入硬度試劑兩滴，自來水瞬間呈粉紅色，而凈化水則呈現藍色，說明凈化水硬度更低，蘇泊爾R9713凈水機的軟化效果明顯。

1.2.1finetune遷移學習方法的原理

Finetune(微調)是一種深度神經網絡遷移形式。深度神經網絡由多個網絡層次構成，2014年，來自康奈爾大學的Jason Yosinski等人[10]率先進行了深度神經網絡可遷移性研究，研究結果表明神經網絡前幾層學習到的基本都是輸入數據的淺層特征，即通用特征，因此網絡前幾層對相似任務均有效。隨著網絡層次加深，后層網絡更偏重于學習數據特定的特征，對特定任務有效。以該研究結果為理論支持，finetune將在源域上訓練好的神經網絡遷移至目標域，針對目標域的特點將該神經網絡部分參數再進行調整，從而獲得匹配目標域的網絡模型。當目標域標注不足，即訓練樣本不足時，僅依賴目標域的可用數據難以將神經網絡訓練完全，引入finetune可解決該問題。

Finetune在遷移深度神經網絡時，神經網絡的前幾層參數固定，后幾層參數在源域上進行了預訓練，在目標域上調整時以預訓練結果為基準。因此finetune具有以下4個特點：

飲食及藥物：中藥中，香附、郁金、佛手、香櫞、玫瑰花等可以疏肝理氣，枸杞、女貞子、墨旱蓮、桑葚、黑芝麻等有養陰精、補肝腎之功。中成藥中的六味地黃丸有滋補肝腎之功，可用于肝腎陰虛出現的腰膝酸軟、頭暈目眩、耳聾耳鳴等；加味逍遙丸可治療肝郁血虛引起的兩脅脹痛、頭暈目眩、月經不調等。一些藥食同源之品，如菊花、桑葉、百合泡茶可以清肝明目，玫瑰花、月季花可以調經解郁，蓮子、芡實可補腎固精等。

(1) Finetune通過深度神經網絡的遷移實現了知識從源域轉移到目標域的效果。

(2) 新網絡模型前幾層的參數由源域決定，微調時不再改變，數據需求量大大降低，因此解決了目標域標注不足，即訓練樣本不足的問題。

(3) 對于目標域，不需要重新訓練神經網絡的全部參數，節省時間成本。

1.3.1二維超聲良性 表現為良性患者的結點的縱橫比值要小于1，邊界的形狀較為規則，且邊界可以清晰的分辨開來，結節內部出現的回聲相對較高，粗大鈣化較為明顯。結節周圍的環繞血液信號利用多普勒進行檢測，得到的信號為RI＜0.7。于此相比，惡性腫瘤的特征與此數據相反，惡性腫瘤患者橫縱比≥1，周圍血管不規則，且邊界較為模糊，結節內部的獲勝較低，表現出微鈣化現象，多普勒測定得到的血流信號為RI≥0.7。

(2)CNN模型通過找到相關測點與損壞測點之間的關系來推斷缺失值，分別對源域和目標域建立的CNN模型，測點間的關系應該類似。源域訓練樣本與目標域訓練樣本在監測項目、測點數量和測點位置上存在相匹配的對應關系。源域和目標域所在位置的壩體體型應該相似。

2 CNN缺失測值估計模型的遷移

2.1 CNN缺失測值估計模型

CNN測值估計模型就是用多次時間連續的相關測點監測數據，推斷損壞或失效時間的測點缺失值。即將相關測點二維矩陣輸入CNN測值估計模型，由CNN模型輸出測點缺失值。相關測點二維矩陣的高為相關測點監測次數、寬為相關測點數量。CNN模型學習相關測點和測點損壞前監測值之間的非線性隱式關系，然后將損壞時間相關測點監測數據輸入模型，即可實現損壞測點缺失測值推斷。用相關測點推斷損壞測點的缺失值，前提是相關測點與損壞測點存有的監測序列具有相關性。

2.2 源域的選擇

建立相關測點推斷損壞測點缺失值的CNN測值估計模型時，將損壞測點及其相關測點監測數據的集合作為目標域，與目標域具有相似特征的測點集合為源域。目標域的損壞測點監測值數量過少，不足以訓練CNN模型，需先用源域數據訓練CNN模型，再將CNN模型遷移至目標域。遷移成功的一個關鍵在于源域和目標域具有較強相似性。可依據以下幾點選擇源域：

(1)不同類型大壩的監測項目間具有不同的關聯關系，要求源域和目標域為相同類型大壩上的監測點。

(4) 模型預訓練在數據充足的源域上進行，無形中擴充目標域的訓練數據，使得新模型具有更好的泛化性能。

1.苗瘟：秧苗3葉期前發病，苗基部灰黑色，上部黃褐色，卷縮枯死。3葉期后發生的多在葉片上形成明顯病斑，與葉瘟癥狀相同，稱苗葉瘟。

2.3 CNN缺失測值估計模型的finetune遷移

若只存在1個源域，采用finetune方法將對源域訓練好的CNN測值估計模型遷移至目標域。inetune遷移學習過程如圖2所示，將CNN模型前幾層固定，不再調整前幾層網絡參數，用目標域的少量監測數據訓練CNN模型的后幾層，調整后幾層的網絡參數。再次訓練完成后finetune遷移的CNN模型即可適應目標域。

圖2 finetune遷移學習過程

3 實例分析

由表4可知：① 9號壩段正應力Sx、Sy、Sz推斷值的RMSE小于0.1 MPa，MAPE小于2.8%；② 13號壩段正應力Sx′、Sy′、Sz′推斷值的RMSE小于0.26 MPa，正應力Sy′、Sz′推斷值的MAPE小于6.2%；正應力Sx′推斷值的MAPE為35.2109%，RMSE為0.1166 MPa。CNN模型對Sx′、Sy′、Sz′的推斷值與實測值較為接近。

圖3 9號和13號壩段橫截面

3.1 建模思路

對協方差Pk同步進行調整，把位置x,y,z有關的矩陣元素調整到前t行前t列，即矩陣的左上角。針對目標跟蹤應用場景，t=3。

圖4 遷移學習建模思路

3.2 源域的合理性分析

聽力損失患者由于聽覺器官受損,其言語辨識能力下降,使得他們在噪聲環境中的語音理解力遠低于聽力正常者。噪聲環境中聽力損失患者的語音理解度是影響助聽器使用的關鍵因素之一[1],因此語音增強技術是助聽器中的一種核心技術,它能有效消除背景噪聲,改善語音質量,從而提高患者在噪聲環境中的語音理解度。

3.3 CNN測值估計模型所需數據集的構建

如圖1所示，CNN結構組成按順序為輸入層、卷積層、池化層、全連接層和輸出層。其中卷積層和池化層可依據待處理數據的復雜程度多次重復添加。卷積層和池化層的操作常在一個二維平面上進行，輸入數據在卷積層中經過卷積運算實現特征提取，而后在池化層中將特征數據降維，以避免過擬合并減輕運算荷載[4-5]，最后全連接層根據特征進一步處理數據。卷積層和池化層組合成的特征提取器在網絡訓練過程中自行優化，不需要人為干預。公式(1)是卷積運算公式。

表1 9號壩段CNN測值估計模型輸入數據示例

表2 9號壩段CNN測值估計模型輸出數據示例

輸入模型前先對所有監測數據以其所屬測點為單位進行Max-Min標準化，將測值歸一化到[0,1]區間，計算見公式(3)。

(3)

公式(3)中：xi為一段監測序列中的任意值；xmin為監測序列中的最小值；xmax為監測序列中的最大值；xi′為xi轉換后的值。

3.4 CNN測值估計模型建立

采用Python軟件編程，為節約訓練時間并提升學習效果，每7個輸入數據為一批輸入CNN模型，即batch=7，訓練900代，學習率為0.001，優化方法為Adam，誤差計算采用MSE(均方誤差)。CNN模型輸入數據矩陣形狀為10×4(10 d 4組變形測值)，輸出數據矩陣形狀為1×3(1 d 3方向正應力)，10、1代表時長，4、3代表測值序列數量；CNN包括3層，前兩層為卷積層conv1、conv2，最后一層為全連接層out，模型結構見表3。

表3 CNN測值估計模型結構

輸入conv1的數據特征層維數為1，輸出數據特征層維數為16，卷積核大小為3×3，步長為1，采取padding等于1的零填充方式，保證conv1的輸出數據與輸入數據高、寬相同；卷積操作后經過ReLU激活函數，增加神經網絡模型的非線性；隨后經過核大小為2×2、步長為2的最大池化層，將數據高、寬縮小一倍。輸入conv2的數據特征層維數為16，輸出數據特征層維數為32，卷積核大小為2×2，步長為1；卷積操作后經過ReLU激活函數。out層將包含32個特征的conv2輸出數據拼接、變換成包含3個特征的神經網絡輸出數據，即為正應力Sx、Sy、Sz的推斷值。

公式(2)中：S為特征映射；I為輸入的二維矩陣數據；K為卷積核；m、n為K的元素指數，m、n為整數，0 ≤m

輸入數據在CNN模型中的變換過程如圖5所示。

圖5 CNN測值估計模型中的數據變換過程

3.5 CNN測值估計模型的finetune遷移實現

由3.1節分析可知，將9號壩段的監測數據作為源域、13號壩段的監測數據作為目標域是可行的。可以將3.3節對9號壩段建立的CNN模型遷移至13號壩段，用于推斷13號壩段損壞測點應力值。為此，采用finetune方法將3.3節在9號壩段上訓練好的CNN測值估計模型遷移至13號壩段。采用Python軟件編程，學習率為0.001，訓練450代。如圖6，將CNN模型前兩層(conv1、conv2)固定，不再調整前兩層網絡參數，用13號壩段2015年7月14日至11月27日共103組測值訓練最后一層(out)，調整最后一層網絡參數。訓練完成后推斷13號壩段從2016年6月3日至10月8日的正應力Sx′、Sy′、Sz′。

圖6 finetune遷移學習過程

3.6 測點缺失值推斷結果分析

3.6.1直接建立的CNN測值估計模型

分別按照公式(4)和(5)計算9號壩段正應力(Sx、Sy、Sz)CNN模型推斷值，和13號壩段正應力(Sx′、Sy′、Sz′)CNN模型推斷值的均方根誤差(RMSE)及平均絕對百分比誤差(MAPE)，結果見表4。

表4 CNN模型推斷性能量化評估結果

(4)

(5)

綜上，針對急性闌尾炎實施手術治療的患者，在常規護理的同時實施心理護理進行干預，可有效改善患者的焦慮、抑郁情緒，效果較好，值得推廣。

某工程樞紐主要由擋水建筑物、泄洪消能建筑物、引(尾)水發電系統等組成。其中攔河大壩為碾壓混凝土重力壩，泄洪建筑物位于河床中部，自左至右依次布置左岸擋水壩段、左中孔壩段、河床5孔溢流壩段、右中孔壩段、右岸擋水壩段。大壩壩頂高程1 334.00m，最低建基面1 166.00 m，最大壩高168.00 m，壩頂長度516.00 m，最大底寬153.20 m。水庫正常蓄水位1 330.00 m，總庫容7.6億m3。壩址位于高山峽谷區，谷坡陡峻，地質構造相對復雜，兩岸地形總體坡面較為整齊，山體渾厚，河谷呈不對稱的“V”字型。安全監測設計依據國家有關規范和相關技術標準，結合電站地質條件和建筑物特點設置各類監測儀器和設施。主要監測內容包括環境量、變形監測控制網、壩體水平及垂直位移監測、壩基及壩體傾斜監測、壩體混凝土應力應變監測等。圖3為該重力壩9號壩段和13號壩段。

綜上所述，在9號和13號壩段上直接建立的CNN測值估計模型推斷效果較好。

3.6.2finetune遷移的CNN測值估計模型

繪出13號壩段測點的正應力實測過程線如圖7所示。監測時間為2015年3月18日至2016年10月11，其中圖7(a)的橫河向正應力Sx′測值波動大，圖7(a)和(b)的Sy′、順河向正應力Sz′分別在2015年6月21日、2015年7月22日出現臺階現象。

文學是對現實生活共性和個性創造性的提煉、塑造、超越、升華的藝術表達，人們在讀作品時，進入作品的情境，宛若經歷著主人公所經受的一切，體驗著主人公所有心理與情感。通過文學作品的文本，打破固定的文本界限，調動讀者情感與想象，加深對生命的體驗，獲得文學藝術的審美愉悅。古敦煌地區的人們，創造了有溫度、有情感、有審美的文學藝術世界，通過對《伍子胥變文》閱讀體驗，筆者從如下幾個方面探討其藝術特質：

圖7 13號壩段測點正應力實測過程線

計算finetune遷移模型推斷的13號壩段正應力的均方根誤差(RMSE)，以及平均絕對百分比誤差(MAPE)見表5。表5中13號壩段直接建模的誤差采用表4的評估結果。

由表5可知，finetune遷移模型推斷橫河向、順河向正應力Sx′、Sy′的RMSE小于0.15 MPa，順河向、垂直向正應力Sy′、Sz′ 的MAPE小于10.6%。finetune推斷的Sy′、Sz′值與實測值接近，推斷效果好，Sx′的RMSE較小，而MAPE為49.4173%，為Sx′量級(10-1)較小所致。

處理之后北側JC3、JC2穩定在現在的標高上，其他JC1、JC4基礎平穩緩慢地被抬升但仍未達到規范要求。因此采用八臺液壓千斤頂加以電腦輔助頂升控制，井架快速回傾至規范允許值以內井架墊板下口加塞大截面鋼板補襯，用C50高標號砼二次灌注。經礦方地測部門長期觀測，井架未發生新的傾斜。

表5 13號壩段finetune遷移的CNN模型推斷性能量化評估結果

繪出13號壩段正應力Sx′、Sy′、Sz′的估計值過程線見圖8，可見finetune遷移模型的推斷精度略低于直接建模，但是總體效果較好。

因混沌偽隨機序列的相關性對通信系統非常重要,要分析的因素較多,所以下面要對混沌序列的相關性展開具體的分析。

圖8 13號壩段正應力估計值過程線

4 結 論

本文針對大壩安全監測資料測值缺失的問題，運用深度學習和遷移學習方法，研究了應用不同監測項目，不同監測位置測點監測資料進行缺失測值估計推斷的方法，形成結論如下：

一是合理把握教材的難度．例題之間應留有合適的坡度，可以給學生探索和思考留白，但跨度太大，會對學生認知造成人為障礙．如何由“教材”轉變為“學材”，中國臺灣（甚至新加坡）等地的教材都能給予很好的啟示．

(1) 利用卷積神經網絡(CNN)專門處理網絡結構數據的特點和finetune遷移學習方法,將知識從源域轉移到目標域的能力，提出了缺失值CNN模型遷移學習估計法,并分析了模型遷移源域選擇的依據。

網絡初中數學原創精品資源基地的建立，旨在構建符合素質教育要求、變革教與學行為方式、融合數學文化的課程體系，提升學生學習快樂感和教師的職業幸福感.同時體現先行先為與分析共享結合，圍繞解決做什么、怎么做的問題，先行試驗、總結提升，通過各種形式建立便于向其他中小學和社區開放的資源共享平臺.

(2) 結合實際工程，建立了基于相同位置不同監測項目測點的缺失值估計CNN模型，通過finetune遷移方法，實現了不同位置缺失值估計模型的遷移。

(3) 實例分析表明，相同位置不同監測量缺失值CNN估計模型的缺失值推斷與實測值較為接近，遷移學習方法可以實現訓練樣本不足時的缺失值估計，缺失值估計誤差滿足測值允許中誤差的要求。