視覺跟蹤多轉子位移測量

摘要

針對當前傳統振動傳感器在測量旋轉體位移時受限于安裝和測點數量等問題，將高速工業相機作為采集媒介，在轉子振動試驗臺上進行轉子振動視頻的采集，并利用基于多目標跟蹤的視覺振動測量方法跟蹤多個轉子目標的全場振動位移。將注意力機制引入殘差神經網絡，結合特征金字塔網絡結構建立改進的特征提取骨干網絡，并利用身份重新識別方法來強化相鄰幀間目標位移的關聯性，跟蹤旋轉體全場振動位移信號。在轉子振動位移測量數據集上對不同網絡模型進行定性和定量的比較。結果表明，本文構建的網絡模型在邊界框回歸時能夠獲取更為緊密的貼合度；將采集的電渦流位移信號作為標準量進行兩個轉子位移信號的對比實驗，結果表明，本文多目標跟蹤算法擬合的波形和頻譜噪聲最小，且能與電渦流信號相匹配；在目標對象模糊情況下的實驗也證明本文算法所具有的泛化性能，這也體現出視覺測量在旋轉體振動位移跟蹤領域的工程應用價值。

關鍵詞

視覺測振; 深度學習; 多目標; 視覺跟蹤; 模糊圖像; 旋轉體位移測量

引 言

旋轉機械是工業生產中的基礎性設施，廣泛的應用于航空發動機、動量輪、高速分子泵等旋轉設備中。這些設備中的旋轉體在復雜工況下長期服役后，時常出現不對稱、不對中、磨損和斷裂等故障。基于振動信號測量的結構體健康監測技術在有效避免人員傷亡和經濟損失方面發揮了不可替代的作用［1?2］。目前，基于高頻響振動的觸覺式加速度傳感器測量是一種常用的旋轉體故障檢測方法，但附加質量效應和無法直接吸附被測體而引起的誤差必然會影響測量的精度。因此，基于非接觸式的位移測量傳感器在特定的工業場景發揮了獨特的檢測優勢，如利用電磁感應原理測量探頭與金屬導體之間相對位移變化的電渦流傳感器。列舉的兩種傳感器只能獨立測量單點的一維信號，而多點甚至多目標測量時只能依靠數量彌補其缺陷。因此，研究一種非接觸式的多振點、全場測量方法進行可靠的結構體健康監測具有重要的經濟價值和意義。

作為一種遠距離、非接觸、多維的振動位移測量方法，視覺測量逐步得到廣大專家和學者的認可。該方法根據提取的目標特征選擇合適的數字圖像相關算法，獲取視頻中既定目標的類別和位置信息，通過映射目標在圖像中的像素值回歸出目標指定點的位移偏移量信息。但是大部分基于數字圖像相關的視覺測量方法因本身固有的缺陷而導致其在目標識別和位移關聯方面陷入理論和技術方面的瓶頸。如工業相機在振動視頻采集過程中會產生畸變效應，這種不可避免的物理缺陷會放大目標產生未知幾何變形的程度；基于灰度［3］、形狀［4］、顏色［5］和梯度［6］特征進行視覺測量算法也會因少量的特征參數無法對旋轉體有效識別，尤其在面臨高頻、微幅和無表面處理的振動測量時略有不足。因此，盡管視覺測量位移的方法具有較強的適用性，但是如何增強目標識別和振動位移之間的聯系是實現視覺位移可靠性測量的關鍵所在。

視覺位移測量可根據應用場景、結構對象選擇基于序列幀的視頻跟蹤方法。視頻跟蹤方法納入幀間相對運動信息，將時域信息和空間信息相互融合。與常規圖像檢測方法相比，視頻追蹤方法可以在振動信號位移的處理速度和檢測精度之間進行有效平衡，如基于時空上下文［7］、支持向量機模糊融合［8］和遺傳算法［9］等相關搜索算法。而基于亮度不變和小范圍運動假定，用于估計局部位移的速度場的光流法［10］仍無法解決特征點數量區間不確定的難題。也有學者嘗試采用雙目視覺［11］、模式匹配［12］、遠程智能感知［13］等方法測量結構的位移和幾何變形。

近期，基于深度學習的視覺檢測方法開始應用于結構體的位移測量，深度神經網絡開始逐漸在視覺振動測量領域展現出普適性優勢，但算法仍然存在部分瑕疵。如利用Mask?RCNN網絡測量結構體位移偏移量時［14］，像素級分割方法會存在固有的耗時缺陷；將多分辨率深度學習特征框架用于橋梁振動位移監測時［15］，常規卷積中的規格采樣會導致網絡難以適應幾何形變［16］。因此，嘗試將模板匹配、光流法、視覺增強［17］等算法與深度學習算法相結合［18］，是提高位移測量精度的另外一條主線，或者結合長短期記憶?遞歸神經網絡（LSTM?RNN）和多目標學習［19］進行振動信號分量預測。除此之外，利用生成對抗網絡重建高分辨率邊緣信息［20］以提高人工標志物的清晰度也同樣有利于提高振動測量的準確度，但這些方法仍未考慮測量多目標振動信息時因目標相似而發生信息切換的問題。與傳統目標檢測算法比較，深度學習方法可以自動學習包含上萬參數的特征表示，同時深度模型使學習過程效率更高。

雖然深度學習方法在檢測精度上具有獨特的優勢，但是在選定振動對象進行算法框架和模型的遷移、微調和推理過程中仍然存在一些亟待解決的問題。如在考慮檢測精度的同時需考慮時間成本，檢測的目的在于目標的存在，而振動測量是計算目標位移偏移量；檢測模型回歸邊界框只注重是否覆蓋振動目標而非邊界框的貼合度；在多目標表觀特征相似時，目標身份切換也會引發振動信號混亂；另外，除考慮工業相機受采樣定理約束而引發丟幀現象外，高幀率下的目標檢測也會因算法缺乏時空關聯性而產生“短時失憶”，這些都會導致部分時間節點內的位移偏移量缺失。

因此，本文將轉子作為視覺測量的研究對象，以高速工業相機作為采集媒介，利用設計的卷積神經網絡模型跟蹤視頻中多個旋轉體目標中心點的振動位移，與相對應電渦流傳感器采集的振動信號進行對比，實驗結果驗證了視覺測量旋轉體振動信號的可靠性。

1 多目標視覺跟蹤方法

本文在基于先檢測后跟蹤網絡框架Fair?MOT［21］基礎上，將殘差網絡（ResNet）與注意力機制（SE）相結合，強化學習多目標邊緣信息；引入特征金字塔（FPN）組合成骨干網絡，精細化局部信息和輪廓全局信息；通過無錨框的檢測算法估算旋轉體圖像的熱力映射特征、對象中心偏移量和邊界框大小，并利用身份重新識別（ReID）方法強化旋轉體在圖像幀之間的位移時空關聯性，最后根據視頻中每一幀目標的中心點坐標回歸出旋轉位移偏移量曲線。本文方法的整體流程如圖1所示。

1.1 旋轉體圖像目標檢測

目標檢測通常是指在圖像中利用邊界框檢測出待識別對象的類別和位置。以本文實驗對象轉子為例，基于關鍵點的無錨框算法CenterNet［22］更加強調獲取目標的形狀結構和位置特征，對規則的旋轉體進行無錨框檢測無疑是改善檢測精度最好的方式之一。CenterNet通過“目標即是點”的原則，將目標檢測問題轉變為標準關鍵點的估計問題，也就是將轉子目標檢測表達為整個轉子中心點的檢測。利用真實框中代表轉子目標左上和右下的坐標值，每個關鍵點可表示為：

1.1.1 特征提取模塊

鑒于轉子目標結構特征明顯且算法需滿足精度和速度要求，本文將較為淺層的特征提取網絡ResNet18［24］結合注意力機制（SE）和特征金字塔（FPN）作為骨干網絡，以提取高速轉子振動試驗臺的轉子特征。圖2中Conv2_X至Conv5_X分別表示數目為2并結合SE的殘差卷積（Conv3×3）層。Res34網絡Conv2_X至Conv5_X分別表示數目為3，4，6，3的殘差卷積網絡。同一殘差結構層可通過捷徑連接和元素相加執行圖3（a）的同等維度映射，不同殘差結構層可由圖3（b）的不同維度映射連接。這種跳躍連接方式不會增加額外的參數運算和計算復雜度。兩種計算方式分別表示為：

y=F（x，Wa）+x

y=F（x，Wa）+x

（10）

y=F（x，Wb）+Wlx

y=F（x，Wb）+Wlx

（11）

式中 WaWa和WbWb分別表示不同層的權重系數。

1.1.2 特征金字塔模塊

常規的目標檢測算法僅采用頂層特征進行高層語義特征預測，這種高尺度的全局定位只能粗略地獲取轉子目標的輪廓位置，而且多次的降采樣和上采樣操作使深層網絡的定位信息存在逐尺度遞增的偏移誤差。采用自底向上的金字塔多尺度特征融合方式將處理過的低層特征和高層特征進行累加，可以綜合獲取轉子目標的精細化局部信息和輪廓全局信息，提高目標檢測的魯棒性和定位錨框的貼合度。因此，構建一個更深層的特征金字塔（Feature Pyramid Networks，FPN）［25］可以有效融合多層特征信息，提高目標跟蹤環節中轉子位移偏移量預測的準確性。以圖4中構建的4層FPN架構為例，殘差網絡提取的轉子目標特征通過不同的卷積層下采樣（Downsample）后可以生成4個不同尺度的特征（C1，C2，C3，C4）。而FPN則是通過尺寸為1×1的卷積C4側向連接生成的特征層P4，經反卷積上采樣（Upsample）后將其與1×1逐點卷積后的C3相加生成P3，利用同樣的運算方式可以得到P2和P1。P3的計算公式可表示為：

P3 = Conv（1，1）⊙C3+?P4?

P3 = Conv（1，1）⊙C3+P4

（12）

1.1.3 注意力機制

在檢測骨干網絡殘差結構中加入SE［26?27］注意力機制不僅能夠提高網絡通道之間的關聯性，而且能夠促使模型主動鎖定不同通道特征的優先程度。如圖5所示，注意力機制首先在輸入特征圖層上執行全局池化（GAP），壓縮當前特征圖的全局特征量；再通過兩層全連接結構激發得到特征圖中每個通道的權值，并將加權（Scale）后的特征圖作為下一層網絡的輸入。圖2中改進殘差結構主要通過加入注意力機制以提高骨干網絡在邊緣特征提取的能力，有效應對轉子微幅振動時不明顯的邊緣變化，因此能夠在位移提取時獲得更好的位移信號。

1.2 旋轉體目標幀間匹配與跟蹤

提高轉子圖像中檢測目標的匹配相似度和定位精度可以通過跟蹤分支強化旋轉體圖像幀間的位移時空關聯性來實現。如圖6中的跟蹤流程圖所示，跟蹤分支包含邊界框（Bbox）、置信度（Confidence，取值0.6）、身份重新識別（ReID）嵌入的轉子特征（Embeddings）。其中，置信度對檢測器生成的轉子邊界框進行篩選，將設定之外的目標框剔除，邊界框和Embeddings則用于跟蹤分支的匹配計算。本文將檢測分支并行輸出作為跟蹤分支的輸入，利用跟蹤器對第一幀軌跡進行初始化操作。首先利用卡爾曼濾波器進行轉子目標的身份預測、級聯匹配和迭代更新。其次，級聯匹配根據不同優先級將賦予每個轉子目標一個單獨的跟蹤器，即確定目標身份并保持至下一幀。上一幀最先匹配的跟蹤器具有匹配的優先權，而未完成匹配的跟蹤器則降低優先權。卡爾曼濾波器根據當前狀態進行下一幀目標中心點的狀態預測，再將預測結果與測量結果進行迭代更新，若完成匹配和更新，則達到跟蹤轉子目標的目的。

更新模塊部分包括匹配、追蹤更新和特征更新。匈牙利匹配算法是一種完成目標與跟蹤器匹配的常用算法，但該算法為了完成盡可能多的匹配任務而極易陷入目標身份切換。因此，本文針對運動信息和外觀信息的計算特點，利用馬氏距離（Mahalanobis）和余弦距離（Cosine）比較目標與跟蹤器的相似度，將目標與跟蹤器的交并比作為置信度的高低，并通過優化度量方式實現更優匹配。追蹤更新包含三個階段：已被匹配的轉子目標在當前幀繼續保持匹配狀態，并利用卡爾曼濾波器進行更新；未匹配的轉子目標將更新一個新的跟蹤器進行目標匹配；完全未匹配到目標的跟蹤器則直接刪除。

1.3 旋轉振動體位移提取

旋轉體視覺振動位移測量本質上是獲取振動視頻中每一幀每個轉子目標的中心點坐標。本文分別提取視頻測試幀圖像中每個轉子目標的中心點，以轉子目標在視頻第一幀中心點的位置信息作為計算位移偏移量的參考幀，計算公式為：

{D1n=（X1cn?X1c0，Y1cn?Y1c0）D2n=（X2cn?X2c0，Y2cn?Y2c0）

D1n=（Xcn1-Xc01，Ycn1-Yc01）D2n=（Xcn2-Xc02，Ycn2-Yc02）

（13）

式中 （X1cn，Y1cn）（Xcn1，Ycn1）和（X2cn，Y2cn）（Xcn2，Ycn2）代表振動視頻中第n幀轉子1和轉子2中心點坐標，D1nD1n和D2nD2n分別代表轉子1和轉子2在第n幀的振動位移偏移量。

以公式（13）的計算方式分別回歸出所有視頻幀各轉子目標中心點在像素坐標系內的振動位移偏移量，最后分別對其數據歸一化處理。振動位移時域信號提取的流程如圖7所示。圖中Tn代表視頻序列幀。

2 實 驗

為了驗證視覺測量對旋轉體振動位移跟蹤的可靠性，本文將常見的轉子作為實驗對象構建高轉速下的轉子振動位移測量數據集，并利用該數據集進行不同網絡模型的訓練和測試比較。本文將同步采集的電渦流位移信號作為標準位移偏移量，對不同深度學習算法視覺位移測量結果進行比較。同時，在目標對象模糊情況下的實驗，驗證本文算法所具有的泛化性能。

2.1 實驗設置和設備

由于旋轉體本身難以直接使用接觸式傳感器測量振動信號，因此實驗特意選用同樣是非接觸式采樣的電渦流傳感器進行振動信號的采集。由于電渦流采集信號屬于連續時間域的近距離振動響應測量，局部振點的測量精度相對較高，因此本文將其作為參照的標準振動信號評價視覺振動測量算法的可行性，將其同步采集的多通道局部位移信號進行離散化處理，與基于圖像的離散時間域全域空間測量進行多個振點的一一對應。本節將高速工業相機（千眼狼5F01，分辨率為512×16時幀率最高可達到128000 fps）和電渦流傳感器（上海歐多?9000，Scale Factory為2.5 V/mm，VT為15 V）兩種不同采集原理的傳感器作為旋轉體位移采集的計量器，同步采集高速轉子振動試驗臺（南京東大Z?03）上轉子的振動視頻和電壓位移信號。為了使轉子在旋轉過程中產生輕微的振動，在轉子的左側安裝了一個緊固螺釘以誘發轉子產生不對中現象。光源（金貝EF?200LED）明暗度的適當調節可以有效增加圖像畫面的對比度，高速相機采集的圖像序列以設定的幀率直接存儲在自帶的設備中。實驗時將信號采集卡（NI?9234）的兩端分別與筆記本電腦（Honor Magic book pro）和電渦流傳感器相連接，利用編譯的同步采樣模塊采集設定時間段內的圖像信息和電渦流位移信息。通過模擬臺調速器調節不同的電壓值，保證轉子轉速一定。在振動位移數據采集前，實驗設定高速相機的鏡頭與轉子的垂直距離為1500 mm，光源與相機呈45°擺放，并采集不同方向標定板圖像對相機參數進行標定；電渦流傳感器的探頭方向與轉子的水平中心線重合，兩者之間的距離為2.5 mm。整套實驗設備的真實現場圖如圖8所示。設置高速相機采集圖像的分辨率大小為512×512，像素精度為0.125 mm/pixel，幀率為2000 Fps，同時設置電渦流傳感器的信號采樣率為2000 Hz；兩個電渦流傳感器分別測量兩個轉子振動位移信息。因此，實驗在5 s內獲取轉速為24 r/s下的轉子圖像共10000序列幀；此外，單獨采集同種工況下圖像1000幀作為訓練集，并利用標注軟件YOLO?mark制作GT。因為轉子目標在圖像序列中目標大小不變，為減小人工標注誤差，使用統一的尺寸框進行人工標注。

本文的所有實驗均在臺式機（Intel（R） Core（TM） i5?10600KF CPU @ 4.10 GHz，16G內存，GPU為GeForce RTX 2080 super ，GPU顯存為8G）上進行，所有深度學習算法全部配置統一的運行環境（Ubuntu18.04， Cuda10.2， Pytorch1.7， torchvision0.8）。

2.2 模型測試

本次實驗共標注順序幀300幅圖像，并在不同骨干網絡中各訓練1000個epoch，實驗使用多目標轉子數據集進行網絡模型目標分類精度與定位精度的訓練、驗證與測試。本文使用的損失函數Total_loss如下式所示：

TLoss=LHm+LWH+LOff+LReID

TLoss=LHm+LWH+LOff+LReID

（14）

式中 LHm表示目標中心點損失，LWH表示目標邊界框寬高損失，LOff表示目標中心偏置估計損失，LReID為目標身份損失。總損失的變化體現算法學習的速度，總損失值的大小體現了真實值與網絡模型預測結果的差異大小。

原始殘差網絡（Res18）、結合注意力機制的殘差網絡（Res18_SE）、結合特征金字塔的殘差網絡（Res18_FPN）、更深層殘差網絡（Res34）、以及本文網絡（結合注意力機制和特征金字塔的殘差網絡）在進行1000次epoch訓練后獲得的總損失變化曲線如圖9所示。從圖9中可以看出本文使用算法的TLoss下降較快，且損失值小于其他的算法。這也表明本文算法能夠更快更好地學習轉子表觀特征，因此能夠在跟蹤振動位移時獲得更精準的位移信號。深度學習算法對轉子目標進行檢測的準確性可以通過不同網絡對轉子預測的Bbox貼合度來反映。利用不同算法對圖像序列幀中轉子推理測試后發現，深度學習方法確實能夠實現有效的轉子目標檢測與跟蹤。

以隨機挑選圖像數據集中的三幅圖像為例，本節分別將Template matching（模板匹配），Res18，Res_SE，Res_FPN，Res34和本文網絡共6種方法的跟蹤結果列舉在圖10中，并逐個與對應的人工標注結果進行定性比較。從圖10中可以看出，所有視覺位移測量方法回歸的Bbox均能實現目標跟蹤，各種算法回歸的目標區域與人工標注極度相似。從圖像目標檢測和追蹤的角度來看，轉子目標的檢測已經完全符合目標完整度的要求，但是從振動位移測量的角度來說，這種完整度的測量標準還遠遠達不到位移測量精確度的嚴格要求，需要在位移信號曲線擬合度的實驗中進行更加詳實的實驗證明。在圖中通過橙色（多框選）、綠色矩形框（欠框選）對不同算法檢測兩個轉子（圖像中左右轉子分別稱為轉子1，2）的結果進行誤差區域標記，可以看出，Res18網絡回歸轉子1，2的邊界框在四個方向上都存在空白區域，說明了此算法并不能充分學習轉子邊緣特征，即不能精細化回歸轉子目標邊界框。Res18_SE網絡回歸轉子1的邊界框在上下兩個方向上存在欠框選區域，而在左右兩個方向區域擬合較好，回歸轉子2的邊界框時貼合緊密。這也表明加入SE注意力機制能夠有效學習轉子的邊緣信息，并回歸更緊密的邊界框。Res18_FPN檢測結果與人工標注的標準框相比，雖然轉子1邊界框存在空白區域，而轉子2存在欠框選區域，但相比于原網絡Res18較準確的邊界框，加入FPN可以有效融合高低層語義信息，提高預測目標的魯棒性。更深層的Res34網絡回歸轉子邊界框也存在多框選的情況。與人工標注標準框再次比較時可以發現，結合FPN，SE后本文目標跟蹤算法回歸的邊界框能夠獲取更為緊實的貼合度。根據表1中最小損失（MINloss）、權重大小（Weight）、每秒跟蹤幀數（Fps）和均值平均精度（MAP）的定量比較結果可知，雖然本文算法的Fps略小于Weight較小的算法，但在權衡速度和精度前提下，本文算法速度仍高于傳統模板匹配算法和較深網絡Res34。結合各網絡回歸兩個轉子邊界實例可以看出，圖像中轉子2有更規整的表觀特征，從而在預測時更易貼合目標邊界。

2.3 不同傳感器信號對比

圖11和圖12分別為不同視覺振動測量算法與電渦流采集信號進行兩個轉子目標同步比較的時域圖。如圖所示，除模板匹配外的其他視覺測量算法均在回歸的位移軌跡上與電渦流采集的類正弦信號相似，且表現出的近似穩定的周期特性，但不同視覺測量算法獲取的位移信號中卻存在噪聲較大和幅值不對應等問題。從圖11和12中顯示的結果中可以看出，模板匹配算法得到的結果是像素級位移，因此在回歸轉子位移曲線時導致所屬曲線上的采樣點在近似周期內產生頻繁或間歇性的階躍跳動。在圖11中，Res18算法在回歸轉子1的位移信號時存在較大噪聲且峰底幅值偏低，很難與電渦流位移信號相擬合，此類異常的原因可以歸結于第2.2節Res18回歸轉子1邊界框時存在空白區域，在表2中峰值也有很好的體現。Res18_SE也因欠框選原因使峰底信號丟失，從而發生信號局部突變現象。Res18_FPN回歸的整段信號雖然在幅值和周期上與電渦流信號差異不大，但信號存在較多噪點。Res34網絡在峰底時存在信號堆疊，存在一定噪聲；而本文算法回歸轉子1位移信號相比于其他視覺測量方法噪聲較小。Res18算法在跟蹤轉子2的位移時，位移曲線峰底出現信號堆疊且整體存在較多噪聲點。由表2的定量分析結果也可以發現，其峰峰值、有效值與標準電渦流值相差較大。圖12中Res18_SE整體位移信號噪聲較小且在表2中各類值回歸均準確，但峰頂信號缺失的現象與轉子檢測時出現的欠框選區域有極大的關聯。Res18_FPN回歸的位移曲線要比上述兩種算法平滑，但是與電渦流信號相比仍然存在一定的噪聲。與較深網絡Res34回歸轉子2時域信號相比，本文算法噪聲小，且曲線能與電渦流曲線較好擬合。由圖11中回歸轉子1的位移曲線可知，由于實驗時高速工業相機拍攝轉子1時引入過多無關信息，因此所有視覺算法在擬合曲線上升和下降階段存在一定差異，且峰值點與電渦流到達時間也不一致。由圖12中回歸轉子2位移曲線可知，高速工業相機拍攝存在些許角度偏移導致擬合位移曲線下降階段滯后電渦流傳感器信號。對比圖11和圖12，轉子1相比于轉子2視覺回歸位移信號存在一定的噪聲，證明視覺測量位移擬合會因表觀特征造成差異。即使視覺測量方法在檢測轉子目標時精度都高達99%以上，但并不意味著這些算法具有較好的位移測量性能。由于目標轉子屬于特征明顯的規則結構體，而網絡模型的訓練會在很短的訓練頻次內出現數據快速擬合現象，這就導致總損失值在較長的一段時間內收斂速度降慢。雖然網絡模型的檢測精度很高（MAP值為1），但預測框無法貼合轉子的實際邊界會引起其他視覺位移測量曲線產生周期性的誤差，而本文算法結合SE，FPN能夠保證轉子目標存在特征差異時，位移信號擬合精準且噪聲較小。

綜合圖11和圖12的結果后發現，同類別算法在回歸轉子1，2曲線時，轉子2的位移曲線擬合更好，這也驗證了第2.2節中轉子2因比轉子1特征明顯而在回歸時更好地貼合轉子目標的定論。如圖13和圖14所展示的頻譜分析結果，不同算法學習轉子特征時有不同的側重點，因此不同算法2倍頻特征存在明顯差異。此外，在零倍頻和1倍頻上，頻率幅值上有明顯的差別，這與時域信號有關，如圖11和圖12所示，即時域信號噪聲越大，零倍頻幅值越大，1倍頻幅值越小。本文算法體現出主峰峰值幅值一致性以外且頻率噪點小，而其他算法較多的頻率峰值與電渦流相比均有差別。這也能夠說明本文的算法在回歸位移曲線時，頻率和振幅能與電渦流信號相匹配。

2.4 對象模糊狀態下測試

在視覺振動測量中，過分追求較高幀率和處理速度必然促使采集設備降低圖像分辨率，從而導致采集的低分辨率視頻出現模糊現象，同時也會存在典型背景干擾導致拍攝目標特征不明顯的現象。為了模擬復雜高動態場景下的工業現場，將采集的圖像進行4倍下采樣后獲取低分辨率的圖像和目標。采集的原始圖像和下采樣后對應的低分辨率圖像如圖15所示，圖15（b）中兩個轉子邊界存在明顯的邊緣模糊現象。對視覺振動測量而言，邊緣模糊無疑給振動測量的可靠性帶來很大的干擾。對于圖16中由于拍攝角度引入過多無關信息的轉子1而言，模糊后回歸的位移曲線與原始圖像回歸的位移曲線相比雖然在單個周期內的位移曲線上均產生了微弱的偏差，但仍然保持近似的周期性。而因本文算法穩健的魯棒性測試轉子2目標的位移輸出依舊，在曲線擬合度方面保持近似一致的周期性。因此，本文網絡對于模糊場景下的視覺振動測量具有一定的優勢，且頻域圖17中降采樣后的模糊圖像測量數據與原始圖像、電渦流信號的1倍頻峰值以及頻率都能有效對應，這也驗證了本文網絡在實際應用場景的泛化性。

3 結 論

視覺位移測量因具有遠距離、非接觸和多點測量等特性，近年來開始逐漸應用于結構體健康監測領域。本文在提高旋轉目標檢測精度的同時增強振動位移的關聯性，利用深度卷積神經網絡進行視覺跟蹤測量多目標振動位移。將視頻信息和電壓位移信息進行不同視覺測量算法性能比較，本文網絡在旋轉體視覺位移多目標振動測量時具有較高的精度；對比不同振動測量方式后發現，視覺在測量點數、距離有獨特的優勢，但會因目標特征造成信號擬合的差異。不同轉子測量結果也體現出視頻幀間的目標重復識別有利于相鄰位移點之間的位置關聯。否則即使是識別精度更高的圖像檢測算法，在振動位移信號提取時還是存在較大的抖動誤差。另一方面，由于轉子具有較強的通用性和互換性，其形態規則、特征明顯，所以基于關鍵點的追蹤網絡尤其適用于旋轉體的視覺振動位移測量。考慮到在對象模糊的情況下，本文將原始采集圖像進行四倍下采集操作，并與原始圖像測試比較，實驗結果驗證本文算法在目標不清晰的情況下仍然有較好的振動測量能力。

本文目前的實驗主要關注簡單背景下多目標轉子的位移測量，后期工作會將逐漸增加背景的復雜度和單個轉子的跟蹤維度，關注圖像拍攝角度對振動測量的影響，以構建出適用于復雜工業場景下的多目標視覺位移追蹤網絡。

參考文獻

1

Lu S L， He Q B， Zhao J W. Bearing fault diagnosis of a permanent magnet synchronous motor via a fast and online order analysis method in an embedded system［J］. Mechanical Systems and Signal Processing， 2018， 113： 36-49 [百度學術]

2

Jia F， Lei Y G， Guo L， et al. A neural network constructed by deep learning technique and its application to intelligent fault diagnosis of machines［J］. Neurocomputing， 2018， 272： 619-628. [百度學術]

3

Dong C Z， Ye X W， Jin T. Identification of structural dynamic characteristics based on machine vision technology［J］. Measurement， 2018， 126： 405-416. [百度學術]

4

Ehrhart M， Lienhart W. Development and evaluation of a long range image-based monitoring system for civil engineering structures［C］//Structural Health Monitoring and Inspection of Advanced Materials， Aerospace， and Civil Infrastructure 2015. San Diego， California， USA， 2015： 94370K. [百度學術]

5

Ye X W， Dong C Z， Liu T. Image-based structural dynamic displacement measurement using different multi-object tracking algorithms［J］. Smart Structures and Systems， 2016， 17（6）： 935-956. [百度學術]

6

Celik O， Dong C Z， Catbas F N. A computer vision approach for the load time history estimation of lively individuals and crowds［J］. Computers amp; Structures， 2018， 200： 32-52 [百度學術]

7

Dong C Z， Celik O， Catbas F N. Long-term structural displacement monitoring using image sequences and spatio-temporal context learning［C］//Structural Health Monitoring 2017.Stanford， CA，2017：3217-3223. [百度學術]

8

錢承， 鄂加強. 基于 FSVM 的起重機臂筒焊接變形測量研究［J］. 振動、測試與診斷， 2018， 38（6）： 1229-1233. [百度學術]

Qian Cheng， E Jiaqiang. Measurement research on welding distortion of crane arm tube based on Fusion of SVM and fuzzy logical theory［J］. Journal of Vibration， Measurement and Diagnosis， 2018， 38（6）： 1229-1233. [百度學術]

9

葛朋祥， 葉沛， 李桂華. 基于遺傳算法的數字圖像相關法在微位移測量中的應用［J］. 光學學報， 2018， 38（6）： 198-203. [百度學術]

Ge Pengxiang， Ye Pei， Li Guihua. Application of digital image correlation method based on genetic algorithm in micro-displacement measurement［J］. Acta Optica Sinica， 2018， 38（6）： 198-203. [百度學術]

10

Khaloo A， Lattanzi D. Pixel‐wise structural motion tracking from rectified repurposed videos［J］. Structural Control and Health Monitoring， 2017， 24（11）： e2009. [百度學術]

11

邱志成， 汪先鋒. 基于雙目視覺的振動測量及控制［J］. 振動、測試與診斷， 2018， 38（1）： 51-58. [百度學術]

Qiu Zhicheng， Wang Xianfeng. Vibration measurement and control based on binocular vision［J］. Journal of Vibration， Measurement and Diagnosis. 2018， 38（1）： 51-58. [百度學術]

12

Lydon D， Lydon M， Taylor S， et al. Development and field testing of a vision-based displacement system using a low cost wireless action camera［J］. Mechanical Systems and Signal Processing， 2019， 121： 343-358. [百度學術]

13

邵帥， 周志祥， 鄧國軍， 等. 基于非接觸遠程智能感知的橋梁形態監測試驗［J］. 中國公路學報， 2019， 32（11）： 91-102. [百度學術]

Shao Shuai， Zhou Zhixiang， Deng Guojun， et al. Experiment of structural morphology monitoring for bridges based on non-contact remote intelligent perception method［J］. China Journal of Highway and Transport， 2019， 32（11）： 91-102. [百度學術]

14

Zhang Y， Liu P， Zhao X F. Structural displacement monitoring based on mask regions with convolutional neural network［J］. Construction and Building Materials， 2021， 267： 120923. [百度學術]

15

Zhu J S ， Zhang C， Lu Z Y ， et al. A multi-resolution deep feature framework for dynamic displacement measurement of bridges using vision-based tracking system［J］. Measurement， 2021， 183：109847. [百度學術]

16

Dai J F， Qi H Z， Xiong Y W， et al. Deformable convolutional networks［C］//Proceedings of the IEEE International Conference on Computer Vision.Venice， Italy，2017： 764-773. [百度學術]

17

Huang M F， Zhang B Y， Lou W J， et al. A deep learning augmented vision-based method for measuring dynamic displacements of structures in harsh environments［J］. Journal of Wind Engineering and Industrial Aerodynamics， 2021， 217：104758. [百度學術]

18

Xu Y， Zhang J， James B. An accurate and distraction-free vision-based structural displacement measurement method integrating Siamese network based tracker and correlation-based template matching［J］. Measurement， 2021， 179：109506. [百度學術]

19

Liu J T， Yang X X， Li L. VibroNet： recurrent neural networks with multi-target learning for image-based vibration frequency measurement［J］. Journal of Sound and Vibration， 2019， 457： 51-66. [百度學術]

20

Son K S， Jeon H S，Chae G S， et al. A fast high-resolution vibration measurement method based on vision technology for structures［J］. Nuclear Engineering and Technology， 2021， 53：294-303. [百度學術]

21

Zhang Y F， Wang C Y， Wang X G， et al. A simple baseline for multi-object tracking［J］. arXiv：2004. 01888， 2020. [百度學術]

22

Zhou X Y， Wang D Q， Kr?henbühl P. Objects as points［J］. arXiv：1904.07850， 2019. [百度學術]

23

Law H，Deng J. Cornernet： detecting objects as paired keypoints［J］.International Journal of Computer Vision，2020，128：642-656. [百度學術]

24

Kipf T N， Welling M. Semi-supervised classification with graph convolutional networks［J］. arXiv preprint arXiv：1609.02907， 2016. [百度學術]

25

Lin T Y， Dollár P， Girshick R， et al. Feature pyramid networks for object detection［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， Hawaii， USA，2017： 936-944.. [百度學術]

26

Hu J，Shen L， Albanie S，et al. Squeeze-and-excitation networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019，42（8）：2011?2023. [百度學術]

27

Wang Q L，Wu B G，Zhu P F， et al. ECA-Net： efficient channel attention for deep convolutional neural networkss［J］. arXiv： 1910.031512019. [百度學術]