直升機光電吊艙自動跟蹤技術在輸電線路巡檢中的應用

金明磊 王鵬程 雷建勝

摘? ?要：傳統(tǒng)的有人直升機對架空輸電線路進行巡檢時，對搭載檢測設備的吊艙或者云臺必須手動進行控制以使待檢測目標一直處于視角范圍內，這需要巡視人員對視頻進行高度集中的觀察。為了減輕巡線員的負擔，提出了一種光電吊艙自動跟蹤方法。該方法選取Struck算法并利用Haar特征描述運動目標，跟蹤過程中，搜索上一幀目標區(qū)域的鄰近位置，利用Structured Output SVM對待選區(qū)域進行二元分類，取得分最高的候選區(qū)域作為當前運動目標跟蹤的結果。實驗結果表明，算法的平均偏移率（視場角）為1.6%，目標丟失率為14%，能夠對桿塔、絕緣子、均壓環(huán)等輸電線路關鍵部位進行實時跟蹤。

關鍵詞：直升機;輸電線路;巡視光電吊艙;自動跟蹤;Struck;SVM;

中圖分類號：TP273+.5? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A

Automatic Tracking Technology of Helicopter Patrol Photoelectric

Pod in Inspection of Overhead Transmission Line

JIN Ming-lei1?，WANG Peng-cheng2，LEI Jian-sheng1

（1. Tianjin Aerospace Zhongwei Data System Technology Co.，Ltd.，Tianjin 300301，China;

2. School of Electronic and Information Engineering，Tianjin University，Tianjin 300072，China）

Abstract：When a traditional helicopter is used to inspect an overhead transmission line，the pod or cradle head equipped with testing equipment must be manually controlled so that the target to be tested is always within the range of vision，which requires highly concentrated observation of video by the inspectors. In order to reduce the burden on the lineman，an automatic tracking method for the photoelectric pod is proposed. It selects Struck algorithm and uses Haar features to describe moving targets. In the tracking process，it searches the adjacent location of the target region of the previous frame，and uses structured output SVM to deal with the selected regions for binary classification，the candidate region with the highest score is obtained as the result of tracking the current moving target. The experimental results show that the average deviation rate （field Angle） of the algorithm is 1.6%，and the target loss rate is 14%，which can track the key parts of transmission line，such as tower，insulator and equalizing ring，in real time.

Key words：helicopter;transmission line;patrol photoelectric pod;automatic tracking;Struck;SVM;

傳統(tǒng)的有人直升機在對架空輸電線路進行巡檢的過程中，都需要手動控制搭載檢測設備的云臺或者吊艙使待檢目標始終處于視角范圍內，因此，巡線員必須高度集中觀察視頻[1-2]。光電吊艙自動跟蹤技術能夠減輕巡線員的負擔，通過跟蹤結果的位置反饋，自動調整吊艙姿態(tài)，使被關注的目標始終處于視野中央。

2013年BenchMark通過大量實驗比較了SCM、TLD、ALSA、LSK、SCM、STC、CT、Struck等算法[3]，當物體運動過快時，Struck、TLD等大密度采樣的算法效果更好，而隨機搜索的算法SCM、ASLA等由于粒子數(shù)的限制跟蹤不穩(wěn)定;在遮擋情況下，結構學習和稀疏表示的方法使得Struck，TLD，LSK，ALSA等算法更有效[4];在尺度縮放情況下，Struck和采用仿射運動模型的ALSA、SCM算法的適應性更好。Struck算法在綜合性能上比其他算法更為優(yōu)越，因此，選取Struck算法進行運動目標跟蹤[5]。

1? ?算法思路或研究路徑

Struck算法主要包括運動模型、特征提取、觀測模型和模型更新四部分[6]，具體研究思路如圖1所示：根據上一幀或初始運動目標的位置，在當前圖像幀中通過運動模型估計目標的候選區(qū)域，提取候選區(qū)域的Raw、Haar、直方圖等特征，輸入觀測模型Structured Output SVM，判斷候選區(qū)域是否屬于運動目標[7]。

2? ?研究方法

2.1? ?運動模型

假設上一幀目標所在區(qū)域中心為（x0，y0），候選區(qū)域中心點的獲取方法如下圖所示，以（x0，y0）為圓心，R為半徑，所有處于該圓內的整數(shù)坐標點都可以作為候選區(qū)域的中心點。候選區(qū)域的大小始終與初始目標相同。

該運動模型在上一幀目標周圍的360度范圍內進行候選區(qū)域的提取，更好地適應目標在各個方向的運動。候選區(qū)域獲取示例圖如圖2所示。

2.2? ?特征提取

特征提取是將原始目標區(qū)域圖像轉換為一組具有明顯物理意義、統(tǒng)計意義或核的特征[8]。一般，桿塔在巡線視頻幀中占據較大面積，且與周圍環(huán)境灰度差異較大，可以直接對桿塔區(qū)域進行縮小提取Raw特征或者采用直方圖特征進行跟蹤[9]。絕緣子的傘裙是均勻間隔分布，具有規(guī)律矩形特點，且與周圍環(huán)境灰度差異較大，可以采用Haar特征或直方圖特征進行跟蹤[10]。

因此，本算法提取Raw、Haar、直方圖等三個特征，特征可以單獨被使用，或者聯(lián)合使用。

（1）Raw特征。將圖像轉換到灰度空間中，并縮放固定的大小（如16*16），直接采用原始的像素值作為特征。

（2）Haar特征。如圖3所示，a、b、c、d、e、f每個特征都是由白色填充區(qū)域像素值之和與黑色填充區(qū)域像素之和的差值計算得到。其中a、b屬于邊緣特征，c、d屬于線特征，e屬于對角特征，f屬于點特征。

（3）直方圖特征。如圖4所示，分別統(tǒng)計a、b、c、d幾個圖形中各個區(qū)域的直方圖，并將所有區(qū)域的直方圖聯(lián)合起來作為該目標的直方圖特征。普通PC機上，采用直方圖特征或者聯(lián)合兩個特征，幀率都處于10幀以下，無法滿足實時性要求，因此，選擇的特征應當為Haar特征或者Raw特征，而Raw特征在目標描述上不如Haar特征，因此，在實際操作過程中，可以只選取Haar特征作為特征提取的方法。

2.3? ?觀測模型

觀測模型即判定候選區(qū)域是否屬于運動目標。本算法采用structured output SVM對每個候選區(qū)域進行分類，輸出每個候選區(qū)域屬于運動目標的概率（得分），取概率（得分）最大者作為當前幀的跟蹤結果。假設pt-1表示上一幀的目標位置，一個樣本對可以表示為（x，y），其中y表示的是目標的變換，學習預測函數(shù)f：X→Y可以直接估計幀間的變換。即

其中F表示的是分類函數(shù)F：X×Y→R，度量的是（x，y）的匹配性，匹配度高，得分越高。將F（x，y）的格式限制為

其中，?（x，y）表示的是聯(lián)合映射，可以通過一系列的訓練樣本對采用最小化凸目標函數(shù)進行學習。

2.4? ?模型更新

2.4.1? ?樣本獲取

在極坐標平面內選取樣本，如圖5所示。樣本坐標即樣本區(qū)域的中心點與當前目標中心點（x0，y0）的偏移量（dx，dy），通過（r sin θ，r cos θ）來獲取。其中r的取值范圍為（0，R），θ的取值范圍為[π/16，31π/16]或者[0，30π/16]。

2.4.2? ?在線更新

函數(shù)的最優(yōu)化采用標準的對偶拉格朗日法，可以轉化為：

i > 0時，y+ = yi，y-可以根據y- = arg gi（y）得到。跟蹤過程中，增加yi作為正的支持向量，進而根據當前學習器的狀態(tài)結合損失函數(shù)尋找最重要的樣本稱為負的支持向量。當然，如果SMO步驟并未調整β yi

i，也就不會增加支持向量。

（2）Process Old

對于一個已經存在的隨機選擇的支持模式xi，y+ = arg gi（y），但是固定的搜索路徑需要滿足β y

i≤δ（y，yi）C，意味著最大化只會包含已經存在的支持向量。對于Process New，y- = arg gi（y）。在跟蹤過程中，這種相關性會重新訪問已經得到的支持向量，并且可能會加入新的負的支持向量。同時調整相關的置信度。當然，新樣本的選擇也要考慮當前學習器的狀態(tài)和損失函數(shù)。

（3）Optimize

處理隨機選擇的已經存在的支持模式xi，但是只調整已經存在支持向量的置信度。

具體的執(zhí)行流程是：給定一個訓練樣本對（xi，yi），采用一個Process New過程，和nR個ReProcess過程（1個Process Old過程和nO個最優(yōu)化過程的集合）在實際的跟蹤過程中，維持一個支持向量集S，對于每一個（xi，y）∈S，存儲其置信度β y

i和梯度gi（y），兩者都在SMO步驟進行調整，如果調整后的β y

i變?yōu)?，那么相關的支持向量將會被移除。

上述的步驟可能會使得支持向量無限制地增長，所需的存儲空間和計算時間也會隨著支持向量的數(shù)量線性增加，因此必須控制支持向量的個數(shù)在一定范圍內，即引入一個budget。維護budget的過程中，通常選擇對權重w影響最小的支持向量進行移除，可以用‖w‖2進行衡量。由于最優(yōu)化過程中的SMO步驟，必須確保β y

i = 0。一般在一個支持向量模式里面，只有一個正的支持向量，因此只考慮移除負的支持向量。如果一個支持模式只有兩個支持向量，那么他們兩個就必須都被移除。

移除一個負的支持向量（xr，y），支持向量的權重變化為

因此，每次通過最小化?||？w||?^2來移除支持向量。

3? ?試驗分析

本算法在Visual Studio 2010平臺基于OpenCV2.4.6的C++語言進行開發(fā)，實驗平臺為Inter（R） Core（TM） i7-4790CPU @3.60GHz，RAM4GB。選取了運動目標跟蹤的標準數(shù)據集中的44個圖像序列測試了運動目標跟蹤算法。這些數(shù)據包括位置突變、抖動、光照變化、遮擋、形狀變化、焦距變化等多種在運動目標跟蹤過程中容易對跟蹤效果產生較大影響的情況。同時測試了該算法對絕緣子、桿塔等線路目標的跟蹤效果。

在測試過程中，如果跟蹤得到的目標框與實際的運動目標框的重疊度大于50%，或者兩者的中心的距離小于25個像素時，則認為該幀跟蹤正確，測試集中基于Struck的運動目標跟蹤結果如表1所示。

，上述數(shù)據集為攝像機在定焦鏡頭下拍攝的視頻/圖像序列，即視場角不變，則平均偏移率指標可等同于視場角指標。

下面各圖展示了利用Struck算法在位置突變、抖動、光照變化、遮擋、形狀變化、焦距變化等多種情況下的跟蹤結果，綠色的框表示跟蹤得到的目標邊界框，而紅色的框表示實際的運動目標邊界框，可以看出該算法能夠較好的適應光照變化、部分遮擋、目標的形變及抖動等多種情況，如圖6至圖9所示。平均的跟蹤幀速是25幀，即目標跟蹤時平均單幀處理時間為40 ms，跟蹤到的幀數(shù)占總測試幀數(shù)的86%，即丟失率為14%，而跟蹤結果的中心位置與實際目標中心位置的像素差平均值是9個像素，平均偏移率（視場角）為1.6%，滿足跟蹤要求。

在相同樣本集的情況下，試驗同時測試了STC，CT，ACA算法，并與stuck算法進行比較。試驗測試結果如表2所示。

STC算法能夠適應光照變化和簡單尺度變化，但在劇烈抖動和部分遮擋情況下，目標容易丟失[11];CT算法計算簡單，速度快，但由于提取的特征和觀測模型簡單，正確跟蹤率較低[12];ACA算法適用于目標與背景顏色相似的情況，但無法克服目標遮擋、角度變化等情況。Struck算法正確跟蹤率較高，跟蹤偏移率小，更適用于線路目標的跟蹤[13]。

基于Struck算法的架空輸電線路原件目標的跟蹤結果如圖10至圖12所示，可以看出對桿塔、絕緣子、金具等線路元件，該算法都取得了較好的效果，滿足基本的跟蹤要求。

使用該算法，存在的不足主要有：當目標消失在視野內一段時間重新出現(xiàn)時，目標容易丟失，如圖13所示。對于焦距變化來說，對平緩的變焦使用效果較好，但是由于目標跟蹤的結果框是固定的，并不能隨著大小變化而進行縮放，如圖14所示。

可以選取本地視頻、圖像序列或者當前攝像頭采集的實時視頻進行運動目標跟蹤[14]，初始跟蹤框可以手動選取或從本地文件讀入。在跟蹤過程中可以通過鍵盤按鍵暫停或者重新選取運動目標[15]。

5? ?結 論

直升機巡視光電吊艙自動跟蹤算法主要選取Struck算法，并開發(fā)了其原型軟件。該算法采用Haar特征來描述運動目標，在跟蹤過程中，搜索上一幀目標區(qū)域的鄰近位置，利用Structured Output SVM對待選區(qū)域進行二元分類，取得分最高的候選區(qū)域作為當前運動目標跟蹤的結果。在支持向量的更新過程中，樣本的標記依據樣本區(qū)域與目標區(qū)域的重疊度來進行。為了保持算法的高效性，在跟蹤過程中始終維持一個支持向量budget防止支持向量的無限制增長。

實驗測試結果表明Struck運動目標跟蹤算法的平均偏移率（視場角）為1.6%，標清視頻的單幀處理時間為40 ms，目標丟失率為14%，能夠對桿塔、絕緣子、均壓環(huán)等輸電線路關鍵部位進行實時跟蹤，適用于目標形變（視角變換）、光照變化、部分遮擋、抖動等多種復雜情況。

參考文獻

[1]? ? 李文魁，王俊璞，金志華，等. 直升機機載光電吊艙的發(fā)展現(xiàn)狀及對策[J]. 中國慣性技術學報，2004，12（5）：75-80.

[2]? ? 吉書鵬，丁曉青. 機載光電吊艙傳感器圖像融合技術研究[J].北京：清華大學電子工程，2002.

[3]? ? 周克虎，周進，雷濤，等. 基于Struck算法的遮擋目標跟蹤[J].半導體充電，2017，38（4）：585-591.

[4]? ? SAM H，AMIR S，PHILIP H S T. Struck：structured output

tracking with kernels[C]// MA USA：Proceeding of the 28th International Conference on Machine Learning，2011.

[5]? ? SMEULDERSA W M，CHU D M，CUCCHIARA R，et al. Visual tracking：an experimental survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，7（7）：1442-1468.

[6]? ? NAIMA A，ALI K，DAOUD B.Multiple target tracking using track before defect algorithm[C]// International Conference on Electrical Engineering and Automation，2017：692-695.

[7]? ?SUPSUKBAWORN T，LIN C E. Attitude stabilization in unmanned vertical takingoff/landing aircraft[C]// Industrial Electronics Society，IECON，2014-40th Annual Conference of the IEEE，2017：71-76.

[8]? ? CAO J，ZHAO T，WANG J，et al. Excavation equipment classification based on improved MFCC features and ELM[J]. Neurocomputing，2017，261：231-251.

[9]? ? MAHYARL M Y，CHANBARI M. Robust estimation of camera motion parameters[C]// Eletrical Engineering（ICEE），2014 22nd Iranian Conference，2014：850-855.

[10]? 李俊. 基于FPGA電子穩(wěn)像技術的研究[D]. 武漢：武漢理工大學，2012.

[11]? 謝月飛，蔡曉東，林景亮，等. 基于曲線擬合的視頻穩(wěn)像方法[J]. 計算機工程，2014，40（4）：151-153.

[12]? 秦曉敏. 智能視頻監(jiān)控中目標跟蹤的研究與實現(xiàn)[J]. 電子設計工程. 2011，19（5）：40-42.

[13]? KALAL Z，MIKOLAJCZYK K，MATAS J. Tracking-learning-dection[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence，2012，34（7）：1409-1422.

[14]? 吉淑嬌，朱明，雷艷敏，等. 基于改進運動矢量估計法的視頻穩(wěn)像[J]. 光學精密工程，2015，5（23）：1458-1465.

[15]? 朱志玲. 智能視頻監(jiān)控中行人跟蹤技術研究[D]. 北京：北京交通大學，2014.