一種基于圖像目標檢測的無人機相機精準對焦拍照方法*

劉高 饒成成 王昊

(1.廣東電網有限責任公司機巡管理中心，廣東廣州 510163;2.南方電網數字電網研究院有限公司，廣東廣州 510700)

0 引言

隨著我國電網系統不斷擴建和擴容，傳統的人工巡檢方式已經不能滿足維護電網系統正常穩定運行的需求。為了提高巡檢的效率和質量國內各電網公司已經開始逐步推廣無人機對輸電線路的巡檢作業方式；無人機巡檢雖然在很大程度上提高的巡檢的效率，降低了巡檢成本以及減少了野外作業的風險，但是無人機巡檢過程中會生成海量的關于輸電線路部件的圖像數據，如果通過人工的方式對這些數據進行辨識那么也是一項巨大的工程。因此，研發智能化的識別輸電線路部件缺陷圖像的算法具有非常重要的意義，在數字圖像處理領域中基于深度學習思想的對象檢測框架已經成為了主流的技術；數據的質量直接關系到機器學習模型的識別性能，高質量的數據往往可以帶來較高的缺陷識別率。

目前我們通過無人機搭載的攝像機對輸電線路進行巡檢，在我們預先設置的位置和角度上進行拍照，只保存單幀圖像沒有錄制視頻，所以不能進行時間序列上的分析，這給精確缺陷檢測的工作帶來了很大的難度；此外由于無人機巡檢都是俯視拍攝，這樣巡檢圖像往往都有很復雜的背景；雖然無人機可以根據GPS信息大體的定位到作業對象如桿塔等對象的坐標信息，在圖像識別領域內從特征工程的角度來講，在早期研究者將目光集中在了圖像的低層次特征(如邊緣、輪廓)上，如對缺陷部件防震錘的識別，可以使用hough圓檢測算法獲取到防震錘的圓形部分[1]；劉營軍等在文獻[2]中提出了通過圖像中的紋理特征來檢測直升機巡檢圖像中的絕緣子部件；付晶等在文獻[3]中提出利用層次模型與或圖對目標進行分解表達。從實際應用的角度來講，這些方法在一定程度上提高了巡檢的效率，但是在缺陷識別的準確度和時間效率上仍然存在很多局限性，因為以上的方法都是來自于特征工程的方法，這種方法的局限性在于這些特征都是由人工設計他們對缺陷的表達能力是有限的，不能從復雜的背景中檢測識別出輸電線路上的部件。

近年來深度學習技術的出現打破了特征表達能力不足的這種限制，在圖像識別和分類這個領域取得了舉世矚目的成就，將圖像分類任務的精度提升到了與人類相當的水平。因為在深度學習中特征提取的步驟是通過機器自動完成的不在受人工的控制，特征表達器的節點達到了幾百萬個甚至上億個[3]。目前，Faster Rcnn[4]模型在圖像識別和分類領域是最優的模型，但是其在檢測效率上遠遠落后于SSD模型。王萬國等在文獻[4]利用Faster RCNN模型識別輸電線路中的部件，分析了不同參數對間隔棒，均壓環和防震錘的識別效果進行了分析，然而文獻中沒有進行部件缺陷的判斷，而且分析中所使用的圖像數據都是經過人工截取得到的，在定位的角度來說缺少了全局信息。我們可以利用深度學習模型強大的特征表達和回歸能力檢測出復雜場景下物體對象，可以獲取到圖像中物體的尺度和位置信息利用這些信息對無人機上的云臺進行控制，實現相機鏡頭的自動對焦拍照獲取高清圖像數據用于做后續的對輸電線路部件檢測，本文中所提出算法的流程圖如圖1所示。

圖2 SSD物體檢測模型

1 自動對焦拍照算法

1.1 自動物體檢測模型

在基于圖像的物體對象檢測領域內存在兩種主流的框架：基于背景差分技術的模型，基于深度神經網絡框架的模型。屬于背景差分模型的技術有混合高斯背景建模，貝葉斯背景建模，碼書模型等，屬于深度神經網絡的技術有SSD、YOLO、RCNN、faster RCNN等，而基于神經網絡的模型又可以被分為兩個類型，SSD和YOLO為單階段網絡模型，RCNN和faster RCNN為二階段網絡模型。單階段網絡模型的檢測速度要遠遠快于二階段網絡模型，所以目前能夠對輸電線路部件進行實時性檢測的只有SSD和YOLO模型，兩個模型在網絡的整體結構上是一致的，SSD模型是在YOLO初級模型的基礎上加入了多尺度和多種層次信息融合的思想，故我們以SSD模型為例對基于深度神經網絡模型的物體檢測框架做簡要的介紹。

SSD物體識別模型的工作原理為：(1)輸入一張待識別的圖像和在訓練過程中所標識的每一個識別目標的真實邊框；(2)通過卷積神經網絡的方法來評價不同尺度的特征圖上每一個位置的不同縱橫比例的默認邊框小集合，例如8×8的特征圖如圖2中右圖所示；(3)我們預測每一個默認邊框的形狀偏移和與每個待識別目標類的相似信度。

1.2 自動對焦拍照

為了讓無人機在飛行過程中獲取到高清質量的圖像，無人機在飛行過程中需要對云臺進行實時控制，保持被檢測的物體出現在圖像的視場范圍內，并對目標物體進行準確的對焦和測光最后進行拍照。一般情況下相機的自動對焦和光測算法都是針對整幅圖像，無法根據需要拍攝的特定物體進行對焦和測光，如果在大光比，復雜場景下出現對焦和測光錯誤的情況時常發生，進而生成質量較差的圖像。

要準確的獲取到高質量的圖像我們必須設計一套可靠、準確的視覺目標識別跟蹤算法，識別出圖像中的目標信息，才能進行無人機云臺的自動控制、對焦和測光。我們利用無人機搭載的物體檢測模型實時的對無人機實時運行飛行過程中獲取到的圖像進行分析處理，獲取到其中待識別物體的尺度和坐標信息，并根據這些信息控制無人云臺的轉動和相機鏡頭的自動對焦光測拍照得到高清的圖像數據用于后續的缺陷檢測。

2 實驗結果和分析

在本文中我們所使用的圖像數據均來自于大疆精靈4系列無人機巡檢輸電線路時候所拍攝的圖像。我們共計收集了5988張圖像對其中的23個類別部件進行了標記，再在其中隨機的抽取具有玻璃絕緣子、復合絕緣子、連接金具、均壓環和屏蔽環五種部件的子集進行一下三種影響模型識別性能因素的測試實驗，以及研究這些因素與模型最終識別精度的相關性。SSD模型的識別結果如圖2所示，其中，標號1代表的是玻璃絕緣子，標號2代表的是復合絕緣子，標號3代表連接金具，標號4代表均壓環，標號5代表屏蔽環。在實驗過程中我們使用的硬件配置為i7第八代12核，顯卡為GEFORCE GTX1080TI。

表1 不同卷積核尺寸下模型識別率

我們從總體樣本五個樣本子集，樣本容量分別為500、1000、2000、4000、5500。為了使模型在測試時有更好的泛化能，我們通過旋轉圖像的方法來擴充樣本的數量，將圖像按逆時針方向旋轉90°、180°、270°，并對目標的坐標進行對應的轉換即將旋轉后的坐標變換為從左上頂點為原點的坐標系中。

由于在整體的架構上SSD模型是端到端的檢測思想；所以在研究卷積核的大小對神經網絡檢測方法檢測精度的影響中，我們可以使用同樣的方法得出卷積核大小與SSD模型檢測精度的相關性。我們將SSD模型網絡的第一個卷積層的卷積核大小設置為7、5、3、1，其它參數保持不變，通過5000次的迭代訓練，500條樣本數據進行測試計算模型的檢測精度。實驗結果如表1所示。

我們可以從表1中觀察到，對于不同的部件在相同迭代次數和參數下模型對它們的檢測率是不相同的；隨著模型卷積層卷積核尺寸的增大，模型對該部件的檢測率逐漸提高。導致以上現象的原因是在訓練樣本中包含絕緣子數量最多，再次說明訓練數據豐富可以產生泛化能力好的模型；卷積核的尺寸越大可以捕獲圖像中更多的結構信息，這樣可以產生更有區分度的特征進行分類。從整體上來看，模型的識別精度和識別率與卷積核的尺寸呈現正相關性。

3 結語

隨著互聯的發展各種數據都以幾何式的增長，硬件技術的發展使得運算和存儲設備的性能有了極大的提升，基于以上兩方面的原因促使了大數據和人工智能時代的到來。智能輸電線路部件缺陷巡檢技術出現，并代替原有的人工巡檢已經只是時間問題。在本文中，我們利用實際無人機巡檢數據，通過人工挑選和標注了輸電線路上五種常見的輸電線路對象，在不同樣本容量，不同圖像分辨率和不同卷積核的大小的情況下對SSD模型進行了訓練和測試，從橫向和縱向上對比了這三種參數對模型識別精度的影響。從實驗結果上我們可以看到隨著樣本容量的增大，圖像分辨率的提高，卷積核尺寸的增大模型的檢測精度都有所提高，并且利用實時物體檢測的尺度和位置信息對云臺進行控制和對鏡頭的焦距進行對焦光測拍照可以有效的提高無人機所獲取到的圖像質量。