智能識別算法在無人機巡線中的應用研究

劉文華 劉洋 李寧

[摘 要] 油氣管道是國家能源的動脈。管道周圍的不確定事件包括非法占壓、非法施工、地質災害、打孔盜油等給管道防護帶來極大的安全風險。盡管在長時間的實踐過程中形成了一套完整的巡線排查體系，但仍有待完善的方面。無人機管道巡線是很好的手段并得到不斷的嘗試和應用。將人工智能技術應用于無人機航拍影像的處理可以大大減輕作業人員負擔，提高巡線效率。文章在分析無人機影像特點的基礎上，提出了適用于無人機影像智能檢測的基于SSD的改進深度神經網絡算法，并進行了設計和驗證。結果表明，該算法檢測準確，滿足要求。

[關鍵詞] 油氣管道；巡線；人工智能；目標檢測

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2018. 11. 057

[中圖分類號] TP311 [文獻標識碼] A [文章編號] 1673 - 0194（2018）11- 0128- 06

1 背 景

1.1 管道人工巡護

油氣管道可以負責長距離輸送原油或天然氣，輸送距離可能長達數百、數千公里，管道線路要經過河流、峽谷、沙漠、戈壁等各種自然場景。漫長的油氣管道、地形復雜的管道線路，不僅增加了遇到各種地質災害發生的可能性，還給很多不法分子可乘之機。而這些都對油氣管道的正常運輸造成了威脅。

從廣義上講，凡是能對管道安全造成威脅的事件都是危險事件。主要有以下三類：

（1）人為蓄意破壞。在巨大經濟利益的驅使下，犯罪分子在偏僻的地段對管道進行破壞，打孔盜油。由于此類事件的發生持續時間短，地點隱蔽，很難被及時發現。

（2）無意人為破壞。根據國家《石油天然氣管道保護條例》規定，禁止在管道中心線兩側各5米范圍內進行修建、堆放大宗物資等操作，管道沿線施工需要按照嚴格的報批程序進行審批，由專業的巡護人員知道作業，否則均可能對油氣管道造成意外破壞。

（3）地質自然災害。管道線路需要經過河流、山川、村莊等自然場景，洪水、地震、山體滑坡、地質下陷等自然災害均可能造成油氣管道的外漏甚至泄露。

以上三種類型的危險事件，都可能給油氣管道的正常運輸造成影響。現階段的管道的人工防衛主要依靠巡線工人每天按時巡護管道，雖然現階段已經有許多現代化管理技術和輔助巡線技術，但仍然存在很多弱點。這些弱點包括：單人巡視視野較窄，并可能出現遮擋等視界受限情況，無法巡視到區域全局；人工巡視部分地區不可到達，例如山頂、谷底、無人區等難以進入或進入后有危險的地區；此外，巡線工人每日重復工作容易形成主觀判斷，在責任心方面發生變化，使巡護工作逐漸松懈。

1.2 無人機巡線

將無人機應用于巡線是軍事領域技術引入工業領域的典型技術之一。時至今日，國內外對無人機在工業領域的應用已較為成熟，譬如高空輸電線路的檢查和維護已經成功使用無人機高空錄像、紅外熱成像等技術。

現階段許多工業領域的巡線工作，在工人難以到達的地域一般使用直升機巡線作業。直升機巡線屬于現階段比較成熟的巡檢技術，但從運維角度考慮，直升機巡線在成本等諸多方面都有限制。與之相比，無人機巡檢的優勢主要體現在：

（1）飛行成本低。直升機巡檢的飛行成本超過7 000元/h，而無人機的運行成本在2 000元/h以下。而且由于飛行團隊人員數量不同，成本差距在此基礎上還將增加。

（2）巡線效果穩定。從現有數據來看，直升機巡線拍攝到的視頻畫面抖動嚴重，而且視角難以固定到某一標準。使用無人機拍攝則可以提供相對穩定的畫面以及標準的拍攝角度。此外，一些無人機還能現場調整拍攝角度，達到精確拍攝的效果。

（3）安全性高。無人機巡線不需要人員跟隨機器進行，除起飛降落外，由飛行器按照固定航線進行自動巡線。相對于直升機巡線，不會對巡線人員的生命安全構成威脅。

1.3 航拍圖像下的目標檢測

近年來無人機技術興起，油氣部門嘗試使用無人機技術對管道進行看護，由無人機拍攝油氣管線路上的俯視圖后進行人工判讀，反饋油氣管道附近存在的異常事件，最后進行危險排除。

這一方式的主要缺點是：長時間辨別圖片，人很容易產生疲憊感，影響判斷的準確性甚至造成誤判。

隨著人工智能的興起，有越來越多的產業依靠人工智能提升了產業的生產效率甚至完成了產業轉型。圖像的智能目標檢測是新興的一種圖像處理方法，與傳統的“目標識別”方法相比，目標檢測不僅能夠識別出多個物體的種類，還能夠在圖像中找到物體的位置，如圖1所示。

參照圖1的比對圖，直觀表述了目標檢測的任務。

目標檢測的過程其實是分為“檢測”和“識別”兩部分，檢測部分通常是提取多個目標候選框（Object Proposal），而識別部分則是根據候選框的模式空間將候選框中的物體類別便是出來。

傳統目標檢測通常分為以下幾個步驟：①圖像預處理；②生成候選框；③對候選框的模式進行特征提取；④對特征進行特征空間內的分類；⑤框回歸與合并。

由于神經網絡的興起，從2012年以來，目標檢測的理論以及實現方法和步驟發生了巨大的變化。神經網絡逐漸合并了上述傳統目標檢測過程的2～4步，形成了端到端的目標檢測模型。改變的過程中，神經網絡展示出其優秀的準確率。深度學習在圖像檢測算法的各大賽事上不斷刷新紀錄，時至今日，已經產生出大量準確率達到90%以上的優秀模型。

近幾年，各行各業將這些模型不斷應用到實際中。結合油管巡線工作，將優秀的圖像檢測模型應用到無人機巡線圖片檢測中是21世紀人工智能發展浪潮導致的必然。

現有的算法，一般為自然場景下的目標識別。但無人機巡線圖片有所不同，主要體現在以下兩個方面：

（1）拍攝視角。不同于自然場景圖片的側視拍攝，航拍圖像的視角一般為俯視圖；

（2）分辨率。航拍圖像因為要保證辨識率的同時提供寬闊的視域，分辨率較一般圖像會更大，如圖2所示。

本文旨在基于對現有系統和方法的認知，設計并將圖像檢測應用到無人機巡線中，輔助油氣管道防衛工作。

2 算法原理與特點

2.1 算法原理

針對油氣管道的巡航，目標檢測技術的研究目的是檢測航拍圖片中是否包含人、車、違章建筑、自然災害等可能危害油氣管道安全的物體或事件信息。

目標檢測的關鍵技術按流程順序分別為：圖像預處理、圖像特征提取和物體或事件分類器。這些技術是圖像智能檢測算法的基礎組成部分，也是計算機視覺領域的幾項基礎研究。

2.1.1 圖像預處理

航拍圖像的獲取是利用無人機在油氣管道上方飛行，對油氣管道周邊進行航拍，再經過后期處理得到真正用于目標檢測的航拍圖像。

由于無人機體積小、重量輕，容易受風和氣流影響，姿態不穩定，導致航拍影像數量多、傾角大、畸變大、重疊度不規則等問題，從而給數據處理帶來挑戰，因此有必要實現對圖像進行預處理。首先對原始垂直影像和傾斜影像進行稀疏重建，即聯合空三處理，快速獲取影像姿態和稀疏點云；然后采用半全局密集匹配獲取密集三維點云，進而獲得格網DEM數據。基于DEM，對傾斜影像進行數字微分糾正，對垂直影像進行正射糾正，并將糾正影像進行無縫快速拼接獲得拼接全景圖。在拼接全景圖上進行典型目標提取、識別與標識，從而對油氣管道情況進行分析。

2.1.2 神經網絡特征提取原理

對油氣管道附近的航拍圖像進行目標檢測，需要檢測出可能危害到油氣管道安全的事件。每種事件都有自己的特征，如違章搭建——與正常的油氣管道相比，存在違章搭建的圖像中，油氣管道附近存在建筑物和不明堆積物。油氣管道上定期巡視的任務是找到此類事件并派人處理。交由計算機后，深度神經網絡的主要功能是正確地從圖像中提取異常事件的關鍵特征。

CNN（Convolutional Neural Network，卷積神經網絡）是目前深度學習在圖像處理領域最好算法之一，它是一種特殊的深層神經網絡模型，其特殊性體現在兩個方面。一方面它的神經元間的連接是非全連接的，另一方面同一層中某些神經元之間的連接的權重是共享的。它的非全連接和權值共享的網絡結構使類似于生物神經網絡，降低了網絡模型的復雜度，減少了權值的數量。

在圖像處理領域，CNN被廣泛用于圖像特征的提取。它的層數可變化范圍很大，從幾層到幾千層不等，意味著CNN能同時提取圖像的淺層特征和深層次特征。用CNN提取的特征比傳統方法提取出的特征表達更多維度的信息，更利于圖像的分類和檢測，所以本文采用的目標檢測算法中，CNN是主要的特征提取算法。

2.1.3 模式分類與回歸原理

分類與回歸本質理論上是一個問題，都是基于樣本的特征向量得到映射到類別空間。不同的是，分類問題的目標類別空間是離散的，而回歸問題的目標類別空間是連續的。

對油氣管道提取的特征向量進行目標檢測，實際上是一個分類與回歸的交叉問題。對油氣管道航拍圖像進行目標檢測既要識別圖片中的特殊目標種類，又要找到目標的具體位置。特殊目標種類是一個圖像識別問題，從模式識別角度考慮本質是一個分類問題，而給出物體具體坐標則是一個回歸問題。

本問對這兩個問題分別建立了兩個模型，識別類別問題使用Softmax進行分類，坐標問題使用全連接進行回歸計算得到坐標值。

需要說明的是，Softmax是一個將目標變量分為K類的算法，建模使用多項式分布。其具體計算公式形如：

其形成的結果為合成的向量，一般使用此向量對既定模式進行無拒識的類型判別。

2.1.4 反向傳播與損失函數原理

深度學習要解決的主要問題是訓練神經網絡，使之能夠適應給定的數據集，進行相應模式判斷。

反向傳播是完成此項任務最有效的算法。其主要的思想是將網絡最后輸出的結果計算其誤差，并且將誤差反向逐級傳下去。反向傳播運用的是鏈式求導的基本思想（隱函數求導），其原理如下：

反向傳播中的最上層誤差評價函數稱為損失函數，這個函數是訓練神經網絡最重要的一步。以線性回歸為例，對于神經網絡的假設函數：

對卷積神經網絡進行訓練即對該損失函數進行最優化。

2.2 算法的特點

深度學習與油氣管道巡視的結合，是人工智能在具體產業中的應用。將人工智能引入油氣管道日常的維護過程，有希望改變監控維護的流程。相比以前油氣管道的巡視，本文的方法主要有如下優點。

2.2.1 適用范圍廣

深度學習是利用已知去判斷未知的算法。給算法大量帶有正確標簽的數據（訓練集），讓計算機自己學習數據內部的特征和規律，然后利用這些學習到的知識去預測新的數據（測試集）。在計算機自己學習的過程中，學習到的知識是隨著訓練集的不同而不同的，也就意味著深度學習的一個算法可以應用在不同的領域，只要擁有足夠多的訓練集，算法就可以自己學習到該領域的知識并應用這些知識為該領域創造價值。

2.2.2 智能化程度高

在算法運行的過程中，只需要將圖像導入，程序就會直接得到圖像中存在的異常并輸出。在檢測程序后加一個報警程序，算法就可以完成特征提取—預測—報警一整套流程，中間不需要人的干預。與以前傳統的人工識別異常相比可以節省大量的人力。

2.2.3 檢測精度高

使用本文所述算法對油氣管道附近對行人、車輛等進行檢測，檢測準確率可以達到80%以上，詳細結果將在下一節中給出。

2.2.4 出錯率低

計算機學習完畢后，檢測流程就被固定下來。不同于人在長時間重復查看圖像后會出現疲勞甚至出錯，計算機程序只要運行，就會一直保持初始精度重復工作下去，不會出現疲勞導致檢測的精度降低的現象。

2.2.5 經濟成本少

人工識別需要付給工人一定的報酬，長時間的積累后，在檢測方面會花費大量的經費。而使用本文所述算法后，只需將檢測功能交給計算機，計算機就可以24小時不間斷地工作，降低人工成本花費。

3 設計與應用

3.1 任務概述

本文需要完成一個輔助人工巡線的軟件系統。該系統主要依靠無人機巡線獲取數據，經過處理后智能識別出數據中的異常情況并給出具體圖像以及坐標。基于現階段研究情況考慮，該系統的評價標準主要為：①異常事件的識別率；②運行效率（運行速度）。

3.2 應用流程設計

應用到實際中主要考慮從實際場景到具體異常事件的報告間的處理流程。設計如圖3所示。

實際處理流程的第一步是從實際場景中得到航拍影像數據，由固定翼無人機進行固定線路航拍得到。在機上處理技術還未成熟的現階段，考慮等待無人機落地后取得影像數據進行地面處理。使用地面設置的服務器，進行圖像特征處理得到全部圖像的特征參數，再由分類器和回歸函數計算得到圖像中異常目標的具體位置。最后根據目標類型和坐標參數進行決策，最終得到異常事件的類型并生成報告。

3.3 神經網絡模型設計

本文參考近幾年來在Pascal數據集上表現優良的SSD算法，針對應用到的實際問題（對航拍圖像進行目標檢測），提出一個改進的神經網絡模型。

該網絡的結構如圖4所示。

基于應用中出現的實際物體所占像素較少，SSD算法中某些卷積層計算冗余嚴重，本文去掉了一些網絡層級，以提高整體效率。

在訓練網絡時，參考原來算法進行損失函數設計。現令x表示目標框與某一類別的實際框的指示數字，僅當出現IOU最大情況時x為1，否則為0。令l表示預測框，g表示實際框。Lconf和Lloc分別表示分類（置信度）損失函數和回歸（位置）損失函數。N表示匹配的先驗框個數。

如下式：

3.4 應用結果

某天然氣管道科技信息服務中心聯合相關技術公司進行了部分管道的無人機巡線航拍，并針對航拍圖像完成了異常目標的識別。截至2018年2月，已經試驗兩次飛行以及圖像處理。

應用主要情況如下：

3.4.1 夏季航拍識別

2017年8月，相關人員完成了某天然氣管道的航拍，并對航拍影像進行異常事件識別。

具體數據如表1、表2所示。

針對夏季航拍圖像，識別334張圖片共耗時42分鐘，平均每分鐘識別7.95張圖片。

夏季航拍中共設置5個異常目標，目標均為白色車輛。共計在實際5個目標中識別出4個異常目標，另識別出非設置異常目標1個，識別率達到80%。

3.4.2 冬季航拍識別

2018年2月，相關人員在夏季同一位置進行了航拍，并對航拍影像進行異常事件識別。具體數據如表3、表4所示。

針對冬季航拍圖像，識別814張圖片共耗時24分鐘，平均每分鐘識別33.92張圖片。

冬季航拍中共設置2個異常目標，其中一個為白色車輛，另一為黑色車輛。實際識別中將異常情況全部識別出，識別率達到100%。

部分識別中間結果展示如圖5，圖6所示。

3.4.3 總 結

經過實驗，兩次航拍識別均達到每分鐘7張的識別速度，識別率達到80%以上。

對比夏季和冬季航拍識別的神經網絡模型來看，冬季模型從兩個方面優于夏季模型。一個方面是識別速度，對同等大小的圖片進行識別，冬季模型識別速度為夏季模型的4.27倍，已超過同等情況下人工識別的速度（每分鐘10張）。另一個方面是識別目標種類問題，冬季模型可以識別兩類物體（黑色車輛和白色車輛），比夏季模型有所增加。

4 展 望

近兩年來，人工智能在國內掀起了一波浪潮，從國家層面到各個公司、高校，人工智能的概念被廣泛提及。智能目標檢測算法與管道巡線的結合成果不只是管道巡線的新方式，更是智能技術向著產品轉化的里程碑。

4.1 提高工作效率

本文所述算法是應用于高分辨率圖片的，在神經網絡的預處理階段會對高分辨率圖片進行滑窗處理。在實際應用過程中這種滑窗式的圖像處理方式可以進行更深層次的算法優化，如預統計剪枝、Adaboost迭代分類等。這些算法層面的優化將提高智能檢測算法的檢測速度，進一步提高巡線工作效率。

4.2 特殊場景識別

本文所述算法的提升空間在算法輸入層面來說，現有無人機技術可以支持各種光學采集器材的搭載，搭載這些器材可以采集各種非可見光。這些非可見光作為算法輸入可以根據特性，進行特殊場景下的物體檢測。比如使用紅外線攝影儀采集到的紅外光譜圖，可以對夜間場景進行識別，檢測夜間盜油情況。

4.3 未來圖像即時傳輸和處理

在應用場景方面，圖像識別算法與無人機的結合不僅能適用于各類管道巡線檢查，還可以運用到如地震調查、軍事偵察、海事偵查、工程測繪、農作物估產等。圖像特定目標的識別與跟蹤的實現要依靠一定的硬件與軟件予以實現，通常對于絕大部分普通圖像的處理可以通過軟件來完成，但是在無人機航拍過程中一般處在高速運行、實時高分辨率拍攝的狀況下，僅僅依靠軟件對圖像處理已無法滿足實際需求，因此有必要結合ARM的處理器調度功能和FPGA的硬件加速功能對獲取的實時圖像進行分析，實現對特定目標的識別和實時跟蹤等功能。伴隨嵌入式系統應用的推廣普及，在圖像識別實時跟蹤系統領域成本不斷下降，硬件也在趨向于小型化和功耗不斷降低，未來將產生無人機即時處理并傳輸圖像，更大程度上增加管道巡線的非人工干預性能。

主要參考文獻

[1]Srivastava N， Hinton G， Krizhevsky A， et al. Dropout：A Simple Way to Prevent Neural Networks from Overfitting[J]. Journal of Machine Learning Research， 2014， 15（1）：1929-1958.

[2]Krizhevsky A， Sutskever I， Hinton G E. ImageNet Classification with Deep Convolutional Neural Networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012：1097-1105.

[3]于立成， 程云濤. 人技結合的油氣管道保衛新模式研究[J]. 城市建設理論研究：電子版， 2013（21）.

[4]Uijlings J R R， Sande K E A V D， Gevers T， et al. Selective Search for Object Recognition[J]. International Journal of Computer Vision， 2013， 104（2）：154-171.

[5]Alexe B， Deselaers T， Ferrari V. Measuring the Objectness of Image Windows[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2012， 34（11）：2189.

[6]Su H， Deng J， Fei-Fei L. Crowdsourcing Annotations for Visual Object Detection[C]//The 26th AAAI Conference on Artificial Intelligence，2012.

[7]Ren S， He K， Girshick R， et al. Faster R-CNN：Towards Real-time Object Detection with Region Proposal Networks[C]//International Conference on Neural Information Processing Systems. MIT Press， 2015：91-99.

[8]Bell S， Zitnick C L， Bala K， et al. Inside-Outside Net： Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks[C]//2016 IEEE Conference on Conputer Vision and Pattern Recognition（CVPR），2016：2874-2883.

[9]Lin T Y， Dollar P， Girshick R， et al. Feature Pyramid Networks for Object Detection[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2017：936-944.

[10]Li J， Liang X， Wei Y， et al. Perceptual Generative Adversarial Networks for Small Object Detection[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2017：1951-1959.

[11]Liu W，Anguelov D， Erhan D， et al. SSD： Single Shot MultiBox Detector[C]//European Conference on Computer Vision，2016：21-37.