基于5G 的智能塔吊無人機巡檢系統設計

黃榮躍

（廈門大學嘉庚學院 福建 漳州 363105）

0 引言

塔式起重機運行過程中的安全性受風力大小、周邊環境溫度和操作距離等因素影響較大，其自身的組成構件的可靠性、運行的控制系統、制動系統的穩定性也都影響著塔吊的安全[1]。因此標準的國家塔式起重機操作規范需要得到嚴格的執行，為了塔吊的安全，還需要注重日常檢查維護保養工作。塔式起重機在高層建筑施工中得到廣泛的應用。幾十米高的塔吊給人工檢查帶來了挑戰，具有安全性低、耗時、檢查成本高等問題。本文以塔吊為研究對象，結合無人機巡檢，設計出一套智能化的巡檢系統，為塔式起重機的巡檢帶來了便利。

1 塔式起重機巡檢要求

塔式起重機的檢驗需要符合一定的檢驗條件，它對塔機駕駛員的操作規范和塔機本身的安全屬性有較高的要求。塔機質量需要可靠穩定，安裝需要牢靠。

根據中國國家標準化管理委員會發布的GB/T 5031-2019 塔式起重機標準規定[2]，主要檢測項目內容見表1。

表1 無人機巡檢項目表

無人機通過高清攝像頭對表1 中的項目進行巡檢，檢查內容包含構件間距、構件缺失、錯位、缺陷等內容，對塔機進行全方位、多角度的巡檢，能夠節省大量人工操作。

2 巡檢無人機系統硬件設計

本設計整個系統的核心目的是對塔吊進行巡檢，以無人機平臺作為載體，實現智能拍照系統和無人機平臺兩個系統，針對性地對塔式起重機巡檢檢測提供解決方案。無人機平臺的作用是負責在手動操作或者自動路徑規劃過程中，執行自動化任務檢測。具體軟硬件設計如下。

2.1 無人機平臺硬件框架設計

本系統所使用的無人機包含4 大模塊：飛控模塊、遙控模塊、定位導航模塊、供電模塊。

飛控采用的是開源PX4 固件，運行在Pixhawk4 飛控板之上。Pixhawk4 采用了最先進的STMicroElectronics處理器技術、Bosch、InvenSense 的傳感器技術和NuttX實時操作系統，為控制任何自動飛行器提供了高效的性能、靈活性和可靠性。

遙控模塊采用了樂迪AT9S Pro，真正FHSS 與DSSS 混合雙擴頻，實現避免干擾和抗干擾相結合，使其在復雜塔機環境仍能穩定控制，遙控距離可達3 400 m。AT9S Pro支持SBUS、PPM 和PWM 3 種信號輸出，支持安裝在無人機上樂迪R12DSM接收機。R12DSM體積小，重量輕，只有2.5 g，支持12 通道的SBUS/PPM 信號輸出，4 000 m 距離操控。

定位導航模塊采用M8N GPS，它包含一個UBLOX M8N模塊、IST8310 指南針、三色LED 指示燈和一個安全開關。

供電模塊采用25C 高倍率16 000 mAh 容量22 V 6S12S14S 無人機電池。Pixhawk4 串口工作在3.3 V，兼容5 V。而機載電腦在UART 端口僅支持1.8 V 的電壓，并且可能在3.3 V下損壞。因此采用了FTDI（USB轉串口適配器）這個硬件串口特定的功能來實現電壓轉換。

2.2 智能拍照系統硬件框架設計

智能拍照系統可以細分為：拍攝模塊、機載電腦、卷積神經網絡缺陷識別模塊、通信模塊。拍攝模塊采用兩塊Inter RealSense D435i 紅外深度雙目攝像頭。這個英特爾實感深度攝像頭D435i 結合了D435 強大的深度感應功能以及一個慣性測量單元（IMU）。添加IMU 可使無人機在飛行中，攝像頭移動的情況下提高深度感知能力。

機載電腦采用英偉達Jetson nano 芯片。Nano 最大的特色就是包含了一塊128 核Maxwell 架構的GPU，從功耗、體積、價格上也算一個性價比較高的產品。Jetson Nano的最大優勢還是在體積上，它采用核心板可拆的設計，核心板的大小只有70×45 mm，可以很方便地集成在無人機上面。Nano 的主要作用是對兩路雙目攝像頭拍攝的圖像進行合成，預處理，把合成后的圖片通過5G 發射天線傳輸到地面無線路由器；接收來自地面監控系統的控制信息；對拍攝的構件圖像進行預分類。

卷積神經網絡缺陷識別模塊，無人機巡檢系統采用此模塊來對目標進行評估檢測。檢測目標圖片是否存在缺陷，識別的錯誤率要低。Nano除了預處理圖片和負責傳輸之外，還進一步負責缺陷識別功能?；谒牡?、體積小，可靠性高等特性，它能實時支持多個圖片處理，支持多接口，最多可以支持四路攝像機，并且它配套有完整成熟的底層驅動程序。在巡檢之初，缺陷檢測模塊還需要靠人工標注來實現，并通過數據不斷進行模型訓練，提高后續自主識別缺陷的準確率。

通信模塊，無人機巡檢過程中，涉及高清圖傳時，傳統方案多數只能實現單卡4G 傳輸方式。高清圖像在傳輸過程中會出現卡頓或中斷，地面監控系統很難準確判斷具體構件的缺陷情況，作出正確的決策。針對此問題，本文設計通信模塊采用乾元通QYT-X1S 5G 多卡聚合路由器，可為無人機機體、地面站、遠程指揮中心構建穩定可靠的數據回傳鏈路，實現無人機拍攝的視頻實時回傳到地面監控系統和遠程指揮中心，為了解巡檢現場情況提供實時的高清畫面采集，為巡檢工作人員決策提供依據，讓無人機塔吊巡檢工作更精確。

無人機圖片、視頻采集傳輸流程是：機載電腦采集到圖片、視頻資源之后，通過機上的5G 雙頻千兆收發器傳輸到地面5G 路由器。地面監控系統鏈接到地面5G 路由器，接收來自機載電腦傳輸下來的視頻，并實時在地面監控系統上進行顯示。地面監控系統再把接收到的重要的圖片、視頻發送到云服務器進行存儲。

3 巡檢無人機系統軟件設計

3.1 機載電腦與Pixhawk4 飛控板通信設計

機載電腦運行Ubuntu 18.04 操作系統，在其上安裝Ros Melodic，ROS 是一個適用于機器人的開源的元操作系統。在安裝好ROS 之后還需要安裝MAVROS。MAVROS 是一層MAVLink 與ROS 通信的封裝，旨在方便無人機與機載電腦通信。無人機使用機載電腦，通過OFFBOARD 模式進行控制飛行。控制過程主要通過一連串的MAVROS 命令來實現，而MAVROS 是MAVLink 的一層高級封裝，從而免去了我們通過MAVLink 控制無人機的繁瑣。通過MAVROS，我們可以輕松實現很多功能，例如：起飛、降落、指點飛行、朝向控制等。機載電腦通過串口連接到Pixhawk4上的TELEM2，連接的消息格式MAVLink。Pixhawk4 上有個SYS_COMPANION，參數設置成波特率：921600、8N1，能進行MAVLink 輸出。機載電腦上面的MAVROS 和MAVProxy軟件夠接受MAVLink 消息，實現在串口和UDP 之間傳輸MAVLink。

3.2 地面監控系統設計

地面監控系統[3]是塔吊無人機巡檢系統的重要組成部分，其人機交互窗口可以為塔吊巡檢作業人員和塔吊巡檢無人機提供可視化的操作接口，實現數據的交互。本設計所采用的地面監控系統依然運行在Ubuntu 18.04操作系統之上，通過Wi-Fi 和地面5G 路由器進行連接。而地面5G 路由器和無人機上的5G 雙頻千兆收發器進行通信，從而實現地面監控系統和無人機機載電腦通信。地面監控系統連接無人機、獲取無人機攝像頭信息并在地面顯示器上展示，從而實現拍照、錄制功能。地面監控系統除了獲取攝像頭信息之外，還把這些照片、視頻信息實時發送到云服務器，以備云服務器中的卷積神經網絡進行進一步計算。

傳統的航拍無人機拍攝的照片混在一起，塔機巡檢各個構件之間的照片有很多相似之處。如果把這些照片不加歸類地混在一起，保存到一張SD 卡，會增加后續人工分類照片的工作量。因此，本設計在地面監控系統上的拍照功能添加了菜單選擇，拍照之前事先選擇該照片歸屬哪個部位的構件，拍照之后，照片自動存儲在對應的構件文件夾底下。為后續的人工分析照片帶來了便利。通過地面監控系統還可以和無人機進行通話，控制無人機航燈照明等功能。

另外，本設計把高德地圖導入到地面監控系統中，可以實時顯示無人機飛行的地理位置，讀取無人機的各種飛行姿態信息，給無人機發送起飛、著陸、航行等控制信息，并通過在地圖上設置航點，實現無人機的自動巡檢功能。

3.3 圖片云存儲設計

經過地面監控系統對照片、視頻進行預先分類之后，需要把這些內容發送到云服務器進行存儲，以備進一步分析。本設計服務端接口開發采用.NET Core Web API 技術進行開發，圖像存儲到阿里云的OSS 對象存儲系統。照片、視頻對應的URL 地址、拍照時間，拍照地點，歸屬構件，可疑分類等信息存儲在MySQL 數據庫之中。地面監控系統調用API 接口進行存儲圖片和視頻；后臺管理系統采用前后端分離開發框架，前端采用VUE 技術，后臺直接調用Web API 提供的接口。因為Nginx 具備很好的負載均衡特性，而.NET Core 已經有比較穩定的跨平臺功能，因此本系統部署在運行CentOS 7.0 服務器上，采用.NET Core框架和Nginx web服務器以應對高吞吐量的圖片傳輸請求。

3.4 卷積神經網絡深度學習設計

基礎的CNN 由卷積、激活和池化3 種結構組成。CNN輸出的結果是每幅圖像的特定特征空間。當處理圖像分類任務時，我們會把CNN 輸出的特征空間作為全連接層或全連接神經網絡（FCN）的輸入，用全連接層來完成從輸入圖像到標簽集的映射，即分類。整個過程最重要的工作就是如何通過訓練數據迭代調整網絡權重，也就是后向傳播算法。目前主流的卷積神經網絡（CNNs），比如VGG、ResNet 都是由簡單的CNN 調整、組合而來。典型的CNN由3 個部分構成：卷積層：卷積層負責提取圖像中的局部特征；池化層：池化層用來大幅降低參數量級；全連接層：全連接層類似傳統神經網絡的部分，用來輸出想要的結果。

基于圖像的塔吊檢測系統，容易獲得大量重復無關元素，光線噪音容易影響導致圖像損失，具體表現為：在陰天或傍晚光照條件差的時候，圖像灰度值較低，缺陷特征不明顯。因此本設計對捕獲的圖像分別進行塔吊面積提取、濾波和增強處理。包含圖片切割、圖片增強和圖片降噪等預處理，進而對圖像進行二值化、統計亮點值，得出垂直和水平投影統計差，最后得出分類缺陷構件圖像和完整構件圖像。

為了減少人工識別圖片的工作量，本設計引入了改進的輕量級CNN[4]，通過減少權重和計算量實現緊湊設計，從而實現對于較小的訓練數據也有較好的效果。更緊湊的設計包含模型壓縮、全量梯度下降、自適應優化等算法。算法的改進點是通過減少卷積來實現。卷積通常分為標準卷積和深度卷積。本設計主要通過減少深度卷積的權值，使用1×1 卷積網絡，學習到更多的特征，獲得更好的性能改進。

本設計通過訓練塔機歷史缺陷照片，包含結構件螺栓連接、裂紋、變形、鋼絲繩、卷揚機、滑輪等構件的缺陷照片和完好照片兩類。由于損壞程度不一，生銹程度不同，比較難采集齊全的樣本數據。因此樣本數據一部分通過塔吊實際環境采集，另一部分通過網絡收集來實現。由于缺乏足夠的樣本數據供深度學習訓練，會導致過擬合。為了避免過擬合的影響，本設計采用數據增強來平衡各類缺陷圖像的數目。采用翻轉、剪切、平移、高斯噪音、彈性變換、Gamma 變換、分段變化和照明擾動等數據增強方法來構建足夠的數據集。進一步通過卷積核的權重學習，突破傳統濾波器的限制，根據目標函數提取缺陷圖片的特征；通過池化層來減少訓練模型規模，提高特征的魯棒性；進一步通過全連接層輸出匹配某個缺陷類型的概率。從而對無人機巡檢采集的圖片進行了分類，接下來根據匹配缺陷類型的結果，發起預警信號。

3.5 缺陷預警系統設計

卷積神經網絡通過學習構件的歷史缺陷圖片和構件每個巡檢周期圖片的歷史演變，對最新采集的構件圖片進行深度學習分析，如果發現可疑缺陷的構件，則要進行預警。預警包含3 個部分：在管理系統的網站上進行警告顯示；通過給巡檢者發送短信息的方式來進行預警；通過發出報警燈來提示危險信號。

4 實驗結果與分析

本實驗結合校企合作平臺智能巡檢無人機系統設計項目，設計一款巡檢無人機系統見圖1。該無人機是一架四軸無人機，在巡檢過程中設定GPS 飛行模式，抗風力可達5 級。巡檢過程配備兩名操作人員，一位是飛手，負責無人機安全穩定飛行，另一位負責使用地面監控系統進行拍照，錄制視頻，對重點可疑區域進行對焦、錄制。

本實驗對校企合作平臺的塔式起重機開展無人機巡檢，每周巡檢一次，巡檢4 次，對表1 中所描述的各個構件進行巡檢，共發現安全隱患9 條，每次巡檢耗時2 h。相比傳統人工巡檢，需要投入人力4 人，用時8 h，發現5 條安全隱患。統計數據詳見表2。

表2 巡檢工作質量分析

綜上數據顯示，無人機巡檢相比人工巡檢節約了時間，節省了人工成本，發現了更多的潛在安全隱患。

5 結語

本文以校企合作平臺為背景，設計了一套5G 智能塔吊無人機巡檢系統。該系統首先能夠根據用戶需求，進行塔式起重機巡檢，包含塔附著裝置、標準節及連接螺栓等各個構件要素進行巡檢；可以實現偵查、拍照、視屏等功能，并對視頻、照片信息進行云存儲；能夠對各個構件進行圖像分類、歷史數據追蹤；能夠以網站的形式展示巡檢結果、生成可視化巡檢報告；能夠采用卷積神經網絡深度學習技術對潛在部件問題進行預警。塔式起重機的日常運行管理存在較大的安全風險，利用無人機巡檢及可視化巡檢結果追蹤預警，給塔機巡檢帶來了極大便利。