基于深度學習技術的智能化無人機視覺系統設計研究

蘇佳媛

關鍵詞：深度學習技術;智能化無人機;視覺系統設計

1 相關概念概述

1.1 深度學習技術

深度學習技術的全稱是Deep Learning，在19 世紀90 年代末逐漸成為了人工智能的熱門研究領域，它是機器學習中的重要組成部分，主要是通過神經網絡來形成一個較為完善的機器學習模式，結合底層組合特性來實現更高的屬性類別表示，這樣一來所產生的數據信息就會以分布式特點的形式體現出來[1]。在深度學習之中最為關鍵的模型結構便是神經網絡，由此能夠看出深度學習的本質在于堆疊一個又一個神經網絡，讓神經網絡輸入至輸出最長路徑長度得以提升，進而構建一個完善的函數關系。深度學習技術能夠自動學習要建模數據的潛在分布的多層表達，其核心技術是監督和非監督學習算法，通過這種監督和非監督學習算法自動地學習到不同數據的多種特征，更好地表達數據。

1.2 智能化無人機視覺系統

智能化無人機視覺系統主要是指在該系統之中能夠實現自主飛行目的，充分擺脫相關技術人員的控制，體現出“無人”這一基本特征。同時智能化無人機視覺系統并不單單意味著對自身進行智能化處理，在物聯網之中同樣能夠產生至關重要的作用，為相關通信提供傳播媒介方面的支持。智能化無人機視覺系統主要是以深度學習為技術基礎，包含了上位機以及無人機飛行器這兩個部分，具體如圖1 所示。

在無人機飛行器之中，主要包含了軟件以及硬件，其中硬件是由機載運動相機以及無人機飛行器這兩個模塊，無人機通過數傳電臺來和地面站就所采集的數據信息進行交流與共享，而機載運動相機則通過自身所具備的無線傳導功能來和地面站建立聯系[2]。為了有效避免緊急情況產生而引發的無人機失控現象，技術人員會在智能化無人機之中添加一個遙控接收機這一裝備，以此來讓地面站能夠通過遙控器的使用來實現對無人機的接管。在無人機云臺之中會掛載一個具備較強專業性能的運動相機，無人機飛行控制模塊能夠利用云臺所提供的功能來對相機的實際拍攝角度以及拍攝姿勢進行合理地調整。而在無人機飛行器中，主要是采取了RT-Thread 這一實時操作系統軟件，并且以此為基礎將原有的神經網絡庫以及機器視覺庫相關數據信息進行了移植，以此來完成視覺應用平臺的搭建，能夠給后續視覺應用開發奠定堅實的理論基礎。

在智能化無人機視覺系統之中，主要是將平板設備當做上位機，可以有效操作無人機以及機載運動相機，并且具備目標檢測以及圖像處理這方面的功能。上位機主要是通過數傳電臺來和無人機進行通信，所遵循的通信協議為MAVLink 協議。上位機的地面站軟件能夠對相繼的拍攝進行全方位地控制，接受相機所拍攝的圖像并對其進行處理。

2 基于深度學習技術智能化無人機視覺系統設計思路

2.1 搭建無人機硬件平臺

本次研究主要采取了開源Pix Hawk 飛控拼裝制作而成的無人機，主要包括了機載運動相機以及四旋翼無人機，其中四旋翼無人機主要是將Pix Hawk 作為核心，通過STM32F103 以及STM32F247 為協助控制器以及主要控制器，其具體參數如表1所示。

相機主要是在掛載于四旋翼無人機云臺下方，該搭建無人機硬件云臺能夠適當調整翻滾角度，進而直接在地面總站臺對相機進行有效地控制，其主要參數如表2 所示。

2.2 構建無人機實時操作系統

在智能化無人機之中，所采取的實時操作系統主要是RTThread系統（Real-Time Thread），屬于嵌入式實時多線程操作系統的范疇。構建的無人機實時操作系統具備較為分明的架構以及較高的模塊化程度，相關技術人員能夠較為輕易地對其進行剪裁。與市場中應用較為廣泛的Linux 系統相比，RT-Thred 系統有著較高的實時性，較小的體積以及功耗，不會耗費大量的成本，且占用資源相對較小，啟動速度更快，十分契合無人機應用于各類資源受限的環境之下[3]。并且RT-Thread 不單單能夠應用于較為低端的MCU 之中，也能夠應用于ARM9、ARM11 以及ARMCortex-A 系列級別的應用處理器之中。其實際結構如2 所示。

從上圖中能夠得知，這一系統的核心部分在于內核層，主要包含了內存管理、郵箱、多線程調度、定時器、消息隊列等功能;libcpu / BSP 主要是指硬件抽象層，主要包含了CPU 移植以及外設驅動。將RT-Thread 操作系統應用于無人機操作系統之中，主要有著以下幾個方面的優點：一是屬于硬實時系統的范疇，能夠充分迎合無人機在實時性方面的需求[4] ;二是能夠對系統的功耗進行最大地減少，具備自動化功耗控制這一功能;三是其網絡協議棧較為豐富，當前能夠支持商場中的4G、5G 移動通信;四是多媒體軟件包數量眾多，處理相關圖像信息更為便捷;五是提供了數量眾多的云SDK，和物聯網有著密切的聯系，使得云計算技術能夠有效應用于無人機之中。

2.3 提供深度學習技術支持

無人機所使用的深度學習框架應該對無人機硬件具有較好的優化，同時盡可能地減少第三方的依賴，同時又要盡可能支持主流的網絡和模型。據此，移植移動端已有的深度學習框架是比較合適的選擇。本文通過移植騰訊的 ncnn 神經網絡計算框架到RT-Thread 操作系統，為無人機提供深度學習支持。ncnn 從設計上考慮移動端的部署和應用，并且具有良好的跨平臺性，無任何第三方庫依賴，不依賴 BLAS 等計算框架。ncnn 滿足具有以下優點，使其能作為智能化無人機深度學習支持平臺：（1） 支持大部分常用的 CNN 網絡，如主流的 VGG、Goog Le Net、Resnet、Squeeze Net、YOLO。（2） 純 C++ 實現。通常深度學習框架會依賴 BLAS 和 LAPACK 等計算庫，而后者部分代碼往往使用Fortran 語言編寫，難以移植。（3） ARM NEON 匯編優化。NEON是 ARM Cortex-A 系列芯片中的一種 SIMD 指令集，在單個 CPU指令周期完成多組數據的運算。目前無人機設備常用ARM 芯片，使用 NEON 指令集實現卷積層、全連接層、池化層等大部分CNN 的關鍵層，能有效地提升計算性能。（4） 通常卷積層在計算卷積時，為利用優化過的高效的通用矩陣乘法函數（GeneralMatrix Multiplication），會將一個 H × W × C 的特征圖拆分重組為 N 個 K2 × C 維向量，即一個（K2C）× N 的矩陣，其中 K 為卷積核的長寬，同時將 D 個 K × K × C 的卷積核重組為一個 D×（K2C）的矩陣。兩個矩陣通過一個矩陣乘法得到一個輸出矩陣，再改變為相應輸出的形狀，得到輸出張量，即完成出一個卷積層的計算。這種計算卷積的方法會造成大量的數據冗余[5]。在ncnn 中卷積層采用原始的滑動窗口卷積實現，然后進行優化，避免在中間計算過程構造出較大的矩陣，減少內存占用。（5） 整體庫體積較小，低于 500KB。無人機系統通常存儲空間有限，如Pixhawk 僅提供 2MB 大小的閃存用于存儲程序，而 Ardupilot 提供的 Pixhawk 飛控固件僅 1.1MB，較小的第三方神經網絡庫可以盡量降低對存儲空間的要求。

3 結語

綜上所述，傳統無人機視覺系統中存在著一定的弊端，無法深入處理所獲取的各類數據信息，因此本次研究引入了深度學習技術，在無人機視覺系統中移植了ncnn 作為其深度學習的主要框架，能夠有效解決這類問題，并且維持無人機的穩定飛行，有效提升無人機執行相關任務的質量及效率，值得大力推廣。