基于卷積神經網絡的AUV 水下識別系統

李 昱，王俊雄，黃伍德

（1.上海交通大學 船舶與海洋工程學院，上海 201100；2.上海船舶設備研究所，上海 200031）

0 引 言

自主式水下機器人（Autonomous Underwater Vehicle, AUV）在海事研究和海洋開發領域具有廣闊的應用前景，在水下信息獲取、精確打擊和“非對稱情報戰”等方面也有廣泛應用，現已成為世界各國研究的重要內容[1]。AUV 需通過導航系統實現高精度自主導航，其基本慣性導航系統一般采用捷聯式慣導。由于工作環境的限制和慣性器件產生的固有漂移誤差的影響，單一的導航設備無法滿足AUV 長期高精度導航的需求，需采用組合導航系統。AUV 在遠距離端一般采用水聲引導的方法或慣性導航系統與多普勒速度計程儀組合導航的方法接近目標物，對導航精度的要求并不高，近距離端導航定位才是AUV 進行水下目標探測的關鍵[2]。目前，用于進行水下測量的傳感器有慣性導航傳感器、聲吶傳感器和視覺傳感器等，其中：慣性導航傳感器測出的是物標與水下機器人的相對位置，由于累計誤差的產生，測量精度會隨著時間的推移而下降，一般應用于水下遠距離端的導航中；聲吶傳感器分為長基線、短基線和超短基線等3 種，其測量精度較低，不適用于復雜的水下環境；視覺傳感器具有成本低、體積小、運動方式靈活等特點，適用于局部的精確定位，是近幾年各國重點研究的傳感器。AUV 的水下視覺引導一般是通過攝像機獲取目標物信息，由此進行目標物識別和測距定位[3]。

水下目標自動識別是目前水下識別技術的一個主要研究方向，如何對圖像進行特征提取是目標識別領域的一項重要研究內容。當前卷積神經網絡[4]廣泛應用于物體檢測、動作識別和圖像分類識別等領域中，能有效提取特征，其性能遠優于傳統方法。基于卷積神經網絡的視覺導航系統能使AUV自主識別目標物，大幅提升其圖像特征提取和圖像識別能力，實現對近距離目標物的精準定位[5-6]。本文搭建一種AUV系統平臺，通過試驗獲取水下矩形木框和三角形木框圖像，根據LeNet-5神經網絡框架模型[7-10]設計一種13層卷積神經網絡，完成水下矩形木框和三角形木框的二分類試驗。

1 AUV 系統平臺搭建

1.1 AUV 系統結構

本文設計的AUV 主要由樹莓派主機（Raspberry Pi）、PIXHAWK 飛控板、電池倉及外殼、蓄電池、螺旋槳推進器、無刷電機驅動板、三軸陀螺儀模塊、溫度/深度等傳感器、水泵、攝像頭、電力貓模塊和水上通信模塊組成，可通過地面站和手機APP 的控制實現水下航行，其前置攝像頭可通過電力貓模塊向手機傳輸視頻數據，顯示在水下拍攝的圖像。Raspberry Pi 體積小，易于安裝，具有豐富的硬件接口，易于開發；攝像頭可通過有線方式或插入無線網卡的方法實現與水下機器人控制系統的連接。因此，本文采用搭載4 核Broadcom BCM2836 芯片的Raspberry Pi 搭建AUV 系統平臺。AUV 系統結構圖見圖1。

圖1 AUV 系統結構圖

1.2 AUV 水下視覺系統

1.2.1 AUV 水下視覺硬件系統

AUV 水下視覺系統是AUV 獲得水下環境視覺信息所采用的主要工具，是AUV 設計的一項重要內容。本文設計的水下拍攝實現原理為將攝像頭通過USB（Universal Serial Bus）接口與Raspberry Pi 連接，待Raspberry Pi 經設定程序開機之后，采用Python 編程驅動攝像頭工作。選用的攝像頭型號為USBFHD06H，像素尺寸為12.8×11.6，最高有效像素可達2000×1121，可輸出的圖像格式有H264、MJPEG 和YUV2，工作電壓為5V（直流），工作電流為140～190mA。

該攝像頭通過USB 連接Raspberry Pi（見圖2），由此獲得電源，同時在Raspberry Pi 的控制指令下進行開啟或關閉；攝像頭可初步滿足工作的控制要求，拍攝精度滿足水下攝像的要求。

此外，由于水下光線不夠充足，在AUV 的攝像頭兩端分別加裝照明燈裝置，為AUV 水下拍攝工作提供充足的光源，攝像機通過水下密封罩安裝于AUV 正前方。圖3 為AUV 視覺系統整體安裝模型圖。

圖2 USBFHD06H 攝像頭及其與Raspberry Pi 連接圖

圖3 AUV 視覺系統整體安裝模型圖

1.2.2 AUV 水下視覺軟件系統

Raspberry Pi 沒有預裝操作系統，需先將操作系統下載到SD 卡上，由SD 卡導入Raspberry Pi，重啟之后完成操作系統安裝。Raspbian 是Raspberry Pi 特有的基于Debian 的操作系統，其硬件驅動程序根據Raspberry Pi 的硬件優化，可為Raspberry Pi 提供一個穩定、快速的系統平臺。基于在固件、核心成分和應用等方面的改進，Raspbian 是較為適合普通用戶使用的操作系統。Raspbian 預搭載的編程開發環境是Python語言，其具有完善的標準庫，且易于編程。

OpenCV 是一個開源的跨平臺計算機視覺庫，可在Linux、Windows 和MacOS 操作系統上運行，支持跨平臺使用，具有輕量級和高效的優點，可提供大量圖像特征檢測方面的算法函數，執行效率較高，使用方便，可支持Raspberry Pi 運行的Raspbian 操作系統，并使用Python 語言做開發語言。

TensorFlow 是谷歌基于DistBelief 研發的新一代人工智能學習的開源系統，是張量從流圖的一端流動到另一端的計算過程，可將復雜的數據結構傳送到人工智能神經網絡中進行分析和處理，具有完備的標準庫，廣泛應用于語言識別和圖像識別中，與Python 語言兼容。

本文在Raspberry Pi 上安裝Raspbian 操作系統，并安裝編譯器GCC4.3、QT4.5 和OpenCV 3.4 軟件工具包。本文所述水下識別系統在Linux 操作系統下利用QT 庫開發圖形界面，以OpenCV 圖像處理庫為基礎，通過對庫中提供的相關函數進行處理獲取數據集，結合Tensorflow 對獲取的數據集進行分類處理。

在水下搭建三角形木框和矩形木框試驗平臺（見圖4），在AUV 航行過程中對矩形木框和三角形木框進行拍攝，圖像采集模塊可通過 cvCaptureFromCam()函數，從攝像機中得到水下矩形木框和三角形木框圖像。

通過cvCaptureFromAVI()函數調用從本地保存的圖像文件；通過cvSetCaptureProperty()函數對返回的圖像進行結構設置。通過start()函數開啟定時器，每隔一段時間調用一次自定義函數；通過cvGrabFrame()函數，從視頻流中獲取一幀圖像并進行存儲；通過cvRetrieveFrame()函數對存儲的圖像進行處理和顯示。程序流程見圖5。

圖4 水下矩形木框和三角形木框試驗平臺

圖5 程序流程

目前AUV 水下對接塢站口一般為三角形和矩形，因此在水池中搭建矩形木框和三角形木框試驗平臺，通過上述過程，從不同角度進行拍攝，共獲取1340 張圖像，部分數據集見圖6。

圖6 水下拍攝部分數據集

2 卷積神經網絡結構

本文采用卷積神經網絡對矩形木框和三角形木框進行分類，數據集來自于AUV 在水下采集的三角形木框和矩形木框圖像，采用1340 個像素為100×100 的RGB 圖像，在此基礎上設計卷積神經網絡網格圖（見圖7）。

圖7 卷積神經網絡網格圖

本文設計的卷積神經網絡共有13 層，有關矩形木框和三角形木框識別的詳細過程如下。

1) 輸入層：采用雙線性插值算法對原始輸入圖像進行縮放處理，將圖像的像素縮放為100×100。

2) Conv1-Relu1 層：該層是一個特征提取層，利用32 個5×5 的卷積核對原始圖像進行卷積計算，提取特征，并獲得32 個像素為100×100 的特征圖。在第一層卷積層，采用32 個像素為5×5 的卷積核對輸入層像素為100×100 的圖像進行卷積計算，提取特征，卷積核步長設置為1，采用圖像邊緣自動補零的方法對輸入圖像進行卷積計算，最終得到32 個像素為100×100 的特征圖。本文擬采用ReLU 激活函數對卷積結果進行激活，提高模型收斂的速度，計算式為

式(1)中：X 為輸入圖像，Y1為Conv1-Relu1 層輸出特征圖；ω 為卷積核；b1為偏置項。制造噪聲，增強魯棒性，最終得到Conv1-Relu1 層特征圖。

3) Max-pooling 層：該層是子采樣層，對Conv1-Relu1 層得到的32 個像素為100×100 的特征圖進行二次特征提取。本文采用32 個像素為2×2 的卷積核分別對Conv1-Relu1 層得到的32 個像素為100×100 的特征圖進行卷積計算。卷積核移動步長為2，采用圖像邊緣不自動補零的方法，最終得到32 個像素為50×50的特征子圖，計算式為

式(2)中：Xij為Conv1-Relu1 層輸出特征圖；Y2為Max-pooling 層輸出特征圖；b 為偏置項。式(2)采用2 倍速對特征圖進行縮放，縮小的速度過快會使得到的特征圖過于粗糙，縮小的速度過慢會使計算量過大。為得到更多的圖像細節[13]，一般將縮放因子設為2；為能有效控制特征圖的縮放速度，之后子采樣過程的縮放因子也都設為2。

4) Conv2-Relu2 層：為更好地提取出圖像的局部特征，擴展神經元的感受野，對Max-pooling 層得到的特征子圖像進行二次卷積操作，該層采用64 個像素為5×5 的卷積核，移動步長為1，圖像邊緣自動補零，遍歷整個特征子圖，最終得到64 個像素為50×50 的特征圖。通過前2 層操作之后，神經元的感受野較原始輸入圖像擴展為10×10，經過該層操作之后，每個神經元的感受野又增加5 倍，擴展為50×50，同時特征圖個數也增加1 倍，增加至64 個。

5) Max-pooling 層：該層同樣為子采樣層，對Conv2-Relu2 層得到的64 個像素為50×50 的特征圖進行二次特征提取。為控制圖像的縮放速度，同樣采用64 個像素為2×2 的卷積核，卷積核移動步長為2，采用圖像邊緣不自動補零的方法，對遍歷Conv2-Relu2 層得到的64 個像素為50×50 的特征圖進行卷積計算，最終得到64 個像素為50×50 的特征子圖。

6) Conv3-Relu3 層：為增加卷積神經網絡的深度，提高分類的準確性，繼續采用128 個像素為3×3 的卷積核遍歷上一層得到的特征圖，卷積核的移動步長同樣設為1，采用邊緣自動補零的方法對上一層得到的特征圖進行卷積操作，得到128 個像素為25×25 的特征圖，增加了卷積神經網絡的深度。

7) 其余卷積層和池化層：經過Conv1-Relu1 層、Max-pooling 層、Conv2-Relu2 層、Max-pooling 層和Conv3-Relu3 層卷積和池化之后，提取的特征已具有表達能力，但其抽象能力依然不夠，在試驗中，當卷積神經網絡只使用前幾層時，獲得的正確精度分類只有45%。為使提取的特征更加抽象，更具有表達能力，在卷積神經網絡中增加卷積層和池化層[11]，增加卷積神經網絡的深度，利用圖7 所示的卷積神經網絡對木框和三角框進行分類，得到的分類精度大幅上升，最終得到128 個像素為6×6 的特征圖。

8) 全連接層和softmax 分類輸出層：經過8 層卷積和池化操作之后，得到128 個像素為6×6 的特征圖，為了將分布式特征圖映射到樣本標記空間內，降低特征位置對分類的影響[12]，采用3 層全連接層，將上一層得到的特征圖像組合成列向量，最后通過softmax 函數對圖像進行分類。

3 試驗與測試

本文使用的圖像數據集來自于在水下從不同角度對矩形木框和三角形木框進行拍攝得到的圖片，共有1340 張。試驗基于Linux 操作系統，通過OpenCV 和TensorFlow 軟件完成二分類。

通過上述卷積神經網絡進行訓練和測試，經過4 層卷積層和池化層對圖像進行特征提取，采用三段式全連接方式對卷積神經網絡進行訓練，結果見圖8。在FC1 層，輸入的神經元數量為4608 個，輸出的神經元數量為1024 個，對權重進行dropout 函數操作和L2 正則化，避免出現過擬合現象，采用ReLU 激活函數進行激活；在FC2 和FC3 層，同樣對權重進行dropout 函數操作和L2 正則化，分別將神經元縮減為512 個和2 個，FC3 層輸出數據經過softmax 層，采用softmax 函數對輸入進行二分類。由圖8 可知：訓練損失隨著訓練迭代次數的增多而減少，測試準確率隨之提高；當訓練迭代的次數達到一定數值時，測試的準確率和損失相對處于一個平穩的狀態；在此次試驗中，經過90 次訓練迭代之后，網絡基本收斂，網絡迭代了100 次，卷積神經網絡結構參數優化之后的訓練損失值為0.058，準確率達到99.18%。

圖8 訓練結果圖

4 結 語

本文設計了AUV 視覺硬件系統，選用搭載4 核Broadcom BCM2836 芯片的Raspberry Pi，選用型號為USBFHD06H 的攝像頭，通過USB 與Raspberry Pi 連接，基于Raspbian 系統，在水下搭建矩形木框和三角形木框試驗平臺。在AUV 航行過程中，通過攝像頭采集木框平臺圖像，通過OpenCV 獲取水下圖像，通過 cvCaptureFromCam()函數進行圖像采集，通過cvCaptureFromAVI()函數調用從本地保存的圖像文件，通過cvSetCaptureProperty()函數對返回的圖像進行結構設置并制作數據集，通過start()函數開啟定時器，每隔一段時間調用一次自定義函數，通過cvGrabFrame()函數從視頻流中獲取一幀圖像并進行存儲，通過cvRetrieveFrame()函數對存儲的圖像進行處理和顯示，并結合Tensorflow 將卷積神經網絡應用于AUV 中。在LeNet-5 神經網絡的基礎上，增加卷積層的深度，擴展全連接層，設計一種13 層的卷積神經網絡進行水下目標識別，分別利用4 層卷積層和池化層對圖像進行特征提取，采用卷積神經網絡獲取水下目標特征，采用3 層全連接層對水下拍攝的木框和三角框進行訓練分類，分別對卷積神經網絡權重進行dropout 函數操作和L2 正則化，通過試驗，在進行100 次迭代訓練之后，水下目標識別的準確率達到了99.18%。