ResNet模型在智能巖石勘測小車上的應(yīng)用研究

喻飛根 劉科

摘? 要：文章以實(shí)現(xiàn)地質(zhì)勘探無人化和巖石分類智能化為目標(biāo)，設(shè)計(jì)出用于地質(zhì)勘探現(xiàn)場的具有巖石分類功能的智能導(dǎo)航小車系統(tǒng)。該系統(tǒng)分為小車模塊和巖石分類模塊兩部分，小車模塊利用ROS平臺(tái)進(jìn)行開發(fā)，得到勘探區(qū)域環(huán)境數(shù)據(jù)后，利用SLAM算法生成柵格地圖并進(jìn)行路徑規(guī)劃來獲得全局最優(yōu)路徑，最后小車自動(dòng)導(dǎo)航至該地點(diǎn)并獲得該區(qū)域的巖石圖片。巖石分類模塊采用深度學(xué)習(xí)技術(shù)對(duì)巖石圖片進(jìn)行分類，基于Softmax分類器和ResNet101神經(jīng)網(wǎng)絡(luò)模型，建立巖石分類模型。

關(guān)鍵詞：巖石分類；SLAM算法；自動(dòng)導(dǎo)航；ResNet模型；Softmax

中圖分類號(hào)：TP242? ? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）08-0088-05

Abstract： Aiming at realizing unmanned geological exploration and intelligent rock classification， this paper designs an intelligent navigation car system with rock classification function for the situation of geological exploration. The system is divided into two parts of the car module and the rock classification module. The car module is developed by using the ROS platform. After obtaining the environmental data of the exploration area， the SLAM algorithm is used to generate a grid map and carry out path planning to obtain the global optimal path. Finally， the car automatically navigates to the location and obtains the rock pictures of the area. The rock classification module uses deep learning technology to classify rock pictures， and establishes a rock classification model based on Softmax classifier and ResNet101 neural network model.

Keywords： rock classification; SLAM algorithm; automatic navigation; ResNet model; Softmax

0? 引? 言

在地質(zhì)學(xué)中，對(duì)采集的巖石樣本進(jìn)行識(shí)別與分類是十分重要的研究內(nèi)容，專家學(xué)者通常運(yùn)用如下幾類方法對(duì)地質(zhì)勘探過程中發(fā)現(xiàn)的巖石樣本進(jìn)行類別判斷，它們分別是重磁地震等傳統(tǒng)物理試驗(yàn)方法、數(shù)學(xué)統(tǒng)計(jì)分析方法和采用深度學(xué)習(xí)技術(shù)建立巖石識(shí)別分類模型的智能學(xué)習(xí)分析方法等[1]。

隨著計(jì)算機(jī)和人工智能的發(fā)展，各種新技術(shù)被逐步應(yīng)用到社會(huì)生產(chǎn)生活的方方面面，例如人臉識(shí)別[2]、布匹瑕疵度識(shí)別等，這些新技術(shù)的應(yīng)用提高了人們生產(chǎn)生活的效率，促進(jìn)了社會(huì)經(jīng)濟(jì)的發(fā)展。同時(shí)新技術(shù)也使得地質(zhì)考察的工作模式產(chǎn)生了巨大的變革，巖石分類是地質(zhì)考察工作中的重要研究內(nèi)容，本文所使用的基于深度學(xué)習(xí)的巖石圖像分類模型，提高了傳統(tǒng)巖石辨別的速度，保證了巖石分類的準(zhǔn)確性。

此外，機(jī)器人技術(shù)的進(jìn)步也給我們的日常生活帶來了極大的便利，可以幫助我們完成很多復(fù)雜的工作[3]。同時(shí)由于在進(jìn)行野外地質(zhì)勘探過程中會(huì)遇到到各種復(fù)雜的環(huán)境，對(duì)勘探人員的人身安全有很大的潛在威脅，因此可以通過智能移動(dòng)機(jī)器人的自主行進(jìn)功能，完成勘探區(qū)域的地質(zhì)信息采集和巖石的分類，實(shí)現(xiàn)智能小車的自主勘探功能，加速勘探無人化進(jìn)程。

本文重點(diǎn)研究基于深度學(xué)習(xí)的巖石圖像識(shí)別模型和具有自動(dòng)導(dǎo)航[4]及自主行進(jìn)功能的ROS智能小車[5]，設(shè)計(jì)實(shí)現(xiàn)出具有巖石分類和自主勘測功能的小車系統(tǒng)，探索實(shí)現(xiàn)地質(zhì)勘探智能化無人化的方式，提高巖石分類的準(zhǔn)確度并最大限度保證研究人員人身安全。

1? 智能巖石勘測小車系統(tǒng)設(shè)計(jì)

1.1? 系統(tǒng)總體設(shè)計(jì)

智能巖石勘測小車首先需要使用激光雷達(dá)獲取環(huán)境數(shù)據(jù)，然后利用網(wǎng)絡(luò)將數(shù)據(jù)傳送給主機(jī)的SLAM節(jié)點(diǎn)進(jìn)行處理得到柵格地圖，并利用A*算法來實(shí)現(xiàn)小車的路徑規(guī)劃，從而實(shí)現(xiàn)自主行進(jìn)功能。系統(tǒng)設(shè)計(jì)時(shí)將相機(jī)放置在小車上，在其到達(dá)目的地后進(jìn)行巖石圖像的采集，并將數(shù)據(jù)通過網(wǎng)絡(luò)傳送到具備巖石分類能力的主機(jī)結(jié)點(diǎn)。根據(jù)現(xiàn)有小車系統(tǒng)的功率和主控制器的計(jì)算能力，低功率小車控制器無法完成圖像分類、路徑規(guī)劃和SLAM繪圖等功能[6]。利用ROS系統(tǒng)的分布式特點(diǎn)，在框架設(shè)計(jì)中將小車控制器和高性能計(jì)算機(jī)都配置為ROS節(jié)點(diǎn)，利用ROS節(jié)點(diǎn)間發(fā)布和訂閱消息或服務(wù)的方式，實(shí)現(xiàn)無線網(wǎng)絡(luò)環(huán)境下節(jié)點(diǎn)之間的異步通信，從而使車載系統(tǒng)能夠以較低端的控制器完成更多的功能，保證任務(wù)的實(shí)時(shí)進(jìn)行。小車在行駛過程中所生成的柵格地圖、相機(jī)所拍攝到的畫面以及最后圖片的分類結(jié)果均可在ROS提供的Rivz可視化工具中展現(xiàn)。基于上述描述所設(shè)計(jì)的ROS小車系統(tǒng)的總體框架如圖1所示。

1.2? 小車系統(tǒng)硬件設(shè)計(jì)方案

本文搭建的ROS小車主要由裝有ROS系統(tǒng)的主板、舵機(jī)控制器、激光雷達(dá)和攝像頭組成。主板是小車的大腦，主要負(fù)責(zé)將采集到的數(shù)據(jù)進(jìn)行初步處理并將相應(yīng)的數(shù)據(jù)發(fā)布到ROS網(wǎng)絡(luò)中，同時(shí)訂閱主機(jī)節(jié)點(diǎn)發(fā)布的小車運(yùn)動(dòng)決策相關(guān)的數(shù)據(jù)并控制舵機(jī)驅(qū)動(dòng)器完成小車行進(jìn)動(dòng)作；激光雷達(dá)負(fù)責(zé)周圍環(huán)境特征點(diǎn)距離的測量；攝像頭負(fù)責(zé)采集周圍環(huán)境的視頻數(shù)據(jù)；底座控制平臺(tái)負(fù)責(zé)執(zhí)行主控板傳輸下來的線速度和角速度控制指令[7]。ROS小車的硬件連接方式如圖2所示。

1.3? 系統(tǒng)軟件總體設(shè)計(jì)

從我們的需求來看，在實(shí)現(xiàn)巖石分類功能之前，要先完成小車的實(shí)時(shí)定位和地圖構(gòu)建，所設(shè)計(jì)的系統(tǒng)的整體軟件流程如圖3所示。在小車啟動(dòng)時(shí)先完成小車系統(tǒng)的初始化操作，并將系統(tǒng)的每個(gè)節(jié)點(diǎn)都注冊(cè)到ROS網(wǎng)絡(luò)，以訂閱和發(fā)布相關(guān)數(shù)據(jù)。在實(shí)時(shí)測繪部分，操作員需要手動(dòng)控制小車在測試區(qū)自由行駛，同時(shí)通過激光雷達(dá)掃描周圍環(huán)境，并使用主機(jī)的SLAM節(jié)點(diǎn)訂閱相關(guān)數(shù)據(jù)，然后使用Gmapping算法生成柵格地圖。勘探人員將校準(zhǔn)要測量的位置，使得小車能自動(dòng)行駛到該點(diǎn)。此后，系統(tǒng)將從現(xiàn)場攝像機(jī)采集的視頻流中獲取待識(shí)別的巖石圖片，主機(jī)的巖石分類模塊節(jié)點(diǎn)將訂閱圖片數(shù)據(jù)并得到該圖片的分類結(jié)果。最后，通過Rviz節(jié)點(diǎn)顯示生成的柵格地圖以及捕獲的圖片和識(shí)別結(jié)果。

1.4? 巖石數(shù)據(jù)預(yù)處理及分類模塊

巖石圖片數(shù)據(jù)預(yù)處理模塊完成對(duì)采集到的原始圖片數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗、圖像增強(qiáng)和數(shù)據(jù)擴(kuò)充等工作，為后面模型的特征提取和結(jié)果分類提供較為優(yōu)質(zhì)的數(shù)據(jù)。數(shù)據(jù)預(yù)處理模塊應(yīng)盡可能解決原始數(shù)據(jù)存在的各種問題，例如圖片分辨率不一、圖片數(shù)據(jù)量較小、不同類別數(shù)據(jù)數(shù)量分布不均勻以及可能對(duì)結(jié)果產(chǎn)生影響的一些噪聲等。

在巖石圖像分類部分，利用ResNet神經(jīng)網(wǎng)絡(luò)和Softmax分類器建立一個(gè)巖石分類模型，然后在飛槳（PaddlePaddle）提供的AI Studio平臺(tái)上完成前文所介紹的巖石數(shù)據(jù)集的模型參數(shù)訓(xùn)練，得到一個(gè)可以用于巖石分類的的模型。后期運(yùn)行時(shí)，在對(duì)小車采集到的圖片數(shù)據(jù)進(jìn)行預(yù)處理后，將優(yōu)質(zhì)圖片作為模型的輸入并由模型自動(dòng)計(jì)算出分類結(jié)果。

2? 智能巖石勘測小車系統(tǒng)實(shí)現(xiàn)

2.1? 數(shù)據(jù)集來源與圖像預(yù)處理

本文使用的巖石樣本數(shù)據(jù)集來源于第九屆“泰迪杯”數(shù)據(jù)挖掘挑戰(zhàn)賽的B題，該數(shù)據(jù)集包含了315張巖石樣本圖片[8]，圖4展示了數(shù)據(jù)集中的部分巖石樣本。從圖片的紋理來看，不同的圖片之間存在著明顯的差異，在整個(gè)數(shù)據(jù)集存在兩種不同的圖片分辨率，分別是4 096×3 000和2 448×

2 048。數(shù)據(jù)集中各類別圖片數(shù)量的分布如下：灰色細(xì)砂巖18張、灰黑色泥巖30張、黑色煤21張、淺灰色細(xì)砂巖85張、灰色泥質(zhì)粉砂巖46張、深灰色粉砂質(zhì)泥巖40張和深灰色泥巖75張，可見各類別數(shù)據(jù)分布不是很均勻。

為了解決圖片分辨率不一致和數(shù)量分布不均勻的問題，我們先對(duì)圖片進(jìn)行切割分塊以擴(kuò)充數(shù)據(jù)樣本，通過將圖片數(shù)據(jù)強(qiáng)制轉(zhuǎn)換為3字節(jié)，使用Python內(nèi)置庫中的reverse函數(shù)將圖片的每一行數(shù)據(jù)進(jìn)行顛倒反轉(zhuǎn)一次；其次根據(jù)“Height/Width *= 2”的計(jì)算公式來擴(kuò)大圖像尺寸，增加部分反向?qū)懭胍詫?shí)現(xiàn)對(duì)稱的鏡像效果；接著使用Python的Image類中的翻轉(zhuǎn)transpose函數(shù)對(duì)圖像進(jìn)行圖片的左右翻轉(zhuǎn)。通過上述的切割、顛倒和鏡像等方法處理巖石數(shù)據(jù)集，最后得到訓(xùn)練樣本62 265張，測試樣本7 000張，此類方法使得數(shù)據(jù)集得到一定的擴(kuò)充，能很好解決上述數(shù)據(jù)分布不均勻的問題。

2.2? 神經(jīng)網(wǎng)絡(luò)分類模型設(shè)計(jì)

在巖石圖像分類部分，首先對(duì)圖片進(jìn)行圖像校正與變換、圖像增強(qiáng)等圖像預(yù)處理操作，其次對(duì)系統(tǒng)所使用的神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)調(diào)整[9]，模型的主網(wǎng)絡(luò)結(jié)構(gòu)參考了由殘差模塊堆疊得到的ResNet101結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)模型的總體設(shè)計(jì)方案如圖5所示，采用了101層的深度殘差網(wǎng)絡(luò)的堆疊結(jié)構(gòu)，在網(wǎng)絡(luò)的全連接層使用了Softmax分類器進(jìn)行分類。訓(xùn)練得到的圖像特征提取模型可以得到2 048維特征向量，同時(shí)由于數(shù)據(jù)集給出了7類巖石樣本，所以要將輸出層節(jié)點(diǎn)數(shù)調(diào)整為7個(gè)節(jié)點(diǎn)來實(shí)現(xiàn)巖石分類的輸出功能，在將不同類別的圖片送入到分類器后，系統(tǒng)輸出該圖片所屬類別以及分類正確的概率，并以此評(píng)估該模型性能[10]。

2.3? 巖石圖片分類模型訓(xùn)練

在構(gòu)建好網(wǎng)絡(luò)模型后，需要將預(yù)處理好的數(shù)據(jù)放入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使得模型盡量擬合真實(shí)場景。本文的巖石圖像分類模型訓(xùn)練是在百度公司的AI Studio人工智能學(xué)習(xí)平臺(tái)上進(jìn)行的，該平臺(tái)為開發(fā)者提供了功能強(qiáng)大的線上訓(xùn)練環(huán)境、免費(fèi)GPU算力及存儲(chǔ)資源。本文的訓(xùn)練環(huán)境如表1所示，AI Studio提供的GPU的配置如圖6所示。

經(jīng)過一段時(shí)間的訓(xùn)練，訓(xùn)練出的模型逐漸收斂，圖7是訓(xùn)練過程中模型的Loss和acc的變化情況，從圖中可以看出Loss在訓(xùn)練到1 000輪左右的時(shí)候就已經(jīng)接近最小值0.006 654，達(dá)到收斂狀態(tài)，除此之外，acc的值也逐步穩(wěn)定在0.91以上。

2.4? ROS自動(dòng)導(dǎo)航小車實(shí)現(xiàn)

本系統(tǒng)通過對(duì)ROS機(jī)器人套件的組裝拼接，搭建出如圖8所示的ROS智能小車，作為最終系統(tǒng)的實(shí)物形態(tài)。為配合硬件功能，在軟件方面，需要配置好主板需要的操作系統(tǒng)和應(yīng)用環(huán)境，安裝TurtleBot3及依賴包并編譯好TurtleBot3的源碼。智能小車通過激光雷達(dá)掃描周圍環(huán)境得到相應(yīng)的點(diǎn)云數(shù)據(jù)，以此估計(jì)出小車在勘探區(qū)域內(nèi)的位置，并利用最基本的建圖算法Gmapping來形成一個(gè)二維的柵格地圖。在此基礎(chǔ)上借由構(gòu)建良好的二維柵格地圖來規(guī)劃出由起始點(diǎn)至終結(jié)點(diǎn)的最佳全局路線。在行進(jìn)的過程中，若小車突然遇到了障礙物，系統(tǒng)必須提前做好路徑規(guī)劃準(zhǔn)備，以有效的方式躲避障礙物。

3? 智能巖石勘測小車功能測試

3.1? 巖石圖像分類功能測試

在進(jìn)行巖石圖像分類測試時(shí)，首先利用圖9左側(cè)的三類圖片作為模型測試數(shù)據(jù)，將這三類圖像送入模型中進(jìn)行計(jì)算，最終輸出這類圖片所屬類別以及分類正確的概率，實(shí)驗(yàn)結(jié)果如圖9右側(cè)所示。可以看出訓(xùn)練模型分類正確的準(zhǔn)確率達(dá)到了90%左右，區(qū)間波動(dòng)在[0.86，0.93]之間，同時(shí)由于模型訓(xùn)練的數(shù)據(jù)集經(jīng)過數(shù)據(jù)增強(qiáng)操作，使得數(shù)據(jù)集更加多樣豐富，大大提高了模型的泛化性和魯棒性。

接著對(duì)該模型進(jìn)行整體評(píng)估，得到如圖10所示的運(yùn)行結(jié)果，從結(jié)果中可以看出巖石分類總體準(zhǔn)確率達(dá)到 0.916 58，圖片的平均預(yù)測時(shí)間為24 ms，說明該模型智能分類效果較好，能滿足基本的識(shí)別準(zhǔn)確率要求。

3.2? ROS自動(dòng)導(dǎo)航小車功能測試

在對(duì)巖石勘測小車進(jìn)行自動(dòng)導(dǎo)航測試時(shí)，首先打開小車的電源開關(guān)使得小車進(jìn)入預(yù)啟動(dòng)階段，輸入操作命令使之運(yùn)行小車對(duì)應(yīng)的功能包節(jié)點(diǎn)，其次使用鍵盤上的方向按鍵來控制小車的移動(dòng)方向，智能巖石勘測小車在勘測區(qū)域移動(dòng)過程中，使用激光雷達(dá)傳感器實(shí)時(shí)掃描小車周圍的環(huán)境信息并自動(dòng)實(shí)現(xiàn)小車的自我定位，最后系統(tǒng)會(huì)通過Gmapping算法構(gòu)造出勘測區(qū)域的二維柵格地圖。在建圖過程中可實(shí)時(shí)將地圖數(shù)據(jù)發(fā)布到ROS網(wǎng)絡(luò)中，系統(tǒng)的Rviz節(jié)點(diǎn)訂閱該數(shù)據(jù)并在界面中顯示。在獲得勘測區(qū)域的柵格地圖后，由研究人員手動(dòng)確定需要勘探的地點(diǎn)，智能巖石勘測小車會(huì)自動(dòng)導(dǎo)航到該地點(diǎn)，并可由攝像頭獲得該地點(diǎn)的巖石圖片數(shù)據(jù)，完成巖石分類功能。圖11是小車建立的實(shí)驗(yàn)區(qū)域柵格圖和自動(dòng)導(dǎo)航的效果，圖12是在Rviz界面中展示的巖石分類結(jié)果。

4? 結(jié)? 論

本文的智能巖石勘測小車系統(tǒng)是計(jì)算機(jī)技術(shù)和人工智能技術(shù)在地質(zhì)巖石探勘領(lǐng)域的應(yīng)用，該系統(tǒng)以圖像分類、SLAM算法和ROS框架為核心基礎(chǔ)，通過將ROS小車的實(shí)時(shí)地圖構(gòu)建、自動(dòng)導(dǎo)航等功能與巖石分類模型結(jié)合起來，完整地實(shí)現(xiàn)野外勘測過程的無人化，保證人員安全的同時(shí)也提高了勘測的效率和巖石分類的準(zhǔn)確性。從對(duì)智能巖石勘測小車系統(tǒng)的測試結(jié)果來看，巖石分類模型的準(zhǔn)確率在90%左右，巖石樣本的推理可在24 ms內(nèi)完成，該模型具有良好的魯棒性和實(shí)時(shí)性，較好解決了巖石分類問題。與此同時(shí)小車自動(dòng)導(dǎo)航功能比較完備，可在地圖區(qū)域內(nèi)多地點(diǎn)之間行進(jìn)自主導(dǎo)航，基本實(shí)現(xiàn)了勘探區(qū)域內(nèi)勘測操作的無人化。

參考文獻(xiàn)：

[1] 張野，李明超，韓帥.基于巖石圖像深度學(xué)習(xí)的巖性自動(dòng)識(shí)別與分類方法 [J].巖石學(xué)報(bào)，2018，34（2）：333-342.

[2] Sun Y，Wang X，Tang X.Deep learning face representation by joint identification-verification [J].Advances in Neural Information Processing Systems 27 （NIPS 2014） .Montreal：MIT，2014：1988-1996.

[3] 李陽.基于ROS系統(tǒng)移動(dòng)機(jī)器人SLAM算法研究與實(shí)現(xiàn) [D].西安：西安工程大學(xué)，2018.

[4] Ribeiro D，Mateus A，Miraldo P，et al. A real-time deep learning pedestrian detector for robot navigation [C]//IEEE International Conference on Autonomous Robot Systems and Competitions.Coimbra：IEEE，2017：165-171.

[5] 田宇.基于機(jī)器人操作系統(tǒng)的智能移動(dòng)小車目標(biāo)識(shí)別研究 [J].軟件工程，2021，24（8）：11-15.

[6] 梁雙，倪曉昌，董嬌玲，等.基于激光雷達(dá)的SLAM算法綜述 [J].信息與電腦：理論版，2022，34（3）：59-61.

[7] 詹潤哲，姜飛.基于ROS與深度學(xué)習(xí)的移動(dòng)機(jī)器人目標(biāo)識(shí)別系統(tǒng) [J].電子測試，2018（15）：70-71+64.

[8] 馮震，潘錦濤，陳相賀.基于深度學(xué)習(xí)的巖石樣本分類研究 [J].信息與電腦：理論版，2021，33（9）：71-73.

[9] 葛昊.基于深度學(xué)習(xí)的圖像分類方法研究 [D].成都：電子科技大學(xué)，2020.

[10] 萬磊，佟鑫，盛明偉，等.Softmax分類器深度學(xué)習(xí)圖像分類方法應(yīng)用綜述 [J].導(dǎo)航與控制，2019，18（6）：1-9+47.

作者簡介：喻飛根（1999—），男，漢族，湖南岳陽人，本科在讀，研究方向：機(jī)器人與計(jì)算機(jī)視覺；通訊作者：劉科（1979—），男，漢族，湖北荊州人，講師，博士，研究方向：智能機(jī)器人技術(shù)。