基于YOLOv8物體識別的家居場景判定

中圖分類號：TP18 文獻標(biāo)志碼：A 文章編號：1000-5137（2025）02-0244-06

Abstract：Aregion entrance detectionmethod based on lidarand depth camera data wasproposed，bywhicheffcient recognitionofregionentrancewasachievedthrough averagedistancedetection，width evaluationandsmoothnessanalysis. Byintegratingobjectdetectiontechniqueand depth information，the3Dspatialpositionsofobjectswereaccurately calculatedandfunctionalregions wereclasifiedthroughobjectcategorystatistics.Geometricinformationwas integratedwith semanticinformation inthisapproach，improvingtheaccuracyandeficiencyofregionentrancedetectionwhileenabling real-timeandrobustobjectposition estimationand functionalregionsegmentationindynamic scenarios.Experimentalresults demonstrated thattheproposed methodwassuperiortothe traditionalapproaches intermsof precisionandreal-time performance forregion entrancedetection，objectrecognitionandregionsegmentation，enabling thegenerationof efcient semantic region maps.

Key words：image processing；object detection；semantic map； lidar； region segmentation

0 引言

目前，區(qū)域分割是實現(xiàn)機器人自主導(dǎo)航的關(guān)鍵技術(shù).現(xiàn)有的系統(tǒng)在處理復(fù)雜環(huán)境中的區(qū)域劃分時，往往依賴于靜態(tài)的預(yù)定義地圖和固定的區(qū)域劃分策略，在面對未知環(huán)境或動態(tài)變化場景時，機器人的靈活性和效率受到嚴(yán)重限制.為了實現(xiàn)物體識別與坐標(biāo)位置判斷并獲取環(huán)境的語義信息，研究人員在同步定位與建圖（SLAM）中融人了環(huán)境信息的語義.MCCORMAC等通過神經(jīng)網(wǎng)絡(luò)生成類別概率圖，將預(yù)測結(jié)果與地圖融合，從而實現(xiàn)語義擴展.GIRSHICK等[2提出的經(jīng)典目標(biāo)檢測算法R-CNN，在神經(jīng)網(wǎng)絡(luò)的支持下取得了重要突破.隨后，研究人員又逐步衍生出FasterR-CNN3和MaskR-CNN4等架構(gòu).點云分割相關(guān)算法能保留區(qū)域的相似特征，如空間和法線信息設(shè)計的Locally Convex Connected Patches（LCCP）方法[5]和PointNet分割算法，但是這些方法只處理了幾何信息.ZOU等[7提出了一種基于點云的物體邊界提取方法，通過幾何特征提取物體的邊界與形狀信息，為判斷物體位置提供支持.然而，該方法在動態(tài)環(huán)境中實時性較差，且易受點云稀疏性和噪聲的影響.WANG等8嘗試結(jié)合單目視覺定位與深度學(xué)習(xí)技術(shù)，實現(xiàn)物體的快速、高精度定位.然而，該方法在大規(guī)模數(shù)據(jù)中的特征提取和降維方面計算復(fù)雜度較高，

本文作者提出一種基于激光雷達數(shù)據(jù)與目標(biāo)檢測技術(shù)的改進方法，通過對激光雷達數(shù)據(jù)進行預(yù)處理，結(jié)合提取的幾何特征，提高區(qū)域入口識別的準(zhǔn)確性.結(jié)合深度相機數(shù)據(jù)與先進目標(biāo)檢測算法，實時計算物體的三維空間位置，實現(xiàn)物體類別識別與位置估算的精準(zhǔn)融合.與傳統(tǒng)點云方法相比，本文方法擺脫了對稀疏點云的依賴，不僅提升了物體位置判斷的效率，還通過結(jié)合環(huán)境語義信息，增強了系統(tǒng)在未知動態(tài)環(huán)境中的適應(yīng)能力，為家居環(huán)境下的智能機器人導(dǎo)航與多任務(wù)執(zhí)行提供了有效支持.

1 區(qū)域劃分方法

1.1 區(qū)域口判斷方法

1.1.1 數(shù)據(jù)預(yù)處理

在區(qū)域口判斷中，激光雷達通常存在無效點（例如噪聲點或超出檢測范圍的點）.為保證數(shù)據(jù)的有效性和計算的準(zhǔn)確性，對輸入的激光雷達掃描數(shù)據(jù) D（θ） 進行預(yù)處理，其中，0為雷達掃描到的角度.

將激光雷達掃描數(shù)據(jù)進行如下劃分：

前方扇區(qū)： -10^°?θ?10^°

左方扇區(qū)： -45^°?θ?-10^° ，

右方扇區(qū)： 10^°?θ?45^°

：后進行數(shù)據(jù)清洗，去除無效數(shù)據(jù)（如深度值超出有效檢測范圍的點）

式中： D_valid（θ） 是清洗后的有效深度數(shù)據(jù)； D_min 和 D_max 分別為激光雷達的最小和最大檢測范圍.

1.1.2平均距離檢測

在前方扇區(qū)內(nèi)計算深度數(shù)據(jù)的平均值 d_avg ，代表區(qū)域前方的整體通行性，

式中： N 是前方扇區(qū)中有效深度數(shù)據(jù)點的數(shù)量.

若 d_avg 超過預(yù)設(shè)的區(qū)域檢測閾值 d_threshold ，則初步判定存在一個潛在的區(qū)域入口，進入寬度檢測.

1.1.3 寬度檢測

前方深度差值

逐漸增加 Δd（θ） ，直到超過預(yù)設(shè)的寬度閾值 w_threshold ，計算新的扇區(qū) [θ_min，θ_max]

1.1.4 平滑性判斷

為保證檢測到的區(qū)域入口邊界具有一致性，減少誤判，對寬度范圍內(nèi)的所有掃描角度進行平滑性分析.

設(shè)定平滑度閾值 S_threshold ，若所有相鄰角度的深度差值滿足

則判定該區(qū)域口有效，此時通過機器人操作系統(tǒng)（ROS）中navigation包的adaptive Monte Carlo localization（AMCL）功能包獲取當(dāng)前位姿并保存.

1.2 物體位置判斷方法

You only look once（YOLO） Δ_v8 算法的檢測速度與準(zhǔn)確率較為平衡，選擇采用該算法進行物體識別.

利用AMCL功能在已知地圖中確定機器人自身位置，將位置轉(zhuǎn)換到地圖系坐標(biāo)中的像素坐標(biāo)（20 （u，v） ，

式中： （x_map，y_map ）為當(dāng)前位置； （x_origin，y_origin） 為原點位置； r 為地圖分辨率.

通過ROS提供的camera_lidar_calibration ^-v2 工具對相機和雷達進行聯(lián)合標(biāo)定，得到內(nèi)參矩陣 K， 旋轉(zhuǎn)矩陣 R 、平移向量 χ_t ，其中，

式中 σ：f_x 和 f_y 表示相機在圖像坐標(biāo)系 x 軸與 y 軸上的焦距； c_x 和 c_y 是圖像中心坐標(biāo)

結(jié)合機器人的像素位置 （u，ν） 、物體的深度值 d， 相機的內(nèi)參矩陣 K， 旋轉(zhuǎn)矩陣 R 、平移向量 t ，計算物體在地圖中的坐標(biāo) （X_c，Y_c，Z_c） ），

最終，得到物體的坐標(biāo)位置

1.3 區(qū)域劃分綜合流程

1.3.1 區(qū)域口比對

當(dāng)機器人檢測到新的區(qū)域口位置 P_current 時，需要與已保存的區(qū)域口位姿集合 進行比對，判斷

是否已完成對當(dāng)前區(qū)域的劃分.比對規(guī)則如下：

式中： -P_i 表示區(qū)域口的反向位置.若滿足比對規(guī)則，則已經(jīng)完成對當(dāng)前區(qū)域劃分;否則，啟動視覺識別模塊對區(qū)域進行功能識別，

1.3.2 物體類別統(tǒng)計

在視覺識別模塊中，機器人通過目標(biāo)檢測獲取區(qū)域內(nèi)的物體類別，通過預(yù)定義功能映射規(guī)則將區(qū)域類別集合 及其在當(dāng)前區(qū)域內(nèi)的出現(xiàn)次數(shù) f（C_j） 對應(yīng)起來，

式中： K 是檢測到的物體總數(shù)； δ（C_k，C_j） 為指示函數(shù)，

1.3.3 區(qū)域功能屬性判斷

通過統(tǒng)計物體類別頻數(shù)，選擇出現(xiàn)次數(shù)最多的類別作為區(qū)域的主要功能屬性 F_region

1.3.4 更新區(qū)域信息

將該區(qū)域的入口位置 P_current 和功能屬性 F_region 更新到區(qū)域信息數(shù)據(jù)庫，

2 實驗設(shè)計流程

2.1 算法設(shè)計

算法的整體處理流程圖如圖1所示，包含數(shù)據(jù)采集、區(qū)域口檢測、物體識別、坐標(biāo)計算、劃分區(qū)域等步驟.

整體流程從環(huán)境數(shù)據(jù)采集開始，通過區(qū)域口檢測，構(gòu)造區(qū)域劃分的基礎(chǔ)框架，并結(jié)合物體識別和坐標(biāo)計算語義信息.每個步驟的結(jié)果相互依賴，共同完成對家居環(huán)境的區(qū)域劃分.

2.2 實驗設(shè)計

本文使用的機器人結(jié)構(gòu)為兩輪差速驅(qū)動結(jié)構(gòu)，機械機構(gòu)如圖2（a）所示;使用的相機為奧比中光深度相機，如圖2（b）所示;采用的激光雷達為測距精度較高的杉川激光雷達，如圖2（c）所示.

在實際場景中，雷達數(shù)據(jù)如圖3所示.當(dāng)右方雷達數(shù)據(jù)大于 0.25m 時，機器人右轉(zhuǎn)，并開始判斷前方是否是區(qū)域口.如果前方雷達數(shù)據(jù)的平均值大于 2m ，分別向左右兩側(cè)檢索；當(dāng)雷達數(shù)據(jù)差值大于 1m 入口寬度檢測完成；如果后續(xù) 10^° 內(nèi)，每度之間的雷達數(shù)據(jù)相差小于 0.1m ，則判斷前方為一個區(qū)域口，并保存區(qū)域口的坐標(biāo)位姿，經(jīng)過區(qū)域口后繼續(xù)右轉(zhuǎn)，向沿邊前進直到下一個區(qū)域口.

在區(qū)域劃分的過程中，通過YOLOv8算法識別該區(qū)域的物體，如圖4所示，識別到沙發(fā)、椅子等，這些類別屬于客廳區(qū)域.

如圖5所示，通過深度相機計算被檢測到的物體的坐標(biāo)位置，根據(jù)內(nèi)參矩陣、物體的中心位置以及深度相機得到的深度值來計算物體的坐標(biāo).

在檢測區(qū)域口的過程中不斷沿邊移動，當(dāng)發(fā)現(xiàn)檢測到的區(qū)域口與已保存的區(qū)域口位姿相反時，表示完成對這一區(qū)域的檢索.此時，通過識別到的最大區(qū)域類別頻數(shù)來確定該區(qū)域的類別，并將區(qū)域口與區(qū)域類別對應(yīng)保存到文件，以便于后續(xù)導(dǎo)航尋物的使用.

3結(jié)語

本文針對家居環(huán)境中傳統(tǒng)的區(qū)域劃分方法

在區(qū)域入口識別和物體空間位置判斷方面的不足，提出了一種結(jié)合激光雷達和深度相機數(shù)據(jù)的高效處理方案.通過平均距離檢測、寬度判斷和平滑性分析，實現(xiàn)了對區(qū)域人口的檢測.同時，結(jié)合目標(biāo)檢測和深度信息，計算物體的空間位置，并在實際環(huán)境中進行了實驗.后續(xù)工作將重點優(yōu)化算法性能，在更為復(fù)雜的環(huán)境中提升執(zhí)行效率與準(zhǔn)確率，并探索多模態(tài)數(shù)據(jù)融合應(yīng)用，為家居環(huán)境下的智能機器人提供更加全面和高效的解決方案，

參考文獻：

[1]MCCORMACJ，HANDA A，DAVISON A，et al. SemanticFusion：dense 3D semantic mapping with convolutional neural networks[C]// Proceedings of 2017 IEEE International Conferenceon Robotics and Automation.Singapore： IEEE，2017：4628-4635.

[2] GIRSHICK R，DONAHUE J，DARRELL T，et al.Region-based convolutional networks for accurate object detection and segmentation[J].IEEETransactionsonPaternAnalysisandMachine Intelligence，2016，38（1）：142-158.

[3] REN SQ，HE K M，GIRSHICK R，etal.Faster R-CNN：towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[4] HE K M，GKIOXARI G，DOLLAR P，et al. Mask R-CNN[J]. IEEE Transactions on Pattrn Analysis and Machine Intelligence，2020，42（2）：386-397.

[5] STEIN SC，SCHOELER M，PAPON J，et al.Object partitioning using localconvexity[C]/Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus：IEEE，2O14：304-311.

[6] QI R C，SUH，KAICHUN M，et al.PointNet：deep learning on point sets for 3D clasification and segmentation[C]/ Proceedingsof2O17IEEE Conferenceon Computer Visionand Patern Recognition.Honolulu： IEEE，2017：77-85.

[7]鄒斌，林思陽，尹智帥.基于YOLOv3和視覺SLAM的語義地圖構(gòu)建[J].激光與光電子學(xué)進展，2020，57（20）： 201012. ZOU B，LIN S Y，YIN Z S. Semantic mapping based on YOLOv3 and visual SLAM[J]. Laseramp; Optoelectronics Progress，2020，57（20）：201012.

[8] WAN X W，ZHANG H，YIN X C，et al. Monocular visual odometry scale recovery using geometrical constraint [C]/ Proceedings of 2018 IEEE International Conferenceon Roboticsand Automation.Brisbane：IEEE，2018：988-995.

（責(zé)任編輯：包震宇，顧浩然）