基于場景圖譜的室內移動機器人目標搜索

周方波，趙懷林，劉華平

（1.上海應用技術大學 電氣與電子工程學院，上海 201418; 2.清華大學 計算機科學與技術系，北京 100084;3.清華大學 智能技術與系統國家重點實驗室，北京 100084）

近年來，隨著在移動機器人定位、建圖、路徑規劃等關鍵技術上顯著性的發展[1]，制造出能夠在室內環境中執行日常任務的機器人持續受到了研究人員的關注。一般來說，對于服務機器人自主執行“去廚房拿個杯子過來”這一日常任務來說，首先依據環境中的信息來明確自己的位置；其次機器人需要自主移動，并依靠自身攜帶的視覺傳感器識別出物體的類別與位置信息，即需要到達能夠檢測到杯子的位置。當前國內外研究者們大多在仿真環境中提高機器人對目標搜索的正確率[2-4]。但是在現實場景中，由于環境的復雜，機器人在導航的過程中往往遇到障礙物的阻擋，僅依靠局部的視覺信息，機器人往往無法避開障礙物。當前目標搜索所用的方法大多是采用端到端的學習方法進行的，該方法是在不斷試錯的基礎上實現的，但是實際機器人的試錯成本非常高，在實際的機器人運行過程中將帶來很大的問題。

人類在尋找一個杯子的時候，并不會盲目地對房間的每個位置都進行探索。人類傾向于回顧以前杯子可能出現在了哪些大型物體旁邊，例如桌子、水槽等，并且清楚地知道桌子和水槽這些地標物體的位置。換句話說，人類依靠豐富的搜索經驗和對物體位置和關系的常識知識，可以有效地縮小搜索的范圍。我們受人類尋找物體的啟發，使機器人來模仿這種搜索方式。機器人接收到任務后，首先要思考兩個問題：1)目標物體當前可能在哪些位置？2)如何規劃路徑到達這些位置？例如，機器人在房間中尋找一個蘋果，雖然事先并不知道蘋果的位置，但是機器人知道桌子和水槽等地標物體的位置，并且蘋果出現在桌子的概率比較大，出現在水槽的概率次之，因此機器人可以先到桌子附近尋找蘋果，如果找不到，再到水槽旁尋找。

本文提出一種基于場景圖譜的室內移動機器人目標搜索方法，可以有效地在室內場景中找到目標，縮短搜索的路徑長度。機器人預先建立起包含地標物體位置信息的語義地圖，因此對于地標物體，機器人在依靠導航地圖情況下，規劃一條能夠到達該目標物體附近的導航點。本文使用語義關系圖譜來表示動態物體與地標物體的并發關系，例如杯子出現在桌子旁的概率比較大。對于動態物體，機器人的搜索策略是從當前位置出發，優先到與目標物體關系強度比較大的地標物體附近尋找，然后逐漸靠近動態物體。

1 相關工作

1.1 基于學習的方法

當前很多導航方法都是使用深度強化學習[5]和模仿學習[6]來訓練導航策略。Zhu等[2]提出了目標驅動導航任務，并使用一對共享參數的孿生網絡分別提取當前觀測的圖像信息和目標圖像信息的特征，之后使用Asynchronous Advantage Actor-Critic (A3C)強化學習算法[5]進行決策。然而這種端到端的學習方式[3-4]，需要機器人學習目標檢測，語義先驗、避障以及路徑規劃等一系列能力，盡管在模擬環境中取得了很大的進步，但是仍然無法有效地適應復雜多變的物理環境。在物理環境中，極容易出現機器人因避障能力的缺陷而撞到人或其他物體的情況[7-8]，其決策錯誤的代價是非常昂貴的。

1.2 基于建圖的導航方法

經典的導航方法將問題分為兩個部分，建圖和路徑規劃，一張幾何地圖一般是通過同步定位和建圖 (simultaneous localization and mapping,SLAM)[9-11]來構建導航地圖。一旦環境的地圖構建完成，路徑規劃算法，例如A*[12-13]或者RRT*[14]可以在障礙物存在的情況下來生成一個無碰撞的軌跡到達目標位置。但是這種幾何地圖只能滿足移動機器人避障、路徑規劃等簡單的任務。在機器人智能化操作任務中，不僅需要對所處環境建立幾何地圖，還要知道地圖中物體的語義類別信息。機器人在導航圖的基礎上構建包含地標物體位置信息的語義地圖，機器人可以清楚知道地標物體的位置。

1.3 語義關系圖譜

很多研究者們已經注意到了一些物體之間存在著并發（concurrence）關系[15-17]，例如遙控器經常出現在電視機旁邊，鼠標會在電腦旁邊。通過使用這種關系，機器人可以縮小搜索區域，提高目標搜索的效率。Qiu等[17]提出了一種層次物體關系學習方法，通過理解語義上下文的作用來學習目標驅動導航問題。并提出一個上下文向量嵌入到圖卷積神經網絡中，代替了ResNet[18]表示的圖像特征。雖然這種利用物體關系方式能夠在一定程度上引導機器人在相關的地標物體旁尋找目標，但是尋找地標物體對于機器人來說依然是個難題，并且機器人面對復雜的現實環境，因導航能力的不足，機器人仍然不知道如何行走。

2 問題描述

針對物體位置的可變性，將房間中的所有物體O={o1,o2,···,on+m}分為地標物體B={b1,b2,···,bn}和動態物體D={d1,d2,···,dm}。地標物體是房間中大型且不易移動位置的物體，例如，冰箱是廚房場景的地標物體，然而床是臥室的地標物體。動態物體的位置因某些原因而發生變化，例如房間中的蘋果在桌子和水池旁都有可能出現，這類物體因位置不定和體積較小的原因，相比于地標物體增加了搜索難度。

給定所要尋找的目標物體 ta rget∈O，例如杯子，該任務的目標是使機器人規劃一條路徑，在這條路徑上能以較短的距離發現這個物體。

假定該實驗是已知場景，這允許機器人在執行目標搜索任務之前，提前建立輔助地圖，包括導航地圖Mnav以及語義地圖Msem。其中導航地圖由若干導航點組成，每個導航點與其相鄰導航點之間的距離為0.25 m，在此基礎上，機器人不僅可以獲得準確的姿態xt∈R3，還可以實現從一個導航點到任意導航點的路徑規劃。在語義地圖中包含了房間中所有地標物體的空間分布。機器人可以獲得語義關系圖譜 S RGt=(O,E)，其中，每一個節點o∈O表示一個物體的類別，每一個邊e∈E表示兩個物體之間的語義關系值 R el(d,b)∈[0,1]。

3 搜索方法

如圖1所示，可以通過交互式界面告訴機器人所要尋找的目標物體 target。當 ta rget∈B時，機器人利用導航地圖和語義地圖直接到達距離目標物體最近的導航點。當 ta rget∈D時，機器人再結合語義關系圖譜，規劃出一條最有可能以最短的距離發現目標物體的全局路徑。這條路徑由機器人的起點、目標物體關系值不為零的地標物體附近的導航點以及終點組成，機器人可以在全局路徑中相鄰點之間進行局部的路徑規劃。機器人沿著路徑對目標進行搜索的過程中，對局部視野的圖像進行目標檢測，以便尋找到目標物體。

圖1 目標搜索整體結構Fig.1 The architecture overview of our proposed navigation method

3.1 導航地圖的建立

在物理環境中，SLAM對于移動機器人導航來說是一項基本問題。機器人使用激光雷達和ROS gmapping SLAM軟件包構建一個稠密的幾何地圖。在此基礎上，機器人不僅可以獲得準確的位置信息，還可以實現從一個位置到另一個位置的路徑規劃。如圖2所示，機器人對每個房間中可行走區域構建了一個稀疏的柵格地圖，其柵格的大小為0.25 m。機器人可以到達柵格上的任意點，命名為導航點。在所有導航點的每一條邊界上，按照該邊界上所有導航點的坐標中位數來選擇該邊界中間的導航點作為采樣點，機器人將在這些采樣點上采集圖像數據，用于三維語義重建。

圖2 導航地圖Fig.2 Navigation map

3.2 語義地圖的建立

機器人在每個采樣點上每隔45°采集該視角的RGB圖和深度圖，以此來捕獲房間的信息。如圖3所示，機器人首先針對單個采樣點的單個視角進行局部的三維語義重建。機器人可以通過SLAM獲取到機器人此刻的姿態xt∈R3, 它代表機器人在導航地圖上的坐標和朝向。然后便可將深度圖的像素坐標轉化為世界坐標，得到點云數據。并通過現有的Mask-RCNN[19]算法預測當前觀測的語義類別和掩膜，并映射到點云中。

圖3 局部3D語義重建Fig.3 Local 3D semantic reconstruction

如圖4所示，機器人在每個采樣點的每個視角下都進行局部的三維語義重建，為克服單一視角獲取環境信息不足的缺點，采用多視角連續性，將多個采樣點和視角生成的語義點云整合在一起，完成局部到全局的語義重建。并通過自上而下的投影，機器人可以得到一張帶有地標物體信息的語義地圖。

圖4 全局語義重建Fig.4 Global semantic reconstruction

3.3 語義關系圖譜的生成

與文獻[17]相同，同樣從視覺基因組[20](visual genome，VG)數據集的圖像標題中提取動態物體與地標物體之間的關系，但不同的是本文中的關系圖譜有明確的值來表示兩者之間的關系強度。對于一個動態物體d和地標物體b，其語義關系可以表示為 R el(d,b)∈[0,1]，關系值越大，表示兩者之間的關系越密切。本文中將在該數據集中任意一個動態物體與某個地標物體在圖像標題中同時出現次數與該動態物體出現在圖像標題總次數的比值作為該動態物體與該地標物體的關系強度。此外，還對物體的別名進行了合并，例如“cellphone”與“phone”。圖5給出了動態物體蘋果與其地標物體對應的語義關系圖譜。

圖5 語義關系圖譜Fig.5 Semantic relationships graph

3.4 全局路徑規劃器

給機器人下達任務所要搜尋的目標物體，機器人首先判斷該目標物體是地標物體還是動態物體，然后執行相應的步驟。

3.4.1 地標物體尋找

為了方便機器人到達地標物體最近的導航點，機器人在已經建好的語義地圖中查詢距離該地標物體最近的導航點，以及以何種角度可以觀察到物體，這個導航點和對應的角度就是機器人下一步所要先到達的目標點及朝向。機器人的找朝向計算包含以下過程：1)根據目標點（即查詢得到的導航點）的位置 (xn,yn)，地標物體的位置(xt,yt)得到兩點組成的向量a，2)計算向量a與向量(1,0)之間的夾角 θ，即機器人在目標導航點的朝向。

3.4.2 動態物體搜索

對于動態物體的目標搜索，機器人的搜索策略是從當前位置出發，先在地標物體區域進行探索，逐漸靠近可移動物體。機器人通過語義關系圖查詢與該物體關系最密切的地標物體，并計算導航地圖中距離地標物體最近的導航點。機器人依據建立好的導航地圖，到達所選擇的導航點，左右分別旋轉45°，來尋找目標物體。

因為檢測速度和節約電量的原因，尋找物體階段進行目標檢測方法并沒有用兩階段Mask-RCNN，而是使用一階段的YOLOv5[21]，這種設置在僅使用目標檢測方面，其速度和精度相比于Mask RCNN都會有所提高。

雖然在導航點可以看到目標物體，但是由于機器人在導航點有可能并沒有真正地靠近目標物體，因此還需要進一步靠近物體。這一步驟首先通過目標檢測的方式定位目標物體的邊界框，然后利用檢測結果中目標物體的邊界框坐標計算該物體的中心坐標，再映射到獲取的深度圖中，計算該物體中心坐標點周圍121（11×11）個深度距離的平均值，并將其作為機器人到目標物體的當前距離。

如果機器人到目標物體的距離大于或等于1.2 m，則機器人沿當前朝向前進一步，然后重新獲取深度圖并更新機器人到目標物體的距離；在本實施例中，機器人的一步是0.1 m。倘若機器人到目標物體的距離依然大于1.2 m，則繼續前進。采用這種遞歸的方式，直至機器人與目標物體的距離小于1 m。

如果尋找不到該目標物體，則走到與該物體關系次密切的地標物體附近的導航點，重復此步驟繼續尋找，直到找到該物體或者遍歷所有地標物體所對應的導航點。圖6給出了移動機器人在尋找動態物體的詳細流程圖。

圖6 動態物體搜索流程圖Fig.6 Dynamic object search flowchart

4 實驗與結果分析

為了驗證本文提出的室內環境下目標搜索方法的有效性，在一個辦公區域構建了一個約60 m3的實驗場景，其中包括兩個房間和一個衛生間。整個實驗環境區域及其導航點如圖7所示，此外，還在可導航區域內增加了一個障礙物。在實驗過程中，采用的語義分割和目標檢測相關配置如表1所示。

圖7 實驗場景的全局導航地圖Fig.7 Global navigation map of the experimental environment

表1 檢測平臺配置Table 1 Detection platform configuration

4.1 實驗場景的語義地圖

4.1.1 語義分割結果

根據采集的圖像信息，機器人對圖像進行了語義分割。如圖8給出了機器人從不同角度、不同導航點上采集到的圖像信息，經過語義分割后的結果。

圖8 語義分割可視化結果Fig.8 Semantic segmentation visualization results

4.1.2 語義地圖生成

如圖9所示，機器人根據采集的圖像信息進行重建語義地圖，基本上能夠表現地標物體的空間位置分布，地標物體包括冰箱、微波爐、電視機、餐桌、長椅、水池。值得注意的是，由于導航地圖為語義地圖建立的過程中提供可精確的定位，語義地圖中左邊的水槽的位置依然能夠準確的建立下來。

圖9 整個實驗場景的語義地圖Fig.9 Semantic map of the entire experimental environment

4.2 尋找地標物體

在機器人搜索的實驗中，首先進行了尋找地標物體的實驗，機器人分別從起點出發沿途繞過障礙物，通過語義地圖，機器人可以清楚地知道地標物體的位置，因此，機器人尋找目標物體只需要到達距離目標物體最近的導航點即可。圖10給出了機器人在尋找地標物體的路線，以及機器人局部視野。在尋找電視機的過程中，機器人穿過兩道打開的門，迅速地找到了電視機。在尋找長椅和微波爐的過程中，機器人可以繞過障礙物，達到目標位置。

圖10 地標物體的尋找Fig.10 Look for landmark objects

4.3 尋找動態物體

參考按照語義關系圖中地標物體與動態物體關系圖譜進行了物體的擺放，我們將遙控器放置在電視機旁，泰迪熊放在長椅上，并將杯子分別放置在餐桌和水池上。對于微波爐和冰箱這種容器類物體，雖然需要打開容器，尋找目標物體，但是機器人并不具備操作的能力,僅考慮位于表面的物體。

為了驗證提出方法的有效性，本文中設置了以下3種目標搜索方法：

方法1導航地圖：機器人隨機地選擇導航點對目標物體進行尋找，并可以使用導航地圖進行局部路徑規劃和避障，直到找到了目標物體；

方法2導航地圖+語義地圖：機器人在導航地圖的基礎上，每次隨機地選擇到達還沒到達過的地標物體附近；

方法3導航地圖+語義地圖+語義關系圖譜：機器人使用完整的目標搜索框架，機器人優先到語義關系圖譜里與目標物體關系值最大的地標物體旁尋找。

為了保證實驗數據的客觀性，執行每項目標搜索任務，機器人都會分別從3個不同的起點出發，并將路線長度的平均值作為尋找該物體的路徑長度。由表2中數據可得，在機器人盲目地隨機選擇導航點尋找目標的情況下，其消耗的路徑長度是最長的，平均路徑長度達到了305.97m。在語義地圖的幫助下，機器人傾向于到地標物體旁邊尋找目標物體，相比于方法1，平均路徑長度降低了81.2%。方法3中，在語義關系圖譜的幫助下，機器人先到最有可能出現目標物體的地標物體旁尋找，再次降低了搜索的路徑長度，平均搜索的路徑長度僅為22.06 m。

表2 不同方法的路徑長度比較Table 2 Comparison of different methods of path length m

圖11給出了機器人尋找動態物體的路徑。在尋找泰迪熊和杯子的過程中，機器人首先會到與目標物體最近的物體旁尋找。然而，在第二次尋找杯子的過程中，移動了杯子的位置，將杯子放置在了水槽中。機器人在桌子上沒有發現杯子后，便直接到水槽旁尋找，最終在水槽旁尋找到杯子。

圖11 動態物體的尋找Fig.11 Look for dynamic objects

5 結束語

本文針對室內環境下的目標搜索問題進行了研究，受人類尋找在房間中尋找物體過程的啟發，設計了一種結合導航地圖、語義地圖、語義關系圖譜目標搜索框架。實驗表明，該框架能夠有效地縮短機器人搜索范圍，尋找到地標物體和動態物體。本方法尚存在的缺點是僅能對未被遮擋的物體進行尋找，對于藏在容器內的物體，例如在冰箱內的蘋果等，需要機器人打開冰箱的操作，才能看到目標。在未來的工作中，將加強機器人對環境的交互能力，例如打開冰箱，拿起蘋果。