面向薄板件在線檢測的機器人軌跡自主規劃

摘要：針對工業機器人在非結構化環境中軌跡規劃效率低、規劃結果適應性差等問題，提出一種基于生成對抗式神經網絡的視覺檢測機器人在線軌跡規劃算法。首先，提出基于機器人操作系統仿真的點云數據集構建方法。其次，通過對檢測特征點云數據提取和機器人檢測軌跡的自動標注，提出全新的基于編碼?解碼結構的生成對抗式網絡，利用所輸入的檢測特征的點云數據端到端地生成機器人檢測軌跡。同時，通過融合薄板件的點云幾何特征的自注意力機制模塊，提高了生成軌跡的準確性。然后，結合機器人運動學模型，提出一種多樣性損失函數，提高了生成對抗式網絡所生成數據的多樣性，解決了笛卡爾空間到機器人關節空間映射的不唯一性下的求解難題。最后，通過案例對比分析，驗證了算法的有效性。結果表明：機器人檢測規劃時間降低了52.6%，末端軌跡精度提高了67.4%。

關鍵詞：薄板件檢測；工業機器人；軌跡規劃；生成對抗式網絡

中圖分類號：TP 15 文獻標志碼：A

隨著人工智能、傳感器、網絡和通信技術的快速發展，工業機器人智能化程度不斷提升，其發展方向趨于高度的自主性，具有自學習能力的運動規劃方法成為一個重要的研究方向[1]。運動規劃是利用傳感器獲取的外部信息，搜索當前位姿到目標位姿的無碰撞最優路徑。目前運動規劃方法可以分為基于采樣的運動規劃和基于學習算法的運動規劃。

基于采樣的運動規劃算法主要由概率圖法（probabilistic roadmap， PRM）[2] 和快速探索隨機樹法（rapidly exploring random tree， RRT）[3] 構成。張振等[4] 提出了基于約束采樣的RRT 算法，通過減少重復性采樣，提高了全局搜索效率。王懷震等[5]提出基于自適應步長的啟發式RRT*-Connect 算法，引入目標偏向策略進行橢球子集約束采樣，使得采樣點可以更快地收斂到最優值。陳滿意等[6]提出低振蕩人工勢場?自適應快速擴展樹混合算法，實現了路徑規劃中快速逃離局部極小、碰撞等情況。Qureshi 等 [7] 使用智能雙向快速探索樹算法（IB-RRT*） 用于復雜環境中的機器人運動規劃。Gao 等[8] 使用高斯采樣機制和中點碰撞檢測來實現狹窄焊縫和密集障礙物場景的高效規劃。

然而，面對非結構化場景，基于采樣的運動規劃方法不僅難以滿足實時性需求，而且缺乏先驗知識，同時無法利用三維環境信息，因此國內外學者研究基于學習算法的運動規劃方法，利用深度學習（deep learning， DL） 算法的神經網絡感知能力從未知環境狀態的輸入中提取特征，實現從環境信息到規劃結果的映射。Fang 等[9] 提出一個端到端的抓取姿態預測網絡，以點云數據作為網絡輸入，學習其抓取位姿和接近方向。Zhao 等[10]提出一種終身學習框架，首先基于生成對抗式網絡（generative adversarial networks， GAN） 構建一個輕量級軌跡規劃模型，用于映射初始狀態、最終狀態和控制行為序列，其次通過將GAN 嵌入到RRT 算法中，解決了目前長距離多階段任務難以規劃問題。DeepMind 團隊進行融合強化學習（reinforcement learning， RL）， 提出一種深度強化學習（deep reinforcement learning， DRL） 方法[11]。Zhu 等[12] 提出基于Actor-Critic 模型與AI2-THOR框架，提供了一個高質量三維場景，解決了DRL難以收斂和缺乏對新目標的泛化能力，該框架為端到端訓練方式，降低了特征匹配及三維重建過程的不確定性。周瑋杰[13] 提出基于近端策略優化的動態窗口方法，設計一種新型深度神經網絡，獲取環境信息與動態窗口方法中評價函數的權重因子相關聯，在非結構化環境下，驗證了算法對于環境變化的自適應性，賦予了機器人在動態環境下的作業能力。Qureshi 等[14] 在不以原始點云數據和障礙物信息作為輸入的前提下，使用卷積神經網絡（convolutional neural networks， CNN） 學習對象級語義信息生成的采樣分布，改進了未知環境中的規劃結果。Huh 等[15] 借鑒強化學習中狀態?行為值函數的概念，提出Softmax 節點選擇方法，加速了RRT 算法的規劃效率。

綜上所述，為了提高工業機器人在非結構化環境下軌跡規劃的效率和質量，本文提出一種基于生成對抗式神經網絡的機器人在線檢測軌跡規劃算法，在充分融合三維環境信息與運動規劃的前提下，構建了一種環境到運動的直接規劃方法。

1 檢測工藝數據集構建

目前高效的DL 模型依賴于大量數據集，在面對機器人檢測問題，目前并沒有相關的數據集被提出。為了實現機器人在線檢測工藝規劃，本文構建了具有豐富標注的孔、槽等待檢測特征的檢測路徑生成數據集?；跈C器人操作系統 （robotoperation system， ROS） 仿真環境獲取相關點云信息，并計算得到機器人檢測過程的運動信息，最終獲得完整的檢測數據集。具體過程如圖1 所示。其中，URDF 模型為統一機器人描述格式的文本文件。

獲取點云數據需要對孔邊界點云及機器人檢測的運動軌跡進行標注。

1.1 孔邊界點云數據標注

通過數據增強后，共得到1 008 組點云數據，為每一組點云數據注釋孔邊界點云將非常耗費人力。因此，本文采用網格劃分法[16] 對每一組點云數據進行孔邊界點云的提取，獲得孔邊界點云的標注結果，如圖2 所示。

1.2 機器人運動軌跡標注

機器人運動軌跡標注與常見的視覺任務標注不同，運動軌跡分布在一個較大的連續搜索空間中，這帶來了無限的標注，手動注釋每個場景的人工成本非常高。因此，本文針對機器人檢測問題，提出了一種用于機器人檢測運動軌跡的自動標注過程。如圖3 所示。

首先， 利用主成分分析（principal componentanalysis， PCA） 計算每個孔邊界點云數據的特征向量，即點云數據的3 個主方向，將Z 軸主方向定義為孔的矢量方向， 最大特征值對應的特征向量定義為孔的主方向。其次，查詢Gocator-2450 的用戶手冊可以得知，其最佳掃描距離為545 mm。之后，計算孔在主方向上距離最遠的兩個點，并分別沿孔的矢量方向延長545 mm，作為機器人的起點與終點，同時Gocator 的坐標系Z 軸平行于孔的矢量方向，指向待檢測零件。最后，利用機器人的逆運動學求解機器人的各關節角度。綜上，得到機器人運動軌跡的標注。

2 自主運動規劃網絡框架

假 設 待 檢 測 特 征 的 點 云 數 據 為 P = fpi =（xi，yi，zi）|1≤i≤n}，P∈RNx3，機器人關節空間的真實值定義為C = [θi1，θi2，…，θi6]，本章節目的是基于 輸入的點云數據自主生成機器人運動過程的關節 空間信息^C=[^θi1，^θ2，…，^θ6]，其中讀示機器人在 第i時刻的關節信息。

2.1 InsGAN 機器人運動軌跡生成框架

GAN通常由兩個相互對立訓練的神經網絡構 成。這兩個對立訓練的模型為：捕獲數據分布的 生成模型與估計樣本的來源是否為真實數據的判 別模型。生成模型以變量z作為輸入量，輸出樣本 G（z），判別模型以樣本x作為輸入量，輸出其為真 實數據概率結果D（x）。訓練的目標函數為

式中：E 為數據分布信息，p（x） 為真實數據分布；p（z） 為生成器數據分布。

本文提出的InsGAN網絡如圖4所示。其中， LSTM（long short-term memory）為長短時記憶神經 網絡；MLP（multilayer perceptron）為多層感知機。 與傳統的GAN網絡相似，該模型由軌跡生成器 G和軌跡判別器D組成。生成器將待檢測特征的 點云數據作為輸入量，然后輸出機器人檢測的運 動軌跡。其中，軌跡生成器由5個模塊組成：編 碼器、解碼器、點云數據關系計算模塊、注意力 模塊A及池化模塊P。在編碼器中，接受待檢測 特征的點云數據信息，基于PointNet框架進行編 碼，得到隱藏向量H，然后與點云數據間關系一 起輸入注意力模塊中，從而實現對重點信息特征提取的效率提升。池化模塊P將注意力模塊的輸 出4作為輸入生成池化向量P，學習點云數據的分 布對機器人運動軌跡的影響。解碼器接受隱藏向 量H與池化向量P作為機器人運動軌跡生成條件以 生成軌跡。D模塊則接受G模塊生成的機器人運 動軌跡己和數據集的真實樣本，對比真實數據與生 成數據之間的關系，提升模型的有效性。

2.2 生成器模塊

為實現點云數據 P到機器人關節空間C的映射，將生成器設計為編碼器?解碼器的結構。

2.2.1 編碼器

在編碼器中，基于PointNet結構對點云數據 的特征進行提取，將每個點pi的特征升維至一個 高維特征向量歷，其中Hi∈R1024，具體計算過程 如下：

Hi = PointNet （pi;W） （2）

式中，W表示編碼器編碼過程的權重。

2.2.2 注意力機制

機器人檢測軌跡不僅與待檢測特征的位置息息相關，也與待檢測特征的形狀緊密相連。為準確描述形狀對機器人軌跡的影響，同時也為強化注意力機制對點云數據特征提取的準確性與針對性，本文考慮了點云數據的形狀特征。

首先， 利用K 最鄰近 （K-nearest neighbor，KNN）算法計算點pi的K 個鄰點，構建局部領域圖G ，并計算局部協方差矩陣M，計算方法如下：

如圖4 所示，判別器模塊由編碼器、LSTM及MLP 層組成，其目的是對生成的機器人檢測軌跡可否接受進行判別。不同于生成器中的編碼功能，判別器的編碼器由PointNet 與LSTM 組成，PointNet 接受原始點云數據，LSTM 接受生成器生成的檢測軌跡與真實檢測軌跡，最后利用MLP 輸出機器人檢測軌跡的真假標簽。

HD =LSTM（PointNet（P;WP） ;LSTMe （C;We） ;WL） （10）

L = MLP（HD;WM） （11）

式中： HD 為判別器內部數據傳輸的過程量；WP 為PointNet 模型參數；L 表示真假標簽。

2.4 損失函數

根據機器人運動學可知， 當末端位姿相同時，機器人關節空間C對應多組解，然而傳統的損失函數讓網絡失去了生成多樣性結果的可能，因此本文提出多樣性損失函數，增加機器人檢測軌跡的多樣性。利用機器人運動學知識，將關節空間C映射至笛卡爾坐標系下，對網絡的可學習參數進行優化，最終的損失函數為

L = LG +λL* （12）

式中：Lg為GAN網絡的損失函數；λ為平衡因 子；L*為多樣性損失。

式中，Kin表示機器人正運動學公式。

3 案例分析

利用本文構建的檢測數據集評估所提出的機器人軌跡生成網絡性能。為量化網絡性能，提出平均關節誤差（average joint error， AJE）、平均末端執行器位姿誤差（average end effector position error，AEEPE） 及軌跡生成時間（generate time， GT） 作為評價指標。同時，使用GraspNet、SGAN 網絡模型，以及貪心前向樹搜索算法（ -greedy forward treesearch， FTS）、RRT算法作為基準方法進行對比驗證。

3.1 案例分析

網絡相關參數的設置方面，生成器與判別器均采用Adam 優化器進行優化，初始學習率設置為0.005，批處理設置為16，迭代200 輪。生成器中的編碼器模塊最終輸出隱藏向量H的維度為1 024，注意力機制輸出向量A維度同樣為1 024，KNN 算法中K 取10，平衡因子設置為0.9。

最終軌跡生成的定量化結果如表1 所示。可以看出，本文方法InsGAN 在關于準確性的兩個指標AJE 和AEEPE 中，僅略低于RRT 算法，兩指標分別與RRT相差為0.04 及0.12。然而，為實現機器人在線檢測工藝規劃的需求，軌跡規劃時間至關重要，從GT 一欄中可以看出，本文算法相較于RRT 算法在規劃時間上有大于50% 的提升。當機器人始末點距離過大時，RRT 算法將出現明顯的冗余問題，RRT 將機器人的軌跡離散化，每搜索一次可行路徑都需要機器人逆運動學的求解，因此導致了規劃時間的指數型增長。與傳統算法相比，在不影響檢測質量的前提下，本文方法可有效地提高規劃效率，滿足在線規劃需求。

與目前主流軌跡在線規劃方法相比，本文方法在兩種準確性指標AJE 和AEEPE 中，均取得了最優結果， 誤差至多減少了0.89 及1.56， 證明InsGAN 框架的有效性。最后針對指標GT，由于生成器中的各模塊參數較多，對最終軌跡生成時間影響較大，導致軌跡規劃時間升高了0.07 s。與主流在線規劃框架相比，InsGAN 在滿足在線規劃需求的前提下，提高了軌跡生成質量，滿足了檢測質量要求，該方法有效可行。

綜上所述，本文所提出的機器人軌跡生成框架可以有效解決機器人在線檢測軌跡規劃中的規劃質量低問題，并且在不影響檢測質量的前提下，大幅提高規劃時間。

為更直觀地展示機器人軌跡規劃結果，圖6給出了針對不同位置處待檢測的最終規劃結果。

3.2 消融實驗

針對機器人在線檢測工藝規劃問題，提出全新的基于GAN 框架的機器人檢測軌跡生成網絡。首先通過編碼?解碼結構將點云空間轉映射到機器人關節空間內；其次引入點云幾何結構及自注意力機制實現機器人與環境之間的交互；最后提出多樣性損失函數，解決了GAN 結構訓練易崩潰等問題。采用消融實驗對InsGAN 網絡模型中的各模塊的效果進行評估。

表2 給出了各模塊針對機器人檢測軌跡生成問題的效果，從表中可以看出，編碼器模塊在軌跡生成過程中起到了主要作用，當失去編碼器時，兩類誤差AJE 和AEEPE 提升至1.48 和2.51。這也驗證了編碼器對于點云空間到關節空間映射的重要性?？梢园l現自注意力機制是影響軌跡生成速度的主要原因，這不僅是由于自注意力機制增加了網絡參數數量，也由于在點云形狀特征計算過程中需要大量的存儲空間，雙重因素下，拖慢了檢測路徑的整體運算效率。

表3 給出了不同的池化方法對最終檢測軌跡的影響，選擇最大池化層、平均池化層和共享MLP 層3 類用于對比。如表3 所示，最大池化層取得了最好的結果，相比于其他兩種方法，兩類誤差相關的評價指標分別降低了0.41 和0.78，這也驗證了本文在構建InsGAN 網絡模型時的選擇。

圖7 給出了不同平衡因子對GAN 結構訓練穩定性的提升?？梢钥闯觯敠? 0，即只使用普通對抗損失函數時，損失函數難以收斂，當融合于多樣性損失之后，平均損失小于未應用多樣性損失的網絡模型，并在大部分情況下趨于收斂，這證明了本文所提出的多樣性損失有效解決了GAN網絡難以訓練的問題。當 = 0：9時，網絡損失在訓練20 輪后逐漸收斂，同時最終損失取得了最小值。

4 結 論

針對機器人在線檢測軌跡規劃問題，提出基于ROS 仿真環境下的檢測數據集制作方法。通過分析形狀特征對機器人檢測軌跡規劃的影響，提出基于自注意力機制的點云形狀信息提取方法。基于構建的生成對抗式網絡框架，提出了基于待檢測特征點云數據的機器人檢測軌跡在線生成算法。針對機器人逆運動學求解非唯一問題，提出了多樣性損失函數的逆運動學高效求解方法。最后，通過搭建的機器人軌跡規劃案例，驗證了所提方法的有效性與實時性。

參考文獻：

[1] 唐永興，朱戰霞，張紅文，等.機器人運動規劃方法綜述 J].航空學報，2023， 44（2）： 026495.

[2] KAVRAKI L E， SVESTKA P， LATOMBE J C， et al. Probabilistic roadmaps for path planning in highdimensional configuration spaces[J]. IEEE Transactions on Robotics and Automation， 1996， 12（4）： 566-580.

[3] LAVALLE S M， KUFFNER J J. Randomized kinodynamic planning[C]//IEEE International Conference on Robotics and Automation. Detroit： IEEE， 1999： 473-479.

[4] 張振，李新宇，董昊臻，等.基于約束采樣RRT的機械臂 運動規劃J].計算機集成制造系統，2022， 28（6）： 1616-1626.

[5] 王懷震，高明，王建華，等.基于改進RRT*-Connect算法的機械臂多場景運動規劃J].農業機械學報，2022， 53（4）： 432-440.

[6] 陳滿意，張橋，張弓，等.多障礙環境下機械臂避障路徑 規劃J].計算機集成制造系統，2021， 27（4）： 990-998.

[7] QURESHI A H， AYAZ Y. Intelligent bidirectional rapidly-exploring random trees for optimal motion planning in complex cluttered environments[J]. Robotics and Autonomous Systems， 2015， 68： 1-11.

[8] GAO W X， TANG Q， YAO J， et al. Automatic motion planning for complex welding problems by considering angular redundancyJ]. Robotics and Computer-Integrated Manufacturing， 2020， 62： 101862.

[9] FANG H S， WANG C X， GOU M H， et al. GraspNet-1billion： a large-scale benchmark for general object grasping[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle： IEEE， 2020： 11441-11450.

[10] ZHAO C， ZHU Y F， DU Y C， et al. A novel direct trajectory planning approach based on generative adversarial networks and rapidly-exploring random tree J]. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（10）： 17910-17921.

[11] SILVER D， HUANG A， MADDISON C J. et al. Mastering the game of go with deep neural networks and tree searchJ]. Nature， 2016， 529（7587）： 484-489.

[12] ZHU Y K， MOTTAGHI R， KOLVE E， et al. Target-driven visual navigation in indoor scenes using deep reinforcement learning[C]//2017 IEEE International Conference on Robotics and Automation （ICRA）.Singapore： IEEE， 2017： 3357-3364.

[13] 周瑋杰.基于深度強化學習的室內服務機器人路徑規劃 方法研究[D].沈陽：沈陽工業大學，2022.

[14] QURESHI A H， SIMEONOV A， BENCY M J， et al.Motion planning networks[C]//2019 International Conference on Robotics and Automation （ICRA）.Montreal： ACM， 2019： 2118-2124.

[15] HUH J， LEE D D. Efficient sampling with Q-learning to guide rapidly exploring random trees[J]. IEEE Robotics and Automation Letters， 2018， 3（4）： 3868-3875.

[16] 楊雪嬌.點云的邊界提取及角點檢測算法研究[D].哈爾 濱：哈爾濱工程大學，2010.

[17] 沈露，楊家志，周國清，等.集自注意力與邊卷積的點云 分類分割模型J].計算機工程與應用，2023， 59（19）： 106-113.

（編輯：董偉）

基金項目：國家自然科學基金資助項目（51875362）；上海市自然科學基金資助項目（21ZR1444500）；上海市浦江人才計劃（22PJD048）