999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于殘差注意力機制的點云配準算法

2022-07-29 07:57:38秦庭威趙鵬程秦品樂曾建朝柴銳黃永琦
計算機應用 2022年7期
關鍵詞:特征模型

秦庭威,趙鵬程,秦品樂*,曾建朝,柴銳,黃永琦

基于殘差注意力機制的點云配準算法

秦庭威1,2,趙鵬程1,2,秦品樂1,2*,曾建朝1,2,柴銳1,2,黃永琦1,2

(1.山西省醫學影像人工智能工程技術研究中心(中北大學),太原 030051; 2.中北大學 大數據學院,太原 030051)( ? 通信作者電子郵箱qpl@nuc.edu.cn)

針對傳統點云配準算法精度低、魯棒性差以及放療前后癌癥患者無法實現精確放療的問題,提出一種基于殘差注意力機制的點云配準算法(ADGCNNLK)。首先,在動態圖深度卷積網絡(DGCNN)中添加殘差注意力機制來有效地利用點云的空間信息,并減少信息損失;然后,利用添加殘差注意力機制的DGCNN提取點云特征,這樣做不僅可以在保持點云置換不變性的同時捕捉點云的局部幾何特征,也可以在語義上將信息聚合起來,從而提高配準效率;最后,將提取到的特征點映射到高維空間中并使用經典的圖像迭代配準算法LK進行配準。實驗結果表明,所提算法與迭代最近點算法(ICP)、全局優化的ICP算法(Go-ICP)和PointNetLK相比,在無噪、有噪的情況下配準效果均最好。其中,在無噪情況下,與PointNetLK相比,所提算法的旋轉均方誤差降低了74.61%,平移均方誤差降低了47.50%;在有噪聲的情況下,與PointNetLK相比,所提算法的旋轉均方誤差降低了73.13%,平移均方誤差降低了44.18%,說明所提算法與PointNetLK相比魯棒性更強。將所提算法應用于放療前后癌癥患者人體點云模型的配準,從而輔助醫生治療,并實現了精確放療。

點云配準;特征提??;殘差注意力機制;深度學習;放療

0 引言

點云配準是計算機視覺應用于機器人、醫學成像等領域的關鍵問題。剛性點云配準是指尋找兩個給定點云與未知點云對應的剛性變換問題,其中,迭代最近點(Iterative Closest Point, ICP)算法[1]已被廣泛應用于剛性點云配準,它主要分兩步迭代求解剛性點云配準問題:1)將參考點云中的每個點分配到離源點云中空間最近的點;2)計算對應點之間的最小二乘剛性變化。但基于空間距離的最近點對應的硬賦值對初始剛性變化和離群點敏感,這往往導致ICP收斂到錯誤的局部最小值。近些年來,ICP的一些變體[2-5]也被提出,這些ICP的變體使用了不同的優化器,對異常值也具有魯棒性,但是,也存在著復雜度高、對初始化敏感、無法集成到深度學習框架中等問題。

由于點云是一種無結構的數據,這種無結構的數據導致點云不同于二維圖像等結構化數據那樣可以直接被卷積神經網絡所處理。斯坦福大學于2017年提出的PointNet[6]解決了點云的旋轉不變性和無序性等問題,使得點云數據可以直接被深度神經網絡所處理。之后基于這一創新提出的網絡結構在點云分類和分割領域上處于領先水平。但是PointNet對每個點提取特征的時候只關注了該點的特征,并沒有關注局部上下文信息,這使得提取出的點云特征在局部細節方面不盡人意,動態圖深度卷積網絡(Dynamic Graph Convolutional Neural Network, DGCNN)[7]在PointNet的基礎上進行改進,提出了一種新的神經網絡模塊邊卷積(EdgeConv),EdgeConv模塊不僅可以在保持點云置換不變性的同時捕捉到點云的局部幾何特征,也可以在語義上將點之間的信息進行聚合,且可以很好地集成在已經存在的點云處理框架中。

近兩年來,基于學習的點云配準方法被廣泛提出。Aoki 等[8]用PointNet將提取出來的特征點映射到高維空間,在高維空間中將得到的多維特征向量看成一幅圖像,然后再使用經典的圖像配準算法LK(Lucas-Kanade)[9]進行點云配準。Sarode等[10]針對PointNetLK[8]點云配準網絡,使用深度網絡代替LK算法來提高點云配準的抗噪性和魯棒性。Wang等[11]通過提取待配準點云的特征,利用改進的transformer網絡來合并點云間的信息,計算點云之間的軟匹配,然后使用可微的奇異值分解模塊提取剛體變化進行點云配準。Wang等[12]結合了關鍵點檢測解決了配準的非凸性和局部配準問題。Yew等[13]從點云混合特征中得到點對應的軟賦值學習空間坐標和局部幾何信息,并引入二次網絡來預測最優退火參數進一步提高了配準性能。

受深度點云配準網絡PointNetLK和DGCNN的啟發,本文提出一種基于殘差注意力機制的點云配準算法(Attention Dynamic Graph Convolutional Neural Network Lucas-Kanade, ADGCNNLK)。相較于傳統的點云配準算法和PointNetLK算法,ADGCNNLK大大提高了點云配準的精度和魯棒性。本文的主要工作有以下幾點:

1)相比PointNetLK點云配準網絡中使用PointNet提取點云特征,本文使用DGCNN[13]網絡代替PointNet提取輸入點云特征,既可以獲取點云拓撲信息,也可以在保持點云置換不變性的同時更好地捕獲點云的局部幾何特征,豐富點云的表示能力。

2)在特征提取網絡DGCNN上添加殘差注意力模塊,利用點對之間的相對位置關系構建點的局部鄰域圖,有效地利用了點云數據的空間信息,提高配準效率。

3)將ADGCNNLK配準算法應用于參數化人體模型(Skinned Multi-Person Linear model, SMPL)[14]生成的放療前后癌癥患者人體點云模型的配準,實現精確放療,對醫生輔助診斷治療具有重要意義。

1 相關工作

1.1 點云特征提取

PointNet作為點云深度學習的開山之作,是第一個處理無序無規則點云的網絡。PointNet用原始點云作為輸入,將點云中的每個點都看做成一個獨立的處理單元,使用多層感知機(Multi-Layer Perceptron, MLP)嵌入到高層空間,并使用對稱函數聚合特征實現了點云的置換不變性,在物體的分類和分割上實現了不錯的效果;但PointNet對每個點提取特征的時候只關注了該點的特征,并沒有關注局部上下文信息,特別在復雜的場景下會導致模型的泛化能力有限。隨后,PointNet++[15]對PointNet進行了改進,但PointNet++在采樣過程中仍使用PointNet作為區域特征提取器逐層提取并整合局部特征至全局特征,這也意味著在采樣的區域內,點的特征仍是單獨提取的,同樣忽視了點云之間的幾何信息和局部特征。

DGCNN受卷積神經網絡(Convolutional Neural Network, CNN)的啟發,提出了一種新的神經網絡模塊EdgeConv,EdgeConv不僅可以恢復點云的拓撲信息,豐富點云的表示能力,在保持點云置換不變性的同時更好地捕捉點云的局部幾何特征,也可以在動態更新圖的同時,在語義上將點的信息聚合起來。

本文使用DGCNN代替PointNet提取輸入點云特征,旨在獲取全局特征的同時獲取點云局部結構信息,提取更豐富的點云特征用于配準。

1.2 注意力機制

注意力機制(Attention Mechanism)是人們在機器學習模型中嵌入的一種特殊結構,用來自動學習和計算輸入數據對輸出數據的貢獻大小。注意力機制主要分為通道注意力(Channel Attention, CA)和空間注意力(Spatial Attention, SA),分別在通道維度和空間維度上強調對任務有用的圖像特征信息[16]。SE-Net[17]中提出的SE(Squeeze and Excitation)模塊主要考慮了特征通道之間的關系,顯式地把通道之間的相互關系建模在神經網絡的模塊中,具有SE模塊的網絡使圖片分類的準確率得到了大幅度提升,SE模塊如圖1所示。SE模塊先通過對每一個輸出通道進行全局平均池化(Global Average Pooling,GPA)操作,對輸入維度為××的特征信息進行壓縮,獲取維度為1×1×的特征信息;然后依次通過全連接層、激活函數、全連接層、sigmoid得到個0~1的標量作為每個通道的權重;最后將輸入通道的特征與權重分別相乘,得到重新加權后的特征。然而具有SE模塊的網絡只是從通道維度上進行操作,忽略了空間維度的重要性。

圖1 SE模塊結構

Woo等[18]進一步考慮了空間維度對特征的影響,提出了卷積塊注意力模塊(Convolutional Block Attention Module,CBAM)。即給定一個中間特征圖,沿著空間和通道兩個維度依次推斷注意力權重,然后與原特征相乘對特征進行自適應調整。CBAM的空間模塊如圖2所示。將××的特征信息分別進行通道維度的平均池化和最大池化得到兩個××1 的特征通道描述,將這兩個特征通道描述按照通道拼接在一起;然后經過一個卷積層和sigmoid激活函數得到權重系數;最后,用權重系數和輸入特征相乘得到縮放后的新特征。實驗[18]證明,集成CBAM的模型在不同的分類和檢測數據集上結果都得到了很大提升。

本文結合通道注意力與空間注意力設計了通道-空間注意力模塊,在DGCNN特征提取中添加該注意力模塊,旨在提取豐富的高層語義信息用于配準,提高配準效率。

圖2 CBAM的空間注意力模塊

2 ADGCNNLK算法

2.1 算法架構

ADGCNNLK點云配準算法結構如圖3所示。

圖3 ADGCNNLK算法結構

借鑒LK算法逆合成(Inverse Compositional, IC)公式的思想[15],對模板點云進行逆變化得到源點云,用公式表示為:

雅可比矩陣表示為:

相較于傳統LK算法需要對所有原始圖像計算雅可比矩陣,這種逆變換的形式使整個配準過程中只需要對模板圖片計算一次雅可比矩陣,大大減少了計算量。

通過對變化矩陣的修改,每一次可對源點云進行一個修改:

損失函數定義為如下Frobenius范數:

2.2 DGCNN結構

與傳統二維圖像卷積利用卷積核的尺寸來定義像素的局部區域不同,DGCNN中的網絡模塊EdgeConv作用于網絡中每一層動態計算的圖,使用近鄰(NN)圖的方式構建局域并進行卷積操作,實現對點云中節點特征的更新操作。相較于PointNet提取特征時只考慮當前點的特征而不考慮其他點特征,EdgeConv在計算(更新)每個點的特征時,不僅考慮了該點當前的特征,還考慮了在當前的特征空間內,與當前該點距離最近的個點的特征。在特征空間內與目標點鄰近的個點可以在小范圍內構成一個部圖,從中計算出來的信息可以認為是一種局部特征,從而讓全局特征和局部特征共同來影響每個點特征的更新,會取得更好的結果。

2.3 殘差注意力模塊

受CBAM的啟示,為了更好地提取點云特征,提高點云配準效率,本文在DGCNN特征提取上添加了殘差注意力機制模塊ADGCNN(Attention Dynamic Graph Convolutional Neural Network),如圖3(a)所示。殘差學習源于殘差網絡[19],主要用于解決深度學習中因增加網絡深度帶來的梯度消失引起網絡性能下降的問題,由于點云數據具有無序,無規則的特點,而殘差學習的網絡可以通過顯式地學習多個堆疊的殘差映射,有利于擴大網絡的容量,提高網絡對數據的擬合能力[20]。在以點云為輸入的網絡中,信息點的特征是在自下而上的步驟中學習的,在淺層網絡中進行曲率、法向量等幾何結構信息的提取,在網絡深層可以提取到語義等復雜的高層信息,但越復雜的特征越能體現目標特征[7]。而本文的思想是將得到的點云特征映射到高維空間,看成對兩幅圖像進行配準,因此在DGCNN中最后兩個EdgeConv層后添加殘差注意力模塊,注意力模塊采用空間-通道相結合的方式,如圖3(b)所示。即利用點對之間的相對位置關系構建點的局部鄰域圖,有效地利用了點云數據的空間信息,添加注意力模塊后動態更新點云的局部鄰域圖,提取信息量最大的點用于配準。實驗結果表明,使用ADGCNN結構實現點云配準結果會更好。

3 實驗與結果分析

3.1 實驗參數

本文預訓練數據集采用公開數據集ModelNet40,ModelNet40是一個具有12 311個CAD模型且包含40個對象類別的數據集。本文從中選取9 843個模型用作訓練,2 468個模型用作測試。在整體訓練時分成兩部分進行訓練,先訓練ADGCNN分類網絡,再訓練配準網絡。在整個訓練過程中均采用ADAM優化器和mini-batch訓練策略,均不使用Dropout。在訓練分類網絡時,使用均勻采樣在每個模型的外表面采取1 024個點,batch的尺度設為32;在訓練配準網絡時,batch的尺度設為8。軟件采用PyTorch V0.4.1框架,在1臺NVIDIV P100 圖形處理器(Graphic Processing Unit, GPU)上訓練共計45 h。

3.2 方法對比實驗

3.2.1使用ModelNet40所有數據進行訓練和測試

實驗參數設置:ICP和Go-ICP采用Open3D[21]默認參數。PointNetLK在訓練過程中與3.1節中ADGCNNLK提及的訓練方式相似,分為PointNet分類網絡和配準網絡兩個網絡進行訓練,采用ADAM優化器和mini-batch訓練策略,均不使用Dropout。在訓練分類網絡時,在每個模型的外表面均勻采樣1 024個點,batch的尺度設為32;在訓練配準網絡時,batch的尺度設為8,訓練共計41 h。

表1給出了實驗結果,可以看到ADGCNN的配準誤差明顯低于ICP、Go-ICP和PointNetLK。

表1 使用ModelNet40所有數據的訓練和測試

ADGCNNLK在ModelNet40中一些物體上的配準結果如圖4。

圖4 ADGCNNLK配準結果

3.2.2在未知對象類別的數據上測試

將ModelNet40根據對象類別劃分訓練集和測試集,選取其中20個對象類別分別使用ADGCNNLK模型和PointNetLK模型進行訓練,在沒有訓練的20個對象類別上進行測試。ICP和Go-ICP是在沒有進行訓練的20個對象類別上直接進行測試。表2給出了實驗結果,結果發現ADGCNNLK相比ICP、Go-ICP和PointNetLK對未訓練過的點云數據具有較高的配準精度,說明本文算法具有良好的通用性。

表2 在 ModelNet40未知對象類別的數據上測試

3.2.3測試ADGCNNLK對噪聲的魯棒性

實驗在測試時對輸入點云的每個點添加噪聲,噪聲從N(0,0.01)進行獨立采樣并劃分在[-0.05,0.05]。本次實驗采用3.2.1節的實驗模型,該模型是在所有ModelNet40的無噪聲數據上進行訓練的。表3給出了實驗結果。實驗結果表明,ICP通常會收斂到一個較遠的固定點,而Go-ICP和PointNetLK對噪聲具有一定魯棒性,ADGCNNLK則對噪聲具有較強魯棒性。

表3 在ModelNet40添加高斯噪聲的數據上進行測試

3.2.4不同特征提取模塊比較

本實驗將PointNet、添加注意力機制的PointNet(Attention PointNet, APointNet)、DGCNN和添加注意力機制的ADGCNN這3個特征提取模塊進行比較。正如1.2節所述,PointNet提取點云特征時可以學習到點云的全局特征,DGCNN通過構造NN圖在學習到點云的全局特征的同時也可以獲取點云局部幾何特征,而ADGCNN可以利用點云空間位置信息進一步獲取更豐富的語義特征。將PointNetLK、添加殘差注意力機制的PointNetLK(Attention PointNet Lucas-Kanade,APointNetLK)、DGCNNLK和ADGCNNLK最終配準結果進行比較。表4給出了實驗結果,結果表明使用ADGCNN特征提取模塊最終配準精度更高。

表4 APointNet、DGCNN和ADGCNN特征學習比較

3.3 ADGCNNLK在放療前后癌癥患者人體點云上的應用

3.3.1SMPL模擬生成放療前后患者人體點云

本文使用SMPL模擬放療前后患者人體點云,如圖5和圖6所示。圖5(a)為放療前的人體點云;圖5(b)為放療后的人體點云,相對于放療前的人體,放療后的人體會偏瘦;將放療前后的人體點云進行一定的旋轉平移模擬真實放療環境,如圖5(c)所示,其中左側人體點云代表放療前的人體點云,右側人體點云代表放療后的人體點云。

圖5 放療前、放療后和旋轉平移后的人體點云

3.3.2評判放療前后患者人體點云配準精度

由于使用SMPL生成的人體點云模型在同一坐標系下,生成的人體點云模型如圖6所示。所以本文以生成時的兩個人體模型間的距離作為最終配準標準,分別使用ICP、Go-ICP、PointNetLK和ADGCNNLK配準算法對放療前后患者的人體點云模型進行配準,然后將配準好的人體點云間的距離與使用SMPL生成時人體點云間的距離進行比較,本實驗將距離閾值設為0.01,表5給出了實驗結果,實驗結果表明,在相同條件下使用ADGCNNLK對放療前患者的人體點云模型配準效果最好,整體配準精度可以達到85.28%。各個算法配準結果如圖7所示,如果配準誤差小于0.01,表示配準結果較好;配準誤差在0.01~0.015,表示配準結果適中;配準誤差大于0.015,表示配準結果較差。

圖6 SMPL生成放療前后患者人體點云模型

表5放療前后人體點云模型配準結果

Tab.5 Registration results of human body point cloud models before and after radiotherapy

圖7 放療前后人體點云模型的可視化配準結果

3.3.3人體部位配準

為了實現部位精準放療,本文也將放療前后的人體點云分成頭、胸、腹、胳膊、腿5個部位,分別使用ICP、Go-ICP、PointNetLK和ADGCNNLK配準算法對人體部位進行配準,配準結果如表6所示。

實驗結果表明,在相同條件下使用ADGCNNLK對放療前后患者的人體部位配準效果也是最好。在該實驗中,將距離閾值設置為0.006,如果距離誤差小于0.006說明配準效果較好;如果誤差大于0.010,說明配準結果較差。各個部位的配準結果如圖8所示,如果誤差小于0.006,表示配準結果較好;誤差在0.006~0.010,表示配準結果適中;誤差大于0.010,表示配準結果較差。

表6 放療前后人體部位配準結果 單位:%

圖8 放療前后人體部位配準結果

4 結語

本文在點云配準網絡PointNetLK的基礎上進行了改進,用添加空間-通道注意力機制和殘差網絡的DGCNN代替PointNet提取點云特征,相比PointNet,ADGCNN不僅可以捕捉點云的局部幾何特征,也可以在動態更新圖的同時,在語義層面將點的信息聚合起來,減少局部幾何特征信息的損失,提高網絡對數據的擬合能力。實驗結果表明,本文算法與部分傳統算法和PointNetLK配準網絡相比,具有配準精度高、魯棒性強等特點,并應用于放療前后癌癥患者人體點云模型配準上,對輔助醫生實現精確放療提供幫助。此外,在未來的工作中,將繼續嘗試將更好的點云配準算法應用于真實放療前后癌癥患者人體點云的配準中,以獲得更為廣泛的應用。

[1] BESL P J, McKAY N D. A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 239-256.

[2] RUSINKIEWICZ S, LEVOY M. Efficient variants of the ICP algorithm [C]// Proceedings of the 3rd International Conference on 3D Digital Imaging and Modeling. Piscataway: IEEE, 2001: 145-152.

[3] SEGAL A, HAEHNEL D, THRUN S. Generalized-ICP[EB/OL]. [2021-05-13]. http://www.roboticsproceedings.org/rss05/p21.pdf.

[4] BOUAZIZ S, TAGLIASACCHI A, PAULY M. Sparse iterative closest point[J]. Computer Graphics Forum, 2013, 32(5): 113-123.

[5] POMERLEAU F, COLAS F, SIEGWART R. A review of point cloud registration algorithms for mobile robotics[J]. Foundations and Trends in Robotics, 2015, 4(1): 1-104.

[6] QI C R, SU H, MO K C, et al. PointNet: deep learning on point sets for 3D classification and segmentation[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2017: 77-85.

[7] WANG Y, SUN Y B, LIU Z W, et al. Dynamic graph CNN for learning on point clouds[J]. ACM Transactions on Graphics, 2019, 38(5): No.146.

[8] AOKI Y, GOFORTH H, SRIVATSAN R A, et al. PointNetLK: robust & efficient point cloud registration using PointNet[C]// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2019: 7154-7165.

[9] LUCAS D D, KANADE T. An iterative image registration technique with an application to stereo vision[C]// Proceedings of the 1981 International Joint Conference on Artificial Intelligence. San Francisco: Morgan Kaufmann Publishers Inc., 1981: 674-679.

[10] SARODE V, LI X Q, GOFORTH H, et al. PCRNet: point cloud registration network using pointnet encoding[EB/OL]. (2018-11-04) [2021-05-13].https://arxiv.org/pdf/1908.07906.pdf.

[11] WANG Y, SOLOMON J. Deep closest point: learning representations for point cloud registration[C]// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway: IEEE, 2019: 3522-3531.

[12] WANG Y, SOLOMON J. PRNet: self-supervised learning for partial-to-partial registration[C/OL]// Proceedings of the 33rd Conference on Neural Information Processing Systems. [2021-05-13].https://proceedings.neurips.cc/paper/2019/file/ebad33b3c9fa1d10327bb55f9e79e2f3-Paper.pdf.

[13] YEW Z J, LEE G H. RPM-Net: robust point matching using learned features[C]// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2020: 11821-11830.

[14] LOPER M, MAHMOOD N, ROMERO J, et al. SMPL: a skinned multi-person linear model[J]. ACM Transactions on Graphics, 2015, 34(6): No.248.

[15] QI C R, YI L, SU H, et al. PointNet++: deep hierarchical feature learning on point sets in a metric space[C]// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc., 2017: 5105-5114.

[16] JADERBERG M, SIMONYAN K, ZISSERMAN A, et al. Spatial transformer networks[C]// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge: MIT Press, 2015: 2017-2025.

[17] ZHOU B, KHOSLA A, LAPEDRIZA A, et al. Learning deep features for discriminative localization[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2016: 2921-2929.

[18] WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[C]// Proceedings of the 2018 European Conference on Computer Vision, LNCS 11211. Cham: Springer, 2018: 3-19.

[19] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2016: 770-778.

[20] 林欽壯,何昭水. 基于注意力機制的高效點云識別方法[J]. 計算機與現代化, 2020(8):51-55.(LIN Q Z, HE Z S. Method of efficient point cloud recognition based on attention mechanism[J]. Computer and Modernization, 2020(8):51-55.)

[21] ZHOU Q Y, PARK J, KOLTUN V. Open3D: modern library fora 3D data processing[EB/OL]. (2018-01-30) [2021-05-13].https://arxiv.org/pdf/1801.09847.pdf.

QIN Tingwei,born in 1997, M. S. candidate. His research interests include point cloud registration, machine learning.

ZHAO Pengcheng,born in 1995, M. S. His research interests include 3D point cloud processing, computer vision.

QIN Pinle,born in 1978, Ph. D., professor. His research interests include big data, machine vision.

ZENG Jianchao,born in 1963, Ph. D., professor. His research interests include maintenance decision and health management of complex system.

CHAI Rui, born in 1985, Ph. D., lecturer. His research interests include medical image processing.

HUANG Yongqi,born in 1997, M. S. candidate. His research interests include point cloud registration, computer vision.

Point cloud registration algorithm based on residual attention mechanism

QIN Tingwei1,2, ZHAO Pengcheng1,2, QIN Pinle1,2*, ZENG Jianchao1,2, CHAI Rui1,2, HUANG Yongqi1,2

(1(),030051,;2,,030051,)

Aiming at the problems of low accuracy and poor robustness of traditional point cloud registration algorithms and the inability of accurate radiotherapy for cancer patients before and after radiotherapy, an Attention Dynamic Graph Convolutional Neural Network Lucas-Kanade (ADGCNNLK) was proposed. Firstly, residual attention mechanism was added to Dynamic Graph Convolutional Neural Network (DGCNN) to effectively utilize spatial information of point cloud and reduce information loss. Then, the DGCNN added with residual attention mechanism was used to extract point cloud features, this process was not only able to capture the local geometric features of the point cloud while maintaining the invariance of the point cloud replacement, but also able to semantically aggregate the information, thereby improving the registration efficiency. Finally, the extracted feature points were mapped to a high-dimensional space, and the classic image iterative registration algorithm LK (Lucas-Kanade) was used for registration of the nodes. Experimental results show that compared with Iterative Closest Point (ICP), Globally optimal ICP (Go-ICP) and PointNetLK, the proposed algorithm has the best registration effect with or without noise. Among them, in the case without noise, compared with PointNetLK, the proposed algorithm has the rotation mean squared error reduced by 74.61%, and the translation mean squared error reduced by 47.50%; in the case with noise, compared with PointNetLK, the proposed algorithm has the rotation mean squared error reduced by 73.13%, and the translational mean squared error reduced by 44.18%, indicating that the proposed algorithm is more robust than PointNetLK. And the proposed algorithm is applied to the registration of human point cloud models of cancer patients before and after radiotherapy, assisting doctors in treatment, and realizing precise radiotherapy.

point cloud registration; feature extraction; residual attention mechanism; deep learning; radiotherapy

This work is partially supported by Shanxi Provincial Key Research and Development Plan (201803D31212-1), Construction Project of Engineering Technology Research Center of Shanxi Province (201805D121008).

TP391.41

A

1001-9081(2022)07-2184-08

10.11772/j.issn.1001-9081.2021071319

2021?07?22;

2021?10?13;

2021?10?18。

山西省重點研發計劃項目(201803D31212-1);山西省工程技術研究中心建設項目(201805D121008)。

秦庭威(1997—),男,陜西渭南人,碩士研究生,CCF會員,主要研究方向:點云配準、機器學習; 趙鵬程(1995—),男,陜西渭南人,碩士,CCF會員,主要研究方向:三維點云處理、計算機視覺; 秦品樂(1978—),男,山西長治人,教授,博士,CCF會員,主要研究方向:大數據、機器視覺; 曾建朝(1963—),男,山西太原人,教授,博士,CCF會員,主要研究方向:復雜系統的維護決策和健康管理; 柴銳(1985—),男,山西運城人,講師,博士,CCF會員,主要研究方向:醫學影像處理; 黃永琦(1997—),男,山西太原人,碩士研究生,CCF會員,主要研究方向:點云配準、計算機視覺。

猜你喜歡
特征模型
一半模型
抓住特征巧觀察
重要模型『一線三等角』
新型冠狀病毒及其流行病學特征認識
重尾非線性自回歸模型自加權M-估計的漸近分布
如何表達“特征”
不忠誠的四個特征
當代陜西(2019年10期)2019-06-03 10:12:04
抓住特征巧觀察
3D打印中的模型分割與打包
FLUKA幾何模型到CAD幾何模型轉換方法初步研究
主站蜘蛛池模板: 亚洲专区一区二区在线观看| 久久亚洲黄色视频| 国产一区自拍视频| 黄色网站不卡无码| 亚洲成a人片| 亚洲成年人网| 国产精品深爱在线| 亚洲国产天堂久久综合226114| 国产在线日本| 伊人丁香五月天久久综合| 免费毛片a| 热这里只有精品国产热门精品| 99精品久久精品| 日韩麻豆小视频| 99久久精品国产精品亚洲| 99在线小视频| 国产噜噜噜视频在线观看| 亚洲高清中文字幕在线看不卡| 婷婷丁香在线观看| 色婷婷啪啪| 免费不卡在线观看av| 一级黄色欧美| 伊人婷婷色香五月综合缴缴情| 久久国产拍爱| 国产迷奸在线看| 精品久久777| 久久这里只有精品2| 啪啪免费视频一区二区| 99精品视频九九精品| 91精品情国产情侣高潮对白蜜| 欧美a级在线| 毛片网站在线看| 欧美日韩中文国产va另类| 四虎永久在线视频| 在线国产毛片手机小视频| www成人国产在线观看网站| 最近最新中文字幕在线第一页| 农村乱人伦一区二区| 国产精品开放后亚洲| 亚洲人成在线精品| 中文字幕人成乱码熟女免费| AV片亚洲国产男人的天堂| 亚洲无码精品在线播放| 亚洲天堂啪啪| 亚洲天堂网视频| 亚洲综合欧美在线一区在线播放| 国产欧美日韩91| 91精品在线视频观看| 国产精品手机在线观看你懂的| 日本一区二区三区精品AⅤ| 国产精品手机在线观看你懂的| 99这里只有精品6| 国产精品无码AV片在线观看播放| 亚洲美女一区二区三区| 亚洲欧州色色免费AV| 久久国语对白| 黄色网站在线观看无码| 内射人妻无套中出无码| 岛国精品一区免费视频在线观看 | 丁香婷婷激情网| 97亚洲色综久久精品| 日本在线视频免费| 免费国产好深啊好涨好硬视频| 四虎在线观看视频高清无码| 九九精品在线观看| 久久久波多野结衣av一区二区| 国产91视频观看| 亚洲日韩AV无码精品| 最新亚洲人成网站在线观看| 欧美啪啪一区| 欧美成人日韩| 国产精品内射视频| 九九久久精品免费观看| 男人天堂伊人网| 国产亚洲精品97在线观看| 精品伊人久久久久7777人| 欧美第一页在线| 国产成人高精品免费视频| 国产麻豆精品手机在线观看| 九九九九热精品视频| 玩两个丰满老熟女久久网| 国产后式a一视频|