基于PointNet++ 矯形云平臺的肢體分割方法

藍培欽，周榮光

廣州科萊瑞迪醫療器材股份有限公司 （廣東廣州 510730）

人體肢體分割是數字化智能矯形器CAD 設計中的關鍵步驟。國內外的人體肢體分割研究主要集中在傳統方法和深度學習方法兩個方向[1]。傳統方法主要基于圖像處理技術，如邊緣檢測、區域生長和水平集等，然而在人體肢體分割中，邊緣通常不是明確的線條，而是由復雜的曲線和不規則形狀組成，使傳統邊緣檢測算法難以準確地捕捉到人體肢體的邊界[2]。水平集方法在處理多個并行邊界和邊界交叉時，需要精心設計能量函數和數值計算方法，增加了算法的復雜性和計算成本，且人體肢體在不同姿態和形狀下具有較大的變化范圍，傳統方法往往對這些變化不夠魯棒。雖然深度學習技術的快速發展為人體肢體分割帶來了許多突破，但在應用卷積神經網絡（convolutional neural network，CNN）和全卷積神經網絡（fully convolutional networks，FCN）等深度學習模型進行人體肢體分割時，仍然存在人體肢體的邊界通常是復雜的曲線和不規則形狀，模型可能無法準確捕捉到邊界的細微變化和曲線的非線性形狀等困難[3-4]。PointNet++是一種基于點云數據的深度學習模型，能夠處理不規則形狀的點云數據并實現語義分割。脊柱側彎矯形器的矯形效果受到矯形器技師的專業知識和制作熟練程度的影響[5-9]。為解決矯形器設計制作過程中的痛點，本研究結合智能數字化矯形設計CAD 云平臺的3D 數字化掃描技術、CAD/CAM（計算機輔助制造）云平臺架構、B/S（瀏覽器/服務器）架構和3D 打印技術，提出了一種基于深度學習算法的智能化自動設計方法，以快速定制出適合患者的假肢矯形器。

1 PointNet++神經網絡概述

FCN 是一種全卷積神經網絡，用于圖像語義分割任務，可以有效將輸入圖像逐像素映射到相應的類別標簽，從而實現對圖像中每個像素的語義理解。與傳統卷積神經網絡不同，FCN 不包含全連接層，完全由卷積層和反卷積層組成，使FCN 能夠接收任意尺寸的輸入圖像，并輸出相同尺寸的密集預測圖，且能夠捕捉到豐富的上下文信息，并在不同尺度上進行語義分割。在3D 圖像領域，FCN 也被擴展為FCN 3D 網絡，用于處理三維數據的語義分割任務。FCN 3D 通過沿著3 個維度（x、y 和z）進行卷積和反卷積操作，實現對三維體積數據的像素級分類，可應用于醫學圖像分割、三維物體識別等領域，提供更準確的空間語義分割結果。FCN 3D全卷積神經網絡通過使用卷積和反卷積層，能夠對三維體積數據進行像素級的語義分割，并在不同尺度上捕捉上下文信息，為圖像理解和分析任務提供了強大的工具。由于FCN 無法提取局部特征，網絡學習精細特征較困難，無法捕捉三維空間中的局部信息，因此限制了識別細粒度三維點云物體和復雜場景的能力。PointNet++通過迭代方式對點云數據分組產生局部區域，并使用pointnet 單元對局部區域進行特征提取，從而實現多級特征學習。PointNet++網絡模型由基礎網絡、分類網絡和分割網絡3 部分組成，能夠執行三維點云的分類和分割任務，Pointnet++網絡結構圖如圖1 所示。集合抽象層（set abstraction）是PointNet++網絡的基礎網絡結構，由下采樣層、分組層和pointnet 單元3 部分組成[10-11]。PointNet++的分類網絡通過pointnet 單元對基礎網絡輸出特征進行進一步的局部特征提取，然后輸送到全連接層學習特征表示，實現三維點云分類。PointNet++分割網絡將基礎網絡的輸出特征進行線性插值，實現特征上采樣操作，在線性插值過程中各點權重均采取全局歸一化，距離越遠的點權重越小。為增加上采樣后的細節特征，分割網絡利用插值后的特征與淺層提取的特征進行跳躍連接和pointnet 單元實現特征融合，提高分割網絡的預測精度[12]。

圖1 PointNet++網絡結構示意圖

2 基于PointNet++的人體肢體分割算法

2.1 整體框架

首先，采用高斯平滑濾波技術對標準模板庫（standard template library，STL）模型進行預處理，減少模型中的噪音。通過應用高斯平滑濾波，能夠有效地消除模型中的細小噪點，從而提高后續處理步驟的數據質量。其次，進行頂點法向量估計。通過計算各頂點的法向量，獲得模型表面的法線信息。法向量可以提供有關模型表面方向的關鍵信息，對于后續步驟中的采樣和分割操作十分重要。再次，引入了頂點八叉樹采樣技術，對模型進行采樣。頂點八叉樹采樣技術能夠將模型劃分為不同的空間區域，并選擇代表性的頂點進行采樣。該采樣方法能夠有效減少計算量，并保持對模型形狀的準確表示[13]。最后，應用PointNet++模型進行分割。利用PointNet++模型對采樣后的點云數據進行處理，以實現對STL 模型的準確分割。本研究整體框架的流程如圖2 所示。

圖2 整體框架流程圖

2.2 點云獲取與預處理

利用3D 掃描技術獲取人體表面的三維信息，通過異常值處理將表面的離群點剔除，以提高數據質量和準確性。（1）高斯平滑濾波：首先，確定高斯核的大小和標準差。定義半徑（r）表示鄰域范圍。高斯核的大小可以根據r確定，并根據點云密度和噪聲水平進行選擇，而標準差控制著平滑程度。其次，對于點云中的各點，確定其鄰域內的點。使用歐氏距離測定2 點間距離，并將距離小于r的點作為鄰域內的點。對于各鄰域內的點，根據其與中心點的距離計算高斯權重。距離越近的點具有更高權重，而距離越遠的點則權重較低。最后，將各鄰域內點的坐標與其對應的高斯權重進行加權平均，以得到平滑后的點坐標，可有效消除噪聲并保留點云的細節特征，從而提高后續處理步驟的準確性和穩定性。（2）三角面片頂點的法向量估計：遍歷各三角面片，計算面片的法向量。將與各頂點關聯的所有面片的法向量進行平均，通過對法向量進行歸一化得到平均法向量，可平滑地估計頂點的法向量，并減少面片間的不連續性。同時，根據面片的面積對法向量進行加權平均，以更準確地反映不同面片對頂點法向量的貢獻程度，從而提高法向量的準確性和穩定性。（3）三角面片頂點的八叉樹采樣：首先，將三角面片集合劃分成多個較小的立方體，形成八叉樹結構。每個立方體包含1 組面片，并可根據需要細分到更小的子立方體中。然后計算每個立方體的包圍盒。對于樹中的每個葉節點（即無子節點的節點），找到其包圍盒內的所有三角面片，并對其進行均勻采樣。對于各采樣點，通過三角面片網格（如Delaunay 三角化）計算其所在三角面片和相應的頂點。根據三角面片頂點的位置和法向量信息，計算采樣點的法向量。采樣點的獲取也是一個重要步驟，可被用來表示整個場景的形狀和表面特征。因此，將其包圍盒內的所有采樣點和法向量作為1 個點云集合存儲，有效提高對場景的空間分割和管理效率，使面片集合能夠被更加高效地處理。在采樣過程中考慮不同區域的曲率信息，使生成的點云能夠更加準確地反映原始表面的特征。此外，為提高渲染和顯示效果，對點云進行進一步濾波和降采樣，以便在后續處理中減少數據量和提高渲染的速度。

2.3 PointNet++模型分割算法

PointNet++模型分割算法主要包括3 個步驟：數據預處理、PointNet++網絡設計和分割策略。首先，對采集到的點云數據進行預處理，包括點云重采樣和歸一化等操作，以保證數據的一致性和穩定性。其次，設計基于PointNet++的網絡結構，在多個尺度上對點云數據進行特征提取和聚合。將采樣點鄰域的自注意力明確分為中心自注意力和鄰域自注意力兩部分，如圖3 所示。中心自注意力是指在注意力機制中，每個元素均與其他所有元素計算注意力得分（包括自己），以使每個元素都能夠考慮到整個序列或圖像的信息，從而更全面地捕捉上下文間的關系。鄰域自注意力是一種更局部化的注意力機制，每個元素只與其鄰居元素計算注意力得分，從而限制了注意力范圍，在處理大型序列或圖像時能夠減少計算復雜度，并且更適合捕捉局部信息之間的關聯。結合不同空間編碼方式增強網絡模型對采樣點鄰域拓撲結構的學習，接著構建注意力池化模塊以強化重要信息在網絡的有效傳遞，并通過差異性池化函數整合注意力池化、最大池化提取的多個全局特征，通過多層感知機結構和局部鄰域關系圖的建模，可捕捉到點云數據的全局和局部特征，以提高分割結果的魯棒性。最后，采用有效的分割策略，結合閾值分割和形態學操作，實現對人體肢體的準確分割。

圖3 注意力模塊示意圖

3 實驗結果

3.1 實驗配置環境

目前，主流深度學習框架為Tensorflow、Keras 和Pytorch。這3 個主流深度學習框架中，Pytorch 擁有高效性能及代碼簡單易懂等優點，因此選擇Pytorch 作為深度學習框架。本研究的語義分割實驗是在Windows 10 操作系統中實現的，深度學習框架為Pytorch，具體實驗配置環境如表1 所示。

表1 實驗環境配置

3.2 模型訓練的準確率

在自定義數據集上對所提出的方法進行了廣泛的實驗評估。人體肢體分割方法在訓練過程中能夠迅速收斂，并進入穩定狀態，且準確率比較高，見圖4。人體肢體分割方法的切割效果圖，見圖5。人體肢體分割任務中具有更高的準確度和更好的魯棒性，同時還能夠保持較好的細節信息，并在處理復雜姿態和存在空洞情況下表現出色。

圖4 模型訓練過程中準確率

圖5 人體點云模型的分割

3.3 消融實驗結果

基于FCN 的分割方法由于在網絡傳播過程中逐漸丟失局部相關特征信息，導致分割準確率較低，準確率只有78%。而基于PointNet++分割方法準確率最高達到95%，遠高于FCN 的準確率，見表2。PointNet++網絡帶法向量、提高批次和采樣密度均能提高總體分割精度，法向量能夠區分點云中不同表面的方向和形狀。適當地提高訓練的批次能夠加快模型收斂，提高模型精度。不同區域點云密度差異及采樣后點云變稀疏導致原目標點鄰接關系或多或少存在一定程度上的破壞，從而影響網絡模型捕捉細粒度局部特征的能力，充分捕捉點云之間的關系特征，有利于提高分割精度。

表2 不同姿態的人體點云數據的消融實驗結果

3.4 人體肢體分割方法效果

基于FCN 分割難以識別到頸部、腋下和陰部等局部特征，導致切割效果不好；而本研究中的人體肢體分割方法能夠有效提取局部特征，使人體肢體模型獲得較好的切割效果，見圖6。

圖6 人體STL 模型的分割效果對比

4 結論

本研究提出了一種基于三維物體分割模型PointNet++的人體肢體分割方法，通過利用點云數據的局部特征和全局特征相結合，實現了對人體肢體的準確分割。未來的研究方向可以包括進一步提升算法的效率和魯棒性，以適應更加復雜和多樣化的場景。