







摘要:顱內動脈瘤的精準分割在醫學影像診斷中具有重要意義。文章提出了一種基于3D點云的先進方法,通過提取動脈瘤特征實現高精度分割。針對傳統點云分割方法存在的數據預處理要求高、局部特征捕捉不足以及層間信息流失等問題,文章引入了PointNet++網絡架構。PointNet++在點云數據的分類和分割任務中展現了卓越性能,其通過對點云中的局部和全局特征進行學習,能夠有效處理不規則和無序的數據集。這一特性使其特別適合從CTA和MRA影像中提取顱內動脈瘤的特征。文章采用 PointNet++網絡對CTA 和MRA影像進行預處理,以適應不同醫院影像設備的差異,并利用該網絡進行分割,精準捕捉顱內動脈瘤的邊緣特征,從而實現高精度分割。該方法為顱內動脈瘤的精準分割提供了一種可行的解決方案,有助于提高診斷效率并降低醫療成本。
關鍵詞:深度學習;顱內動脈瘤;3D 點云;PointNet++;圖像分割
中圖分類號:TP181 文獻標識碼:A
文章編號:1009-3044(2025)01-0033-03 開放科學(資源服務) 標識碼(OSID) :
0 引言
顱內動脈瘤(Intracranial Aneurysm) 是一種嚴重的血管疾病,可能引發腦出血和腦梗死等嚴重后果[1],對神經功能造成不可逆的損害。一旦瘤體破裂,可能導致腦出血,嚴重時甚至危及生命。此外,顱內動脈瘤的生長可能對周圍神經組織產生壓迫,進而引發劇烈頭痛、嘔吐、意識障礙等癥狀[2]。部分患者還可能出現頸部僵硬和神志不清[3]。因此,對于出現上述癥狀的患者,及時進行專業的醫學檢查和治療至關重要,以避免潛在的嚴重后果。
顱內動脈瘤的精準診斷和治療是醫學影像處理領域的一個重要且具有挑戰性的課題。近年來,三維點云技術的應用為顱內動脈瘤的診斷提供了新的研究方向[4]。然而,如何高效處理和分析這些復雜的三維點云數據,以提高診斷的準確性和可行性,仍然是一個亟待解決的問題。
針對上述挑戰,深度學習方法在醫學影像處理領域取得了顯著成就[5]。特別是,PointNet++網絡架構作為一種前沿的深度學習技術,已經證明了其在處理三維點云數據方面的卓越能力。PointNet++能夠有效捕獲點云數據中的局部和全局特征[6],并且在處理不規則和無序數據方面具有顯著優勢,這使其在醫學圖像處理領域展現出巨大的應用潛力。本研究旨在驗證采用 PointNet++ 網絡架構處理顱內動脈瘤三維點云數據的可行性和準確性。通過深入分析,本文探索PointNet++在顱內動脈瘤診斷中的潛在優勢,以及其對提高醫學影像處理效率的實際影響。
本研究不僅有望促進顱內動脈瘤的早期識別和個體化治療,還為醫學圖像處理領域的創新研究與實踐應用提供了重要的新視角。通過本文的研究,期待為顱內動脈瘤等嚴重疾病的診斷與治療提供有力的技術支持。本文的目標是評估基于PointNet++的三維點云分割方法在顱內動脈瘤診斷中的效能,并探討其在該領域中的廣泛應用可能性。
1 本文方法
本文采用了PointNet++模型,該模型在傳統Point?Net的基礎上引入了層次結構的概念。網絡模型的結構如圖1所示。首先,本文介紹PointNet基線模型的基本原理,然后詳細講解了分層點集特征學習的過程。接著,討論了在不均勻采樣密度條件下如何進行可靠的特征學習。最后,說明了點特征傳播如何應用于集合分割任務。
1.1 PointNet
對于一個無序的點集合{ x1,x2,...,xn },其中xi ∈ Rd,可以定義一個集合函數f :X → R,將這組點映射到一個向量,這里的X 表示點集,R 表示實數集,d 表示點的維度。
其中, γ 和 h 通常采用多層感知器(MLP) 網絡。
公式(1) 中的集合函數不會受到輸入點排列的影響,并且可以對任意連續集合函數進行任意接近[7]。
PointNet 在一些基準測試中表現出了顯著的性能。然而,它缺乏對不同尺度上的局部上下文進行捕捉的能力。針對這一限制,在下一節中引入了分層進行的特征學習框架,以解決這一問題。
1.2 分層點集特征學習
雖然 PointNet 通過單一的最大池化操作將整個點集聚合在一起,但本文提出的新架構建立了層次分明的點狀分組,并沿著逐步擴大的局部區域提取層次化的特征。
本文的分層結構由多個集合抽象層次構成。集合抽象層次包括三個關鍵步驟:采樣層、分組層和PointNet層。采樣層:從輸入點集中選擇一組點,確定局部區域的中心點。 分組層:圍繞中心點構建局部區域集合,尋找“鄰接點”。PointNet 層:通過迷你 Point?Net 對局部區域進行編碼,生成特征向量。
一個集合抽象層以一個N × (d + C ) 的矩陣作為輸入,其中N 為點的數量,具有d 維坐標和C 維點特征。它輸出一個 N' × (d + C') 的矩陣,其中包含 N' 個子采樣點,具有d 維坐標和新的C'維特征向量,表示總結了局部上下文的特征向量。
1.3 在不均勻采樣密度下的可靠特征學習
點集的密度在不同區域通常是不均勻的,這對點集特征的學習提出了極大的挑戰。從密集區域中學到的特征不一定能夠推廣到稀疏區域。因此,為稀疏點云訓練的模型可能無法識別局部結構的細微之處。
在理想情況下,希望盡可能仔細地檢查點集,以捕獲點集采樣區域中的最細微之處。然而,在低密度區域,這種近距離檢查受到限制,因為采樣不足可能會破壞局部模式。在這種情況下,需要尋找更大尺度的模式,以覆蓋更廣泛的區域。為了達成這一目標,提出了包括 (a) 多尺度分組 (MSG) 和 (b) 多分辨率分組 (MRG) 的密度自適應 PointNet 層,如圖 2 所示。它們能夠在輸入密度變化的情況下學習將不同尺度區域的特征合并。將具有密度自適應 PointNet 層的分層網絡稱為 PointNet++。在第 2.2 節中,分組和特征提取的單一尺度被包含在每個抽象層次中。而在PointNet++ 中,每個抽象級別都會抽取多個尺度的局部模式,并智能地結合在一起,根據局部點的密度進行組合。因此,在結合不同尺度的局部特征后,提出了以下兩種密度自適應層的類型:
1) 多尺度分組 (MSG)。如圖 2(a) 所示,通過相應的 PointNet 應用不同尺度的分組層,然后提取各個尺度的特征。這是一種簡單有效的多尺度模式捕捉方法。將不同尺度的特性串聯起來,形成多尺度的特征表示。通過訓練網絡學習一種優化策略,以組合這些多尺度特征。將其稱為隨機輸入丟失。
2) 多分辨率分組 (MRG)。由于 PointNet 運行在每個質心點的大尺度鄰域上,因此上述 MSG 方法在計算上是昂貴的。特別是在最低級別時,質心點的數量通常相當大,導致時間成本顯著增加。在這里,提出了一種替代方法,以避免這些計算開銷,同時仍然保留根據點的分布特性進行信息自適應聚合的能力。如圖 2(b) 所示,某一層次區域的特征由兩個向量的串聯組成:第一種向量(圖中左側) :通過較低層次的各個子區域提取的特征,并利用集合抽象層次總結得到。第二種向量(圖中右側) :直接在該區域的所有原始點上,通過單個 PointNet 處理提取的特征。
1.4 點特征傳播用于集合分割
在集合抽象層中,原始點集已經被采樣過。然而,在諸如語義點標記的集合分割任務中,需要獲取所有原始點的點特征。一種解決方法是始終在質心的所有集合抽象層中的所有點上進行操作,但這會導致計算成本過高,這種方法被稱為質心所有集合抽象。另一種方式是將特征從子采樣點傳播到原始點。采用一種基于距離的插值和跨級跳連的分層傳播策略,具體如圖 1 所示。
在一個特征傳播層中,將點特征從Nl × (d + C ) 個點傳播到Nl - 1 個點,其中Nl - 1 和Nl(滿足N l ≤Nl - 1)分別是輸入和輸出集合抽象層l 的點集大小。通過在Nl 點的坐標處插值Nl - 1 點的特征值f 來實現特征傳播。在眾多插值方法中,采用基于k 最近鄰的反距離加權平均,其基礎是最近的鄰點(如公式 2 所示,默認使用p = 2,k = 3) 。隨后,將Nl - 1 點上的插值特征與從集合抽象層引出的跳連特征串聯起來。
接著,通過“單元 PointNet”將串聯特征傳遞出去,這在 CNN 中類似于一個點的卷積。在每個點的特征向量更新中,應用了一些共享的全連接層和 ReLU 層。這個過程不斷重復,直到將特征傳播到原始點集合。
2 實驗與分析
2.1 數據集
IntrA [8]數據集用于對點云數據進行分類和分割。IntrA 收集了103位帶有血管系統的患者的整個腦部3D 模型。通過對患者掃描的 2D MRA 圖像進行重建,形成了整個腦血管系統的 3D 模型。IntrA 包含了由專家手動注釋的1 694個健康血管部分、215個動脈瘤部分和116個動脈瘤分割部分。所有的2 025個樣本都被表示為3D點云。這些2 025個血管部分和動脈瘤部分被用作本研究中的分類數據集,而116個標注的動脈瘤分割部分被用作分割數據集。此外,數據集還通過 FileSplit 文件夾中的數據集文件拆分為 5 個子集,從而實現了 5 折交叉驗證。
2.2 實驗環境
實驗在 Linux 操作系統下運行,訓練環境如表 1 所示。此外,通過選擇1 000 個 Epoch 和 Batch Size 為 32,模型能夠在保證訓練效率的同時充分學習數據特征。使用 Adam 優化器,利用其自適應學習率的優勢,提高訓練的適應性和穩定性。引入10-4的WeightDecay來防止過擬合,并每20個Epoch降低學習率以優化收斂過程,同時設置學習率衰減量為0.7,以精細調整后期學習。整體上,這些設置旨在實現高效、穩定的訓練效果,最大化模型性能。
3 實驗結果
該實驗為醫學 3D 點云(IntrA) 分割實驗。表2對目前在點云深度學習中使用的 PointNet 算法與 Point?Net++ 的五折交叉驗證結果進行了比較。第二列中的“采樣點數”標題表示輸入樣本點的數量。IOU 或DSC 的 95% 置信區間由 CI95 表示。V.和 A.分別表示健康血管部分和動脈瘤部分。表中相應的結果是所有折疊的平均值。交并比(IOU) 和 S?rensen-Dice 系數(DSC) 顯示 PointNet++ 在顱內動脈瘤分割方面表現出顯著的性能優勢。
在采用基礎的 PointNet++ 網絡時,512 個樣本點在動脈瘤部分的分割中表現最佳,而 1 024 個樣本點在健康血管部分的分割中表現最佳。512 個樣本點的動脈瘤分割結果中,IOU 和 DSC 系數分別比原始任務高出 19.43%和38.92%。此外,1 024 個樣本點的血管分割結果中,IOU 和 DSC 系數分別比原始任務高出18.12%和39.31%。
表2顯示,在血管分割結果中,采用模型在 1 024 個采樣點的情況下分割得到的 IOU 最高值為93.35%,DSC 最高值為76.38%。在顱內動脈瘤分割結果中,采用模型在 512 個采樣點的情況下分割得到的最高 IOU 和 DSC 值分別為93.42% 和76.22%。
本研究提出的方法在顱內動脈瘤分割指標上相較于 PointNet 表現出顯著的性能提升,IOU 指標提高了 19.43%,DSC 指標提高了 38.92%;在血管分割指標上,IOU 提高了18.12%,DSC 提高了 39.31%。由此可見,所采用的模型不僅能夠顯著改善顱內動脈瘤分割效果,還能夠提高血管分割的準確性。
為了更直觀地展示分割結果,圖 3 給出了三個模型在 1 024 個采樣點時的分割結果。第一行顯示了PointNet 的分割結果,第二行顯示了 PointNet++ 的分割結果,最后一行顯示了真實情況。視覺分析結果表明,提出的模型在健康血管部分和動脈瘤部分均改善了原始任務的分割結果,并且基于多層特征嵌入的深度網絡的分割結果更接近真實情況。
4 結論
本研究通過實驗驗證了采用 PointNet++ 網絡架構處理顱內動脈瘤三維點云數據的可行性和準確性。與傳統方法相比,PointNet++ 網絡展現了顯著的分割精度優勢,成功捕捉到病灶區域的特征,為醫生提供了更高精確度的病變位置和程度判斷,從而輔助制定更有效的治療方案。這一成果不僅對醫學影像處理領域的技術創新具有重要意義,也為早期診斷和治療開辟了新途徑。
未來的工作將致力于優化 PointNet++ 網絡的結構,提高分割精度和效率;結合 CT、MRI 等其他醫學數據進行多模態診斷,以進一步提升診斷的準確性和可靠性;擴大樣本規模,增強模型的泛化能力;提高模型的解釋性,增強醫生對模型決策過程的信任度;以及加強臨床試驗與倫理研究,確保新技術符合醫療倫理標準。此外,保護數據隱私和安全的研究也將是未來工作的重點,以確保患者信息的安全。
期待通過持續的研究和技術創新,進一步提升顱內動脈瘤的診斷精度,為患者帶來更好的治療效果和生活質量。
補充材料:
論文涉及實驗數據集(IntrA:3D Intracranial Aneu?rysm Dataset for Deep Learning) 為公開數據集,數據集的具體網址為:https://github.com/intra3d2019/IntrA。
參考文獻:
[1] 鄧有琦,龍燕玲,鄔宗國.破裂顱內動脈瘤性蛛網膜下腔出血患者腦梗死發生特征及其與臨床預后的關系[J].腦與神經疾病雜志,2020,28(5):309-313.
[2] 孟憲兵,王倩,謝方民,等.妊娠期及產褥期顱內出血的臨床特點和治療策略[J].中華婦產科雜志,2022,57(3):214-218.
[3] 魯潔.顱內動脈瘤夾閉術后神志不清患者發生深靜脈血栓栓塞癥的預防及護理[J].中文科技期刊數據庫(全文版)醫藥衛生,2022(4):70-73.
[4] 張錦亮,楊光明.三維CTA在顱內動脈瘤患者中的臨床診斷價值分析[J].罕少疾病雜志,2018,25(2):7-8,11.
[5] 林金朝,龐宇,徐黎明,等.基于深度學習的醫學圖像處理研究進展[J].生命科學儀器,2018,16(S1):45-54.
[6] 吳軍,崔玥,趙雪梅,等.SSA-PointNet++:空間自注意力機制下的3D點云語義分割網絡[J].計算機輔助設計與圖形學學報,2022,34(3):437-448.
[7] QI C R,SU H,MO K C,et al.PointNet:deep learning on point setsfor 3D classification and segmentation[EB/OL].[2022-10-20].2016:1612. 00593.https://arxiv.org/abs/1612.00593v2.
[8] YANG X,XIA D,KIN T,et al.IntrA:3D intracranial aneurysm da?taset for deep learning[C]//2020 IEEE/CVF Conference onComputer Vision and Pattern Recognition (CVPR).June 13-19,2020,Seattle,WA,USA.IEEE,2020:2653-2663.
【通聯編輯:唐一東】
基金項目:皖南醫學院2023 年省級大學生創新創業訓練計劃項目“基于LSTM 的動脈瘤性蛛網膜下腔出血預后風險評估系統”(S202310368136) ;皖南醫學院2023 年度校大學生科研資助金項目“ 基于3D 點云的顱內動脈瘤檢測與分割”(WK2023XS46)