基于深度學(xué)習(xí)的鼻內(nèi)鏡腺樣體圖像的3D點云重建

摘要：腺樣體是位于鼻咽部的一種淋巴組織，在兒童中常見于引起呼吸道阻塞和睡眠呼吸暫停等問題。腺樣體的三維重建對于準(zhǔn)確診斷和治療規(guī)劃具有重要意義。然而，傳統(tǒng)的二維內(nèi)窺鏡圖像分析依賴于醫(yī)生的個人經(jīng)驗和主觀判斷，存在一定的局限性。腺樣體區(qū)域的黏膜組織由于表面覆蓋鼻腔分泌物，具有強反光、特征稀少、紋理單一和圖像模糊等特點，使得重建過程更加復(fù)雜。針對這些腺樣體的特性，該文提出了一種基于深度學(xué)習(xí)的腺樣體鼻內(nèi)鏡圖像的3D點云重建方法。深度學(xué)習(xí)下的三維重建技術(shù)提供了更精確和全面的解剖結(jié)構(gòu)信息。3D點云重建提供了更清晰和詳細(xì)的腺樣體解剖結(jié)構(gòu)，有助于醫(yī)生更準(zhǔn)確地評估腺樣體肥大的程度和位置，為臨床診斷提供可靠依據(jù)。

關(guān)鍵詞：深度學(xué)習(xí)；點云；腺樣體；3D點云重建

中圖分類號：TP3文獻標(biāo)識碼：A

文章編號：1009-3044（2024）34-0001-03開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

0引言

3D點云重建技術(shù)結(jié)合了計算機視覺和深度學(xué)習(xí)的最新進展，能夠從二維內(nèi)窺鏡圖像中提取重要的三維信息。通過構(gòu)建腺樣體的三維模型[1]，醫(yī)生可以更全面地了解其解剖結(jié)構(gòu)，從而更加準(zhǔn)確地評估腺樣體肥大的程度和位置，為臨床診斷和治療規(guī)劃提供可靠依據(jù)[2]。

本文提出了一種基于腺樣體鼻內(nèi)鏡圖像的3D點云重建[2]方法。該方法利用深度學(xué)習(xí)算法，克服了傳統(tǒng)二維影像分析的局限性，提供了更精確和詳細(xì)的腺樣體解剖[3]信息。這一技術(shù)的應(yīng)用將有助于提升腺樣體相關(guān)疾病的診斷準(zhǔn)確性和治療效果，為患者帶來更好的預(yù)后處理方案。

1相關(guān)工作

以下是3D點云在醫(yī)學(xué)影像重建[3]方面的一些關(guān)鍵發(fā)展：

1.1從2D到3D的過渡

傳統(tǒng)的醫(yī)學(xué)影像技術(shù)主要依賴于二維圖像，如X射線、CT掃描和MRI3D點云重建技術(shù)通過將二維圖像數(shù)據(jù)轉(zhuǎn)換為三維模型，提供了更直觀和全面的解剖結(jié)構(gòu)視圖。3D點云模型為醫(yī)學(xué)教育和培訓(xùn)提供了強有力的工具。

1.2深度學(xué)習(xí)的應(yīng)用

深度學(xué)習(xí)算法，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）和生成對抗網(wǎng)絡(luò)（GAN），Point-e模型在3D點云重建[4]中發(fā)揮了重要作用。通過訓(xùn)練模型，深度學(xué)習(xí)算法能夠從二維圖像中提取關(guān)鍵特征，生成高精度的三維點云模型。這些模型不僅提高了重建精度，還能有效處理圖像中的噪聲和模糊，能夠從二維圖像中自動提取腺樣體的關(guān)鍵特征點，并進行三維重建，減少了對醫(yī)生主觀判斷的依賴，提高了重建的精度和效率。

1.3實時重建

傳統(tǒng)的3D重建方法往往需要大量的計算資源和時間，而現(xiàn)代的3D點云技術(shù)通過優(yōu)化算法和硬件加速，實現(xiàn)了實時或近實時的三維重建[4]。這對于外科手術(shù)中的實時導(dǎo)航和復(fù)雜病例的快速診斷具有重要意義。

1.4點云處理技術(shù)的進步

點云數(shù)據(jù)的處理和優(yōu)化技術(shù)也在不斷進步，包括去噪、點云配準(zhǔn)和表面重建等方法的改進，使得重建的腺樣體模型更加清晰和精確。這些技術(shù)確保了在處理具有強反光、特征稀少和圖像模糊的腺樣體區(qū)域[5]時，依然能夠獲得高質(zhì)量的三維模型。

2相關(guān)技術(shù)

從二維醫(yī)學(xué)圖像生成點云的過程主要包括深度估計、點云構(gòu)建和后處理等。

2.1Point-e

Point-e（EfficientPointCloudGeneration）技術(shù)是一種旨在高效生成點云數(shù)據(jù)的新方法。Point-e技術(shù)通過深度學(xué)習(xí)算法從二維影像數(shù)據(jù)中提取關(guān)鍵特征點，生成高精度的三維點云模型。Point-e技術(shù)的核心是通過優(yōu)化點云生成的過程，使其能夠在較短的時間內(nèi)生成高質(zhì)量的點云數(shù)據(jù)。

2.2CNN技術(shù)

這里利用深度神經(jīng)網(wǎng)絡(luò)從輸入數(shù)據(jù)中提取特征，并生成三維點云。在Point-e技術(shù)中，卷積神經(jīng)網(wǎng)絡(luò)（CNN）起著關(guān)鍵作用。

二維圖像處理：CNN擅長從二維圖像中提取空間特征。通過多層卷積和池化操作，可以逐步提取圖像中的低級特征和高級特征，這些特征對于生成三維點云至關(guān)重要。

三維特征提取：在某些Point-e應(yīng)用中，3D-CNN可以直接處理三維體素或點云數(shù)據(jù)，從中提取三維空間特征。3D-CNN將二維圖像的特征映射到三維空間，生成初步的三維表示。編碼器將二維圖像編碼為低維特征向量，解碼器將這些特征向量解碼為三維點云。

2.3GANs與點云生成

在Point-e技術(shù)中，生成對抗網(wǎng)絡(luò)（GenerativeAd?versarialNetworks，GANs）在生成三維點云方面起著關(guān)鍵作用。GANs的主要功能是生成逼真的數(shù)據(jù)，通過兩個網(wǎng)絡(luò)（生成器和判別器）之間的對抗訓(xùn)練，提升生成數(shù)據(jù)的質(zhì)量和真實度。

生成器負(fù)責(zé)從輸入的噪聲向量或特征向量生成初步的三維點云。這些向量通常是從一個特定的分布中采樣，并通過生成器的神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為點云數(shù)據(jù)。在Point-e技術(shù)中，生成器可以接受來自CNN提取的二維特征或三維特征，并將其轉(zhuǎn)換為三維點云。這一步通常涉及多個全連接層和激活函數(shù)，以逐步生成高維度的點云數(shù)據(jù)。

GANs可以生成與真實數(shù)據(jù)分布相似的點云數(shù)據(jù)。其基本結(jié)構(gòu)包括生成器（Generator）G和判別器（Discriminator）D。生成器試圖生成逼真的數(shù)據(jù)樣本，而判別器試圖區(qū)分真實數(shù)據(jù)樣本和生成的數(shù)據(jù)樣本。GANs的目標(biāo)是找到生成器和判別器之間的納什均衡點。GANs的損失函數(shù)可以表示為：

minGmaxDV（D，G）=EX～Pdata（X）[logD（X）]+EZ～Pz（Z）[log（1-D（G（z）））]（1）

其中：x表示真實數(shù)據(jù)樣本；z表示隨機噪聲；Pdata（x）表示真實數(shù)據(jù)分布；Pz（Z）表示噪聲分布。

GANs可以用于點云數(shù)據(jù)的補全，通過生成器補全缺失部分。假設(shè)點云數(shù)據(jù)的某一部分缺失，生成器通過學(xué)習(xí)數(shù)據(jù)的整體分布來預(yù)測和生成缺失部分。補全過程的損失函數(shù)可以定義為：

Lcompletion=Ex～Pdata（X）[｜｜x-G（x"partial）｜｜2]+λEx～Pdata（X）[logD（G（xpartial））]（2）

其中：xpartial表示部分缺失的數(shù)據(jù)；λ為平衡項，權(quán)衡數(shù)據(jù)補全和生成對抗損失。

GANs的生成器可以用于生成高質(zhì)量的三維點云數(shù)據(jù)。生成器通過學(xué)習(xí)訓(xùn)練數(shù)據(jù)的分布，生成與真實數(shù)據(jù)相似的點云。生成高質(zhì)量點云的損失函數(shù)為：

Lquality=Ez～pz（z）[｜｜x-G（z）｜｜2]+βEz～pz（z）[log（1-D（G（Z）））]（3）

其中：β為平衡項，權(quán)衡重構(gòu)誤差和生成對抗損失，通過GANs生成多樣化的點云樣本，可以增強模型的泛化能力。多樣化樣本生成的損失函數(shù)為：

Ldiversity=Ez～pz（z）[｜｜x-G（z）｜｜2]+γEz～pz（z）[log（1-D（G（Z）））]（4）

其中：γ為平衡項。

3實驗步驟與分析

3.1實驗環(huán)境

本實驗基于GoogleCloudPlatform平臺，使用NVIDIATeslaT4GPU、16GBRAM和Google云硬盤進行。實驗環(huán)境為Ubuntu20.04操作系統(tǒng)，并使用CUDA11.3、CUDNN8.0、Python3.8和PyTorch1.7.0等軟件和庫。

3.2實驗數(shù)據(jù)集

本實驗使用的數(shù)據(jù)集來自株洲市人民醫(yī)院的鼻腔鏡檢查數(shù)據(jù)。這些數(shù)據(jù)集包括大量的鼻腔內(nèi)窺鏡圖像和腺樣體圖像，用于鼻腔疾病主要是腺樣體肥大的診斷和研究。數(shù)據(jù)集的具體特點如表1所示，包含若干患者的鼻腔內(nèi)窺鏡檢查記錄，總計約40000張，數(shù)據(jù)是JPG格式，大多數(shù)圖像都附有詳細(xì)的標(biāo)簽信息，標(biāo)注了特定的鼻腔區(qū)域和病變情況。

3.3實驗設(shè)置

輸入圖像數(shù)據(jù)：在過濾掉一些可能干擾實驗效果的鼻甲和鼻咽圖像后，使用處理后的人民醫(yī)院鼻腔鏡數(shù)據(jù)集。模型訓(xùn)練：使用默認(rèn)參數(shù)對Point-e模型進行訓(xùn)練。超參數(shù)：根據(jù)實驗需求調(diào)整超參數(shù)。結(jié)果評估：使用醫(yī)院腺樣體肥大的指標(biāo)對模型重建的3D效果圖進行評估，如判斷肥大的準(zhǔn)確率、精度、召回率等。精度和召回率（PrecisionandRecall）：用于衡量重建點云相對于真實點云的完整性和正確性。其中，準(zhǔn)確率和召回率的公式為：

P=TP／TP+FP

R=TP／TP+FN（5）

重建精度和重建誤差：評估重建的3D點云與真實腺樣體點云之間的誤差。常用指標(biāo)包括均方根誤差（RMSE），公式為：

其中：Xi是真實點云中的點；X?i是重建點云中的對應(yīng)點；N是點的總數(shù)。

Hausdorff距離為：

dH（X，Y）=max{supx∈Xinfy∈Y｜｜x-y｜｜，supy∈Yinfx∈X｜｜y-x｜｜}（7）

評估Point-e進行3D重建的處理時間，即從鼻內(nèi)鏡圖像輸入3D點云輸出的總時間。

形狀相似度：評估重建點云的形狀與真實腺樣體形狀的相似度。常用指標(biāo)包括：

結(jié)構(gòu)相似性（SSIM）：

SSIM（X，Y）=（2μXμY+C1）（2σXY+C2）／（μ2X+μ2Y+C1）（σ2X+σ2Y+C2）（8）

其中：μX和μY分別是點云X和Y的均值；σX和σY分別是點云X和Y的方差；σXY是點云X和Y的協(xié)方差；C1和C2是穩(wěn)定常數(shù)。

評估Point-e進行3D重建的處理時間，即從鼻內(nèi)鏡圖像輸入到3D點云輸出的總時間。評估噪聲魯棒性，即加入不同程度的噪聲到輸入數(shù)據(jù)中，觀察重建點云的質(zhì)量變化。評估缺失數(shù)據(jù)補全能力，即測試Point-e對部分缺失數(shù)據(jù)的補全效果，使用前述的重建誤差和形狀相似度指標(biāo)進行評估。

3.4實驗效果

實驗輸入部分圖像如圖1所示。

實驗效果如圖2所示。

在使用了多組數(shù)據(jù)進行重建以后，不難發(fā)現(xiàn)，Point-e配合3D-CNN和GANS等技術(shù)的重建，效果改善較為明顯。腺樣體的肥大區(qū)域基本上可以在重建的多角度的3D點云中顯示出來，邊緣輪廓的清晰度也比單純的腺樣體圖像有了一定程度的提高。

筆者也進行了一些消融實驗，首先是進行圖像去噪聲處理和對抗網(wǎng)絡(luò)處理，可以發(fā)現(xiàn)在加入這些模塊以后，RMSE值和結(jié)構(gòu)相似性SSIM都達到了較好的效果。

評估使用Point-e進行腺樣體3D重建時，我們采用了多種標(biāo)準(zhǔn)，包括重建精度、數(shù)據(jù)完整性、形狀保真度、計算效率、魯棒性和用戶滿意度。具體結(jié)果如下：

重建精度，即均方根誤差（RMSE）為2.31mm；Hausdorff距離為3.8mm。數(shù)據(jù)完整性，即點云密度為每平方毫米200點，且密度分布均勻。形狀保真度，即結(jié)構(gòu)相似性（SSIM）達到0.83；計算效率：單次重建時間為3.55秒，具備實時處理能力，能夠在臨床操作中即時應(yīng)用。噪聲魯棒性，即在10%的噪聲水平下，RMSE僅增加0.56mm。缺失數(shù)據(jù)補全能力強大，即成功補全31%的缺失數(shù)據(jù)，且重建誤差保持在3.0mm以內(nèi)；用戶滿意度，即醫(yī)生認(rèn)為重建的點云數(shù)據(jù)對診斷和治療規(guī)劃具有顯著輔助作用。

通過這些評估可以得出結(jié)論，Point-e在基于鼻內(nèi)鏡圖像的腺樣體3D重建中表現(xiàn)出色，能夠生成高質(zhì)量、精確且完整的點云數(shù)據(jù)，具有良好的魯棒性和實時處理能力，能夠有效輔助醫(yī)生進行診斷和治療規(guī)劃。

4結(jié)束語

本文采用了Point-e算法對不同患者的腺樣體區(qū)域進行了三維重建，實驗結(jié)果表明該算法生成的點云模型具有稠密、平滑且?guī)缀谓Y(jié)構(gòu)一致性良好的特點，特別在處理弱紋理區(qū)域的深度估計問題上顯示了顯著的優(yōu)勢。這種方法在腺樣體區(qū)域的三維重建中展現(xiàn)了較大的應(yīng)用潛力。

盡管本研究取得了重要進展，仍然存在一些局限性。首先，盡管Point-e算法在處理圖像模糊方面比現(xiàn)有技術(shù)更具魯棒性，但鼻腔分泌物附著于腺樣體表面，使模糊成為腺樣體圖像中的固有特征，仍然對重建質(zhì)量造成了不利影響。為解決這一問題，未來工作可以探索結(jié)合深度學(xué)習(xí)中的高斯函數(shù)技術(shù)和邊緣處理方法，以更好地應(yīng)對圖像模糊，提升重建精度。其次，雖然Point-e算法生成的點云模型在平滑性方面表現(xiàn)良好，但在一些區(qū)域過于平滑，未能捕捉到腺樣體表面的微小細(xì)節(jié)。為進一步改善重建質(zhì)量，未來的研究計劃優(yōu)化曲面擬合和對抗訓(xùn)練算法，以在保持場景平滑的基礎(chǔ)上更好地保留和呈現(xiàn)細(xì)節(jié)信息。

參考文獻：

[1]陳玥，連俊蘭，邵征洋，等.基于數(shù)據(jù)挖掘分析邵征洋治療兒童腺樣體肥大用藥規(guī)律[J].浙江中醫(yī)雜志，2024，59（7）：578-580.

[2]王路，羅澤斌，倪健慧，等.基于U-Net網(wǎng)絡(luò)的兒童腺樣體及鼻咽氣道圖像分割[J].臨床耳鼻咽喉頭頸外科雜志，2023，37（8）：632-636，641.

[3]王彥宇.腺樣體肥大與腭部形態(tài)的相關(guān)性研究及其影像學(xué)評價[D].濟南：山東大學(xué)，2021.

[4]TANKUSA，SOCHENN，YESHURUNY.Reconstructionofmedicalimagesbyperspectiveshape-from-shading[C]//Pro?ceedingsofthe17thInternationalConferenceonPatternRecog?nition，2004.ICPR.August26-26，2004，Cambridge，UK.IEEE，2004：778-781.

[5]王瑞胡.基于ShapefromShading的醫(yī)學(xué)圖像三維重建[J].計算機工程與應(yīng)用，2008，44（6）：222-224.

【通聯(lián)編輯：代影】

基金項目：湖南省自然科學(xué)基金資助（項目編號：NO.2024JJ9550）；湖南省自然科學(xué)基金項目（項目編號：2022JJ30231）