多模態數據融合技術在口頜系統功能評估中的應用

劉偉才

Stomatology,2022,42(1):14-19

隨著現代醫學的發展，越來越多臨床輔助檢查方法爭相出現，有多種模態的醫學數據可供輔助診治疾病。解剖圖像主要描述人體形態信息如錐形束CT(cone-beam computed tomography， CBCT)、磁共振成像(magnetic resonance imaging,MRI)、X線片、超聲等；功能圖像主要描述人體代謝、功能信息，如正電子發射斷層掃描(PET)、單光子發射計算機斷層成像術(SPECT)；此外還可以通過多種途徑獲取機體某部分的運動軌跡等，這些信息通常單一應用，在疾病的診治中起到重要的作用。但是，在某些情況下，以上單一模態數據的評估方法或多或少存在缺陷，且相互之間缺少聯系，而將這些不同的醫學數據整合為一體，即為多模態數據融合，能綜合多種輔助手段的優點。

將多模態數據融合理念應用在口頜系統的評估中，很大程度上可以幫助口腔醫生更全面地診治口頜系統疾病。因為關于口頜系統的評估，系統內的元件不是孤立的，應將靜態的牙合與動態的咬合、顳下頜關節、口頜系統肌肉相關聯，從整體的功能關系觀察[1]。對顳下頜關節、動靜態咬合與肌肉有一個全局的判斷，一定程度上可規避治療風險、減少患者就診次數，輔助制定遠期的治療方案，有利于多學科之間的合作以獲得更加滿意的治療效果。

1 多模態數據融合的概念

多模態數據融合是指經過計算機數字化和醫學圖像配準處理，使其內外部特征在空間坐標上相匹配，即可得到一種全新的更全面的融合影像[2]。適當的多模態數據融合可為疾病的診治提供線索，最大限度提取各影像中的有用信息。最早的圖像數據融合工作可以追溯到20世紀80年代中期，Burt等[3]最早使用拉普拉斯金字塔方法與高斯金字塔進行圖像融合，1995年，Li等[4]最先運用小波方法對圖像進行融合，這對圖像數據融合技術產生了巨大的推進。而在口腔醫學臨床中，有多種類型數據可作為多模態融合的基礎，如DICOM、STL或OBJ以及XML等。DICOM格式的文件由CBCT獲取，STL則是牙列掃描所存儲的基本格式，下頜運動軌跡通常存儲為XML文件，其采集設備包括機械式或基于磁電量轉換、超聲定位或光學定位的三維描記儀。多模態數據融合的目的旨在將以上至少兩種不同類型數據進行三維空間的配準，使其在同一時間、同一空間內反映出全面的診療信息。

2 多模態數據融合在口腔醫學中的實際應用

2.1 多模態數據融合在口腔醫學中的應用開端——靜態數據融合

多模態融合技術在口腔醫學中應用前景廣闊，其中“3D虛擬患者”的創立就是多模態數據融合的典型產物。如Bryan等[5]使用二維數字照片、三維口外面部掃描和CBCT數據融合來創建3D虛擬患者，對接計算機輔助設計和計算機輔助制造(CAD/CAM)軟件，設計種植導板及臨時修復體；Riccardo等[6]將口內掃描與面部掃描整合后，對面部標志點進行線性測量，證明其重復性和準確性較高。本課題組前期實現了將口外面部掃描、口內牙列掃描以及CBCT進行多模態數據的處理與融合，創建三維虛擬牙科患者(圖1)，其中包括頭面部硬組織、剩余牙列(包括周圍的口內軟組織)，以及靜態條件下微笑的面部軟組織的真實外觀，并與現有的CAD/CAM設備對接，實現美學修復中以面部輪廓和CBCT引導的，從數字化設計、預測到修復體加工的一整套數字化診療流程[7]。因此，對口頜系統常見病應用多模態數據融合技術進行兼顧美學與功能的修復是有較高可行性的，適當的醫學圖像融合可為疾病的診治提供線索，最大限度提取各影像中的有用信息。

圖1 3D虛擬牙科患者

2.2 多模態數據融合在口腔醫學中的應用革新——動態數據融合

除了靜態的頜面部軟硬組織數據融合外，將動態的下頜運動軌跡融入3D虛擬牙科患者使其升級為4D虛擬牙科患者，是數字化口腔醫學的努力方向。下頜運動描記系統能最大可能地進行個體特有的下頜運動軌跡記錄和分析(jaw motion tracking, JMT)[8]，動態軌跡作為數字化修復未來必不可少的一環，融入多模態數據集尤為關鍵。結合臨床影像檢查及口內外掃描等，可為顳下頜關節、肌肉紊亂狀態提供參考，對口頜系統生理或病理狀態做出診斷。通過軌跡分析可以早期輔助診斷無癥狀可復性關節盤移位、關節囊韌帶松弛、肌肉疲勞、髁突骨質改變等[9]。合理應用多模態數據融合可為患者提供完善的口頜系統功能評估，規避一部分治療風險。其中，下頜切點便于操作和觀察，下頜運動軌跡描記設備常以其作為觀測點，記錄隨下頜骨運動而產生三維軌跡圖，早期設備主要是基于機械描記、光學攝影的原理，現代科學的快速發展衍生了超聲傳感式、光學傳感式、磁性傳感式下頜運動軌跡記錄設備[10]。

已開發的下頜運動軌跡描記設備最早的是機械描記系統Cadiax Compact 2(Cadiax，GAMMA Dental)。之后，各種新的下頜運動軌跡分析技術不斷涌現，如超聲定位系統JMAnalyser+(Zebris Medizintechnik,德國)、SICAT function(Dentsply Sirona, Bonn, 德國)、和近年開發的光學定位系統Modjaw(Modjaw，法國)、P-Art(Prosystom，俄羅斯)。然而，定位原理不同，頭顱固定與下頜定位裝置方式不同，以及后端軟件的多模態數據整合，都會影響記錄和分析的準確性。

3 多模態數據融合在口頜系統評估中的應用

從口頜系統評估內容角度來說，其主要包括顳下頜關節(temporomandibular joint,TMJ)各結構的形態和空間關系、上下牙列的動態和靜態咬合接觸、以及下頜運動過程中髁狀突和牙列的運動軌跡三大方面。

3.1 TMJ結構和空間關系評價

首先是TMJ結構和空間關系評價，主要基于CBCT和MRI，根據解剖標志確定頜位關系、牙合平面、髁突與盤-窩位置關系。靜態的影像學評估固然對TMJ相關疾病的診斷、治療和預后評價具有重要意義，但TMJ的運動直接反映整個下頜骨運動，其動態評估對于功能而言更為重要。如借助MRI能診斷TMJ關節盤前移位，卻不能評估關節盤移位對于功能的影響。有學者嘗試獲取TMJ的動態影像，主要通過動態磁共振( cine magnetic resonance imaging，Cine-MRI)或連續CT掃描，數據融合后再進行測量分析[11]。該方法掃描時于受試者前牙正中放置階梯狀開口器，開口器每次增加的開口度為0.5 cm，通過掃描各階梯高度下關節形態完成，動態掃描能直觀反映不同開口位關節盤的形態和位置變化，同時顯示髁狀圖和關節盤的運動相對位置關系。然而，0.5 cm的序列掃描不能準確代表整個運動過程，因而可能存在偏差，且多次的放射性暴露對患者不利。因此，利用多模態融合技術將影像學資料與動態咬合軌跡聯合分析十分有必要。

3.2 上下牙列咬合接觸評估

咬合接觸不僅指靜態咬合，動態咬合接觸也尤為重要。合適的牙尖斜度、足夠的牙尖高度以及合理的咬合接觸面積是充分行使咀嚼功能的保障；側方運動時，前后牙有序列的咬合分離(Disocclusion)是進行穩定的，無干擾的咬合運動的前提，通常應用咬合分離時間來評估咬合的健康。此外，每顆牙牙合面形態一方面由鄰牙和對頜牙的解剖形態決定；另一方面還受到神經肌肉以及關節等因素的影響，如后牙的牙尖高度及牙尖斜度，除了受到對頜牙的牙尖形態影響外，還受到牙合平面(occlusal plane，OP)、髁間距、髁突運動的影響。髁導斜度(condylar inclination，CI)、迅即側移(Immediate side shift，ISS)、Bennet角(Bennet angle)、偏轉角(shift angle)是最主要的評估髁突運動的可量化指標；在前伸運動中，前伸髁導斜度(sagittal condylar inclination，SCI)影響牙合平面角度及牙尖斜度。同樣，在側方運動中，非工作側髁突會發生向前、下、內側的移位，通過Bennet角及ISS體現，Bennet角決定修復體非功能尖的位置分布，ISS決定非功能尖斜面的斜度[12]。

現有的研究通常應用T-scan咬合分析系統來評估動態咬合接觸，該系統包括傳感器膜片、連接手柄、電纜，通過與計算機相連接用軟件控制實現數據傳輸，可以記錄到咬合接觸點的具體部位、范圍以及各咬合接觸點處咬合力的大小，并可記錄下這些咬合特征隨時間變化的情況[13]。然而，T-scan咬合分析系統的咬合傳感器膜片厚約100 μm，放置在受試者上下頜牙齒之間，對受試者存在一定干擾，因此并不能完全反映口內的真實咬合狀況。一種新的嘗試是利用口內掃描，通過上下牙列間虛擬模型的接近程度來評價咬合接觸，因為沒有媒介的存在，理論上應該更加準確，口內掃描也用來評估早期的牙列磨耗。一些具有多模態數據整合的設備，可將口內牙列掃描以及動態咬合記錄數據融合，實時的獲得受試者動靜態咬合接觸面積、咬合接觸時間、咬合分離時間等，若能利用計算機軟件將頭面部諸骨的三維重建模型進行融入，得到個性化的SCI、Bennet角、ISS等，將對患者的顳下頜功能與咬合評估、后期的修復治療大有裨益。

3.3 下頜運動過程中髁狀突和牙列的運動軌跡

3.3.1 機械描記式下頜運動軌跡記錄 經典的下頜運動軌跡描記方法，是由Gsellmann等[14]發明的機械描記系統Cadiax Compact，以面弓作為橋梁，精確記錄開閉口、側方、前伸等生理功能狀態下髁突的運動軌跡。該方法可確定某一時刻點髁突位置，靜態分析髁突的生理功能，同時能描繪髁突的運動曲線，動態分析髁突的生理功能。該系統對咬合系統疾病能進行正確評估，但存在操作繁瑣、信息傳輸記錄不準確，機械自身重量可能對下頜運動造成影響，所得記錄結果只能在三維坐標系中生成軌跡曲線，而不能結合顱頜面部硬組織呈現真正的下頜運動及咬合動態等缺陷。

3.3.2 超聲傳感式下頜運動軌跡記錄 超聲定位系統輕巧、記錄方便，通過測量超聲脈沖傳播的時間，以非接觸的形式測量并記錄下頜運動，相應裝置有JMAnalyser+(Zebris Medizintechnik, 德國 )、Arcus digma Ⅱ(Kavo Group，德國)、 SICAT function(Dentsply Sirona, Bonn, 德國)(圖2)等，Kijak等[15]使用超聲定位原理的設備Zebris JMA與T-scan進行數據融合，對顳下頜關節紊亂患者進行咬合分析，監測從診斷到治療結束時下頜骨的運動學和牙列上的咬合壓力分布情況，證實該方法對治療和預防顳下頜關節功能障礙有一定的有效性。但是與機械描記系統一樣，所獲得的數據或者運動軌跡無法直接在系統內部與患者顱頜面部組織結構結合起來分析。

課題組前期提出的一個解決方案就是通過在CAD/CAM系統中，由口內掃描(intraoral scan, IOS)獲得牙列的立體光刻(STL)表面模型，將牙列STL文件和頜骨的DICOM數據(DICOM數據由CBCT獲得)進行圖像融合，創建3D虛擬口腔患者(圖2)。在此基礎上，導入下頜運動軌跡數據(可擴展標記語言(Extensible Markup Language， XML))，并進行空間對齊[16]。口內掃描獲得的牙列會隨著導入的下頜運動軌跡再現各向運動，從而用以評估下頜運動過程中上下牙列不同牙位之間的咬合接觸變化，計算咬合接觸與分離時間、確定咬合干擾點等。在本方案中，最核心的部分是對患者的動態咬合進行捕捉和分析，以及將捕捉到的動態咬合信息整合至數字化支撐平臺。課題組前期工作中，已經成功完成上述流程，并應用于前牙美學修復。

圖2 SICAT function系統下頜運動記錄裝置示意圖

3.3.3 光學傳感式下頜運動軌跡記錄 近年來發展起來的基于光學定位原理的數字化下頜運動記錄及分析系統，通過三維攝像機監測下頜運動和軌跡。自然頭位下(nature head position，NHP)使用帶有傳感器的牙合叉裝置，光學捕捉下頜運動，通過空間位置坐標轉換算法，實現牙列動態咬合參數的采集，重現患者的個性化下頜運動軌跡。P-Art(Prosystom，俄羅斯)是一款基于光學定位，單攝像頭捕捉下頜運動軌跡的電子面弓(圖3)。Chkhikvadze等[17]在TMJ紊亂患者的功能診斷中，融合口內牙列掃描及Prosystom采集的動態咬合記錄，進行虛擬牙合架的方法，并與傳統機械頜架對比，證明了虛擬牙合架的有效性。

圖3 Prosystom系統下頜運動記錄裝置及記錄示意圖

除此之外，Modjaw(Modjaw，法國)是一款基于立體視覺技術的下頜運動軌跡記錄和分析系統，近期完成了國內醫療注冊。為了實現下頜運動的可視化和可操控，增加了新的模塊，允許在系統軟件內部導入牙列數據、頜骨數據、口外面部掃描數據。

4 基于多模態數據融合的可操縱、可視化下頜運動評估系統的建立及應用

課題組前期利用三維重建軟件，人工調整閾值，在CBCT上準確定點，完整分離顳下頜關節、上頜骨、下頜骨，并在Modjaw系統中實現數據融合，并進行頜骨數據與動態咬合數據匹配，從而構建了可操縱的、可視化下頜運動評估系統，創立了真正意義上的“4D牙科虛擬患者” (圖4)。修復醫師不僅能夠獲得患者個性化的牙合平面、spee曲線曲度、Wilson曲線曲度、髁導斜度、髁間距、迅即側移等數據，還能夠直觀地“操控”下頜運動(如同播放電影時拖動播放條)，在下頜運動過程中了解到顳下頜關節髁突與關節窩相對位置變化、動態咬合時髁突位置所在以及不同牙位在功能運動中的咬合接觸變化(圖5)，直觀地反映髁突運動與動態咬合直接的協調程度。

圖4 Modjaw系統下頜運動記錄裝置及記錄示意圖

圖5 Modjaw系統實時觀察顳下頜關節及咬合接觸變化

該系統應用范圍廣泛，可應用于直視下尋找動靜態咬合早接觸點，以及顳下頜關節紊亂、咬合紊亂等患者的初步評價。此外，伴隨CAD/CAM在牙科領域的廣泛應用[18-19]，利用多模態數據融合，將下頜運動軌跡數據對接CAD/CAM系統設計修復體，大大減少臨床調牙合時間。咬合板治療顳下頜關節紊亂是一種有效的保守療法[20]。將多模態數據融合應用于咬合板的制作，將患者戴用咬合板后的動態運動也考慮在內，并隨著材料3D打印與切削技術的精準度提升[21-22]，這種通過數字化打印或切削的咬合板也有可觀的臨床應用前景。

因此，實現基于多模態數據融合的下頜運動的可視化和可操控，并應用于口頜系統功能評估，是一項具有臨床應用前景且方便可行的方法，但是需要將多個模態數據進行融合的過程較繁瑣。隨著數字化技術的發展，越來越多的數字化輔助設備爭相出現，其精度及準確度也在不斷提升，未來數字化將發展為一體化采集動態條件下患者牙列、軟組織、頜面諸骨關系以及運動軌跡，簡化操作流程，而不需要手動進行數據疊加。多模態數據融合的可視化下頜運動突破了單一的、靜態的影像學與咬合功能評估，打破了傳統數字化修復模式，完善的術前評估規避了一定風險，全局觀的修復模式兼顧了美學與功能的修復，減少了患者就診次數，打破了醫患溝通壁壘，有利于多學科之間的合作以獲得更加滿意的治療效果，也為臨床醫生提供了一定的參考。