陳珊珊, 王紫薇, 夏 天, 冷 靜, 汪紅志, 李真林
(1.上海健康醫(yī)學(xué)院醫(yī)學(xué)影像學(xué)院,上海 201318;2.四川大學(xué)華西臨床醫(yī)學(xué)院,成都610041;3.上海培云教育科技有限公司,上海 200433;4.華東師范大學(xué)a.教育信息技術(shù)系;b.物理與電子科學(xué)學(xué)院,上海 200062)
建立精準(zhǔn)醫(yī)療診斷體系,醫(yī)學(xué)影像亟須先行。隨著精準(zhǔn)醫(yī)療逐漸成為全球醫(yī)學(xué)發(fā)展的方向,影像醫(yī)學(xué)也迎來前所未有的發(fā)展機(jī)遇[1]。高素質(zhì)的醫(yī)學(xué)影像設(shè)備操作、裝調(diào)和研發(fā)人才儲備是影像醫(yī)學(xué)發(fā)展的重要支撐。磁共振成像(Magnetic Resonance Imaging,MRI)是原理與技術(shù)相對復(fù)雜的設(shè)備,聚焦傳統(tǒng)的MRI課程實(shí)驗教學(xué)模式,存在學(xué)習(xí)時空有限、依賴有操作風(fēng)險的設(shè)備、成像過程封閉不可見等問題,難以適應(yīng)全球醫(yī)療發(fā)展新趨勢對創(chuàng)新型人才培養(yǎng)的要求。
當(dāng)前,元宇宙正成為下一代互聯(lián)網(wǎng)的新形態(tài),教育元宇宙是在元宇宙虛實(shí)融合一體化理念基礎(chǔ)上,為學(xué)習(xí)者所營造的多技術(shù)集成的學(xué)習(xí)環(huán)境,蘊(yùn)含著豐富的教和學(xué)活動之可能性與伸展性[2]。元宇宙通過數(shù)字孿生(Digital Twin,DT)技術(shù)生成現(xiàn)實(shí)世界的鏡像,DT技術(shù)是元宇宙的重要底層技術(shù)之一[3]。DT 技術(shù)在智能制造領(lǐng)域的應(yīng)用有所落地,在教育領(lǐng)域的應(yīng)用仍然處于探索階段[4],林潤澤等[5]基于智能工廠流水線實(shí)驗裝置,構(gòu)建了智能裝配機(jī)械臂DT 系統(tǒng)用于實(shí)驗教學(xué)。陶飛等[6]提出了DT的5 維模型,DT驅(qū)動的6 條應(yīng)用準(zhǔn)則和14 類應(yīng)用設(shè)想,推動了DT技術(shù)的進(jìn)一步落地應(yīng)用。借助DT技術(shù)構(gòu)建MRI 原理與技術(shù)DT 實(shí)驗平臺,將促使實(shí)踐教育模式和評價方式變革,滿足學(xué)習(xí)者時時能學(xué),處處能學(xué)的現(xiàn)實(shí)需求。
對現(xiàn)實(shí)世界的分析是構(gòu)建元宇宙的首要任務(wù)??臻g場景結(jié)構(gòu)和時間上的事件流程用以描述現(xiàn)實(shí)世界,現(xiàn)實(shí)世界還涵蓋人的屬性、物的屬性、人和物兩兩互動關(guān)系。虛擬世界與現(xiàn)實(shí)世界直接交界的是孿生基座[7],分為“數(shù)據(jù)交互”和“模型構(gòu)建”,其中數(shù)據(jù)交互是通過傳感器和控制器完成數(shù)據(jù)采集和反饋控制,模型構(gòu)建則包含自然規(guī)律仿真、社會規(guī)則仿真、數(shù)字人和物構(gòu)建等。
自然規(guī)律的仿真可分為基于數(shù)據(jù)驅(qū)動的仿真和基于機(jī)理驅(qū)動的仿真。前者利用數(shù)據(jù)擬合解決弱機(jī)理模型的應(yīng)用問題,復(fù)雜數(shù)據(jù)處理能力強(qiáng),例如智能對話助手等。后者利用數(shù)值計算解決強(qiáng)機(jī)理模型的應(yīng)用問題,高效、準(zhǔn)確、逼真、實(shí)時,例如工業(yè)設(shè)計軟件等。MRI設(shè)備DT 體的成像功能屬于機(jī)理驅(qū)動模式的仿真。國內(nèi)外關(guān)于MRI虛擬仿真平臺的研究中,多數(shù)以解決臨床問題為目的,Cao 等[8]設(shè)計了多功能MRI 仿真系統(tǒng),實(shí)現(xiàn)任意樣品、序列和電磁場條件下的磁共振信號、噪聲和特定吸收率仿真。Zijlstra 等[9]提出利用快速傅里葉變換實(shí)現(xiàn)磁敏感偽影的仿真,并證明了在金屬物體定位中的適用性。Liu等[10]在配備(Graphics Processing Unit,GPU)的計算機(jī)上搭建虛擬平臺,實(shí)現(xiàn)了MRI新方法的評估。此外,各種用于MRI設(shè)備及檢查技術(shù)實(shí)驗教學(xué)的平臺,盡管實(shí)現(xiàn)了在虛擬環(huán)境中完成MRI實(shí)驗教學(xué)[11-14],但這些平臺缺乏自然規(guī)律仿真技術(shù)的運(yùn)用。
本文設(shè)計了基于DT技術(shù)的MRI原理與技術(shù)實(shí)驗平臺系統(tǒng)框架,結(jié)合具體實(shí)驗案例,梳理其數(shù)據(jù)獲取、虛擬采集、迭代優(yōu)化和應(yīng)用服務(wù)思路,提出一種基于機(jī)理模型的建模仿真方法,用于構(gòu)建MRI 原理與技術(shù)DT實(shí)驗平臺。
MRI原理與技術(shù)DT 實(shí)驗平臺由物理設(shè)備、虛擬設(shè)備、孿生數(shù)據(jù)、應(yīng)用服務(wù)和各部分之間的連接組成,實(shí)現(xiàn)在線實(shí)驗教學(xué)和MRI 設(shè)備關(guān)鍵部件的輔助優(yōu)化設(shè)計,平臺框架如圖1 所示。

圖1 MRI原理與技術(shù)DT實(shí)驗平臺框架
MRI設(shè)備物理實(shí)體包含了磁體、射頻、梯度、譜儀和計算機(jī)等單元,分別負(fù)責(zé)產(chǎn)生靜磁場、發(fā)射射頻電磁場和接收磁共振信號、產(chǎn)生梯度磁場、控制各個部件協(xié)調(diào)和人機(jī)交互。MRI 設(shè)備通過射頻電磁場激勵處于靜磁場中的氫質(zhì)子發(fā)生核磁共振現(xiàn)象,利用梯度磁場實(shí)現(xiàn)信號空間定位,通過射頻接收線圈接收弛豫過程中的磁共振信號,重建得到圖像,圖像反映的參數(shù)是人體組織的氫質(zhì)子密度(Pd)、自旋-晶格弛豫時間(T1)、自旋-自旋弛豫時間(T2)、化學(xué)位移(CS)和擴(kuò)散系數(shù)(D)等。
在DT虛擬空間中,平臺包括數(shù)字環(huán)境模型、數(shù)字人模型和數(shù)字設(shè)備模型。采用WebGL 和Unity 工具完成DT虛擬實(shí)體的開發(fā),其中數(shù)字環(huán)境分為虛擬場景和虛擬流程,虛擬場景依據(jù)醫(yī)院環(huán)境進(jìn)行3D 建模實(shí)現(xiàn),虛擬流程依據(jù)臨床檢查規(guī)范制定。數(shù)字人模型外形依據(jù)性別、年齡和體型構(gòu)建,運(yùn)動信息依據(jù)骨關(guān)節(jié)數(shù)目、關(guān)節(jié)類型和關(guān)節(jié)自由度構(gòu)建,以實(shí)現(xiàn)全身部位的高自由度任意擺位,以滿足實(shí)驗教學(xué)需求。
MRI設(shè)備和MRI設(shè)備DT體之間存在雙向的交互反饋,MRI 設(shè)備運(yùn)行后得到的感知數(shù)據(jù)如Pd、T1、T2、CS和D,同步到MRI設(shè)備DT體,DT體基于機(jī)理建模和算法求解后,將計算結(jié)果反饋給物理實(shí)體,支持對物理實(shí)體狀態(tài)進(jìn)行同步仿真,以計算實(shí)際設(shè)備運(yùn)行過程中產(chǎn)生的圖像質(zhì)量控制參數(shù)異常,實(shí)現(xiàn)虛擬設(shè)備和實(shí)體設(shè)備的聯(lián)動和以虛控實(shí)。
利用Matlab 實(shí)現(xiàn)自然規(guī)律仿真,關(guān)鍵點(diǎn)是基于機(jī)理模型進(jìn)行數(shù)字環(huán)境、數(shù)字人和數(shù)字設(shè)備之間的內(nèi)在機(jī)理關(guān)系仿真,包括物理數(shù)據(jù)獲取、虛擬信號采集和虛擬圖像重建,得到虛擬的磁共振圖像,包括磁共振T1加權(quán)像(T1-Weighted Image,T1WI)、T2加權(quán)像(T2-Weighted Image,T2WI)和質(zhì)子密度加權(quán)像(Pd-Weighted Image,PdWI)、短TI反轉(zhuǎn)恢復(fù)序列(Short TI Inversion Recovery,STIR)圖像和液體衰減反轉(zhuǎn)恢復(fù)序列(Fluid Attenuated Inversion Recovery,F(xiàn)LAIR)序列圖像等。
在實(shí)驗平臺構(gòu)建中,搭建數(shù)字環(huán)境、數(shù)字人和數(shù)字設(shè)備模型,用于表征MRI設(shè)備物理實(shí)體在虛擬空間中的運(yùn)行信息;在虛擬空間中構(gòu)建DT仿真模型,實(shí)現(xiàn)虛擬實(shí)體和物理實(shí)體之間的交互反饋;在虛實(shí)融合的DT實(shí)驗平臺上設(shè)計應(yīng)用服務(wù)資源庫??砷_展的教學(xué)內(nèi)容如圖1 所示,含磁共振信號的檢測、射頻中心頻率的確定、磁場均勻性評價與電子勻場等。
在MRI設(shè)備DT機(jī)理建模過程中,由MRI 設(shè)備獲取多維物理數(shù)據(jù),進(jìn)行數(shù)字人建模,完成虛擬采集和圖像重建,生成虛擬MRI圖像,利用DT融合數(shù)據(jù)進(jìn)行迭代優(yōu)化,達(dá)到計算力、實(shí)時性、逼真度、沉浸性、互動性和用戶自主性的全面提升。
虛擬設(shè)備掃描的對象是數(shù)字人,數(shù)字人的準(zhǔn)確性決定了輸出的虛擬圖像逼真度,MRI 數(shù)字人構(gòu)建需要確定多維度信息,含人體組織的三維空間信息(坐標(biāo)X、Y、Z,分辨率1 mm ×1 mm ×1 mm)、磁共振信號所反映的人體組織屬性信息,如Pd、T1、T2、CS 和D。對MRI設(shè)備產(chǎn)生的MRI圖像,進(jìn)行非均勻性校正和剛性配準(zhǔn)預(yù)處理,利用區(qū)域增長法進(jìn)行結(jié)構(gòu)初步分割,利用K鄰近算法實(shí)現(xiàn)邊界精細(xì)分割,對組織參數(shù)Pd、T1、T2、CS和D進(jìn)行賦值。
數(shù)字人構(gòu)建之后,依據(jù)MRI 設(shè)備的工作過程,對數(shù)字人的物理數(shù)據(jù)進(jìn)行虛擬采集,即依次進(jìn)行選層、相位編碼、頻率編碼、信號采集和信號處理,單個層面的K空間數(shù)據(jù):
式中:A為信號放大倍數(shù);M0為原始信號幅值;ρ(k,l)為層面質(zhì)子密度分布;ej(2π/N)kn為頻率編碼;ej(2π/M)lm為相位編碼;e-n/T*2為信號衰減;n為采樣時間;m為相位編碼時間;k為頻率編碼方向上的空間位置;l 為相位編碼方向上空間位置。生成K 空間數(shù)據(jù)之后,再通過二維傅里葉變換,得到MRI圖像。
為使DT體成像結(jié)果逼近物體實(shí)體的成像結(jié)果,運(yùn)用DT數(shù)據(jù)對設(shè)計進(jìn)行評估,與教學(xué)需求與意見結(jié)合后,判斷是否需要改進(jìn)設(shè)計,如若需要改進(jìn),則將DT體的數(shù)據(jù)采集模型解構(gòu)為人體模塊、設(shè)備模塊和環(huán)境模塊,分別進(jìn)行修正,如圖2 所示。

圖2 基于DT數(shù)據(jù)驅(qū)動的優(yōu)化方法
人體模塊考慮圖像分割和組織參數(shù)的賦值的誤差。設(shè)備模塊考慮磁體單元、射頻單元和梯度單元的變動,如放大器頻率響應(yīng)函數(shù)、重復(fù)時間、回波時間、弛豫時間、射頻脈沖的幅值、脈寬、射頻場非均勻性、靜磁場非均勻性和靜磁場漂移等。環(huán)境模塊考慮添加射頻干擾、鐵磁性物質(zhì)干擾、自主和非自主運(yùn)動干擾等因素,修正完成后再重構(gòu)模型,實(shí)現(xiàn)虛擬成像。
模型設(shè)計盡可能考慮到所有的相關(guān)因素,從實(shí)驗結(jié)果的反饋科學(xué)性、實(shí)驗操作的實(shí)時性、實(shí)驗操作的沉浸性等方面,與物理設(shè)備進(jìn)行對照,找出差距并不斷迭代優(yōu)化和持續(xù)改進(jìn),修正的越精細(xì),MRI設(shè)備DT體的輸出和物理實(shí)體的輸出越逼近。
MRI原理與技術(shù)DT實(shí)驗平臺除了滿足醫(yī)學(xué)影像領(lǐng)域院校批量實(shí)驗教學(xué)、影像技師培訓(xùn)、醫(yī)療器械工程師培訓(xùn)之外,還能為MRI設(shè)備的輔助研發(fā)提供分析平臺:低場磁共振弛豫譜反演算法研究[15];高階有源勻場技術(shù)開發(fā)[16];MRI偽影仿真分析[17];樣本增廣和批量標(biāo)注模型構(gòu)建與數(shù)字圖譜研發(fā)[18]和MRI 設(shè)備性能智能檢測等。
根據(jù)MRI設(shè)備DT機(jī)理建模過程中所運(yùn)用的關(guān)鍵技術(shù),可開展相應(yīng)的教學(xué)內(nèi)容,建模過程完成系統(tǒng)預(yù)掃描、定位掃描、正常成像、異常成像、圖像信噪比、圖像均勻性、層厚、縱橫比、空間分辨力、低對比度分辨力、幾何畸變等質(zhì)控參數(shù)評價。每個環(huán)節(jié)對應(yīng)的教學(xué)內(nèi)容和技術(shù)應(yīng)用價值見表1。

表1 基于DT機(jī)理建模的MRI成像原理與技術(shù)的實(shí)驗教學(xué)內(nèi)容
MRI原理與技術(shù)DT實(shí)驗平臺圍繞醫(yī)院MRI檢查場景和檢查流程設(shè)計,仿真結(jié)果如圖3(a)所示。該仿真結(jié)果與臨床檢查真實(shí)情景相對應(yīng),進(jìn)入實(shí)驗平臺,進(jìn)行系統(tǒng)登錄,信息查驗,查前更衣,操作擺位,成像掃描和結(jié)束檢查,具體內(nèi)容見表2。

表2 MRI檢查DT實(shí)訓(xùn)流程
DT實(shí)驗平臺對物理實(shí)體狀態(tài)進(jìn)行同步仿真,利用DT融合數(shù)據(jù)實(shí)時重建MRI 圖像,虛擬空間中MRI 軟件操作界面如圖3(b)所示。平臺有機(jī)融合了軟件操作界面數(shù)據(jù)和數(shù)值計算圖像數(shù)據(jù),在DT 虛擬空間中擺位、視野參數(shù)設(shè)置等操作,聯(lián)動表現(xiàn)于虛擬MRI 圖像的仿真結(jié)果。與物理實(shí)體設(shè)備的運(yùn)行結(jié)果對應(yīng),實(shí)現(xiàn)序列參數(shù)對圖像的影響、識別和分析偽影、診斷故障等實(shí)驗內(nèi)容。

圖3 MRI成像原理與技術(shù)的DT實(shí)驗平臺仿真結(jié)果
在實(shí)驗平臺,選擇成像序列,如自旋回波成像序列、梯度回波成像序列、反轉(zhuǎn)恢復(fù)成像序列和平面回波成像序列,設(shè)置和調(diào)節(jié)序列參數(shù)、完成二維數(shù)據(jù)采集、K空間填充和圖像重建,可獲取T1WI 像、T2WI 像、PdWI像、脂肪抑制像、黑水像等。
選擇自旋回波成像序列,設(shè)置序列其他參數(shù)為默認(rèn)參數(shù),調(diào)節(jié)參數(shù)脈沖重復(fù)時間TR 和回波時間TE,運(yùn)行仿真模型,完成二維數(shù)據(jù)采集和圖像重建,得到K空間和圖像仿真結(jié)果,TR和TE參數(shù)對圖像權(quán)重的影響結(jié)果如圖4 所示。保持回波時間TE=20 ms,逐漸將重復(fù)時間TR由2 500、1 200、500、300 縮短至100 ms,組織的縱向磁化矢量恢復(fù)快慢差異逐漸顯現(xiàn),T1權(quán)重逐漸增加,圖像由PdWI像向T1WI像過渡。保持重復(fù)時間TR=2 500 ms,逐漸將回波時間TE 由20、50、100、150 延長至200 ms,組織的橫向磁化矢量衰減快慢差異逐漸顯現(xiàn),T2權(quán)重逐漸增加,圖像由PdWI像向T2WI像過渡。該仿真結(jié)果與實(shí)體MRI設(shè)備的運(yùn)行結(jié)果相一致。

圖4 不同TR、TE 參數(shù)下的MRI圖像
磁共振圖像上出現(xiàn)的一些成像對象本身不存在的圖像信息,使得圖像質(zhì)量下降,稱作偽影或鬼影。其產(chǎn)生因素主要包括成像環(huán)境、成像對象、成像設(shè)備和成像序列參數(shù)等。在MRI 原理與技術(shù)DT 實(shí)驗平臺上,設(shè)置和調(diào)節(jié)不同的參數(shù),運(yùn)行仿真模型,實(shí)現(xiàn)偽影模擬,包括與成像環(huán)境和成像對象有關(guān)的條紋偽影、運(yùn)動偽影、偏離中心偽影;和設(shè)備有關(guān)的鏡像偽影、中心斑偽影、射頻串?dāng)_偽影;和成像序列參數(shù)有關(guān)的化學(xué)位移偽影、截斷偽影、卷褶偽影、射頻拉鏈偽影等。
靜電放電等引起K空間的信號幅值異常點(diǎn),即數(shù)據(jù)尖峰點(diǎn),使得圖像上出現(xiàn)不同間距且背景均勻的明暗相間的條紋偽影。尖峰數(shù)據(jù)出現(xiàn)在K 空間中的位置不同,條紋方向和間距具有差異。設(shè)置尖峰數(shù)據(jù)點(diǎn)的橫坐標(biāo)和縱坐標(biāo)位置,運(yùn)行仿真模型。圖5 給出不同位置處的條紋偽影實(shí)驗結(jié)果。可見,仿真結(jié)果和理論相符。成像環(huán)境中存在頻率接近射頻頻率的信號進(jìn)入接收鏈路,圖像上會出現(xiàn)平行于相位編碼方向的干擾條帶,射頻串?dāng)_偽影仿真結(jié)果如圖6(a)所示。射頻脈沖翻轉(zhuǎn)角的設(shè)置存在誤差,引起激勵回波進(jìn)入接收鏈路,圖像上會出現(xiàn)平行于頻率編碼方面的中央條帶上的離散的亮點(diǎn)和黑點(diǎn),射頻拉鏈偽影仿真結(jié)果如圖6(b)所示。仿真結(jié)果與設(shè)備運(yùn)行結(jié)果相對應(yīng)。

圖5 與成像環(huán)境和成像對象相關(guān)的偽影

圖6 與成像設(shè)備和成像序列參數(shù)相關(guān)的偽影
本文從教育元宇宙和DT 技術(shù)的概念出發(fā),探討了教育元宇宙趨勢下MRI成像原理與技術(shù)DT實(shí)驗平臺的框架和機(jī)理建模思路,分析了一種可行的機(jī)理建模方法,實(shí)現(xiàn)了MRI設(shè)備的DT仿真,并設(shè)計了應(yīng)用服務(wù)資源庫以滿足實(shí)驗教學(xué)需求。
本文的理論研究和實(shí)驗案例為MRI設(shè)備DT建模提供理論依據(jù)和仿真實(shí)例,對數(shù)字孿生教學(xué)應(yīng)用具有一定的參考價值?,F(xiàn)階段的研究側(cè)重于機(jī)理建模的應(yīng)用效果評估,后續(xù)將考慮結(jié)合虛擬現(xiàn)實(shí)技術(shù)提升平臺的沉浸性,力圖為學(xué)習(xí)者創(chuàng)設(shè)幾近真實(shí)的實(shí)驗環(huán)境。同時,將完善智能化考核反饋功能,將教師從繁重的實(shí)驗評價中解放出來,有更多的精力關(guān)注于教學(xué)方法的改進(jìn)和學(xué)生學(xué)習(xí)效果的提升。