基于5G的遠(yuǎn)程介入手術(shù)協(xié)作影像系統(tǒng)

王旭東,曾安宇,張凱 ,徐野

(西門子數(shù)字醫(yī)療科技(上海)有限公司,上海市 200126)

介入放射學(xué)是20世紀(jì)迅速發(fā)展起來的一門新興的診療學(xué)科,是在醫(yī)學(xué)介入影像設(shè)備的引導(dǎo)下,以影像診斷學(xué)和臨床診斷學(xué)做為基礎(chǔ),同時(shí)結(jié)合臨床治療學(xué)原理,利用導(dǎo)管、導(dǎo)絲等醫(yī)療器材對各種疾病進(jìn)行診斷及治療的一門微創(chuàng)學(xué)科[1]。近年來,隨著介入技術(shù)的發(fā)展和突破推動醫(yī)療設(shè)備的不斷進(jìn)步,大量先進(jìn)的介入醫(yī)療設(shè)備在各級醫(yī)院得到逐步的應(yīng)用和普及。然而介入手術(shù)領(lǐng)域內(nèi)醫(yī)療資源總體不足,局部配置不合理,對基層醫(yī)院的醫(yī)生來說:業(yè)務(wù)能力提升受環(huán)境限制、求師學(xué)藝難度大,需要脫產(chǎn)去外地醫(yī)院、提升階段獨(dú)立上臺心理壓力大。缺乏支持團(tuán)隊(duì)、缺乏大型醫(yī)院幫扶、缺乏學(xué)習(xí)渠道。對介入專家來說,舟車勞頓、時(shí)間成本高、分身乏術(shù)。目前,主要的解決方案為數(shù)字化遠(yuǎn)程介入手術(shù)系統(tǒng)實(shí)現(xiàn)手術(shù)室與遠(yuǎn)端的雙向音視頻互動[2-4],雖然能夠部分滿足當(dāng)前指導(dǎo)遠(yuǎn)程介入手術(shù)的需求,然而普遍存在網(wǎng)絡(luò)延遲較高,音視頻壓縮較高;遠(yuǎn)程專家只能通過片面的音視頻被動接收信息進(jìn)行遠(yuǎn)程手術(shù)指導(dǎo),無法全面掌握患者多維的實(shí)時(shí)狀態(tài)。

因此,針對上述問題,基于5G[5]和人工智能物聯(lián)網(wǎng)技術(shù),通過多種智能邊緣設(shè)備的應(yīng)用組合構(gòu)建本遠(yuǎn)程介入指導(dǎo)系統(tǒng),尤其IP KVM的使用實(shí)現(xiàn)醫(yī)院內(nèi)網(wǎng)與公網(wǎng)的物理隔離,實(shí)現(xiàn)反向控制院內(nèi)相關(guān)系統(tǒng)的同時(shí)又能保護(hù)患者數(shù)據(jù)。能夠特別針對卒中、冠心病、腫瘤等介入手術(shù),精準(zhǔn)對接相關(guān)領(lǐng)域的介入專家,實(shí)現(xiàn)對基層醫(yī)院遠(yuǎn)程介入診療與手術(shù)指導(dǎo)的幫扶。

1 資料與方法

針對上述目標(biāo)需求,本系統(tǒng)基于目前先進(jìn)的5G、物聯(lián)網(wǎng)、邊緣計(jì)算等先進(jìn)技術(shù)[5-6],通過IP KVM、視頻矩陣與視頻分割器的組合實(shí)現(xiàn)遠(yuǎn)程專家對介入手術(shù)室內(nèi)不同醫(yī)療信息系統(tǒng)的網(wǎng)絡(luò)隔離下的遠(yuǎn)程訪問及控制,同時(shí)整合集成多個(gè)介入手術(shù)室內(nèi)不同場景的攝像機(jī)和藍(lán)牙耳機(jī)實(shí)現(xiàn)遠(yuǎn)程專家與手術(shù)室內(nèi)醫(yī)生的實(shí)時(shí)無縫溝通。

本系統(tǒng)針對不同的功能需求和應(yīng)用場景分別構(gòu)建包括基層設(shè)備端、遠(yuǎn)程專家端、微信小程序端、平板移動端、HoloLens端和云服務(wù)端六大客戶端模塊(如圖1)。

圖1 系統(tǒng)邏輯圖

1.1 設(shè)備端

作為本系統(tǒng)的核心模塊之一,通過創(chuàng)新性的應(yīng)用組合IP KVM、視頻矩陣、視頻分割器、按鍵切換器和多場景攝像頭,實(shí)現(xiàn)能夠分享DSA設(shè)備主臺(計(jì)算機(jī)系統(tǒng))的屏幕及其連接的其他輔助醫(yī)療設(shè)備,比如PACS、EMR和ECG等,且在手術(shù)室配置回推屏,可顯示DSA設(shè)備產(chǎn)生的手術(shù)圖像和遠(yuǎn)程專家的視頻畫面。同時(shí)通過設(shè)備端安裝的攝像頭,能夠分享手術(shù)室內(nèi)醫(yī)生和病人相關(guān)狀況影像,專家也可以通過云端自主調(diào)節(jié)術(shù)野影像。設(shè)備端醫(yī)生通過配備的攝像頭和麥克風(fēng)與遠(yuǎn)程專家就介入手術(shù)等技術(shù)問題進(jìn)行音視頻溝通。

1.2 專家端

呈現(xiàn)遠(yuǎn)端手術(shù)室相同信息副顯示器接受遠(yuǎn)端設(shè)備間技師推送圖像如US、ECG、EMR、PACS,專家也可以自己通過切換直接選擇和調(diào)取三方會議同時(shí)指導(dǎo)遠(yuǎn)端介入醫(yī)生和操作間技師,也可以通過按鍵切換器直接控制遠(yuǎn)端術(shù)中云臺攝像頭,觀察手術(shù)細(xì)節(jié)。影像傳輸:a.造影 b.監(jiān)護(hù) c.第三方(OCT、FFR、IVUS等)。實(shí)時(shí)通話:視頻通話,術(shù)野攝像,影像同步無延遲。治療策略輔助:遠(yuǎn)程專家在造影圖像上可以虛擬放置治療器械,如導(dǎo)絲、球囊或支架等(如球囊支架mark點(diǎn)定位、病變部位標(biāo)記等)。

1.3 小程序端

基于微信小程序,可以通過掃一掃功能進(jìn)行系統(tǒng)用戶登錄,并且管理用戶身份,設(shè)置醫(yī)療設(shè)備信息及邀請或刪除設(shè)備上的專家及醫(yī)生,個(gè)人信息資料管理。

1.4 移動平板端

遠(yuǎn)端專家可以通過便攜式移動iPad設(shè)備在任何時(shí)間、任何地點(diǎn)對遠(yuǎn)程的手術(shù)室內(nèi)的影像設(shè)備進(jìn)行訪問操作控制,脫離時(shí)間和空間的限制,與此同時(shí)能夠充分發(fā)揮便攜式移動設(shè)備的優(yōu)勢,通過手勢進(jìn)行視頻圖像的縮放及按鍵處理。

1.5 HoloLens端

本系統(tǒng)創(chuàng)新性的提供基于HoloLens的全息專家客戶端,能夠展示手術(shù)室內(nèi)的多路攝像機(jī)和醫(yī)療信息系統(tǒng)的全息影像,并且通過手勢和眼部追蹤等操作進(jìn)行遠(yuǎn)程控制,提供更加身臨其境的感覺,大幅提升遠(yuǎn)程會診的沉浸感。

1.6 云服務(wù)端

后臺管理模塊主要提供系統(tǒng)運(yùn)行所需的各種相關(guān)服務(wù),并提供web頁面進(jìn)行管理配置。同時(shí)也能對支撐系統(tǒng)運(yùn)行的各種服務(wù)進(jìn)行實(shí)時(shí)的監(jiān)控管理。

在遵循高內(nèi)聚、低耦合、高擴(kuò)展性和高復(fù)用的分層架構(gòu)模式[7]下,進(jìn)行整體系統(tǒng)架構(gòu)設(shè)計(jì)及編碼實(shí)現(xiàn),如圖2所示。通過5G網(wǎng)絡(luò)獨(dú)有的低時(shí)延特點(diǎn),能夠滿足遠(yuǎn)程介入專家的反向控制的精確度要求和實(shí)時(shí)性要求。能夠?qū)⒒鶎俞t(yī)院的影像設(shè)備的屏幕視頻流和病人畫面實(shí)時(shí)傳送到遠(yuǎn)端專家屏幕上,還能實(shí)時(shí)遠(yuǎn)程操控位于基層醫(yī)院的介入影像設(shè)備控制臺及其他配置的相關(guān)醫(yī)療信息系統(tǒng)。

圖2 系統(tǒng)架構(gòu)圖

2 結(jié)果

該系統(tǒng)通過多次平臺優(yōu)化及系統(tǒng)調(diào)優(yōu),達(dá)到以下主要技術(shù)指標(biāo),實(shí)現(xiàn)系統(tǒng)設(shè)計(jì)目標(biāo):

(1) 超低延時(shí),能夠?qū)崿F(xiàn)低于300毫秒的延時(shí) ,進(jìn)行本地或異地實(shí)時(shí)的手術(shù)直播示教與會診,減少進(jìn)入導(dǎo)管室的人員帶來的不可預(yù)知的污染。同時(shí)能夠使遠(yuǎn)端專家能夠進(jìn)行異地的實(shí)時(shí)會診指導(dǎo)手術(shù),解決下級醫(yī)院醫(yī)生資源缺乏的困境并能快速幫助低年資醫(yī)生積累經(jīng)驗(yàn)[9]。(2)實(shí)現(xiàn)多維度的音視頻的高保真、高實(shí)時(shí)的采集與傳輸。(3)遠(yuǎn)程專家能夠快速便捷地進(jìn)行不同醫(yī)療系統(tǒng)間進(jìn)行靈活的切換及反向控制。(4) 實(shí)現(xiàn)兼容不同分辨率的影像系統(tǒng)進(jìn)行采集及編解碼,從而更多支持醫(yī)療設(shè)備和臨床信息系統(tǒng)。(5) 實(shí)現(xiàn)導(dǎo)管室內(nèi)系統(tǒng)的患者數(shù)據(jù)物理隔離,從而滿足高安全性的要求。(6) 能夠方便快捷地進(jìn)行多維患者影像的聚合與切換,能夠?qū)崟r(shí)地全方位地顯示患者的病變情況。(7) 將介入手術(shù)中所涉及到的多維度的患者影像實(shí)時(shí)推送至遠(yuǎn)端,并能聚合反饋顯示到導(dǎo)管室內(nèi)供手術(shù)醫(yī)生進(jìn)行實(shí)時(shí)查看。(8) 遠(yuǎn)程的專家可以進(jìn)行遠(yuǎn)程快速便捷地控制手術(shù)室內(nèi)的術(shù)野攝像機(jī)和實(shí)時(shí)切換多維度的患者影像資料,使其對患者的病情有全方位的了解,提高遠(yuǎn)程會診的效率。

北京大學(xué)第三醫(yī)院崇禮院區(qū)作為第24屆冬奧會張家口賽區(qū)醫(yī)療保障定點(diǎn)醫(yī)院,主要承擔(dān)冬奧會中多個(gè)賽事項(xiàng)目期間涉奧病患的救治任務(wù)。作為國內(nèi)首家部署本系統(tǒng)的介入手術(shù)室,遠(yuǎn)在北京大學(xué)第三醫(yī)院的專家和處于崇禮院區(qū)指揮中心的專家通過本系統(tǒng)實(shí)時(shí)觀看處于閉環(huán)內(nèi)的DSA手術(shù)采集的圖像,并遠(yuǎn)程給予手術(shù)醫(yī)生相應(yīng)的手術(shù)指導(dǎo)意見,從而完成各類介入手術(shù)。

3 討論

綜上所示,本系統(tǒng)基于WebRTC的音視頻流媒體技術(shù),同時(shí)結(jié)合IP KVM,視頻分割和矩陣技術(shù),通過5G將介入手術(shù)室的血管機(jī)影像、專業(yè)影像工作站、電子病歷系統(tǒng)或手術(shù)麻醉系統(tǒng)等臨床信息系統(tǒng),此外手術(shù)室術(shù)野影像、全景影像及音頻數(shù)據(jù)實(shí)時(shí)傳輸至遠(yuǎn)程專家端,同時(shí)遠(yuǎn)程專家可以實(shí)時(shí)反向控制已授權(quán)的影像設(shè)備,進(jìn)行高效互動協(xié)作指導(dǎo)。使介入手術(shù)室內(nèi)的醫(yī)師與遠(yuǎn)程的專家能夠基于完全相同的患者臨床信息進(jìn)行病例溝通。通過在手術(shù)端導(dǎo)管室內(nèi)預(yù)先安裝的高清光學(xué)云臺攝像機(jī)與全景攝像機(jī),用于捕捉醫(yī)生操作手勢與DSA機(jī)架等信息,指導(dǎo)端用戶可根據(jù)攝像頭反饋的影像對DSA機(jī)架投照角度、導(dǎo)絲塑形及皮膚切開等手術(shù)操作細(xì)節(jié)進(jìn)行指導(dǎo),最大限度地避免操作不規(guī)范帶來的誤差,帶來仿佛專家身臨其境一般的全新手術(shù)體驗(yàn)。

本系統(tǒng)平臺是基于5G技術(shù)之上,將先進(jìn)的科技與基礎(chǔ)醫(yī)療、遠(yuǎn)程指導(dǎo)相結(jié)合,是具有重要示范意義的,同時(shí)也具有復(fù)制推廣的模式。通過本系統(tǒng)可以連接基層介入手術(shù)室的介入醫(yī)生和遠(yuǎn)程專家,從而能夠突破空間的束縛,實(shí)現(xiàn)遠(yuǎn)程專家對患者病情診斷、手術(shù)操作和手術(shù)方案提供遠(yuǎn)程實(shí)時(shí)在線指導(dǎo),規(guī)避疫情蔓延之下的差旅風(fēng)險(xiǎn),真正意義上跨越時(shí)間與空間的限制,普及介入診療技術(shù),為偏遠(yuǎn)地區(qū)或基層醫(yī)院的介入醫(yī)生提供持續(xù)學(xué)習(xí)的機(jī)會,幫助醫(yī)院能夠快速獨(dú)立開展相關(guān)的介入手術(shù),進(jìn)一步推動介入技術(shù)的普及,促進(jìn)優(yōu)質(zhì)醫(yī)療資源下沉,助力基層醫(yī)院的介入學(xué)科水平提升。使得我國衛(wèi)生事業(yè)中存在著的醫(yī)療資源總量不足、資源配置不均衡等問題也有望得到相應(yīng)的緩解與改善。從而加速推進(jìn)健康中國2030的重要戰(zhàn)略目標(biāo)——胸痛、卒中中心的建設(shè)。