基于5G技術(shù)及4K/3D手術(shù)系統(tǒng)的顯微外科遠(yuǎn)程手術(shù)會(huì)診平臺(tái)的設(shè)計(jì)及實(shí)踐

袁永一，劉威，邵航，王國(guó)建，趙超越，盛宏申，楊和強(qiáng)，趙星，胡鵬海，康東洋，戴樸

1.中國(guó)人民解放軍總醫(yī)院第六醫(yī)學(xué)中心 耳鼻咽喉頭頸外科醫(yī)學(xué)部，北京 100853；2.浙江清華長(zhǎng)三角研究院，浙江 嘉興 314006；3.中國(guó)人民解放軍西部戰(zhàn)區(qū)總醫(yī)院 耳鼻咽喉頭頸外科，四川 成都 610083

引言

20世紀(jì)50年代，光學(xué)手術(shù)顯微鏡的發(fā)明使顯微外科得以迅速發(fā)展[1]。進(jìn)入21世紀(jì)，高清三維（Three-Dimensional Imaging，3D）成像視頻手術(shù)系統(tǒng)應(yīng)用于醫(yī)療領(lǐng)域，開啟了微創(chuàng)手術(shù)治療的新篇章[2]。4K顯像技術(shù)是由美國(guó)數(shù)字電影推進(jìn)聯(lián)盟（Digital Cinema Initiative，DCI）修訂并推出的行業(yè)標(biāo)準(zhǔn)，DCI規(guī)定數(shù)字影院清晰度分為2級(jí)，其中較高一級(jí)即DCI 4K（4096×2160像素、24幀/s），其信息量是高清電視的4倍。實(shí)時(shí)4K/3D數(shù)字計(jì)算成像系統(tǒng)與手術(shù)顯微鏡的結(jié)合，改變了傳統(tǒng)光學(xué)手術(shù)顯微鏡的理念。其主要的優(yōu)勢(shì)在于：借助3D顯示器取代傳統(tǒng)光學(xué)顯微鏡上的目鏡，使外科醫(yī)生手術(shù)過程中的坐姿更符合人體工程學(xué)，降低了醫(yī)生的疲勞度，進(jìn)而提高了手術(shù)的安全性和質(zhì)量；便于教學(xué)及實(shí)時(shí)分享顯微鏡下的影像[3]。2019年，主要面向顯微外科手術(shù)的國(guó)產(chǎn)4K/3D顯微手術(shù)成像系統(tǒng)面世，該系統(tǒng)保留了光學(xué)目鏡成像組件，實(shí)現(xiàn)了光學(xué)與4K/3D數(shù)字顯微成像的結(jié)合，在提高側(cè)顱底、神經(jīng)外科、耳外科手術(shù)成像質(zhì)量的同時(shí)，成本較進(jìn)口設(shè)備大大降低。

1 需求分析

人體側(cè)顱底位置深在，解剖結(jié)構(gòu)復(fù)雜，神經(jīng)血管密布，病變切除及結(jié)構(gòu)、功能重建均需在手術(shù)顯微鏡下完成。目前，針對(duì)側(cè)顱底外科的手術(shù)機(jī)器人研發(fā)緩慢，通信技術(shù)支撐下的遠(yuǎn)程手術(shù)亦因此無(wú)法開展。而傳統(tǒng)2D視頻傳輸缺乏立體感，不利于準(zhǔn)確判斷病變及重要解剖結(jié)構(gòu)。因此，側(cè)顱底外科手術(shù)指導(dǎo)還需會(huì)診醫(yī)師親臨手術(shù)現(xiàn)場(chǎng)。針對(duì)側(cè)顱底外科遠(yuǎn)程手術(shù)指導(dǎo)所需的術(shù)野畫面立體、實(shí)時(shí)、高清傳輸?shù)碾y題，本研究設(shè)計(jì)并搭建了基于5G技術(shù)及4K/3D手術(shù)系統(tǒng)的顯微外科遠(yuǎn)程手術(shù)平臺(tái)，以“端云端”的架構(gòu)實(shí)現(xiàn)術(shù)野的高質(zhì)量傳輸，以期使專家通過遠(yuǎn)程手術(shù)會(huì)診、協(xié)同現(xiàn)場(chǎng)手術(shù)醫(yī)生完成疑難重癥患者的救治成為現(xiàn)實(shí)。

2 平臺(tái)設(shè)計(jì)及搭建

2.1 設(shè)計(jì)思路

超高清低延時(shí)3D手術(shù)視頻生成和傳輸是本手術(shù)會(huì)診平臺(tái)的核心任務(wù)。平臺(tái)圍繞“端云端”的設(shè)計(jì)架構(gòu)進(jìn)行軟硬件搭建，云的設(shè)計(jì)實(shí)現(xiàn)了平臺(tái)數(shù)據(jù)的轉(zhuǎn)發(fā)，使本地手術(shù)端和遠(yuǎn)程會(huì)診中心間無(wú)須鋪設(shè)專網(wǎng)，對(duì)網(wǎng)絡(luò)要求較低。為獲得超高清手術(shù)視頻，首先針對(duì)顯微術(shù)野進(jìn)行雙視點(diǎn)原始圖像采集，獲取術(shù)野數(shù)字圖像；然后基于智能測(cè)光算法進(jìn)行曝光自適應(yīng)調(diào)節(jié)，使用BT.200廣色域標(biāo)準(zhǔn)處理圖像色彩，實(shí)現(xiàn)精準(zhǔn)測(cè)光以避免過曝和欠曝現(xiàn)象；最后通過3D最佳融像算法實(shí)現(xiàn)視差校正獲取最佳立體觀看。為獲得低延時(shí)手術(shù)視頻，系統(tǒng)采用片上硬交織方案，環(huán)路濾波算法保證了手術(shù)視頻的高質(zhì)量傳輸，再通過直連方式進(jìn)行實(shí)時(shí)3D顯示。系統(tǒng)關(guān)鍵技術(shù)設(shè)計(jì)示意圖如圖1所示。

圖1 系統(tǒng)關(guān)鍵技術(shù)設(shè)計(jì)示意圖

2.2 平臺(tái)搭建

遠(yuǎn)程手術(shù)會(huì)診平臺(tái)包括本地顯微手術(shù)救治系統(tǒng)（本地救治系統(tǒng)）和遠(yuǎn)程顯微手術(shù)指導(dǎo)系統(tǒng)（遠(yuǎn)程指導(dǎo)系統(tǒng)）。為達(dá)到遠(yuǎn)程手術(shù)指導(dǎo)的目的，平臺(tái)的功能設(shè)計(jì)分為術(shù)野線路和音視頻交互線路。術(shù)野線路為單向傳輸線路（圖2虛線），本地手術(shù)室作為視頻直播源，遠(yuǎn)程會(huì)診中心進(jìn)行接收；音視頻交互線路（圖2實(shí)線）為手術(shù)室到遠(yuǎn)程會(huì)診中心的雙向傳輸線路。

圖2 顯微外科遠(yuǎn)程手術(shù)救治平臺(tái)示意圖

顯微外科遠(yuǎn)程手術(shù)救治平臺(tái)搭建在中國(guó)人民解放軍總醫(yī)院遠(yuǎn)程會(huì)診中心（北京）和中國(guó)人民解放軍西部戰(zhàn)區(qū)總醫(yī)院手術(shù)室（成都），兩地相距約1815 km。在硬件組成上，本地救治系統(tǒng)包括手術(shù)顯微鏡、3D屏前可視化及錄播工作站（嘉興智瞳科技有限公司）、4K/3D視頻編解碼器、本地音視頻交互設(shè)備、本地會(huì)議系統(tǒng)和本地5G網(wǎng)絡(luò)終端各1套；遠(yuǎn)程指導(dǎo)系統(tǒng)包括4K/3D視頻解碼器、3D屏前可視化及錄播工作站、遠(yuǎn)程音視頻交互設(shè)備和遠(yuǎn)程網(wǎng)絡(luò)會(huì)議系統(tǒng)各1套。此外，2套系統(tǒng)中間還有1套云網(wǎng)關(guān)設(shè)備，用于數(shù)據(jù)云轉(zhuǎn)發(fā)。在人員配置上，除了本地救治平臺(tái)的手術(shù)團(tuán)隊(duì)和遠(yuǎn)程指導(dǎo)平臺(tái)包括的會(huì)診專家，兩地各有設(shè)備保障人員2名，負(fù)責(zé)4K/3D顯微手術(shù)成像設(shè)備和通信設(shè)備。

3 遠(yuǎn)程手術(shù)會(huì)診平臺(tái)成效評(píng)價(jià)

3.1 4K/3D視頻傳輸延時(shí)測(cè)試

對(duì)搭建好的平臺(tái)進(jìn)行視頻傳輸延時(shí)測(cè)試，設(shè)備連接節(jié)點(diǎn)示意圖如圖3所示。

圖3 視頻傳輸延時(shí)測(cè)試節(jié)點(diǎn)示意圖

共進(jìn)行5次測(cè)試，其中A-B段為術(shù)野視頻經(jīng)過成像設(shè)備的采集延時(shí)（時(shí)延為101 ms）；節(jié)點(diǎn)B為4K/3D視頻編碼處理延時(shí)（時(shí)延為179 ms）；B-C段為編碼器到云網(wǎng)關(guān)服務(wù)器的接收延時(shí)（時(shí)延為296 ms），包括鏈路延時(shí)和網(wǎng)絡(luò)上設(shè)置的波動(dòng)冗余時(shí)間；C-D為云網(wǎng)關(guān)的轉(zhuǎn)發(fā)延時(shí)（時(shí)延為304 ms），同樣包括鏈路延時(shí)和網(wǎng)絡(luò)波動(dòng)延時(shí)；D節(jié)點(diǎn)為4K/3D視頻的解碼延時(shí)（時(shí)延為201 ms）；D-E段為視頻從解碼器到3D可視化屏幕上完成交織顯示的延時(shí)（時(shí)延為99 ms）。在成都北京兩地傳輸超高清立體顯微手術(shù)視頻整體延時(shí)1.18 s。

3.2 實(shí)際案例應(yīng)用及遠(yuǎn)程手術(shù)會(huì)診效果展示

3.2.1 病例分析

男性，50歲，四川人，身高173cm，體質(zhì)量49 kg。術(shù)前診斷：顳骨鱗狀細(xì)胞癌，感音神經(jīng)性耳聾，內(nèi)聽道占位（左）；顳葉占位伴炎癥（左）；肺結(jié)核，結(jié)核性胸膜炎；中耳乳突術(shù)后（左）；下肢動(dòng)脈血管擴(kuò)張術(shù)后（左）；下肢骨折內(nèi)固定術(shù)后（右）；輕度貧血。因該患者身體條件差、病情復(fù)雜、病變廣泛（累及耳、側(cè)顱底及顱內(nèi)多部位），擬開展遠(yuǎn)程實(shí)時(shí)協(xié)同手術(shù)會(huì)診。手術(shù)由耳外科醫(yī)生實(shí)施，擬一期先行顳骨次全切除術(shù)+自體脂肪取出+耳道封閉術(shù)，切除耳及側(cè)顱底腫瘤，探查腫瘤與顱內(nèi)是否有溝通，封閉外耳道為二期開顱手術(shù)做準(zhǔn)備。手術(shù)會(huì)診現(xiàn)場(chǎng)如圖4所示。

圖4 顯微外科遠(yuǎn)程手術(shù)會(huì)診現(xiàn)場(chǎng)圖

3.2.2 遠(yuǎn)程會(huì)診效果評(píng)估

招募包括遠(yuǎn)程專家在內(nèi)的27名耳顯微外科手術(shù)醫(yī)生，以問卷調(diào)查方式對(duì)4K/3D視頻傳輸前后的視頻質(zhì)量進(jìn)行主觀評(píng)測(cè)分析。27名醫(yī)生包括女性12名、男性15名，年齡分布為18～60歲，30歲以上及30歲以下各占50%左右，其中從事顯微外科手術(shù)2年以上的醫(yī)生占比62.96%。

選取側(cè)顱底腫瘤切除術(shù)中典型術(shù)野視頻片段8段進(jìn)行測(cè)試。考慮手術(shù)主要在中倍率及中高倍率下實(shí)施，8段手術(shù)視頻片段的倍率分布設(shè)計(jì)如表1所示，包括低倍率1段、中倍率2段、中高倍率4段、高倍率1段。

表1 問卷調(diào)查涉及的手術(shù)視頻信息

問卷調(diào)查中，8段手術(shù)視頻上就畫質(zhì)和舒適度評(píng)價(jià)分別產(chǎn)生了216（27×8）個(gè)統(tǒng)計(jì)樣本。其中，傳輸后術(shù)野視頻在畫質(zhì)上與傳輸前毫無(wú)差異或基本沒有差異的樣本占比為65.74%（142/216），反映出現(xiàn)輕微差異但對(duì)觀看沒有影響的樣本占比為23.61%（51/216），反映畫質(zhì)差異對(duì)觀看產(chǎn)生了輕微的影響、明顯影響的樣本占比分別為6.02%（13/216）和4.63%（10/216）；反映傳輸后的術(shù)野視頻在舒適度上與傳輸前毫無(wú)差異或基本沒有差異的樣本占比為77.78%（168/216），反映視頻傳輸前后舒適度有輕微差異但不影響觀看的占比為18.52%（40/216），僅有3.70%（8/216）的樣本表明傳輸后視頻舒適度明顯影響了觀看效果。此外，96.30%（26/27）的醫(yī)生認(rèn)為在非專用5G組網(wǎng)環(huán)境下，遠(yuǎn)程傳輸后的4K/3D視頻足以支撐顯微外科遠(yuǎn)程手術(shù)指導(dǎo)。

3.2.3 4K/3D視頻傳輸質(zhì)量測(cè)試

在本次顯微遠(yuǎn)程手術(shù)直播過程中，成都手術(shù)室本地屏前播放碼率為62.9 Mbps，經(jīng)編碼壓縮傳輸至北京遠(yuǎn)程后的視頻碼率為20.4 Mbps。本研究采用反映圖像傳輸信息損失的最常用指標(biāo)進(jìn)行測(cè)算，具體包括峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity Index Measure，SSIM）[4]。

PSNR可以從圖像像素值差異上對(duì)傳輸前后的圖像進(jìn)行評(píng)估，其計(jì)算方法如公式（1）所示。

式中，max表示圖像點(diǎn)顏色通道上的最大值，以8位YUV為例，max為255；MSE代表待評(píng)價(jià)圖像與參考圖像在圖像顏色上的均值平方差。

SSIM分別從亮度、對(duì)比度和結(jié)構(gòu)3個(gè)方面度量圖像相似性，其計(jì)算方法如公式（2）所示。

式中，f和g分別表示需要進(jìn)行相似度分析的兩張圖像，l(f,g)、c(f,g)、s(f,g)分別對(duì)應(yīng)兩張圖像在亮度、對(duì)比度和結(jié)構(gòu)上的比較結(jié)果。

本研究共測(cè)試了8段視頻的PSNR和SSIM，見表2。

表2 視頻傳輸后PSNR和SSIM對(duì)比

通常PSNR在8位YUV指標(biāo)上的值在20～50 dB，PSNR在30 dB以下提示圖像質(zhì)量有明顯差異，PSNR＞40 dB代表圖像幾乎無(wú)差異[5-6]。表2的測(cè)試數(shù)據(jù)顯示，除Y通道均值為37.082 dB，其他通道PSNR的均值接近或超過40 dB。因此，傳輸前后的視頻引起的視覺差異小。通常SSIM越接近1，2個(gè)圖像的差異越小，表2中SSIM均值為0.959，可見，傳輸后的視頻結(jié)構(gòu)差異小。

4 討論

本研究采用的國(guó)產(chǎn)4K/3D手術(shù)系統(tǒng)應(yīng)用了先進(jìn)成像算法和超高清3D成像技術(shù)，如基于自動(dòng)術(shù)中關(guān)鍵區(qū)域識(shí)別和精準(zhǔn)測(cè)光的術(shù)野曝光補(bǔ)償算法、基于視差計(jì)算和統(tǒng)計(jì)的3D最佳融像算法以及基于硬件交織的低延時(shí)視頻傳輸技術(shù)。該設(shè)備對(duì)各種型號(hào)手術(shù)顯微鏡具有良好的兼容性；在顏色還原處理上，支持BT.2020廣色域色彩空間，對(duì)術(shù)中組織邊界可實(shí)現(xiàn)清晰分辨。在顯微外科領(lǐng)域，同類數(shù)字顯微成像產(chǎn)品在眼科領(lǐng)域曾有報(bào)道，但尚存在畫面分辨率低、畫面延時(shí)長(zhǎng)、可視化效果差（如眩暈）等問題[7-9]，本研究中的設(shè)備解決了上述問題。近2年來(lái)，4K/3D手術(shù)外視系統(tǒng)在神經(jīng)外科及脊柱外科顯微手術(shù)領(lǐng)域逐步被認(rèn)可[10-15]。2022年，陳慧興等[16]量化評(píng)測(cè)了機(jī)器人4K/3D手術(shù)可視化系統(tǒng)（Zeiss，KINEVO 900），認(rèn)為KINEVO 900輸出的4K/3D視頻數(shù)字圖像與以S7為代表的光學(xué)手術(shù)顯微鏡差別不大，可以滿足泌尿男科顯微手術(shù)的需求。2021年，意大利學(xué)者Colombo等[17]報(bào)道應(yīng)用4K/3D外視系統(tǒng)進(jìn)行顳骨解剖訓(xùn)練有助于學(xué)習(xí)者理解顳骨的復(fù)雜立體解剖。值得注意的是，在耳顯微及側(cè)顱底外科領(lǐng)域，應(yīng)用4K/3D外視系統(tǒng)開展手術(shù)且術(shù)者擺脫顯微鏡目鏡進(jìn)行屏前操作的案例鮮見報(bào)道，本研究中術(shù)者實(shí)現(xiàn)了屏前手術(shù)操作。

對(duì)于病情危重或需行高難度手術(shù)患者，基層醫(yī)院因顯微外科手術(shù)水平及條件的限制，需要專家協(xié)助制訂手術(shù)方案或進(jìn)行現(xiàn)場(chǎng)手術(shù)指導(dǎo)。在5G網(wǎng)絡(luò)下，專家可通過虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等技術(shù)，遠(yuǎn)程全方位評(píng)估患者病灶，并能實(shí)時(shí)指導(dǎo)手術(shù)方式規(guī)劃和進(jìn)行手術(shù)操作指導(dǎo)。2019年3月和7月，位于北京的解放軍總醫(yī)院神經(jīng)外科及骨科團(tuán)隊(duì)為距離3000 km外的解放軍總醫(yī)院海南醫(yī)院的患者，進(jìn)行了世界首例基于5G的帕金森病患者腦起搏器置入及Mako機(jī)器人遠(yuǎn)程操控全髖關(guān)節(jié)置換術(shù)。2019年9月，解放軍總醫(yī)院劉榮團(tuán)隊(duì)完成了全球首例多點(diǎn)協(xié)同5G遠(yuǎn)程多學(xué)科機(jī)器人胃腸道及肝臟切除手術(shù)[18]。2019年4月，吉林首例“5G+醫(yī)療”遠(yuǎn)程手術(shù)指導(dǎo)及遠(yuǎn)程手術(shù)教學(xué)成功實(shí)施，遠(yuǎn)程指導(dǎo)1例門靜脈高壓癥患者的“脾切除+賁門周圍血管離斷術(shù)”，實(shí)現(xiàn)了高清畫面、音質(zhì)無(wú)延遲傳輸[19]。因?qū)κ中g(shù)畫面?zhèn)鬏敿笆中g(shù)機(jī)器人的高要求，在顯微外科領(lǐng)域?qū)嵤┻h(yuǎn)程手術(shù)指導(dǎo)及遠(yuǎn)程手術(shù)尚未見報(bào)道。本研究借助4K/3D手術(shù)系統(tǒng)，在5G通信技術(shù)支撐下，首次實(shí)現(xiàn)了側(cè)顱底手術(shù)的遠(yuǎn)程指導(dǎo)，精細(xì)結(jié)構(gòu)，如側(cè)顱底的神經(jīng)、血管及中內(nèi)耳顯微結(jié)構(gòu)顯示逼真、流暢，達(dá)到了會(huì)診專家與術(shù)者同一術(shù)野的要求。

需要指出的是，除了本研究中的組網(wǎng)方式，基于有線尤其是專網(wǎng)的遠(yuǎn)程手術(shù)組網(wǎng)方式同樣也能達(dá)到遠(yuǎn)程手術(shù)的要求，有線搭建方式要求運(yùn)營(yíng)商提供專線服務(wù)，搭建成本高，但具有更低的延時(shí)。本研究的組網(wǎng)搭建方式基于5G網(wǎng)絡(luò)，在邊緣端設(shè)備的聯(lián)網(wǎng)上具有較好靈活性，這種方式不需要提供專線網(wǎng)絡(luò)服務(wù)，具有較好的擴(kuò)展性。

我國(guó)國(guó)土面積大，地域醫(yī)療發(fā)展水平參差不齊，邊遠(yuǎn)地區(qū)的基層醫(yī)護(hù)人員缺少有質(zhì)量的專業(yè)指導(dǎo)，新手術(shù)技術(shù)傳播受限。利用5G等先進(jìn)的通信技術(shù)開展遠(yuǎn)程手術(shù)指導(dǎo)、遠(yuǎn)程手術(shù)示教是遠(yuǎn)程醫(yī)療不可或缺的重要方面[20]，基于5G和顯微手術(shù)術(shù)野的實(shí)時(shí)高清傳輸，連線高水平外科醫(yī)師進(jìn)行遠(yuǎn)程手術(shù)指導(dǎo)，對(duì)于患者救治及醫(yī)生培養(yǎng)均具有實(shí)踐意義。現(xiàn)階段，在耳神經(jīng)及側(cè)顱底手術(shù)機(jī)器人尚未研發(fā)成功的形勢(shì)下，這一模式為顯微外科的遠(yuǎn)程協(xié)同手術(shù)提供了硬件條件，除了用于兩地日常手術(shù)會(huì)診，同樣適用于災(zāi)難救援、戰(zhàn)場(chǎng)救護(hù)等特殊場(chǎng)景。

5 總結(jié)

在非專用5G組網(wǎng)方案下，4K/3D顯微手術(shù)系統(tǒng)產(chǎn)出的超高清立體視頻足以支撐遠(yuǎn)程手術(shù)會(huì)診需求，這為遠(yuǎn)程醫(yī)療及教學(xué)、災(zāi)難及戰(zhàn)場(chǎng)手術(shù)救治提供了新方案。