基于混合現實技術的超聲影像傳輸系統

張致誠，倪 勇，張 玥，王麗娜，聶莉翔，周 麒，嚴兆陽，趙賢達

（1.贛南醫科大學醫學信息工程學院，江西 贛州 341000；2.蘇州大學第二附屬醫院；3.蘇州睿酷醫療科技有限公司，江蘇 蘇州 215004；4.浙江省溫嶺市第一人民醫院，浙江 溫嶺 317500）

超聲引導下穿刺技術的應用近年來已經日益增多，其已被證明可提高穿刺成功率，減少并發癥發生，減輕患者痛苦，節約醫療成本，提高經濟效益［1-6］。但在臨床使用超聲引導治療過程中，受超聲體積的限制、設備移動不便等相關問題，如：⑴醫師視野問題：超聲設備不在醫師正前方。醫師操作時，需頻繁扭頭，同時關注患者、穿刺位點、超聲屏幕等。過程中很有可能會導致針無意識地移動，損傷周圍結構，對醫師的手眼協調能力提出挑戰［7-8］。⑵移動問題：國內臨床工作繁重，短時間需治療多例患者。醫師需根據不同患者治療靶點不同，在有限空間的治療室中頻繁移動超聲設備，使工作效率降低［7］。⑶醫師理解解剖問題：在使用超聲探頭掃查患者側面時，圖像已旋轉一定角度，但儀器屏幕無法跟隨旋轉，醫師需通過在腦中想象自行再次加工理解，對醫師理解解剖和圖像能力提出極大挑戰。限制超聲引導治療在臨床中的應用。

為了克服傳統超聲的這些弊端，最早就有人提出使用智能手機或平板安裝于探頭上，顯示超聲圖像，期望在一定程度上減少手眼協調問題。但其存在顯示屏幕較小，與探頭連接后的冗余電纜易污染無菌區等問題［7］。近年來，隨著科學技術的進步，混合現實逐漸進入外科手術導航領域［9］。已有研究［8，10-16］表明此技術的可行性，運用此技術可以縮短醫師手術穿刺時間，更準確地穿刺到靶點，提高成功率，減少穿刺次數。其可能原因是改善了醫師的手眼協調能力，幫助醫師更好地進行空間理解［13］。

本研究開發了基于混合現實技術的超聲影像傳輸系統（Mixed reality ultrasound in helmet-mounted displays，MRUS-HMD），并以標準的工作模式（標準正視超聲和標準斜視超聲）為對比，探討其對不同經驗醫師在穿刺時間和腦力負荷等方面的影響和幫助。

1 材料與方法

1.1 系統硬件軟件開發將開發的系統命名為：MRUS-HMD系統。硬件設施包括1臺HMD，使用微軟Hololens2；1臺筆記本電腦，使用聯想R7000P；1臺便攜式超聲診斷儀，飛依諾超聲（VINNO，9000033，U0142GK007）。通過圖像采集卡將超聲儀器中的超聲圖像畫面采集至筆記本電腦。基于Web RTC的網絡協議，搭建1個筆記本和HMD的局域網，將超聲圖像畫面從筆記本電腦中傳輸至HMD。局域網的圖像傳輸，基于微軟的開發工具Visual Studio 2017，使用C++語言編寫，使用軟件開發工具包（Software development kit，SDK）。軟件的 開 發 在Unity平 臺（Unity Technologies，San Francisco，CA，USA）進 行，應 用 程 序 版 本 為Unity2019.4.21f1c1（64-bit）。在圖像顯示方面和人機交互方面，基于的工具包是混合現實工具包（Mixed reality toolkit，MRTK）和微軟的開發工具Visual Studio 2017，使用C++語言編寫。迭代后的最終版本MRUS-HMD可將超聲圖像直接呈現在眼鏡中，用戶可根據自身習慣進行放大縮小，并旋轉拖動至合適位置。

1.2 研究方法

1.2.1 系統性能評估通過3個指標對系統性能進行評估：圖像分辨率、傳輸幀率和傳輸延遲。圖像分辨率，通過查閱圖像采集卡參數獲得。圖像傳輸幀率，使用HMD微軟工具包MRTK中的內置Unity組件的可視化分析工具完成獲取。圖像傳輸延遲，路徑A和路徑B之間時間上傳輸的差值則為原圖像和HMD投影出圖像之間的傳輸延遲（圖1）。通過另1臺筆記本電腦畫面代替超聲設備圖像的畫面。最左邊為代替超聲設備的筆記本電腦，中間的計算機作為處理傳輸畫面的中轉站，最右邊為HMD投影出的畫面（圖2）。啟動左側筆記本電腦的秒表計時功能后，3個界面均將顯示秒表運行畫面。HMD支持錄屏，即混合現實捕捉功能（Mixed reality capture）。錄制視頻包括3個畫面：原視頻畫面、中轉站PC畫面和HMD投影出畫面。暫停查看視頻，在同一時間點下原圖像中秒表和投影出圖像中秒表的差值，則為傳輸延遲。由測試員模擬用戶，分別在較為整潔的室內環境、較為嘈雜的室內環境、醫院中較為整潔的治療室環境和醫院中較為嘈雜的治療室環境中錄制視頻文件。每1個視頻文件分別連續測試10次，即隨機暫停10次，共測試40次。

圖1 傳輸延遲測量技術路徑

圖2 傳輸延遲測試設備圖

1.2.2 系統實用性評價

1.2.2.1 志愿者12名志愿者參與實驗，以是否有25次的超聲引導穿刺經驗作為臨界點，分為有經驗者組和初學者組，各6名。納入標準：⑴擁有基本的超聲技能；⑵以前沒有使用AR或MR經驗或經歷；⑶知情同意參與研究。

1.2.2.2 系統可用性評估向志愿者介紹并演示MRUS-HMD的使用方法和功能后，允許其隨意模擬穿刺練習。填寫系統可用性量表（System usability scale，SUS）［17］，評估系統的可用性。

1.2.2.3 穿刺時間及腦力負荷評估模擬臨床環境，利用豬肉制作穿刺模型（圖3），在10 cm×20 cm大小的豬肉中，約5 cm深度處埋入穿刺針并接入電路，使用另1根只有針尖可導電的穿刺針進行穿刺。在此模型中，穿刺針必須以針尖部分接觸到目標針軸，電路才可形成回路，燈泡亮起。志愿者在模擬的手術環境中，以“準備”姿勢開始，即手持超聲探頭和手術穿刺針在目標靶點的上方。當接收到開始指令后，開始穿刺，同時啟動秒表。當電路中的燈泡能夠穩定且持續亮起時，結束穿刺并計時。

圖3 穿刺模型

志愿者分別在標準正視超聲狀態下（超聲在志愿者面前約0.5 m處）、標準斜視超聲狀態下（超聲在志愿者左側方向90 °）（圖4）和MRUS-HMD狀態下（HMD觀察超聲）進行穿刺。穿刺順序隨機設置，一種狀態下采取2種穿刺方式，平面內穿刺和平面外穿刺。每種穿刺方式對目標進行3次成功穿刺，共18次穿刺。每種狀態穿刺結束后使用腦力負荷量表（National aeronautics and space administration-task load index，NASA-TLX）［18］進行評估。收集18次穿刺時間及3次腦力負荷數據。

圖4 標準斜視狀態下穿刺圖

按照Δx=x標準正視-xMRUS-HMD、Δx=x標準斜視-xMRUS-HMD，計算MRUS-HMD狀態下與標準正視超聲狀態和標準斜視超聲狀態下時間上的差異。Δx的差值大于0，則表示用戶使用MRUS-HMD的表現更好，反之表示用戶在標準狀態下更好。

1.2.2.4 使用評價采取口頭會話和半結構化訪談進行系統使用評價。口頭會話會貫穿整個實驗的全過程，要求志愿者在試用MRUS-HMD的過程中說出自己的想法和感受。休息期間進行半結構化訪談，包括MRUS-HMD使用體驗、MRUS-HMD對工作的幫助和影響、未來應用規劃等。

1.3 統計學處理數據采用SPSS 27.0軟件進行分析，計數資料以均數±標準差表示，組間比較采取配對樣本t檢驗。檢驗水準α=0.05。

2 結果

2.1 系統性能參數圖像分辨率為600×800，圖像傳輸幀率為30 FPS，圖像傳輸延遲平均（73.69±14.56） ms。

2.2 系統可用性評估MRUS-HMD的SUS評分為72.33分。

2.3 穿刺時間初學者使用MRUS-HMD對比標準正視超聲，穿刺時間顯著縮短（P=0.022），縮短了15.25%。初學者使用MRUS-HMD對比標準斜視超聲，穿刺時間顯著縮短（P=0.002），縮短了25.18%。有經驗者使用MRUS-HMD對比標準正視超聲，穿刺時間無顯著縮短（P=0.378）。有經驗者使用MRUS-HMD對比標準斜視超聲，穿刺時間無顯著縮短（P=0.101）（圖5）。所有志愿者在MRUS-HMD狀態下的穿刺時間均比標準斜視超聲的穿刺時間短，4名志愿者在MRUS-HMD狀態下的穿刺時間比標準正視超聲狀態下的穿刺時間長，其中1名初學者，3名有經驗者。

圖5 2組在3種狀態下穿刺時間比較

2.4 腦力負荷初學者組在MRUS-HMD狀態下和標準正視超聲狀態下對比，腦力負荷TLX分數無顯著變化（P=0.105）。初學者組在MRUS-HMD狀態下和標準斜視超聲狀態下對比，腦力負荷NASA-TLX分數顯著減少（P=0.050），下降了22.08%。有經驗者在MRUS-HMD狀態下和標準正視超聲狀態下對比，腦力負荷TLX分數無顯著變化（P=0.522）。有經驗者組在MRUS-HMD狀態下和標準斜視超聲狀態下對比，腦力負荷TLX分數有顯著減少（P=0.012），下降了14.13%（圖6）。

圖6 2組在3種狀態下的腦力負荷比較

2.5 系統使用評價⑴硬件。10名志愿者報告HMD設備過重，影響佩戴體驗。⑵軟件。①軟件操作邏輯上被認為比較簡單快捷，符合日常的操作使用習慣。但實際操作時部分情況下手勢識別仍不靈敏，無法準確識別出用戶的手勢操作。②目前限制MRUS-HMD在臨床應用的一大問題就是軟件的開啟速度和開啟后的運行速度欠缺。⑶對工作的幫助。志愿者報告雖然剛開始可能需要專業人員指導，上手有一定難度和門檻。并認為其是一個好的想法和開端，可以先用于教學和訓練等。⑷未來規劃建議。手術針和超聲探頭實現同時追蹤識別，二者進入人體后可視化并規劃一個最佳理想的穿刺路徑等。

3 討論

在本研究中，由于新奇效應或社交期望影響，存在潛在的偏倚可能。為盡量避免研究人員對實驗結果的影響，志愿者的采訪和數據的記錄收集由沒有參與技術開發的研究人員進行，數據分析文本的編碼分類由沒有參與實驗的研究人員進行。由未參與技術開發的人進行采訪和數據分析的定性研究，對結果不易產生影響。

MRUS-HMD圖像傳輸延遲僅為（73.69±14.56） ms，主觀上幾乎察覺不到。VR游戲中，100 ms是關鍵性的閾值，大于100 ms的情況下，才會嚴重影響游戲體驗［19］，故認為本研究的圖像傳輸延遲基本可以令人滿意。

系統可用性評估中，MRUS-HMD已達到一般產品可用的最低標準70分［20］，是一個合格且可用的產品。但限制其分數進一步提高的原因一方面可能是混合現實技術的操作邏輯有一定的門檻，需要一定的學習成本。另一方面SUS評價針對包括硬件和軟件的整個系統，志愿者對系統的不滿主要集中于系統硬件本身。系統可用性評價部分使用了SUS量表評估系統的可用性。樣本量較小，迭代次數較少，還缺少更廣大用戶對于系統可用性的評價。同時，志愿者來自不同崗位的醫師和醫學生，每個人在工作中使用超聲引導穿刺的目標和操作等也不相同，使得每個人對MRUS-HMD的要求和標準也不同，以至于最終數據的標準差較大。

穿刺時間及腦力負荷評估中，MRUS-HMD對有經驗者組穿刺時間的提升整體相對較小。一方面這是因為有經驗者已經擁有比較熟練的超聲技能，在臨床長時間工作中對超聲操作能熟練做到手眼協調。另一方面，可能是因為有經驗者組中志愿者為年齡較大的醫師，接受或學習新鮮事物較慢，不能像初學者一樣對MRUS-HMD的操作可以快速上手。

本研究只注重于對志愿者的工作時間和腦力負荷的評價和判斷，缺乏其對于穿刺準確性、進針角度、工作習慣是否改變的研究，這應是未來進一步研究的方向。

混合現實技術與超聲的結合遠不止于此，未來還有2個發展方向。一方面，目前大多研究只渲染出了二維的超聲圖像，而3D超聲對于2D超聲或許更有優勢［12］。另一方面，下一步研究中應注重手術針路徑的可視化，并與超聲圖像進行匹配，便于在超聲深度成像時快速確定針尖及靶點等。

4 結論

本研究通過混合現實設備顯示超聲畫面，以一種新式的畫面呈現方式展示，擁有可以接受的圖像傳輸速率和延遲，可以幫助醫師減少一定的穿刺時間和腦力負荷。這是一個具有光明前景，可以繼續研究發展的項目和方向。