維卓致遠：混合現實，賦能造就“超級醫生”

文/本刊記者 彭硯淼

維卓致遠創始人魯通博士

2018年，可以說是醫學混合現實技術（MR：Mixed Reality）的歷史“元年”，混合現實和人工智能為醫學事業進一步發展帶來了革命性的機遇。

作為在醫學可視化領域深耕15年的國家高新技術企業，北京維卓致遠醫療科技發展有限責任公司致力于利用混合現實、人工智能、云計算等前沿技術，搭建智慧醫學平臺，通過產品和服務提升醫生感知和應用醫學信息的能力，增強醫學遠程協同能力，實現“為醫生賦能，成就超級醫生”的企業使命。

維卓致遠使用HoloLens（微軟首個不受線纜限制的全息計算機設備，具有全息、高清鏡頭、立體聲等特點，能讓用戶與數字內容交互，并與周圍真實環境中的全息影像互動），借助透明的混合現實眼鏡，為醫生同時呈現虛擬醫學影像數據與真實空間環境，從更高的維度探索、應用數據，深度挖掘影像數據，提高醫生對影像數據的空間認知能力，開創輔助醫療全新場景，將科學幻想變為科學現實，以科學現實帶動醫療行業變革。

回首過往，人類在醫療領域對虛擬現實技術的探索，從上世紀70年代起就從未停止過。

1989年，日本研發出一種可佩戴頭盔顯示設備，可以檢測人體四肢的運動。超聲波、CT和各類造影技術的發展，讓醫生能夠獲得更多組織和器官的影像甚至是三維模型，基于醫學影像的計算機輔助醫療現已在日常疾病診斷和治療中日趨普及。

現今，“健康中國”正上升為國家戰略。在如此良好的發展背景下，個性化、智能化和精細化醫療的需求顯著增長。這不僅對影像模型的細節和精準度提出更高要求，還寄望實現更友好的呈現方式，超越屏幕的限制，利用創新的交互方式啟發全新應用場景。

傳統的醫療影像呈現技術已無法滿足疾病診療所需的更多洞察需求，面臨諸多應用挑戰。平面展示可提供的診斷信息有限，不僅無法展現三維模型的深度信息，其坐標參考和位置相對性也不夠直觀，常見的表面渲染技術只能提供貼圖細節，不能展示器官內的組織結構，也無法滿足嚴苛的診療要求。

由于缺乏良好的可交互性，醫療影像和模型的使用場景有限，用戶體驗也因此受到極大限制。例如術中遠程會診迫切要求的實時性和動態可交互性是傳統圖片、視頻和語音溝通無法有效提供的，信息交換效率低，溝通成本高。

臨床模擬方面，即使在影像的幫助下，臨床和外科實驗仍需依賴實體標本，風險大、成本高，具有高危險性的項目難以開展。在個性化、人性化醫療背景下，如何以更自然、直觀的方式與患者展開溝通，同樣是醫療從業者不斷思考的問題。而醫學影像數據的復雜性和龐大數據量，使渲染、處理、預測和分析持續成為醫療行業面臨的挑戰。

這些挑戰形成的痛點，包括信息展示效率低、影像溝通繁瑣、信息化程度和數據共享率低、數據分析工作沉重且繁復，無法符合更多場景需求。醫療行業迫切希望一套數字化解決方案，滿足不同場景的診療需求，這些需求可總結為：

如何從影像數據中更快、更多地挖掘有效信息？

如何實現異地醫生間的良好合作？

如何使醫學信息更全面而自然地呈現？

對醫學而言，引入混合現實技術有著劃時代的意義。在手術中，混合現實技術在手術部位呈現3D解剖模型，對于提高醫生空間感知能力有很大的幫助。醫學混合現實技術作為前沿可視化技術，有巨大醫學潛力和探索價值。維卓混合現實醫學方案，正是應此必然趨勢而生。

維卓致遠正致力于構建其未來數字醫學平臺，即：

首先，一切醫學信息是全息可視化的。通過混合現實、增強現實技術，全息呈現基于CT、MRI重建的立體影像數據，記錄全息醫學工作流。

其二，醫學影像數據的分析和手術操作是智能化的。通過人工智能，深度分析和可視化處理影像數據，通過智能執行設備協助醫生完成手術，使醫生成為人機智能結合的“超級醫生”。

其三，異地醫療場景高度一體化。維卓致遠在云端存儲、計算、分享醫學數據，連接和融合異地醫療空間，實現醫學數據和醫生的“跨空間、超時空”協同與傳輸。

維卓致遠混合現實數字醫學平臺全息呈現影像數據，目前包含術前影像診斷輔助（星影）、術前手術方案制定（星圖）、術中導航輔助（星航）、遠程醫療解決方案等多種產品。

智能數字醫學平臺如何連接信息、人、機器？如何打造三者間融合與多向互動的新維度？

使用星影混合現實顯示系統

使用星圖混合現實顯示系統

星影混合現實顯示系統是一款基于混合現實技術的影像數據全息體素渲染閱片工具，也是毋須人工操作、不含學習成本的高效率產品。

星影中導入影像數據，系統智能分析并體繪制（直接由三維數據場產生屏幕上二維圖像）渲染至眼鏡，不需要人工重建3D模型，省時間、省精力。醫生佩戴透明的混合現實眼鏡，可同時看真實世界和立體影像數據。

星影混合現實顯示系統的優勢是臨床醫生無需掌握建模等計算機技術，只需導入影像數據便可全息探索和挖掘立體影像數據；可在立體影像數據上模擬手術路徑、置入植入體等臨床環節，有利于精準診斷與手術方案策劃與制定；建立局域網，無延遲，體驗流暢，不接互聯網，保證數據在醫院局域網中的高度安全性；電腦端體素編輯，實時與眼鏡端同步。

“當觀察事物的方式改變時，理解事物的方式也會隨之改變。若我們以全新的方式認知世界，就會獲得不一樣的理解。”這是維卓致遠采用微軟混合現實技術實現醫療影像解決方案的核心思考。也正是基于這樣的理念，星圖混合現實顯示系統以微軟先進的混合現實技術為根本，結合大數據、醫療云、人工智能等技術推動醫療領域進入全新時代。該系統由三維影像工作站、后臺服務器、MR空間站組成。三維影像工作站內嵌智能分割算法，實現CT、MRI數據的高效三維重建；MR空間站和后臺服務器讓全息閱片和創新交互成功走入臨床。

維卓致遠將病人的CT、MRI等影像數據轉換成全息三維影像模型，利用精細而復雜的體渲染（Volume Rendering）技術，進一步豐富模型細節和內部組織結構，最終利用HoloLens呈現高精度的三維全息影像。醫生借助HoloLens，可以將全息影像與真實解剖部位或病灶相疊加，并進行縮放、旋轉、移動、改變透明度等操作，了解病灶與周圍的解剖關系，從而獲得高度可透視、可自由交互的視診信息。

這種虛擬與現實疊加的展示方式徹底改變了傳統影像使用體驗，使影像真正得以“躍然紙上”，如此豁然開朗的使用感是虛擬現實（VR）和增強現實（AR）所無法媲美的。

該解決方案可用于術前手術規劃和醫患溝通，以及在術中為手術方案決策提供輔助信息，為遠程會診和醫學實驗帶來了極大便利。全息瀏覽醫學影像讓手術規劃更加安全合理。過去，醫生需要不斷將醫學影像與解剖部位進行比照，而通過將虛擬影像與真實手術進行視覺重疊，在外科手術前就可以對患者臟器分布、形態，周圍血管、神經分布等一目了然，輕松掌握體內特征信息，確定最佳手術方案。通過術中全息輔助與引導，混合現實以疊加顯示的方式讓過去不可見、不可觸的對象在手術開始前就變得“活靈活現”，為術者提供更具參考價值的影像信息。有效提升空間感知能力，無論是心血管支架，還是骨釘，都可以清晰且精準地被定位和識別，將手術創傷降至最低。在全息影像的輔助下，主刀醫生可以更好地觀察穿刺深度等，過去在術中需要花費數十分鐘和其他醫生討論的內容，現在只需在全息影像上看幾眼就可直觀得出結論，從而更快做出正確決策，有效縮短了手術時間。

混合現實技術通過透明眼鏡全息呈現所需信息

得益于HoloLens所擁有的實時通信能力，該解決方案允許多人同步觀看相同的數字與現實疊加的場景。現在，無論是查房討論，還是專家遠程會診，醫生無需面對CT圖片等反復通話，更不用在照片上做出標記再回傳至手術現場，醫生可以展現患者的個體化Dicom影像模型，放置在真實物理環境的“畫布”上。無論身處何地，不同人員只要戴上HoloLens就可以獲得與現場相同的視野和畫面，通過一系列手勢，自主調節畫面內容，放置標記，添加重要提示信息，這種實時的可交互性讓醫療交流呈現“身臨其境”感。

維卓致遠HoloLens混合現實醫療影像解決方案還可提供醫學會議和示教支持，成為虛擬醫療實驗室，對以往受限于標本、場地和成本的解剖、手術訓練和臨床實驗等進行充分模擬，讓無法在病人身上實踐的操作在虛擬模型上完成。該方案還可讓患者和醫生一起觀看三維病灶模型，更直觀地了解疾病狀況和相應治療方案，以更自然的方式讓患者放心。

維卓致遠建立在HoloLens上的醫療影像呈現體驗釋放了無限可能，開創了更多使用場景。除了術前規劃、手術預演，該方案還可實現可交互式醫學訓練，如器官認知和腹腔鏡檢查模擬；讓學生獲得第一視角的手術現場觀摩，更直觀地觀察手術過程；或實現遠程手術，甚至是在事故現場向醫生遠程呈現傷員病況并獲取遠程搶救指導等。

醫學的復雜性使任何輔助醫療技術都無法變得簡單。維卓致遠星圖混合現實顯示系統解決方案的穩定性和完整性建立在先進的數據處理能力和使用鏈上。為了向醫生提供更好的決策支持，同時展現病灶附近的血管、神經等信息也非常必要。醫療模型在精度、更新速率、分辨率方面都提出了極高要求，因此存在計算量大、建模復雜和渲染耗時等問題。維卓致遠通過專門針對醫療模型而優化的高性能算法，使用微軟智能云平臺Azure強大的數據分析和存儲能力，對醫學影像數據進行深度加工、分析和挖掘。在Azure深度學習和人工智能技術的幫助下，維卓致遠實現了對醫學圖像病變區域進行檢測、識別和分割，能夠對CT或MRI影像中的心臟、肝臟等器官的自動分析，并將二維影像智能重建為3D模型。在肝膽外科的實踐應用中，可一鍵實現腫瘤分割、血管的識別與提取，可根據血流方向自動分肝段、計算肝體積和殘肝比等。對病理病因進行探究，通過數據演算，以臟器模型為基礎進行自動篩查、智能診斷，并實現對不同治療方案的比對、療效評估，預測疾病的發展和預后，為醫生提供更加精準的參考信息。

維卓致遠使用多種創新技術提高了內容呈現和互動操控操控能力。通過建立局域網，把HoloLens與存儲影像數據的服務器電腦和平板控制器相連接，讓服務器承擔繁重的計算與渲染工作，讓HoloLens將計算能力盡可能多地展現在全息影像上；支持使用平板控制器對模型大小、位置、透明度等進行調整，與手勢操作相比，使用觸屏可以更精準地調整模型樣式，并支持更多實用功能。這些技術的結合，不僅大幅降低了HoloLens的計算壓力，也保證了使用穩定性。為了將模型與手術區域精準定位，維卓致遠利用磁定位裝置對空間位置進行精準標定，然后把圖像渲染至HoloLens進行呈現，從而為手術提供了精準實用的混合現實導航體驗。

維卓致遠混合現實云端平臺解決方案減少了患者的創傷，降低了治療風險，提高了診斷效率，提升了手術精準性，同時促進了遠程醫療等場景下的溝通體驗。結合微軟智能云Azure和微軟人工智能AI服務，星圖混合現實顯示系統進一步提供了智能化病情分析、手術方案輔助設計和療效評估等能力。

數據安全也是醫院關注的重點問題。星圖支持混合云部署模式，將三維立體影像存儲在醫院內網的高性能服務器，HoloLens可以直接通過醫院局域網讀取并實時渲染。而對于遠程醫療和跨醫院的醫學合作項目，則使用微軟Azure公有云平臺在云端進行三維模型處理和存儲，然后利用Azure建立安全的端到端網絡連接，實現數據分享和協作。

目前，維卓致遠的星圖混合現實顯示系統已在全國70多家醫院完成了超過100例混合現實手術。2017年1月，北京某三甲醫院泌尿外科在維卓致遠的技術支持下順利完成了國內首例HoloLens混合現實技術和達芬奇機器人輔助的腹腔鏡下腎部分切除術。2017年8月，在維卓致遠的星圖混合現實顯示系統技術支持下，武漢協和醫院完成了若干例骨科手術，把混合現實技術用于醫患溝通、手術方案制定、術中輔助引導等各個環節，引起了業界轟動，成為科技與醫學相結合的典范。

維卓致遠的核心團隊在醫學可視化領域的研究與積累可以追溯到15年前，從三維影像重建到個性化定制的3D打印，從VR的術前溝通到MR的交互式全息影像系統，維卓致遠始終都走在行業前端。

星航混合現實導航系統可以提高手術精準度，降低臨床操作培訓成本。它跟蹤手術器械的實時位置信息，將空間信息在混合現實中進行呈現，引導醫生實現精準手術。在醫學教學培訓中，星航可引導臨床操作，驗證操作是否準確。

維卓致遠還致力于推進全球混合現實醫學促進計劃，打造協同發展平臺，進一步賦能醫生創新。

在維卓致遠看來，作為一家初創企業，單純倚靠自己的力量普及混合現實和全息影像技術輔助醫療是充滿困難與挑戰的。合作伙伴微軟作為全球領先的技術公司，為維卓致遠提供了先進的技術平臺和強有力的品牌背書。以國家醫療改革發展路線為藍圖，維卓致遠將進一步強化該解決方案在遠程醫療場景下的應用，以技術優勢解決醫療資源發展不均衡導致的不發達地區醫療水平落后的問題。在開展個性化醫療時，醫學領域的復雜和空間抽象性要求更廣泛的多學科協作，維卓致遠相信基于混合現實的解決方案將通過更自然直觀的交互，可以迅速發揮作用，釋放醫療創新的正能量。