基于信息物理融合的骨折復位機器人系統構建

傅卓鑫，孫 昊，陳建文，郭 悅，陳 金

（1.河北工業大學人工智能與數據科學學院，天津 300130；2.國家康復輔具研究中心附屬康復醫院骨外科，北京 100176；3.天津市人民醫院康復科，天津 300121）

（*通信作者電子郵箱chenjin630715@163.com）

0 引言

將人的主觀能動性因素考慮在內的信息物理融合系統（Cyber-Physical and Human System，CPHS）是一個人、機、物以及環境共融的系統模型［1］，連接起了物理系統與信息系統［2］，充分考慮了人的情感、動作、思維等狀態在整個系統中的作用，將面臨的多信息、多維度、干擾不確定等因素融入了系統中，使系統有了感知分析能力。CPHS是考慮了人的因素在內的集感知、計算、通信、控制于一體的控制模型［3］，應用于醫療保健大數據的構建［4］，解決了醫療設備與社交網絡的高效融合［5］。以數據驅動尋找網絡物理系統的狀態軌跡［6］。作為醫療設備，安全穩定性是重要的臨床因素，人因工程的研究為醫療領域的安全性提供了保障，也為醫療設備的可用性做了評估［7］，對設備的研發和市場監管部門的約束提供了保障依據，最終的受益群體還是設備相關者，包括制造商、醫護人員及患者，同時為當前高度智能化、自動化的研究提供了新思路、新方案，更好地從傳統系統向智能系統過渡。

如圖1所示，CPHS由人-機-物-環境交互組成，信息感知模塊、決策控制模塊、動作執行模塊以及具有主觀能動性的人共同驅動完成任務。信息感知模塊將感知系統所在的內外部環境因素、系統本身的變化及人的主觀干擾，將信息傳入決策控制模塊，經過計算處理將執行命令傳至動作執行組，系統執行相應的動作，整體模塊的要素構成一個不斷循環的交互系統。

圖1 CPHS構成Fig.1 Composition of CPHS

目前國內外的手術機器人層出不窮，但是用信息物理融合系統的思路研究手術機器人的整體控制還比較少。在顱額面部手術中，Duan等［8］提出了一種新穎的手術機器人系統，重點研究基于導航技術的機器人系統的建模和實驗，建立基于光學導航的手眼協調模型，以控制機器人的末端執行器沿規劃路徑移動到目標位置。為了提高系統的定位精度，提出了閉環控制方法“運動學+光學”混合運動控制方法，整體研究思路屬于普通的控制系統，在病情判斷和治療決策上仍然依靠醫生的經驗。達芬奇手術機器人在醫療上的應用最根本也是輔助醫生，提高了醫生手的靈活性和精確性，減少了由于醫生的疲勞或心理因素造成的操作失誤；但是達芬奇手術機器人并沒有深層次的感知和分析能力，只是將手術周圍的視野放大、清晰地呈現給醫務人員，代替醫生的手深入到細微的部位，但判斷病情癥狀及作出治療方案還得依靠醫生判斷［9-10］。

以信息物理融合思想構建的手術機器人系統，能夠感知患者病情、感知環境、具有分析判斷能力、控制執行能力及醫學倫理道德，更加智能化幫助醫生為患者服務，極大地減少醫生因經驗及思想情感等因素造成對病情的誤判。CPHS 將信息系統和物理系統融合在了一起，上層規劃包含的信息更多，將醫學庫和實際病歷數據進行結合，進行虛實交互、模擬復位，隨著病例的增加，CPHS的知識感知庫更加完善，輔助醫生判斷病情會更加精確。將人結合到了系統中，不僅僅體現人機交互，更重要的是將人作為系統中的一部分，醫生患者融入了醫療系統的整個過程，從醫生的判斷到患者的知情及倫理道德都體現在CPHS中。

1 骨折復位機器人CPHS模型架構

骨折復位機器人信息物理融合系統模型架構如圖2 所示，由感知監測層、數據資源層、虛擬仿真層、網絡傳輸層、決策控制層、用戶接口層和硬件執行層構成［11］。感知監測層是整個CPHS 的感官，充當起系統自身認識了解周圍事物的眼睛，用于感知患者的身體狀況、醫生的病情判斷、醫院的環境及醫療條件、機器人狀態及人因工程等的影響。數據資源層是整個CPHS 自身資源的儲備及認知能力的體現，用于建立醫學知識庫，保存病歷數據，同時不斷加強自身學習提高系統的分析能力，幫助分析患者目前的狀況及其他并發癥的影響。虛擬仿真層是CPHS 的思維擴展和認知構思，體現整個系統的分析預測能力，用于結合數據資源層的儲備數據及傳感檢測數據用于模擬患者的病情，對系統預演預判、與數據資源層虛實交互、協調引導［12］、提前對病情的狀況及治療手段進行分析評估，模擬治療過程，推斷病情發展。網絡傳輸層是整個CPHS 的神經血管，構建起了數據傳輸的中間橋梁，保證了數據信息的完整可靠，使各個層級的數據互相傳輸，使信息能夠在各部分暢通無阻、互相交流、共享共建，為未來遠程醫療［13-14］CPHS 的運行奠定良好的實踐基礎。決策控制層是CPHS 的大腦，對整個CPHS 進行布局控制，高效協調各層級之間的關系，將有效數據資源進行分析整合，利用人工智能算法進行計算決策，通過各個層級之間互相配合，使系統穩定快速運行。用戶接口層是CPHS 的對話窗口，使人機交互更加方便，保證了人機的高效對話。在窗口顯示機器人的狀態、患者病情數據及手術方案模擬預演和對機器人控制發布操作命令等。硬件執行層作為CPHS 的肢體，是實現系統想法的關鍵部位，系統整體的協調組織、計算分析、誤差精度等思維信息最終都將通過硬件執行層來體現。

圖2 骨折復位機器人CPHS模型架構Fig.2 Model architecture of fracture reduction robot CPHS

人-機-物-環境構成的信息物理和人融合的系統最終在7個層級之間的配合下協調運行。

2 6-UPU并聯機器人信息物理系統構成

2.1 數字孿生

研究CPHS 就必然會涉及數字孿生，數字孿生是構成CPHS整體不可或缺的一部分，骨折復位機器人數字孿生模型由骨折復位機器人實體物理空間、物理空間映射的虛擬空間及虛實之間雙向映射、實時交互的通信數據構成。如圖3 所示，物理實體為6-UPU（Universal-Prismatic-Universal）并聯結構，物理實體與虛擬模型數據交互，互相映射。虛擬模型能反映物理實體的狀態，基于傳感器的數據，不斷傳入虛擬空間，使虛擬模型不斷更新，能時刻描述當前的系統狀態；同時根據控制要求，在虛擬空間也能預先模擬物理實體的狀態，達到理想效果后用于指導物理實體的運行，實現骨折處的復位。

圖3 數字孿生模型Fig.3 Digital twin model

2.2 系統集成

骨折復位機器人CPHS 集成軟件和硬件兩部分。硬件包括控制器、傳感器、伺服電機、并聯六自由度機器人平臺及雙目相機。控制方案采用運動控制器+HS（Hollysys）伺服驅動器的多軸集成控制方案；數據交互采用UDP（User Datagram Protocol）通信協議，在傳輸距離上適合長距離傳輸，且傳輸速度和信號保證度有了很大的提高［15］；工程布線也較為簡單，而且在后續的擴展中也靈活方便，這些特點在不同程度上降低了系統的安全隱患，更加適合醫療信息物理系統的安全可靠性需求。HS 伺服驅動器是具有32 位浮點數運算能力的雙核數字信號處理芯片，可以滿足位置、速度、力矩控制，具有很好的動態跟隨性，內置動態制動控制和自動降載算法，可以參數化配置是否過載保護，從硬件上為CPHS 提供了額外的安全保障［16］，可以配合解決Altawy 等［17］提出的非授權訪問安全機制。如圖4 所示機器人復位裝置采用并聯Stewart 結構［18］，它的控制精度高、承載能力強，六根連桿的電缸采用滾珠絲杠，無間隙、高剛性、啟動力矩極小，可實現微進給運動，能有效克服肌肉組織之間的拉力，每根桿的誤差呈相互抵消趨勢，末端執行機構移動慣性較低，不會造成串聯的誤差累積，對于骨折復位的高精度要求來說并聯結構恰能體現它的優越性，在骨折復位的高精度小微運動空間比較適合，而且滾珠絲杠的運動效率高、發熱小，對系統整體性能的提升在硬件上有很大的保障。

圖4 骨折復位機器人實體Fig.4 Fracture reduction robot entity

軟件系統基于Qt開發的圖形化界面［19］，部署手術機器人的控制要求及可視化的顯示［20］。雙目相機能夠檢測骨折模型及醫療環境的狀態，很好承擔CPHS的環境感知作用。

2.3 信息感知

如圖5 所示，雙目相機用于檢測骨折遠近端的姿態［21-22］，為手術復位前的配準及術中的監控提供定量的參數化指標，利用外部Marker跟蹤定位可以在術中很大程度上減少X光的拍攝次數，減輕患者和醫護人員的輻射損傷，X 光機只需要在術前檢查、相對位置確定和術后確認的過程中拍攝，實時姿態顯示如圖6所示。

圖5 骨折遠端近端MarkerFig.5 Marker of the distal and proximal sites

圖6 雙目位姿識別結果Fig.6 Result of binocular pose recognition

經過信息感知階段數據的建立，最終驅動機器人的行為，CPHS中信息感知和行為實現是一個相互促進的過程，信息感知得越準確越能夠促進機器人行為的準確執行，機器人行為的執行滿意度在系統的評價指標中不斷優化，反過來又可以指導信息感知階段更加有針對性地進行語義感知，促進感知發育［23］，驅動傳感器根據系統學習記憶進行主動感知，使傳感器根據需求調動，自動融合，這樣既可以保證需要工作的傳感器性能充分發揮，又可以節省運算功耗開銷。

2.4 CPHS手術機器人系統中人因工程的融合

人因工程將人、機器、環境相互作用結合在一起提升治療效果的同時還要從心理、生理上創造一個舒適、安全、沒有恐懼的醫療環境。加入了人的主觀能動性及思想感情因素的信息物理融合系統將人在系統中的作用上升到了重要的位置，CPHS將人的融合體現到手術流程中，如圖7所示。

圖7 CPHS手術流程Fig.7 Surgical procedure of CPHS

系統中加入了人的感知判斷及倫理道德思想感情，使信息物理系統與人融合了起來，人因工程能夠將人的因素考慮在內，更加人性化地服務患者和醫生。另外，在設備和網絡數據的交換中需要對患者的信息數據進行加密傳輸［24-25］，注重其完整性和私密性的保護。

2.5 CPHS手術過程的模擬

將骨折實體映射成等比例模型在測量界面進行骨折部位畸變參數的測量［26］，如圖8 所示，確定其正位、側位、軸位3 個方向的移位和成角矯正值。

圖8 骨折部位畸變值測量Fig.8 Distortion value measurement of fracture site

CPHS 骨折復位機器人復位過程提供預先的骨折模擬復位，如圖9 所示，根據骨折三維模型中確定的測量值，預先在交互界面進行模擬復位，根據骨折的不同情形選擇不同的復位步驟進行復位效果的觀察，最終確定一套行之有效的復位方案和手術步驟，最后將規劃的手術執行命令發送給機器人進行執行。在執行的過程中模型和實體實時映射，能夠時刻反映當前機器人執行復位的情況，在可控可觀保證安全的條件下進行復位操作［17］。

圖9 骨折復位模擬Fig.9 Simulation of fracture reduction

3 骨折復位實驗

手術機器人復位的流程如圖10 所示，首先根據患者的骨折情況對骨折部位進行三維重建，經過圖像處理提取骨折復位信息，然后將數據信息輸入計算機進行計算，對復位過程中存在的各種風險情況進行模擬比對，最終確定可行的復位方案，在機器人輔助下對骨折進行復位。復位過程參考中醫的理念［27］，在復位過程中先判斷骨折的情況，計算骨折畸變成角，對其進行成角矯正，保證骨折周圍的神經血管等軟組織盡可能處于原位，不被骨折處的鋒利裂骨破壞；然后對其進行適當的牽引拉伸，克服肌肉拉力對骨折造成的重疊錯位；接著機器人進行側位移位矯正，將骨折處恢復到軸向上，為最后的軸向旋轉微調及最終對位做準備，減小二次損傷；最后進行軸向的旋轉和移位矯正，將骨折部位完好對接。整個運行過程要緩慢平穩。

圖10 機器人復位流程Fig.10 Process of robotic fracture reduction

在實驗中采取如表1所示的5個不同位姿的模擬病例，以病例1為例，按照圖10所示的矯正步驟進行矯正，矯正過程的期望軌跡位姿按照表2 分步確定，機器人骨折末端的分步驟矯正軌跡如圖11所示，其他4個病例矯正過程同理。

表1 骨折復位模擬病例Tab.1 Simulated cases of fracture reduction

表2 模擬骨折復位軌跡矯正值Tab.2 Correction values of simulated fracture reduction trajectory

圖11 機器人復位軌跡姿態變化Fig.11 Postural change of robotic reduction trajectory

在每組模擬病例的實施過程中用計算機自動計時，記錄每次實驗所用時間，每組實驗結束后用游標卡尺及角度測量器測量骨折復位后縫隙誤差距離，包括軸向殘余、側位殘余、軸向旋轉角度、內外翻角度。記錄結果如表3 所示，其中軸向殘余為3.44±0.56 mm，旋轉角度為3.22±0.77°，側位殘余為3.62±0.45mm，內外翻角度為3.34±0.94°，復位時間為18.4±3.2 min。

表3 模擬病例骨折復位實驗結果Tab.3 Experimental results of fracture reduction of simulated cases

從數據可以看出復位后的效果可以滿足術后功能恢復的要求。骨折復位注重復位后的肌能協調、筋骨并重，傳統方法有一定的療效，但是恢復期仍需要較長時間，西醫微創復位方法可以減輕患者疼痛，改善臨床癥狀。在傳統的復位方法中，手法復位、牽引復位、手術復位雖然奠定了良好的醫學基礎，為機器人復位找到了可以參考的例子，但是均存在各自的缺點，對于它們的優缺點比較如表4所示。

表4 不同復位方式比較Tab.4 Comparison of different reduction methods

從表4 可以看出，采用CPHS 機器人復位從治療效果、康復時間、輻射影響、復位精度及手術效率等方面都有較大的改善。從圖12 中可以看出機器人六根伸縮桿的長度和速度變化，從4 個階段的速度可以看出每個階段啟動和停止的速度都是零，能夠緩慢過渡，分步啟停，進行柔順的軌跡規劃。

圖12 機器人復位過程中六軸長度及速度變化Fig.12 Speed and length change of six axes in robotic reduction

4 結語

在信息高度發達的人工智能時代，人們對人工智能帶來的體驗感、舒適度與智能設備的性能存在一定的差距，人們對服務于自身的智能設備的滿意度提出了更高的要求：更加緊密地將人參與到系統中，讓自身成為智能系統的一部分，和系統協調配合更好地服務于人類。融入了人的因素的信息物理融合手術機器人系統更加符合現實需求，更能體現以人為中心的思想，更深層次地將患者、家屬、醫護人員的訴求結合了起來，人機關系更加和諧。信息物理系統最終的目的是使系統具有感知分析及學習能力，能夠進行進化演變，隨著系統自身的實踐次數增多，不斷豐富自身的知識儲備和經驗積累，具有感知發育、協同進化的能力。同時手術機器人復位的精度還有待提高，與臨床的高精度復位要求還有一定的距離，信息物理融合的理論體系正在萌芽發展中，CPHS 涉及的技術廣、領域多，各個層面的發展不均衡，實際可參考的例子有限，都不同程度制約著CPHS 的發展，在技術飛速發展的同時，不斷探索，補齊各方面的短板，推動CPHS 在醫療領域達到一個新的水平，將會帶動整個醫療體系的建設，將是一個充滿前景的研究方向。信息物理融合系統（CPHS）為解決人與物理世界的交互及人機互動提供了開創性的思路，是引領下一代智能領域的新技術。