基于實時VR和體感控制的醫療輔助機器人
——“守護白衣”

河北工業大學 楊 凱，武 濱，徐 楚，蘇士鵬，楊淏宇

1 作品簡介

產品由上位機、體感控制設備和智能機器人構成，應用了實時VR技術、體感控制技術、嵌入式開發技術、APP開發技術等，具有VR遠程查房、VR遠程診斷、信息采集和記錄、VR智能服務、VR智能換藥、自助消毒等功能。筆者創造性的將實時VR技術與體感控制技術相結合，保證遠程醫療的效果。產品配備“守護白衣”配套APP用于顯示患者信息。該產品可應用于新型冠狀病毒的防疫與治療，也可用于其他傳染性疾病的治理與護理。產品結構如圖1所示。

圖1 產品結構

2 技術原理

（1）實時VR技術：實時VR系統由雙目攝像頭和頭戴式VR顯示器構成。雙目攝像頭形成雙目立體視覺，它是機器視覺的一種重要形式，是基于視差原理，并利用成像設備從不同的位置獲取被測物體的兩幅圖像后，通過計算圖像對應點間的位置偏差獲取物體三維幾何信息的方法。

（2）體感控制技術：該產品將機器視覺與可穿戴式體感技術相結合，采用視覺傳感器Kinect Xbox和可穿戴式傳感器Myo臂章，將用戶的自然運動與機器人動作相結合，通過提取人體手臂骨骼和腕部動作信息模擬用戶動作，進行機械臂控制。

（3）人臉識別技術：基于樹莓派搭載的Python3環境與TensorFlow庫，利用樹莓派官方攝像頭采集圖像數據，通過CSI接口與樹莓派連接，在編譯環境中調用Open Source CV進行圖像處理，框畫出人臉進行識別，并在USB接口式電容觸摸屏上顯示，同時利用串口發送給STM32。

3 項目創新點及應用前景

（1）將實時VR技術與體感控制相結合，使VR具有良好的交互性。將其應用于抗擊疫情等領域，醫護人員可通過體感遠程控制機器人，利用實時VR與病人遠程交互，在為病人提供高質量服務的同時，保障了醫護人員的安全，節約了醫療防護用品的使用。

（2）針對雙目攝像頭采集的雙目視頻流，對圖像進行畸變矯正和去噪，使用空間域濾波能夠較好地保護圖像細節，提升立體感，增強使用者的沉浸感和體驗感。

（3）摒棄傳統單一使用視覺傳感器或可穿戴式體感傳感器的方式，將機器視覺與可穿戴體感技術相結合，將用戶的自然運動與機器人動作相結合，進一步提高控制精度。

4 市場分析

產品前期定位于醫療市場及政府部門，待產品達到一定市場占有率后，將其投放在其他對衛生條件有一定要求的場所，如康復中心、療養院等。

我國智能醫療市場日漸龐大，隨著互聯網技術的普及，智能醫療設備將逐漸倍投至相關場所。尤其面對疫情發生時，醫護人員存在被傳染的風險，因此許多醫者和專家都呼吁智能醫療能夠快速落地。但考慮到智能醫療技術目前并不完善，對于該產品技術而言，VR與體感控制應用于醫療行業國內尚存在大量空白。