基于JETSON NANO的醫院訂餐機器人的控制系統

陸貝瑤，張鐵成（通訊作者），宋楊，黃自正，文沖，彭渤繁，何其先

（大連大學，遼寧大連，116622）

0 前言

患者或者陪護人員在醫院飲食非常不方便，經常有附近餐館人員在醫院病房現場發傳單，醫院訂餐服務人員到各病房逐一詢問訂餐、通過網絡訂餐等方式來滿足部分長時間在醫院臨時生活人群的飲食需求，部分醫院因患者多、后勤服務不足，未能滿足老年人等人群的訂餐需求。隨著智能技術的發展，服務機器人在各個領域具有廣泛的應用，醫療服務機器人的開發也具有廣闊的市場發展空間，可彌補現有醫院訂艙方式的不足，通過訂餐機器人也可提高醫院的形象。

1 醫院訂餐機器人的系統設計

醫療訂餐服務服務機器人采用可聯網的NVIDIA Jetson Nano作為其控制中心，底部安裝了配置懸掛系統的麥克納姆輪，可實現全向運動，也可在不平的路面上進行行走，通過搭載的導航系統、視覺識別系統及內置的路徑軌跡規劃，可在一定空間范圍內自動行走，使用具有觸摸功能的串口屏來顯示醫院情況及訂餐過程的界面，也具有聲音播放等功能，如圖1所示。

圖1 醫院訂餐機器人系統圖

■1.1 訂餐機器人的控制系統

醫療機器人的控制系統采用以NVIDIA Jetson Nano為控制中心的開發套件，如圖2所示，該套件是一種功能強大的小型計算機，搭載四核Cortex–A57處理器，128核Maxwell GPU及4GB LPDDR內存，具有較高計算性能、超低功率、尺寸小巧等特點，可讓圖像分類、目標檢測、分割和語音處理等應用中并行運行多個神經網絡。全部工作都可在這一簡單易用的平臺上完成。Jetson Nano 提供 472 GFLOP，用于快速運行現代 AI 算法，可以并行運行多個神經網絡，同時處理多個高分辨率傳感器，非常適合入門級網絡

圖2 Jetson Nano開發套件

硬盤錄像機 (NVR)、家用機器人以及具備全面分析功能的智能網關等應用，可體驗功能強大且高效的 AI、計算機視覺和高性能計算，功耗僅為 5 至 10 瓦，Jetson Nano 模組僅有 70 x 45 毫米，是體積非常小巧的 Jetson 設備是一款基于 AI 的產品進行原型設計并將其快速推向市場的理想解決方案。

■1.2 全向移動模塊

醫院訂餐機器人的全向移動模塊主要由JGB37–520減速馬達、麥克納姆輪、底盤和懸掛系統組成。麥克納姆輪具有運動靈活性和多樣性等特點，可以實現前行、橫移、斜行、旋轉及其組合等運動方式，非常適合轉運空間有限、作業通道狹窄的等環境使用。麥克納姆輪常通過擺臂式懸掛系統與車身相連接，可在一定程度上解決由于地面的不平整性，運行時每個麥克納姆輪的著地力不均勻，著地性較差，容易打滑，未能按照預定軌跡平穩的運行的問題。配置的懸掛系統可實現本機器人在不平整的路面上，最大限度的使每個麥克納姆輪能夠有效著地，保證整個移動裝備的平穩性及水平性，能夠更安全的移動。

圖3 麥克娜姆輪及底盤

圖4 安裝在底盤上的懸掛系統

■1.3 視覺識別及避障系統

醫院訂餐機器人配置了800W像素的雙目攝像頭（IMX219模組）及激光測距系統。攝像頭及激光測距傳感器與機器人的控制中心Jetson nano連接，Jetson nano是帶有GPU的微型電腦，具有運行并且訓練神經網絡的功能，Jetson擁有的神經網絡可以順利識別攝像頭中的許多物體，利用yolo，ssd等成熟的模型可以完成這類工作。通過對人臉的識別及與人距離的判斷，讓訂餐機器人自動停在需要訂餐的顧客旁邊，完成訂餐任務后繼續在指定的空間或固定地點自主移動。

圖5 IMX219雙目攝像頭

機器人的運動模式設置了自主運動及固定不動兩種模式，根據該機器人周邊人群的多少，可自動切換運動模式，以免人群過多干擾運動方向的判斷，干擾訂餐過程。在機器人底部安裝了八個激光測距傳感器，按照每隔45度角分布在機器人底部的周圍，可檢測周圍八個方向上物體與機器人的距離，同時結合機器人頂部的雙目攝像頭判斷周邊環境，實現自主避障功能。

■1.4 自動導航系統

根據系統內置的運動規劃路線，同時結合Jetson利用雙目攝像頭和激光雷達構建環境地圖，實現按照預定的軌跡在指定區域內行走，自主避障及自動導航。

■1.5 語音交互系統

通過機器人搭載的麥克風陣列，使用Jetson Nano強大的深度學習功能進行自然語言處理，實現語言的識別，根據識別的語音控制機器人的實現點餐等功能，減少人群與機器人觸屏的交互次數，避免交叉感染。

■1.6 顯示及觸屏輸入系統

機器人的顯示屏使用10.1英寸的X5系列電容觸摸USART HMI串口屏，該串口屏由顯示驅動板、外殼、LCD液晶顯示屏三部分構成，為一套集成了由運算能力比較強的單片機或PLC帶控制器的顯示方案，顯示方案中的通訊部分由串口通訊，USART串口或者SPI串口等；通過串口協議與機器人主控板NVIDIA Jetson Nano進行通訊，從而對屏幕進行交互控制，實現觸控等信息輸入功能功能。使用該串口屏搭配的PC端圖形化開發界面USART HMI，制作交互界面效果，將界面下載到串口屏，將屏幕的圖形圖像設計與系統控制進行分離，便于程序的測試及調整，降低開發難度及成本。

圖6 USART HMI串口屏

■1.7 無線聯網

機器人配置了雙模無線網卡AC8265，與Jetson Nano相連，可實現高速WIFI上網，連接藍牙設備，通信穩定，低延遲，將訂餐信息發送到信息收集終端，信息收集終端將訂餐信息發送到廚房管理系統或者周邊的餐飲服務商，便于后續食物的加工及點餐的配送。

2 醫院訂餐機器人系統軟件設計

醫院訂餐機器人的軟件設計是在硬件系統的基礎上通過軟件程序的設計，實現訂餐機器人的自主移動、環境數據檢測、圖像信息采集與傳輸以及訂餐信息的收集與發送等功能。系統軟件的設計包括訂餐機器人控制系統程序設計、訂餐后臺管理系統以及串口屏交互界面設計三部分內容，分別實現訂餐機器人的智能控制、訂餐信息的收集及處理、通過串口屏進行人機交互的設計。訂餐機器人的硬件控制中心使用的是Jetson Nano，已經預裝了Python。通過Python來實現攝像頭數據的采集、激光傳感器數據采集、人像的識別、通過控制電機驅動板實現麥克納姆輪的運轉，實現機器人的自主移動。

圖7 軟件設計流程圖

醫院訂餐機器人使用串口屏作為圖形圖像信息的交互媒介，通過USART HMI串口屏開發程序，完成圖形界面及簡單視頻的轉換，串口屏以串口的方式與Jetson Nano控制進行通訊，實現訂餐的信息收集及數據的發送。

3 結束語

采用易于開發、運算速度高的Jetson Nano作為控制中心的訂餐機器人可作為醫院發布日常生活信息的綜合性平臺，可通過訂餐機器人樹立醫院的形象，在功能上和造型上可根據醫院的要求進行定制，實現差異化。采用串口屏將界面設計與控制中心的硬件作為分體式設計，具有便于調試、便于修改的特點，可隨時更新交互顯示內容。采用搭載懸掛系統的麥克納姆輪，可滿足在偶爾不平整的地面上穩定行走的需求，其全向運動方式，使機器人的運動控制更加穩定和靈活。該機器人功能比較完善，基本上滿足預期人群的使用需求，給住院人群的生活帶來方便。