基于機器視覺技術的自動爬樓輪椅

王希望 王 橋 王晴晴 田江濤 張兆金 陳 春 曾家明

(貴州師范學院 數學與大數據學院,貴州 貴陽 550000)

1 概述

目前市面上大多數輪椅不能自動識別樓梯,但能在平坦的路面上行駛。遇到樓梯或坡度大于12 度的路面就會受到很大限制,目前中國仍有將近一半的居民住在七層以下沒有電梯的建筑,并且很多交通樞紐站臺或商場里需要爬樓梯的地方很少有輪椅的專用通道導致使用者外出時必須有人陪同。功能齊全的智能輪椅價格高,給使用者帶來很多煩惱。這一現狀給無數殘疾人和老年人帶來生活的不便。

本文主要介紹一種基于機器視覺技術的可識別樓梯階數并自動攀爬樓梯的輪椅。利用模擬電子技術、嵌入式軟硬件開發技術等,結合了多種傳感器模塊(如MPU6050 模塊、K210 模塊、光電傳感器等電子元件),將爬樓輪椅升級,實現了一種基于機器視覺技術的可識別樓梯階數,并自動攀爬樓梯的輪椅。并且用戶可以通過OLED 模塊顯示當前狀態,通過MPU6050 模塊對輪椅姿態進行監測。在保證低價格的同時可以實現在沒有人輔助的情況下,輕松上下樓,其能夠保障使用者安全的同時,也能給其家屬及朋友帶來很多方便。

2 總體設計

本文基于機器視覺技術的自動爬樓輪椅以STM32 單片機為核心控制器,采用F103C8T6 為主控芯片,使用低功耗且性能優良的K210 模塊來實現機器視覺。當上樓梯時,直流電機驅動輪椅前進,步進電機帶動輪椅攀爬樓梯;紅外傳感器實現識別樓梯階數,0LED 模塊實現狀態顯示功能。并且該裝置選擇了升桿電機,輕便簡潔,簡單實用,操作上 通俗易懂；實現人機交互,用戶通過手機APP 設定階梯層數控制該裝置到達設定的階梯；通過MPU6050 模塊利用數字運動處理器硬件加速引擎,實現姿態監測,調整座椅姿態保持座椅平衡;方便用戶更好的控制該裝置。本文基于機器視覺技術的自動爬樓輪椅使用多個升桿電機組合,基于動力學原理、機械原理,從而實現具有自動連續攀爬樓梯功能。總體框圖如圖1 所示、模型圖如圖2 所示。

圖1 總體框圖

圖2 模型圖

3 系統設計

該系統分為核心控制器、電機、紅外傳感器、MPU6050 模塊、K210 模塊、ESP8266 模塊、OLED 模塊、電池等幾個部分。

3.1 核心控制器

在我們的日常生活中,集成電路芯片的應用非常廣泛,單片機本質就是一種集成電路芯片,而單片機在我們的生活中的應用也是非常廣泛的,它的型號非常多,在大學的項目實踐中比較常見的是STM32 單片機和51 單片機,這兩者非常適合初學者入門和項目實踐。單片機把定時器和計數器等一些功能以及中央處理器CPU 和儲存器、I/O 口等集成在一起。本文基于機器視覺的自動爬樓輪椅所用到的STM32F103C8T6 芯片,它是英國Acorn 公司設計的基于ARM處理器并以Cortex-M 為內核的STM32 系列的32 位微型計算機系統。

本文基于機器視覺技術的自動爬樓輪椅以STM32F103C 8T6 芯片為核心控制器,能使爬樓輪椅的成本降到最低,且實現的功能非常多,還有一個好處就是,它可以直接調用STM32 系列的單片機的官方提供的庫文件,對于本文各個模塊的編程及驅動非常方便。此外,單片機的工作電壓為2V至3.6V,其工作溫度為零下四十攝氏度至八十五攝氏度,對于極寒天氣和高溫天氣而言,單片機實現的功能不會極端受天氣影響,自動爬樓輪椅可以正常使用。在本文的自動爬樓輪椅中,STM32 單片機控制著整個輪椅所有的功能模塊,以此達到實現基于機器視覺技術的爬樓輪椅的自動化。

3.2 K210 模塊

K210 芯片模組,它基于雙核RISC-V64 位處理器,雙核的主頻高達600MHZ,可以應對各種業務場景及計算任務。硬件浮點指令加速:兩個核心均支持雙精度指令加速,可使簡單的渲染高達100fps,

本文采用功耗低且性能優良的K210 芯片來實現機器視覺,該芯片具有雙核64 位處理器,其特色在于芯片架構中包含了一個自研的神經網絡硬件加速器KPU,可以高性能地進行卷積神經網絡運算,簡單來說就是KPU 能加載和運行各種現成的AI 算法模型,實現各種機器視覺等功能。它的算力其實是相當可觀的,根據嘉楠官方的描述,K210 的KPU 算力有0.8TOPS,作為對比,擁有128 個CUDA 單元GPU 的英偉達的算力是0.47TFLOPS 而最新的樹莓派4 只有不到0.1TFLOPS。

3.3 紅外傳感器+電機組件

紅外傳感器在我們的日常生活中非常常見,在客運站和商場等場所,它可以用來檢測人體體溫,以及檢測乘客或顧客是否攜帶違禁物品,給我們的的生活帶來了很大的便利,當然它的用途遠遠不止這些。于本文的基于機器視覺技術的自動爬樓輪椅而言,紅外傳感器的作用是檢測行輪椅前是否有障礙物或者樓梯,輪椅的行進和攀爬。如圖3 所示。

圖3 紅外測距

本文的電機包含步進電機和減速電機,其中步進電機用于輪椅的行進狀態,與輪椅的輪子連接在一起；減速電機用于輪椅的攀爬,與直線導軌等連接在一起。

步進電機是現代數控系統中常用的元件,它是和驅動器一起搭配使用的,它的工作原理簡單來說是當步進電機驅動器收到一個脈沖信號時,步進電機驅動器會驅使電機內部的轉子和軸承轉動一個相應的角度。

減速電機在本文中實現輪椅的攀爬樓梯功能,減速電機的效率很高,可靠性也是非常高；因為它的維護較為簡便,所以當我們對減速電機進行維護時,是非常方便的；此外,減速電機的工作壽命非常長,所以本文輪椅不會頻繁出現功能紊亂和不能實現的情況。

本文該紅外傳感器+電機組件主要作用是實現本文基于機器視覺技術的自動爬樓輪椅的攀爬行進,該組件結構總共用到兩根絲桿,本文中利用3D 打印,為電機打印了一些3D 軸承,用于電機的固定,減速電機下部連接著軸承,減速電機上部連接著絲桿,絲桿另一端連接著直線滑軌,當紅外傳感器檢測到箱體正面有階梯時,輪椅的正面被絲桿等結構抬起,當正面抬起后,輪椅的背面被另一根絲桿抬起,就實現了本文基于機器視覺技術的自動爬樓輪椅的攀爬功能。

3.4 MPU6050 模塊

MPU6050 是一款運動處理傳感器。它集成了陀螺儀和加速度計,以及一個可擴展的數字運動處理器DMP(Digital MoTIon Processor),可用I2C 接口連接一個第三方的數字傳感器。擴展之后就可以通過其I2C 接口輸出一個9 軸的信號。MPU-6050 也可以通過其I2C 接口連接非慣性的數字傳感器。在MPU6050 中,用陀螺儀傳感器測角度,用加速度傳感器測加速度。陀螺儀的原理是一個旋轉物體的旋轉軸所指的方向在不受外力影響下,是不會改變的,根據這個原理,用它來保持方向,然后用多種方法讀取所指示的方向,并自動將數據信號傳給控制系統。加速度傳感器是一種能夠測量加速度的傳感器,通常由質量塊、阻尼器、彈性元件、敏感元件和適調電路等部分組成,傳感器在加速過程中,通過對質量塊所受慣性力的測量,利用牛頓第二定律獲得加速度值。MPU6050 在此項目中,主要通過I2C 接口,向應用端輸出姿態解算后的數據,調整座椅姿態保持座椅平衡。

圖4 角運動檢測裝置圖

3.5 ESP8266 模塊

ESP8266 是一款超低功耗的UART-WiFi 透傳模塊,擁有業內極富競爭力的封裝尺寸和超低能耗技術,專為移動設備和物聯網應用設計,可將用戶的物理設備連接到Wi-Fi 無線網絡上,進行互聯網或局域網通信,實現聯網功能。ESP8266WiFi 模塊通過串口AT 指令與單片機通訊,實現串口透傳。模塊中實現了TCP/IP 協議棧,模塊作為客戶端可輕松使用AT 指令向服務端發起TCP 連接,連接TCP 服務器并開啟透傳模式后,模塊串口收到的數據就會通過TCP 連接透傳到服務端,這樣就完成了數據從硬件串口通過網絡到程序進程的傳輸,實現軟硬結合。

圖5 ESP8266 引腳圖

3.6 電池

本文基于機器視覺的自動爬樓輪椅在給STM32 及其他一些外部電路和電子元件供電采用的是航模電池,航模電池的本質是鋰離子聚合物電池,而鋰離子聚合物電池是今后二次電池的發展的方向,航模電池的相對優勢是內含能量高、重量輕、型號較多。于形狀方面而言,航模電池輕薄化的一大特征可以迎合用戶的諸多需求,可以制成一些市面上難以見到的電池。在實際應用中,航模電池常用于航模飛機等玩具模型的供電,由此可見它的效率和安全性都高。

4 結論

本文基于機器視覺的自動爬樓輪椅是一款輕便、操作簡單、具有判斷樓梯階層數、人機交互、監測當前的姿態、能夠自動連續攀爬樓梯的裝置。該裝置選擇了升桿電機,測距模塊,輕便簡潔,簡單實用,操作上 通俗易懂；并且使用多個升桿電機組合,基于動力學原理、機械原理,從而實現具有自動連續攀爬樓梯功能。解決了目前市面上傳統的輪椅普遍存在的一些問題,在保證低價格的同時可以實現在沒有人輔助的情況下,輕松上下樓,其能夠保障使用者安全的同時,也能給其家屬及朋友帶來很多方便。