基于視覺感知的智能導盲杖系統應用研究

摘 要：為了解決傳統基于超聲波或者紅外傳感器技術設計的導盲杖難以應用于復雜多變的環境、實用性不強的問題，設計了基于視覺感知技術的智能導盲杖?？紤]到使用場景的復雜性，通過采集大量真實場景中各種形態的盲道、紅綠燈、斑馬線、馬路邊緣和路面障礙物等圖像制作了道路信息圖像數據集，并將訓練好的YOLO模型部署到邊緣計算平臺Jetson Xavier NX上，實現多傳感器數據融合。實驗結果表明：該系統識別精度高，穩定性好，平均實時檢測處理速度達到了20.61 FPS，能夠及時有效地反饋信息，引導盲人正常出行。

關鍵詞：深度學習；圖像處理；STM32F103；多傳感器融合；邊緣計算；YOLO模型

中圖分類號：TP391 文獻標識碼：A 文章編號：2095-1302（2025）02-0-04

0 引 言

隨著盲人群體生活水平和教育水平的提升，導盲市場將逐步擴大。盡管智能化和自動化產品不斷涌現，定向行走輔具種類豐富，但成本高、使用復雜和受眾小的特點限制了導盲產品的大規模生產。目前市場主要使用超聲波測距輔助導盲，未來還將加大對盲人產品的研究開發[1]。目前市面上尚未出現具有高科技水平且使用方便友好的電子導航設備為盲人提供服務。盲人出行仍然主要依賴于盲杖。文獻[2-4]基于多傳感器融合，設計了具有超聲波測距、語音播報、振動反饋、倒地檢測等功能的電子導盲杖，文獻[5-6]從導航功能入手，設計集成了具有GPS定位和GSM短信功能的導盲杖，文

獻[7-11]利用圖像處理識別盲道，拓寬了導盲杖的應用場景。然而，深度學習與邊緣計算端的研究雖然對盲道分割和障礙物檢測進行了探索，但算法復雜，在移動設備中難以應用。

因此本文設計了一款擁有實時探測掃描路況、盲道識別、紅綠燈識別、語音振動提示功能的導盲杖。該導盲杖具有攜帶方便、續航能力強、實用性強、安全性高的特點。本文在前人研究的基礎上，從系統的穩定性、實用性和安全性方面做了深入論證，利用深度學習的強大能力，設計制作了基于視覺感知的智能導盲杖。

本文的貢獻主要有3個方面：

（1）將深度學習與傳感器檢測融合，使得導盲杖具備視覺導盲、傳感器導盲以及視覺-傳感器導盲3種導盲模式，使導盲效果更好，應用場景更為廣泛。

（2）構建了一個盲人行走時所需的地面圖像數據集，該數據集包括了盲道、交通標識（紅綠燈和斑馬線）、馬路邊緣、路面積水、車輛等圖像。

（3）采用GhostNet輕量化主干網絡作為Backbone的基礎結構優化深度學習模型，在保證檢測性能的同時，將網絡輕量化，使其能運行在小型邊緣計算平臺上，讓人工智能造福盲人群體成為了可能。

1 系統設計方案

1.1 總體結構設計思路

盲人出行需要實時獲取周圍情況并傳遞信息，包括障礙物、道路邊緣、積水、盲道、斑馬線，以及能夠發送GPS位置、求助信息等。為此，本文設計開發了一套基于視覺感知的智能導盲輔助系統，旨在滿足以上需求，讓盲人出行更加輕松便捷[12]。

1.2 系統功能概述

本文將深度學習技術應用于導盲杖，使盲人在出行時能更全面地了解周圍環境。模型部署在小型邊緣計算設備上，為移動端應用深度學習和圖像處理技術提供了硬件支持。通過對攝像頭進行實時分析，實現盲道、紅綠燈、斑馬線識別，上下臺階、GPS通信、路面障礙物檢測及距離測量、積水檢測、環境光強檢測、摔倒報警等功能。

考慮到系統的魯棒性與安全性，本文在算法上也設計了3種模態，并且3種模態可以自由切換，具體模態如下：

（1）圖像模式下，系統使用攝像頭采集圖像進行導盲，檢測盲道、斑馬線和其他交通標志物，并在遇到障礙物時提醒盲人避讓；

（2）圖像與傳感器模式下，在光照較差時，系統借助傳感器數據判斷障礙物位置和路面情況；

（3）傳感器模式下，當攝像頭損壞或環境惡劣時，系統依靠超聲波、GPS、GSM等傳感器導盲。在極端情況下，盲人可借助系統向路人求助或按下系統面板上的“一鍵求助”按鈕，發送位置信息給家人。

這3種模式覆蓋了各種導盲場景，并能有效保障盲人安全出行。導盲系統實物結構如圖1所示。

2 系統設計

系統硬件部分主要從Jetson邊緣計算開發板、STM32最小系統、語音識別與播放模塊、攝像頭模塊以及電源設計

4個方面闡釋了相關電路設計，將視覺數據和傳感器數據分開處理，最后通過串口通信整合在一起，以提高系統的抗干擾能力。嵌入式軟件部分主要包括串口數據的接收、解析、執行[13]。系統整體框架如圖2所示。

2.1 系統硬件設計

考慮到實際應用場景，在前人研究的基礎上，本文采用STM32F103C8T6作為傳感器采集控制器，通過串口通信與Jetson主控板進行數據交換[14]。

（1）環境光強檢測：利用光敏電阻檢測周圍環境光強，以達到及時開燈的目的。

（2）積水檢測：利用積水傳感器檢測道路是否有積水，其原理是將水的電阻轉變為電壓信號，當路面有積水時，兩根導線之間的水充當電阻，進而產生電壓信號傳送給單片機做出判斷。

（3）傾斜檢測：利用滾珠的移動獲得信號，判斷人體是否傾倒。傾倒時滾珠滾動到一端（正常時滾珠在另一端），當檢測到摔倒后能及時發送求救短信，并且通過語音向路人求助。

（4）GSM與GPS：盲人出行時會使用GPS來定位和導航，遇到緊急情況時利用GSM模塊發送求救信息，并且每隔一段時間發送一次定位信息，便于家人獲得盲人的位置及其軌跡，若遇到緊急情況可以一鍵短信報警。

（5）語音振動提醒：利用三極管驅動振動馬達，當遇到障礙物等情況時由主控發送控制信號驅動電機振動，同時通過串口發送語音播放命令，進行語音提醒。本系統采用的語音模塊還能對特定的語句進行識別，并執行對應的操作，極大地方便了盲人使用。

（6）超聲波測距功能：障礙物距離測量采用低成本、高精度的HC-SR04超聲波測距模塊。根據發射信號與回響信號的時間間隔計算距離，見式（1）：

（1）

式中：Th表示超聲波傳感器輸出高電平的時間；V表示聲波在空氣中的傳播速度。為了使測距更加準確穩定，該系統采用了3個超聲波傳感器，3個傳感器分別從正前方、左前方、右前方3個方向探測障礙物，并根據與障礙物間的距離提醒用戶避讓。傳感器探測示意圖如圖3所示。

2.2 數據集制作與訓練

導盲系統對圖像質量要求不高，只要能判斷出物體類型、物體位置即可，結合超聲波傳感器等獲得的數據便可輕松引導盲人行走，故系統采用常見的USB攝像頭獲取圖像，并將采集到的圖像制作成數據集，數據集包含盲道、車輛、斑馬線、樹木、馬路邊緣、紅綠燈、行人等16類目標，共2 666張圖片。

3 系統算法

3.1 軟件開發與應用環境

算法開發的整個過程在Windows 11環境下完成，選用的CUDA版本為11.7，OpenCV版本為4.6，使用的深度學習框架為PyTorch 1.11。算法應用環境Jetson Xavier NX 16 GB是一款外形小巧的SOM（System-on-Module），尺寸比信用卡還小，高效節能的模組可提供服務器級性能，算力高達21 TOPS，使得Jetson Xavier NX能夠并行運行多個現代神經網絡[15]。

3.2 系統算法流程

本系統利用Jetson開發板、采集的圖像和傳感器數據實現相應功能，實時提醒盲人注意周圍環境中的障礙物，從而引導盲人安全出行。導盲系統主程序算法流程如圖4所示。

系統運行后，會根據盲人當前周圍狀況指導盲人行走，并實時檢測路邊、障礙物、斑馬線、盲道等目標?？梢詫⑾到y分為3個階段：

（1）自由階段：根據周圍狀況提醒盲人前進，引導盲人走到盲道或斑馬線。

（2）盲道行走階段：引導盲人在盲道上行走，提醒盲人是否走偏或轉向，遇到障礙物則返回自由階段。

（3）過馬路階段：提示盲人斑馬線的位置，檢測紅綠燈，指示盲人是否可以過馬路，盲人在斑馬線上行走時提醒其是否偏離。

3.3 實驗結果與分析

本文在不同場景下測試了邊緣計算端的實時處理速度和識別精度，結果表明，系統在不同情境下都能通過語音提醒盲人避障，如偏離盲道、行走在馬路邊緣、通過斑馬線、在菜市場購物等。在盲道和馬路邊緣行走時，圖像處理速度較快，但在復雜場景如十字路口、菜市場和超市等地，速度有所下降。平均實時檢測處理速度達到20.61 FPS，已滿足盲人導航需求。同時，在不影響正常使用的情況下，系統可以對畫面進行抽幀檢測，平均速度甚至能達到35.45 FPS。針對這些場景的識別與提醒，使盲人的生活出行更加方便與安全。不同場景下導盲杖的可視化結果如圖5所示，不同場景下導盲杖的實時檢測速度見表1。

4 結 語

本文設計制作的基于視覺感知的智能導盲杖系統可以在圖像模態、傳感器模態和雙模態中自動切換，并實現語音提醒和振動反饋，滿足盲人導航和提醒需求，為盲人提供更便捷和安全的出行方式。本文采用GhostNet輕量化網絡結構替換復雜的C3網絡結構，大幅降低了模型計算量，提高了檢測速度，在保證檢測性能的同時提高了運行效率，具有較高的實用價值和應用前景。

參考文獻

[1]徐誼涵，賈瓊瓊，鐘有朋，等.現代盲人出行產品市場與可行性研究綜述[J].現代商貿工業，2019，40（21）：76-77.

[2]杜宇崧，袁嘯宇，馬雪嬌.基于多傳感器融合技術的智能導盲杖的設計[J].電子制作，2021（7）：80-81.

[3] DEY N， PAUL A， GHOSH P， et al. Ultrasonic sensor based smart blind stick [C]// 2018 International Conference on Current Trends towards Converging Technologies. Coimbatore， India： IEEE， 2018： 1-4.

[4] KUMAR M， KABIR F， ROY S. Low cost smart stick for blind and partially sighted people [J]. International journal of advanced engineering and management， 2017， 2（3）： 65-68.

[5]錢鵬飛.基于多傳感器融合的新型智能導盲杖設計[J].科技創新與應用，2022，12（7）：78-79.

[6]陳艷，胡廣，羅厚澄，等.基于STM32芯片的智能導盲杖設計[J].電子技術，2022，51（10）：10-11.

[7] AGUSUTRISNO， WIRYADINATA R， NOVIANTO M N R. Development of guide stick navigation for blind person using digital compass and global positioning system [C]// IOP Conference Series： Materials Science and Engineering. Bali， Indonesia： IOP， 2019， 673（012053）.

[8]左炳輝，范志文，邱宇.基于機器視覺的智能導盲杖[J].自動化技術與應用，2022，41（3）：150-152.

[9]王政博，唐勇，陳國棟，等.基于機器視覺的智能導盲機器人系統設計[J].河北水利電力學院學報，2021，31（4）：17-22.

[10]何騰鵬，張榮芬，劉超，等.基于機器視覺的智能導盲眼鏡設計[J].電子技術應用，2017，43（4）：58-61.

[11]楊馥語，陳娟.基于嵌入式圖像處理及路徑規劃的智能導盲儀[J].流體測量與控制，2022，3（3）：65-68.

[12]張贏，陳佳藝，童星，等.基于導盲杖智能圖像處理與識別的研究[N].山西科技報，2022-05-23（B03）.

[13]金煒杰.面向Android平臺基于深度學習的導盲系統關鍵技術研究和實現[D].杭州：杭州電子科技大學，2020.

[14]董冠廷，胡昊迪，吳澤琨，等.基于異構計算與深度學習的導盲系統設計[J].電子技術與軟件工程，2018（14）：101-102.

[15] KASILINGAM G， RAMALINGAM M. A survey of voice aided electronic stick for visually impaired people [J]. Computer science， 2014（1）.

作者簡介：高順強（1996—），男，在讀碩士研究生，研究方向為深度學習圖像處理。

王智文（1969—），男，湖南邵陽人，教授，研究方向為人工智能。

趙文志（1997—），男，在讀碩士研究生，研究方向為圖像處理。

李 娜（1997—），女，在讀碩士研究生，研究方向為機器視覺。

收稿日期：2024-01-18 修回日期：2024-02-29

基金項目：國家自然科學基金資助項目（62466004）；國家自然科學基金資助項目（61962007）；國家自然科學基金資助項目（62266009）；廣西自然科學基金重點項目（2018GXNSFDA294001）；廣西財經大數據重點實驗室開放基金項目資助（FEDOP2022A06）；廣西高校中青年教師科研基礎能力提升項目（2022KY1697）；廣西高校中青年教師科研基礎能力提升項目教育信息化專項（2022XXH0019）；2023年廣西科技大學研究生教育創新計劃項目（GKYC202323）