基于鏡路協同技術的信號燈智能識別盲人眼鏡設計

張廣昊 朱炳禎 費靖凱

摘? 要：文章基于互聯網和云端技術提出一種全新的鏡路協同（Mirror Path Collaboration， MPC）技術，用以智能識別信號燈狀態，進而設計一款集信號燈識別、道路障礙檢測、語音提醒等功能于一體的智能盲人眼鏡。采用YOLOv4算法使眼鏡中的顏色傳感器實時監測信號燈的燈態，借助無線通信模塊將所有數據上傳云端，經主控模塊處理后篩選出有價值的信息，通過眼鏡中的語音模塊反饋給盲人使用者，最終達到幫助盲人準確判斷和了解信號燈信息的目的。

關鍵詞：鏡路協同；YOLOv4；信號燈識別

中圖分類號：TP39； TP183? 文獻標識碼：A? 文章編號：2096-4706（2023）15-0174-05

Design of Blind Glasses for Intelligent Recognition of Signal Lights Based on Mirror Path Collaboration Technology

ZHANG Guanghao， ZHU Bingzhen， FEI Jingkai

（Shandong Huayu University of Technology， Dezhou? 253034， China）

Abstract： This paper proposes a new Mirror Path Collaboration （MPC） technology based on Internet and cloud technology to intelligently recognize the status of signal lights， and then designs an intelligent blind glasses that integrates functions such as signal light recognition， road obstacle detection， and voice reminder. The YOLOv4 algorithm is used to enable color sensors in glasses to monitor the light status of signal lights in real-time. With the help of wireless communication modules， all data is uploaded to the cloud， after being processed by the main control module， valuable information is filtered out. Through the voice module in the glasses， feedback is given to blind users， ultimately achieving the goal of helping blind people accurately judge and understand signal light information.

Keywords： Mirror Path Collaboration; YOLOv4; signal light recognition

0? 引? 言

在傳統的盲人輔助設備中，盲人眼鏡主要用于美化盲人因自身疾病或各種意外情況而導致失明的雙眼，產品功能過于單一。盲人出行只能通過陪同的親屬或手中的盲杖對前方信息進行簡單粗略的判斷，盲人在面對信號燈時更是毫無辦法，這無疑增大了盲人出行的風險。加之國內盲道被占用的情況屢見不鮮，為盲人的出行提出了更為嚴峻的考驗。如何運用科技手段幫助盲人群體安全地通過信號燈路口是一個亟待解決的社會問題。

隨著助盲技術的日趨完善與快速發展，智能盲人輔助設備逐漸進入大眾視野，這在一定程度上解決了盲人出行所遇到的個別問題，提高了盲人出行的安全性。但是絕大多數設備僅僅局限在對前方道路障礙物的識別上，國內外目前還沒有一款可以幫助盲人準確識別信號燈信息的輔助設備。

據統計，我國大約有1 700萬視障群體，其中盲人數量更是超過800萬，而國內導盲犬的數量卻只有200只左右，導盲犬的普及率僅有0.001%。據權威機構分析，從我國的盲人基數來看，最少需要有17萬只服役的導盲犬才能滿足需求，而培養一只導盲犬的成本在15萬～20萬，對于大多數盲人來說認養一只導盲犬并不現實。

本項目中搭載“鏡路協同”技術的智能盲人眼鏡旨在幫助盲人群體快速、準確地識別信號燈信息，聯合大數據對其燈色、時長、倒計時做出準確判斷，智能提醒盲人是否可以通過前方路口。可在一定程度實現低成本、高效率的盲人出行，同時運用高能量密度的電池并借助工程技術提升設備的續航能力。

1? 國內外發展現狀

1.1? 國內發展現狀

我國擁有數量龐大的盲人群體，人數超800萬，占世界失明人數的20%，如圖1所示。我國視障、盲用輔具企業長期以低科技、低成長性企業為主。《殘疾人基本輔助器具指導目錄（2020版）》中所涉的視障人群助視器僅限于放大鏡、低視力眼鏡、電子助視器等，呈現出低技術附加值的特點。盲人群體能夠使用的智能產品更是極度稀缺，相關自主知識產權較少。

我國的盲人數量龐大，但國內無障礙設施建設規范化不足，盲人幾乎無法獨立出行。隨著我國人民生活水平的不斷提高，盲人對優質生活的需求愈發強烈，進而帶動智能盲人輔助設備市場的發展。2020年，我國智能助視器市場規模約16.2億元，隨著智能助視器技術的逐漸成熟，預計到2025年市場規模將達到76.7億元。

在人口老齡化背景下，隨著盲人數量的增長以及生活和醫療水平的提高，盲人群體對智能輔助設備的需求必將持續攀升，盲人智能輔助設備市場具有巨大的發展空間。

1.2? 國外發展現狀

國外對智能盲人輔助設備的研究早于國內，掌握的技術也更為成熟，目前部分西方國家已經實現了相應產品的量產。

瑞士Eyra公司發明一款盲人用耳機Horus，當前方有障礙物時，距離障礙物越近耳機發出的警報聲越大，可幫助盲人大致判斷障礙物的位置。日本為了解決盲人出行問題，在信號燈旁安裝“附音響裝置信號機”，通過發出的不同聲音讓盲人感知是否可以通行。美國斯坦福大學的一個科研團隊研發一款智能輔助盲杖，可代替導盲犬進行自動導航，但受傳感器技術的限制，該款手杖既昂貴又沉重，并沒有得到很好的普及。以色列的OrCam公司研發一款名為OrCam MyEye的盲人輔助設備，采用了可區別文字結構的光學字符識別系統，可解析視覺輸入元素，捕捉任何平面上涵蓋的印刷或數碼文字。但其并不是以“眼鏡”的方式使用，而是作為小型設備，通過磁鐵附著在用戶自己的眼鏡框上，更適合在閱讀報紙、菜單或書本的場景中使用。

盡管國外的研究在時間上更早且取得了較好的成果，但是截至目前還沒有一款設備能夠幫助盲人準確地識別信號燈信息。

2? “鏡路協同”系統設計

鏡路協同系統（Mirror Road Collaboration System， MRCS）是基于傳感識別、無線通信、GPS定位等技術獲取盲人使用者信息和周圍環境信息，通過云端處理和計算使各項信息實現交互和共享，實現盲人使用者和基礎設施之間智能的協調與配合，達到準確識別信號燈、障礙物的目的。

根據眼鏡的功能定位，設計如圖2所示的系統框架圖。由圖2可以看出，鏡路協同系統主要包含顏色傳感器（TCS34725）、GPS定位、語音模塊技術、無線通信等技術。其中，STM32單片機作為整個系統的核心控制器，通過與TCS32725模組、定位芯片、無線通信模塊、語音模塊以及外圍電路之間的配合，分別構成信號燈檢測系統、GPS系統、無線通信系統和語音交互系統，以此實現識別信號燈主體功能的目的。同時還輔以其他模組，達到眼鏡全部功能的實現。

2.1? 系統組成

2.1.1? 主控模塊設計

當前智能設備上的主控模塊主要有STC89C52、STM32、STC89C51等，其中STC89C52與STM32分別為8位單片機和32位單片機，使用keil MDK進行編程，具有開發簡單和價格低廉等特點。本項目采用STM32主控模塊，雖然市面上有很多芯片可供選擇，并且價格低廉，但是這些主控模塊可供用戶使用的I/O較少，而此次設計需要使用較多的I/O口，這些單片機都不能滿足需要，所以選擇如圖3所示的STM32作為此次設計的主控模塊。

2.1.2? 顏色傳感器設計

系統工作期間，位于眼鏡中框處的攝像頭需要隨時捕捉信號燈信息，借助顏色傳感器對信號燈顏色進行判斷。本項目選擇TCS34725顏色識別傳感器，TCS34725是一款低成本、高性價比的RGB全彩色識別傳感器，傳感器通過光學感應識別物體的顏色。支持紅、綠、藍（RGB）三基色，支持明光感應，可以輸出對應的具體數值，還原真實色彩。

顏色傳感器在系統整體設計中具有承上啟下的作用，需要完成復雜的傳感過程。為了提高精度，防止受周邊環境干擾，本設計特意在傳感器底部添加一塊紅外遮光片，最大限度減小入射光的紅外頻譜成分，讓顏色捕捉更加準確。如圖4所示為顏色傳感器工作原理的簡易流程圖。

2.1.3? 無線通信模塊設計

城市信號燈的燈態信息并不同步，每一個信號燈都有自己的時長程序，如何準確得知當前所面對信號燈的燈態信息是鏡路協同技術的關鍵一環。應用無線通信技術可實時獲取云端大數據平臺中各個信號燈的實時燈態信息，借助GPS模塊讓系統更加準確地獲知當前路口的信號燈狀態，通過主控模塊的處理使盲人使用者能夠準確得知前方信號燈的燈態信息。

本項目中的無線通信模塊通過獲取大量信號燈運行數據、交通系統數據，實現對“鏡路協同”系統的核心化管理，支撐互聯網基礎設施建設區域信號燈狀態實時展現、信號燈狀態大數據分析等功能，實現智能化、互聯化、精細化的信號燈識別。

2.1.4? GPS系統設計

該系統主要由GPS模塊、STM32主控模塊、語音模塊組成。其中GPS模塊采用AT6558R芯片，AT6558R是一款高性能BDS/GNSS多模衛星導航接收機SOC單芯片，支持多種衛星導航系統（包括中國的北斗衛星導航系統BDS、美國的GPS、俄羅斯的GLONASS），并實現多系統聯合定位。通過GPS模塊獲取信號燈物理信息，經AT6558R芯片處理為數字信號后再由STM32主控模塊進行處理，最終由語音模塊通過語音播報的方式將信息反饋給盲人使用者，使盲人使用者能夠準確得知前方信號燈信息。GPS系統流程圖如圖5所示。

2.1.5? 語音模塊設計

本設計中語音模塊采用WTK6900H-24SS作為本地語音辨別芯片，具有成本低、可靠性高、通用性強的特點，可實現更高的喚醒識別率、更強的抗噪性能、更低的延遲。通過STM32主控模塊和GPS模塊的處理，系統可以清楚獲知盲人使用者的行進速度與信號燈燈態信息之間的關系，通過計算提出合理的建議并由語音模塊及時反饋給盲人使用者，使其能夠做出合理的判斷。

2.1.6? 電池設計

當前，智能盲人輔助設備的續航時間普遍較低，難以滿足盲人長時間出行的待機時長需要。若要提高設備的續航時間，需要提高電池容量和電池能量密度。顯然，要想在“寸土寸金”的鏡框內提高電池容量并不現實，工程化技術是一種在不改變鋰離子電池的材料和化學體系的情況下提高其能量密度的一種技術，主要以影響電池能量密度的各因素為切入點，通過改變電池的整體尺寸、集流體和隔膜的厚度、電解液注液量、N/P占比及涂層厚度等，顯著影響鋰離子電池的能量密度。為此，本項目運用工程技術，采用一塊高能量密度鋰電池來提高設備的整體續航時間，使盲人出行不再伴有電量耗盡的焦慮。

2.2? YOLOv4算法

如何保證顏色傳感器識別到的顏色信息是來自信號燈而不是來自其他干擾因素，是“鏡路協同”技術的關鍵一環，也是檢驗這項技術是否成功的最重要因素。本項目采用改進后的YOLOv4算法，實現準確識別信號燈及其倒計時數字的目的。

YOLOv4是Alexey Bochkovskiy等人提出的目標檢測算法，YOLOv4在YOLOv3的基礎上進行了特征提取網絡、激活函數、特征金字塔、網絡訓練等方面的改進，在保證準確率的同時也降低了計算量。該算法被廣泛應用于無人駕駛領域，在交通信號燈的檢測方面有著良好的效果，但傳統的YOLOv4算法對于倒計時這類小目標的檢測效果較差，因此還需要對YOLOv4算法進行改進以達到對信號燈倒計時的識別。

3? “鏡路協同”技術流程

“鏡路協同”技術的基礎架構主要包含主控系統、信號燈檢測系統、GPS系統、無線通信系統和語音交互系統，在改進后YOLOv4算法的加持下，各分系統協調配合，使搭載該項技術的智能盲人眼鏡能夠完成對信號燈信息的識別，助力于盲人群體出行。其具體技術流程如圖6所示。

4? 實驗測試

針對YOLOv4算法對小目標檢測效果較差的問題，通過對YOLOv4主干網絡進行改進，將其中的CSPDarkNet53網絡替換為CSPResNet50vd網絡，并將stage4中的3×3標準卷積替換為可變形卷積（DCN）。經實驗可知，改進后模型的平均精度（mean Average Precision， mAP）達到79.37%，超過YOLOv4，且其檢測速度相比YOLOv4快4.11 ms，實驗結果如表1所示。

改進后YOLOv4算法在置信度為0.5時三類信號燈燈態的mAP如圖7所示。

捕捉識別的特征圖輸出后進入后續的檢測模塊操作，通過改進后的YOLOv4算法得到如圖8所示的檢測效果圖。

可變形卷積可以提高模型對形變目標的建模能力，可集中于人們感興趣的區域或目標。即在卷積核中每個采樣點的位置都增加了偏移量，可以實現在當前位置附近（而不是局限于常規卷積的規則采樣點）隨意采樣。當盲人使用者行至信號燈較多的路口時，可變形卷積可以同時對多個信號燈進行觀測，這對保證盲人順利通過復雜路段有著十分重要的作用。其與常規卷積的對比如圖9所示。

通過以上圖表可知，在改進YOLOv4算法的加持下設備整體可識別范圍更廣，識別精度更高，能夠滿足設備準確識別信號燈燈態的需求，達到保證盲人使用者安全出行的目的。

5? 結? 論

科學技術的進步極大地促進了世界的發展，許多新興的技術也在各個領域實現跨界融合。本項目將“鏡路協同”技術應用于盲人眼鏡，實現了科技與生活的完美交互。顧名思義，“鏡路協同”就是眼鏡和道路信息相互協調，同頻同步。這項技術旨在幫助盲人群體快捷、準確地識別前方路口信號燈的燈態信息，聯合大數據對其燈色、時長、倒計時做出準確判斷，幫助盲人群體安全通過信號燈路口。本項目使盲人眼鏡功能過于單一的現狀得以改善，提高盲人群體出行的安全性、可靠性，降低盲人出行的風險，保障這一社會特殊群體的切身利益，促進社會和諧、穩定地發展。

參考文獻：

[1] 吳倩倩，余正發，歐元博.智能眼鏡設計 [J].電子制作，2022，30（15）：80-82.

[2] 顏玲，倪杰，王岳，等.智能眼鏡設計 [J].福建電腦，2021，37（3）：77-79.

[3] 謝亮.嵌入式系統低功耗設計 [D].上海：上海交通大學，2011.

[4] 鄭德立.高能量密度鋰離子電池結構工程化技術研究 [J].石油石化物資采購，2022（23）：177-179.

[5] 金紹晨.車路協同技術在城市交通中的應用研究 [J].城市道橋與防洪，2022，279（7）：160-163+172+21-22.

[6] 劉洋，姜濤，段學鵬.基于YOLOv3的復雜天氣條件下人車識別方法的研究 [J].長春理工大學學報：自然科學版，2020，43（6）：57-65.

[7] 周昆陽，鄭澤斌，向陽，等.基于改進YOLOv4的交通信號燈倒計時數字檢測與識別 [J].電腦知識與技術：學術版，2022，18（4）：7-9+21.

[8] 曹梓銘.基于YOLOv4的多場景小目標檢測 [D].南京：南京郵電大學，2022.

[9] 黃鳳琪，陳明，馮國富.基于可變形卷積的改進YOLO目標檢測算法 [J].計算機工程，2021，47（10）：269-275+282.