智能導(dǎo)盲輔助系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)★

姚 麗 武慧榮* 盧 俊 王 睿 董冠廷 曾婉玉

(1.東北林業(yè)大學(xué)交通學(xué)院，黑龍江 哈爾濱 150040; 2.東北林業(yè)大學(xué)信息與計(jì)算機(jī)工程學(xué)院，黑龍江 哈爾濱 150040; 3.東北林業(yè)大學(xué)機(jī)電學(xué)院，黑龍江 哈爾濱 150040)

根據(jù)我國(guó)《視力殘疾評(píng)定手冊(cè)》，將視力殘疾分為全盲和低視力兩類(lèi)。全盲即為完全失去視力以及光感，而低視力對(duì)光感還存在著微弱的感知度，這意味著通過(guò)一定的輔助設(shè)備，可以幫助低視力人群利用光感識(shí)別周?chē)h(huán)境信息。目前，盲人日常出行主要通過(guò)觸覺(jué)感知盲道磚確定前進(jìn)方向，靠盲杖探測(cè)前方道路是否暢行，但仍然會(huì)存在盲道被占用而影響盲人安全出行的問(wèn)題，傳統(tǒng)的導(dǎo)盲杖已經(jīng)無(wú)法滿(mǎn)足當(dāng)前盲人的出行需求。針對(duì)這一問(wèn)題，電子輔助導(dǎo)盲系統(tǒng)的研制層出不窮，有基于超聲波的導(dǎo)盲系統(tǒng)[1]、多傳感器融合技術(shù)的導(dǎo)盲系統(tǒng)[2]，基于GPS技術(shù)及北斗衛(wèi)星導(dǎo)航系統(tǒng)的導(dǎo)盲系統(tǒng)[3-5]。現(xiàn)有導(dǎo)盲系統(tǒng)在一定程度上輔助了盲人的出行，但卻無(wú)法對(duì)障礙物進(jìn)行篩選更無(wú)法判斷障礙物的具體類(lèi)別。

本文利用圖像處理和深度視覺(jué)技術(shù)，輔助盲人從聽(tīng)覺(jué)和視覺(jué)兩方面獲取障礙物信息，對(duì)于低視力群體可以增強(qiáng)從視覺(jué)方面感知障礙物信息，全盲人群則可通過(guò)語(yǔ)音提示，解決他們的行走避障問(wèn)題。

1 系統(tǒng)總體方案設(shè)計(jì)

1.1 系統(tǒng)功能

根據(jù)所提出的輔助盲人從聽(tīng)覺(jué)和視覺(jué)兩方面獲取障礙物信息，該電子導(dǎo)盲輔助系統(tǒng)具有以下功能：

1)實(shí)時(shí)識(shí)別前方盲道上的障礙物；

2)快速判斷障礙物類(lèi)別信息；

3)通過(guò)語(yǔ)音提醒盲人相關(guān)的避障信息；

4)增強(qiáng)深度圖像的色感，使低視力者能夠感知圖像。

1.2 功能模塊設(shè)計(jì)

系統(tǒng)采用圖像識(shí)別和深度視覺(jué)技術(shù)，實(shí)現(xiàn)為不同視力殘疾群體提供圖像和語(yǔ)音提示信息，輔助盲人安全出行。其總體框圖如圖1所示。

1)圖像采集模塊。通過(guò)圖像采集模塊，可以模擬人眼采集一定視角內(nèi)的環(huán)境圖像，幫助獲取盲人所處方位的環(huán)境信息，并對(duì)該信息進(jìn)行篩選處理，傳輸?shù)綀D像處理模塊。

2)圖像處理模塊。盲人所處方位的環(huán)境圖像在該模塊進(jìn)行篩選和識(shí)別，可以得到環(huán)境圖像中的障礙物和盲道信息，傳遞給信息識(shí)別模塊。

3)信息識(shí)別模塊。信息識(shí)別模塊通過(guò)對(duì)圖像處理模塊獲得的障礙物圖像進(jìn)行數(shù)據(jù)庫(kù)信息對(duì)比，獲取障礙物的具體信息，傳遞給語(yǔ)音提示模塊和圖像顯示模塊。

4)語(yǔ)音提示模塊。實(shí)現(xiàn)字符數(shù)據(jù)的語(yǔ)音轉(zhuǎn)換，將信息識(shí)別模塊識(shí)別的物體類(lèi)別信息轉(zhuǎn)換為語(yǔ)音信息，并將提示信息傳遞給盲人。

5)圖像顯示模塊。低視力者可通過(guò)強(qiáng)烈的色彩對(duì)比感知物體信息，圖像顯示模塊主要用于呈現(xiàn)信息識(shí)別模塊處理后獲得的深度視覺(jué)圖像，輔助低視力者辨識(shí)物體。

2 硬件系統(tǒng)設(shè)計(jì)

2.1 圖像采集模塊

該模塊由深度攝像頭、普通攝像頭等組成。普通攝像頭可以實(shí)時(shí)采集盲人所處位置前方的環(huán)境圖像，通過(guò)模擬人體視覺(jué)以獲得準(zhǔn)確的障礙物距離信息，并將獲取的圖像通過(guò)有線高速傳輸?shù)綀D像處理模塊。通過(guò)對(duì)比不同型號(hào)攝像頭及其特征參數(shù)，考慮到裝置的適配性以及攝像頭的價(jià)格因素，本系統(tǒng)選擇樹(shù)莓派定制攝像頭5MP RPI CAMERA。

深度攝像頭由雙目攝像頭、紅外光源、收光器件組成，采用雙目立體視覺(jué)，配以紅外結(jié)構(gòu)光輔助投影，能夠獲得比傳統(tǒng)立體視覺(jué)更多的景深細(xì)節(jié)，所有圖像處理均在設(shè)備端高速完成，直接輸出深度數(shù)據(jù)。將處理過(guò)的圖像投射在圖像顯示模塊，令低視力者可以看到前景物體的形狀和大小并且區(qū)分前景物體和背景物體。為避免裝置之間深度信息相互干擾，本系統(tǒng)選擇Kinect結(jié)構(gòu)光3D雙目視覺(jué)攝像頭。

2.2 信息處理模塊

信息處理模塊主要基于RPI 3B+開(kāi)發(fā)板實(shí)現(xiàn)盲道識(shí)別、障礙物識(shí)別以及獲取障礙物信息。RPI開(kāi)發(fā)板方便編程、容易改造、易發(fā)揮創(chuàng)造力且價(jià)格低廉，具有很好的開(kāi)發(fā)性，主板上預(yù)留的接口可直插與系統(tǒng)相適配的攝像頭、微型USB電源等。

2.3 語(yǔ)音提示模塊

由耳機(jī)、麥克風(fēng)、音頻處理單元組成，與圖像處理模塊相互連接進(jìn)行數(shù)據(jù)傳輸。主要用于將服務(wù)端傳輸?shù)淖址麛?shù)據(jù)轉(zhuǎn)化為語(yǔ)音信息，通過(guò)盲人的聽(tīng)覺(jué)功能建立起導(dǎo)盲系統(tǒng)與盲人使用者的聯(lián)系，提醒盲人前方障礙物信息。

2.4 圖像顯示模塊

該模塊硬件構(gòu)成為3.5寸HDMI接口IPS顯示屏，IPS顯示屏視角更廣，色域更廣，響應(yīng)速度快。顯示屏與RPI開(kāi)發(fā)板相連接，可以實(shí)時(shí)呈現(xiàn)處理后的深度圖像，以便于低視力者利用微弱的視覺(jué)功能識(shí)別周?chē)h(huán)境信息。

3 系統(tǒng)軟件實(shí)現(xiàn)

系統(tǒng)功能的實(shí)現(xiàn)需要軟硬件相結(jié)合，利用圖像處理算法對(duì)采集到的圖像進(jìn)行處理，識(shí)別出圖像中的盲道區(qū)域、障礙物及其具體信息，實(shí)現(xiàn)語(yǔ)音信息及圖像信息的輸出，軟件實(shí)現(xiàn)方案如圖2所示。

3.1 盲道識(shí)別的實(shí)現(xiàn)

盲道磚顏色一般不同于人行道磚，通過(guò)使用顏色分割算法[6]，可以將圖像中黃色區(qū)域識(shí)別出來(lái)；識(shí)別后的圖像經(jīng)過(guò)圖像二值化算法處理后，盲道區(qū)域顯示為白色，再次使用區(qū)域生長(zhǎng)算法，可將識(shí)別到的盲道區(qū)域中的噪點(diǎn)用白色填充。其識(shí)別效果如圖3所示。

3.2 障礙物識(shí)別的實(shí)現(xiàn)

通過(guò)使用Opencv框架自帶的特征集訓(xùn)練器訓(xùn)練Haar特征集和AdaBoost算法進(jìn)行障礙物識(shí)別。具體訓(xùn)練檢測(cè)如圖4所示。

3.3 物體信息識(shí)別實(shí)現(xiàn)

通過(guò)無(wú)線傳輸模塊將截取的障礙物圖像上傳至服務(wù)器，服務(wù)器將提取截取圖片中的特征點(diǎn)，并與數(shù)據(jù)庫(kù)中的特征數(shù)據(jù)進(jìn)行比對(duì)之后獲得物體的具體信息，同時(shí)將信息返回客戶(hù)端，用戶(hù)可以通過(guò)耳機(jī)接收物體的具體信息。

4 結(jié)語(yǔ)

面對(duì)傳統(tǒng)的導(dǎo)盲杖已經(jīng)無(wú)法滿(mǎn)足當(dāng)前盲人的出行需求這一現(xiàn)狀，本文分析了不同視力殘疾群體的特征，設(shè)計(jì)了滿(mǎn)足不同群體需求的智能導(dǎo)盲輔助系統(tǒng)，從聽(tīng)覺(jué)和視覺(jué)兩方面同時(shí)向盲人傳達(dá)導(dǎo)盲信息。系統(tǒng)采用深度視覺(jué)技術(shù)獲取景深圖像，RPI 3B+開(kāi)發(fā)板進(jìn)行信息處理，設(shè)計(jì)了智能輔助導(dǎo)盲系統(tǒng)，幫助盲人實(shí)時(shí)識(shí)別盲道區(qū)域、障礙物及獲取障礙物具體信息，增強(qiáng)盲人的視覺(jué)感知及出行安全度。隨著圖像處理技術(shù)發(fā)展，將更好地獲取視力障礙者行進(jìn)前方的三維空間信息，將會(huì)不斷提升和完善智能導(dǎo)盲系統(tǒng)的功能。

參考文獻(xiàn):

[1] 孫 新.基于超聲波的盲人避障眼鏡的設(shè)計(jì)[J].電子技術(shù)與軟件工程,2014(12):171-172.

[2] 李長(zhǎng)昆.基于多傳感器信息融合的智能化手杖[J].電子制作，2018(1):33-35.

[3] 廖慶洪.基于GPS技術(shù)與智能避障的導(dǎo)盲拐杖研究[J].電子技術(shù)研發(fā)，2016,45(11):19-23.

[4] 劉 春，陳志濠，賀桂嬌.多功能智能導(dǎo)盲手杖系統(tǒng)研究[J].無(wú)線互聯(lián)科技，2017(7):44-45.

[5] 徐絲雨，唐 彪.基于北斗衛(wèi)星導(dǎo)航系統(tǒng)的電子導(dǎo)盲犬的開(kāi)發(fā)及應(yīng)用[J].數(shù)字技術(shù)與應(yīng)用，2017(2):92-93.

[6] 彭玉青，薛 杰，郭永芳.基于顏色紋理信息的盲道識(shí)別算法[J].計(jì)算機(jī)應(yīng)用,2014,34(12):3585-3588,3604.