基于視聽融合的導(dǎo)盲機(jī)器犬的設(shè)計(jì)與應(yīng)用*

鄧云港 ，曾令超 ，梅 伶 ，房順基

（廣東白云學(xué)院機(jī)電工程學(xué)院，廣東 廣州 510450）

中國(guó)盲人協(xié)會(huì)統(tǒng)計(jì)數(shù)據(jù)顯示，2020年中國(guó)約有1 700萬(wàn)盲人，但導(dǎo)盲犬卻不足200只[1]。究其原因，是中國(guó)對(duì)服務(wù)型犬類的法律保護(hù)意識(shí)尚未普及，眾多場(chǎng)所拒絕導(dǎo)盲犬的進(jìn)入，并且一只導(dǎo)盲犬從培育到可以完成良好的服務(wù)大約需要60萬(wàn)元。基于此，針對(duì)目前盲人出行不便的現(xiàn)狀，課題組設(shè)計(jì)了一種基于視聽融合的導(dǎo)盲機(jī)器犬[2]。該導(dǎo)盲機(jī)器犬借助攝像頭與其他傳感器[3]可以實(shí)現(xiàn)對(duì)障礙物的檢測(cè)[4]，并能夠?qū)⑻崛〉男畔⑼ㄟ^(guò)牽引以及語(yǔ)音的形式反饋給使用者，使得使用者可以通過(guò)人機(jī)交互的方式躲避障礙物。導(dǎo)盲機(jī)器犬不僅可以很好地解決導(dǎo)盲犬?dāng)?shù)量不足和訓(xùn)練費(fèi)用昂貴的問(wèn)題，還可以解決犬類不能進(jìn)入特殊場(chǎng)所的問(wèn)題。

1 系統(tǒng)組成

該導(dǎo)盲機(jī)器犬系統(tǒng)主要由四大板塊構(gòu)成，分別是機(jī)械運(yùn)動(dòng)部分、ROS部分、視覺(jué)部分和語(yǔ)音部分。導(dǎo)盲機(jī)器犬的機(jī)械運(yùn)動(dòng)為8個(gè)自由度，底層驅(qū)動(dòng)板為STM32F103驅(qū)動(dòng)板和ESP32驅(qū)動(dòng)板，其中STM32F103驅(qū)動(dòng)板主要控制電機(jī)的驅(qū)動(dòng)，通過(guò)移植SimpleFoc算法對(duì)電機(jī)實(shí)施精準(zhǔn)的力矩、速度、角度的三環(huán)控制[5]，且該驅(qū)動(dòng)板還搭載了MPU6050六軸陀螺儀，可以通過(guò)獲取導(dǎo)盲機(jī)器犬的姿態(tài)來(lái)調(diào)整其平衡。導(dǎo)盲機(jī)器犬結(jié)構(gòu)如圖1所示，機(jī)器犬運(yùn)動(dòng)控制流程圖如圖2所示。

圖1 導(dǎo)盲機(jī)器犬結(jié)構(gòu)圖

圖2 運(yùn)動(dòng)控制流程圖

導(dǎo)盲機(jī)器犬的主控使用了樹莓派4B+開發(fā)版，頂部搭載索尼高清防抖攝像頭和思嵐激光雷達(dá)，通過(guò)移植TensorFlow框架的YOLOv2算法和ROS系統(tǒng)，能夠?qū)γさ馈⒓t綠燈、障礙物、車輛、人群等周邊環(huán)境與物體進(jìn)行識(shí)別。搭載的激光雷達(dá)還可以對(duì)附近環(huán)境進(jìn)行Slam地圖建模，檢測(cè)周邊環(huán)境并且進(jìn)行路徑規(guī)劃，二者相互配合，保障盲人的出行安全。此外，還可以通過(guò)導(dǎo)盲機(jī)器犬內(nèi)部集成的語(yǔ)音播報(bào)模塊，提醒盲人附近是否有障礙物、紅綠燈、盲道等信息。樹莓派4B+控制流程如圖3所示。

圖3 樹莓派4B+控制流程圖

2 工作原理

2.1 導(dǎo)盲機(jī)器犬的步態(tài)算法

目前，大自然中的四足哺乳動(dòng)物和四足爬行動(dòng)物，其步態(tài)行走方式大多數(shù)為三角式或?qū)鞘健Ｔ谠撓到y(tǒng)中，采用的是對(duì)角式的步態(tài)算法[6]，對(duì)角式步態(tài)算法具有穩(wěn)定性高、靈活性強(qiáng)、反應(yīng)快速的優(yōu)點(diǎn)，非常適合運(yùn)用到四足機(jī)器人中。導(dǎo)盲機(jī)器犬對(duì)角式步態(tài)圖，如圖4所示。

圖4 導(dǎo)盲機(jī)器犬對(duì)角式步態(tài)圖

2.2 圖像識(shí)別

該系統(tǒng)的主控使用的是擁有強(qiáng)大計(jì)算能力的樹莓派4B+開發(fā)板，還移植了TensorFlow框架的YOLOv2算法[7]，同時(shí)搭載了一個(gè)高清防抖攝像頭。通過(guò)YOLOv2算法和樹莓派4B+開發(fā)板強(qiáng)大的計(jì)算能力，能夠?qū)崿F(xiàn)對(duì)障礙物、盲道、車輛、紅綠燈等物體的識(shí)別。該系統(tǒng)為了實(shí)現(xiàn)導(dǎo)盲機(jī)器犬可以從圖片中識(shí)別出沒(méi)有障礙物的盲道及普通路面的功能，主要采用了YOLOv2識(shí)別模型對(duì)圖像中每一個(gè)像素點(diǎn)進(jìn)行分類，確定每個(gè)點(diǎn)的類別（如盲道、普通路面、障礙物），再進(jìn)行區(qū)域劃分，從而判斷出前方路面是否屬于盲人可以行走的路面范圍。

盲道圖像識(shí)別控制流程，如圖5所示。首先，獲得模型生成label圖片中障礙物區(qū)域的像素值，經(jīng)濾波、降噪處理后，采用圖像二值化生成圖片，將圖片像素區(qū)分為障礙物區(qū)域和可安全行走區(qū)域。同時(shí)劃分圖像中未來(lái)行走區(qū)域，判斷行走區(qū)域中是否有代表障礙物，當(dāng)區(qū)域數(shù)值大于計(jì)算閾值時(shí)，說(shuō)明前方有障礙物。通過(guò)計(jì)算障礙物區(qū)域質(zhì)心判斷行走方向，以圖像中線為基準(zhǔn)，質(zhì)心相對(duì)偏左，則提示向右移動(dòng)，從而實(shí)現(xiàn)簡(jiǎn)易的行走導(dǎo)向功能。與障礙物判斷相似，通過(guò)二值化劃分可走普通路面和可走盲道，再計(jì)算盲道區(qū)域質(zhì)心，即可實(shí)現(xiàn)引導(dǎo)盲人走回盲道的功能。

圖5 盲道圖像識(shí)別控制流程圖

2.3 路徑規(guī)劃

導(dǎo)盲機(jī)器犬頂部搭載的激光雷達(dá)能夠?qū)Ω浇h(huán)境進(jìn)行Slam地圖建模，如圖6所示。采用全局加局部的路徑規(guī)劃[8]，實(shí)現(xiàn)了機(jī)器犬自動(dòng)導(dǎo)航的功能。全局路徑規(guī)劃（gloabal_planner）：依據(jù)給定目標(biāo)點(diǎn)及全局地圖實(shí)現(xiàn)整體路徑規(guī)劃，采用Dijkstra算法或者A*算法規(guī)劃全局路徑并計(jì)算最優(yōu)路線作為全局路線。局部路徑規(guī)劃（local_planner）：機(jī)器犬在實(shí)際導(dǎo)航中可能不能按給定的全局最優(yōu)路線行走，本地規(guī)劃的功能是利用某種算法（Dynamic Window Approaches）對(duì)障礙物進(jìn)行回避，選擇出當(dāng)前最優(yōu)路徑，使之盡可能地與全局最優(yōu)路徑一致。

圖6 ROS激光雷達(dá)Slam地圖建模

2.4 語(yǔ)音識(shí)別

該系統(tǒng)的語(yǔ)音識(shí)別使用的是在線語(yǔ)音識(shí)別[9]，在線語(yǔ)音識(shí)別結(jié)合語(yǔ)義分析，具有識(shí)別精準(zhǔn)、靈活性高的優(yōu)點(diǎn)。在導(dǎo)盲機(jī)器犬被喚醒后，會(huì)進(jìn)行錄音，錄音結(jié)束后將音頻發(fā)送到云端進(jìn)行語(yǔ)音識(shí)別，并將返回的文本結(jié)果進(jìn)行詞法分析，解析出文本中的特征值，再根據(jù)特征值執(zhí)行相應(yīng)的命令，此功能使用的是百度的詞法分析定制版。邏輯是要先確定一個(gè)詞匯集，如：{前進(jìn)}，則將該詞匯集命名為“GO”；{停止}，則命名為“STOP”。語(yǔ)音識(shí)別的具體流程如圖7所示。

圖7 語(yǔ)音識(shí)別流程圖

3 行走測(cè)試

經(jīng)測(cè)試，導(dǎo)盲機(jī)器犬能夠在路面上正常行走，并且可以通過(guò)攝像頭捕獲和分析周圍環(huán)境。當(dāng)檢測(cè)到障礙物時(shí)，導(dǎo)盲機(jī)器犬會(huì)做出相應(yīng)的動(dòng)作，同時(shí)也會(huì)通過(guò)語(yǔ)音播報(bào)的形式提醒盲人注意。導(dǎo)盲機(jī)器犬引導(dǎo)盲人在盲道上行走測(cè)試識(shí)別圖，如圖8所示。目前，導(dǎo)盲機(jī)器犬也可以通過(guò)Slam對(duì)周邊環(huán)境進(jìn)行地圖建模，同時(shí)還移植了TensorFlow框架的YOLOv2算法，能夠?qū)t綠燈、行人、車輛等進(jìn)行目標(biāo)識(shí)別，如圖9所示。

圖8 導(dǎo)盲機(jī)器犬引導(dǎo)盲人在盲道上行走測(cè)試識(shí)別圖

圖9 YOLOv2目標(biāo)識(shí)別

4 結(jié)論

課題組基于視聽融合的原理設(shè)計(jì)了可以輔助盲人出行的導(dǎo)盲機(jī)器犬，通過(guò)模擬盲人出行牽引導(dǎo)盲機(jī)器犬的環(huán)境試驗(yàn)，能夠?qū)崿F(xiàn)導(dǎo)盲機(jī)器犬引導(dǎo)盲人躲避障礙物、引導(dǎo)盲人在盲道行走和識(shí)別紅綠燈等功能。研究結(jié)果表明，該系統(tǒng)可以為盲人的出行安全提供一定的保障，擴(kuò)大盲人的活動(dòng)范圍，同時(shí)在一定程度上減輕國(guó)家對(duì)視力障礙人群和盲人的扶持壓力[10]。