5G導盲鏡，讓盲人聆聽世界

信集

將AI處理放在邊緣計算，利用5G低時延、大帶寬打造智能視覺輔助系統(tǒng)，利用5G切片技術為導盲鏡提供專屬網(wǎng)絡保障，幫助盲人“看見”世界

我國是世界上視障人士最多的國家，他們在出行、社交、工作、學習等諸多方面存在障礙。隨著社會發(fā)展和醫(yī)學的進步，他們對于視力恢復和視障輔助技術的需求也越來越強烈，亟待利用最新的科學知識和設備，研究新型的康復和輔助技術和設備，幫助視障人士實現(xiàn)接近常人的生活。

為解決視覺障礙人士日常生活的痛點，浙江移動聯(lián)合杭州視氪創(chuàng)新性提出基于5G+AI+MEC+切片的5G導盲鏡，將AI處理放在邊緣計算，利用5G低時延、大帶寬打造智能視覺輔助系統(tǒng)，利用5G切片技術為導盲鏡提供專屬網(wǎng)絡保障，通過描述周圍環(huán)境以及提示環(huán)境存在的潛在危險幫助盲人“看見”世界。

5G+AI+MEC+切片構建無障礙社會

5G導盲鏡通過調(diào)用云端和邊緣端的API，來實現(xiàn)利用深度學習將智能眼鏡攝像頭獲取的實時畫面，通過5G網(wǎng)絡傳輸至邊緣端進行計算處理，輸出環(huán)境的描述信息并轉(zhuǎn)化為聲音，為盲人描述周圍環(huán)境以及提示環(huán)境存在的潛在危險。通過將視覺輔助當中復雜的圖像處理功能分散到網(wǎng)絡的邊緣，借助5G高速穩(wěn)定的網(wǎng)絡，和強大的邊緣云處理能力，大大提升計算處理時延、減輕終端的重量，讓5G惠及弱勢群體、構建5G無障礙社會。

從技術層面看，要幫盲人“ 看到 ”環(huán)境信息，分為三個過程：信息獲取、信息處理以及聲音編碼映射。其中，技術的難點在于地面檢測、障礙物檢測等環(huán)境信息檢測。這款眼鏡通過雙目攝像頭獲取周圍環(huán)境的立體信息，對獲取到的立體信息進行處理，然后進行特殊的三維立體語音編碼，再將聲音（音樂）信息傳遞給盲人，盲人通過不斷的學習和體驗，會根據(jù)接收到的聲音來判斷周圍環(huán)境信息，從而達到能夠“聽”出世界的感覺。

機器視覺方面，眼鏡采用3個攝像頭，其中一個為普通的彩色攝像頭，主要用于拍攝環(huán)境信息，并用于后期的圖像識別，另還有兩個具有可見光+紅外線夜視功能的深度攝像頭，可以利用雙目視差的原理測量前方物體與用戶的距離。目前智能眼鏡主要功能點是障礙物檢測、通路檢測、臺階檢測、洼坑檢測、樓梯檢測和上下坡檢測，檢測精度達到3CM，同時提供精準定位導航功能。未來會通過軟件更新的形式，增加人臉、紅綠燈、斑馬線識別等功能。

聲音編碼映射方面，由于盲人無法看見，因此通過攝像頭獲得的環(huán)境三維信息必須采用視覺以外的方法傳遞給用戶，而我們所采用的便是聲音。當眼鏡獲得環(huán)境數(shù)據(jù)之后，會進行特殊的三維立體語音編碼，將不同的視覺信息（比如障礙物的類型、方位與距離等）用不同的聲音或不同節(jié)奏的聲音加以一一映射，將聲音信息傳遞給盲人，盲人通過不斷的學習和體驗，會根據(jù)接收到的聲音來判斷周圍環(huán)境信息，從而實現(xiàn)“聽見”世界的目的。

社交距離+疫情區(qū)域助力盲人抗擊疫情

在本次疫情期間，視障人士作為社會弱勢群體更需要得到關愛，5G導盲鏡利用社交距離檢測、疫情區(qū)域預警功能降低視障人士感染的風險，助力盲人有效抗擊疫情。

社交距離預警。在公共場合保持安全距離，是預防病毒傳播的一個通用做法。WHO 倡議人與人應保持至少 3 英尺（0.9 米）的距離，我國則建議保持在 1.5—2 米，來降低感染的風險。通過5G導盲鏡上的雙目攝像頭捕獲實時圖像，利用AI計算機視覺技術對圖像中的路人進行測距，實時測算出盲人與周圍行人的距離，當檢測超出安全距離之后利用5G網(wǎng)絡及時給出提醒。

疫情區(qū)域預警。從疾控中心獲取實時疫情防控地圖，疫情防控地圖中包含發(fā)生疫情的地點經(jīng)緯度，將疫情防控地圖實時更新至5G導盲鏡，通過5G導盲鏡上的定位模組實時獲取的盲人行為軌跡，當盲人行走至疫情嚴重區(qū)域附近，實時對視障人士發(fā)出預警信息，從而避免盲人誤入疫情嚴重區(qū)域。

除此之外，5G導盲鏡還包含以下六大功能點：

障礙物檢測：基于紅外雙目相機，在自然光和結構光的輔助下，進行大尺度立體匹配，獲取稠密深度圖。利用均值漂移算法，計算最近若干個障礙物的距離、方向和尺寸，并映射到立體聲音，視障人士可以根據(jù)聽到的聲音達到避障的效果。

斑馬線檢測：安全地過馬路是盲人群體日常出行的迫切需要。基于條帶提取和聚類的人行橫道檢測算法，被用于盲人在交通路口尋找和定位人行橫道。將人行橫道的位置和方向被識別出來，并轉(zhuǎn)換為提示信息輸出給使用者。

紅路燈檢測：基于顏色提取和機器學習的人行道交通燈檢測算法，能夠?qū)崟r準確地檢測到交通燈在圖像中的位置，并給出交通燈的狀態(tài)。框選交通燈的對應顏色矩形，即為檢測結果，然后將識別結果以聲音方式傳遞給用戶。

精準定位導航：通過利用GPS及5G高密度組網(wǎng)有利于多基站協(xié)作實現(xiàn)高精度定位的特點，并結合圖像處理技術和姿態(tài)角微小移位技術，能夠?qū)⒍ㄎ痪榷x到米級，例如能夠給用戶提醒，超市在左前方17m。

人臉識別：盲人智能視覺輔助中的人臉識別，旨在幫助視障人士感知和識別日常生活場景中出現(xiàn)的朋友、親人等。在視障用戶使用智能視覺輔助設備的過程中，人臉識別系統(tǒng)逐漸采集并學習用戶常遇見的人臉，當識別系統(tǒng)達到足夠的訓練程度時對場景中出現(xiàn)的人臉進行識別，將識別結果以特定的交互方式傳遞給用戶。

紙幣識別：根據(jù)視障人士需求調(diào)研所提供的便利生活的功能設計。現(xiàn)有的紙幣識別方法是根據(jù)RGB—D相機進行深度篩選，用分類器框出檢測到的紙幣區(qū)域，對區(qū)域進行SURF特征點檢測判斷是否存在紙幣以及紙幣面值。該方法可以針對復雜環(huán)境實時提取紙幣區(qū)域并給出紙幣面值，具有較好的魯棒性。

5G導盲鏡通過調(diào)用云端和邊緣端能力使得設備成本更低、重量更輕，將給視覺障礙人士帶來全新的體驗，顛覆視覺輔助行業(yè)。目前已和浙江省殘疾人學校、浙江省盲人學校、杭州市殘聯(lián)深度合作打造盲人社區(qū)。隨著5G網(wǎng)絡覆蓋杭州全城，5G導盲鏡將服務于更多的視障人士。5G讓盲人“看見”世界，讓視障、視弱群體重見光明，幫助他們的生活變得更便利、更美好。