基于助行智能墨鏡的路況分析與算法研究

顏鈺 史婷婷 孫學焱 曹雪萌 逯姝潔

摘要：助行智能墨鏡以視障群體為主要用戶，根據視障人群的切實需要對相關功能進行研究。通過攝像設備對基本道路狀態進行采集，利用卷積神經網絡和動態識別模型訓練建立較為完整的道路情況數據庫，并利用多模塊算法達到動態反饋道路情況的目的。采用OpenCV和Tensorflow相關內容實現多目標追蹤和神經網絡建立的功能。最終在保障產品的實時性和可靠性的同時，實現判斷基本路況和交通標志，引導用戶在行進過程中做出正確的判斷的功能。

關鍵詞：開源計算機視覺庫；多目標跟蹤算法；卷積神經網絡；路徑查詢算法；視障人群

中圖分類號：TP311? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）27-0012-04

開放科學（資源服務）標識碼（OSID）：

我國視障人群基數龐大，且經市場調查研究表明我國視障人群用品行業現如今仍存在市場壁壘，盲道修建成本高以及不文明占用盲道等行為導致視障人群的出行更加困難。存在高成本、低普及的行業痛點。因此，新一代助盲產品的研制就成為視障人群出行的剛需。該項研究意在以保障視障人群的出行安全為主要目的，對系統算法進行研究和實踐，達到實現實時交互路況信息及精準導航等功能，支撐產品框架，優化產品功能，保障信息傳遞的實時性和準確性。

1? 項目設計

該項研究主要以助行智能墨鏡的軟件層面入手，由硬件設備采集圖像信息，利用深度神經網絡建立并完善圖形特征數據庫，訓練系統進行圖像判斷，然后建立距離判斷模型和導航模型。采用多線程同時工作，保障數據的一致性和實時性，在此基礎上利用動態道路數據建立的多層神經網絡模型對物體特征進行提取和判斷，保障系統數據的準確性。

2? 軟件設計

2.1 軟件設計概述

助行智能墨鏡由嵌入式采集傳輸系統和遠程云平臺服務器兩部分構成。通過基本算法對交通工具和交通信號的關鍵特征點進行識別，經過后臺系統的預處理反饋至進行邏輯判斷的算法當中，與數據庫中已保存的車輛和交通信號進行校驗和比對，并進行分類，判斷基本的交通情況，最后將語音信號反饋給用戶。同時，還增設客戶端遠程云平臺作為遠程數據處理中心，并構建GPS衛星數據匹配平臺，結合墨鏡實體硬件，可實時定位并發送用戶安全情況至監護人的手機App中，使得監護人可以隨時掌握用戶動態及用戶安全情況。

2.2 路況判斷程序設計

2.2.1 圖像識別模型的建立

在智能墨鏡識別模塊的開發中，采用Python接口，對機器學習的基礎算法進行調用，使得圖像部分的處理和分析變得更加簡單。對于動態捕捉和動態物體識別，圖像由硬件系統進行I/O傳輸，利用攝像頭發現與跟蹤的定標模式和基本矩陣估計、齊次矩陣估計、立體對應等算法進行物體的運動分析。然后對圖像進行基本的圖像處理，如濾波、邊緣檢測、色彩轉換等，識別和提取圖像特征，利用深度神經網絡相關內容對其進行擬合練習。

識別模型的實現過程中[1]，先將JPG圖像轉換至HSV通道，有效且直觀的數據對所需要的顏色進行描述，在閾值劃分時，使得顏色能夠以色彩、深淺、明暗的方式被區分出來。然后通過inRange函數對圖像進行二值化，使其最終呈現的視覺效果為僅存黑白兩種顏色的圖像。采用模糊算法，對圖像進行模糊化處理，使其過剩的色塊消失，突出所需要識別的主體，之后再進行二值化處理，達到優化識別的目的。以識別交通標識符為例，需要進行閉運算處理，使二值化圖像區域閉合。為應對場景復雜、顏色干擾多的情況，可以采用膨脹和腐蝕的操作對干擾進行去除，即腐蝕圖像中的白色像素塊，以此消除斑點；或使白色像素塊擴張并重新與原來提取的圖像黏合。經調試，基礎交通標志識別圖像如圖1。

出于安全性考慮，還需要對模型進行升級，利用卷積神經網絡，建立擬合模型（詳見2.2.2擬合模型的建立），對交通標識的含義先進行簡單地識別和理解。以交通標志為例，調研后統計常見交通標志并匯集成完善的數據庫，根據數據庫對模型進行訓練，使其更為準確。

2.2.2 擬合模型的建立[2]

利用卷積神經網絡中的Pillow圖像處理庫對所得圖像進行特征提取，然后進行機器學習中的表征學習，采用基于Triplet Loss（三元損失）的ReID方案，做強制模型訓練，使其達到與同類更加相近的目的，計算公式如式（1）。最后，通過所得錨點對該數據庫不斷進行識別和更新操作，實現降低系統誤差的效果。然后在測試數據庫中進行測試和修改，對其正則化處理防止出現過擬合現象，直至其出現擬合現象并具有很好的泛化能力。

[L=max（dx，p-dx，q+m， 0）]? ? ? ? （1）

其中，x是目標點，p是目標相似點，q是目標異常點，m是臨界值，L是擬合度。

2.2.3 距離判斷模型設計

對于距離判斷模型的建立，需要采用系統的距離算法，并將所得數據圖像與已有數據庫中的圖片進行特征匹配，短時間內甄別未知對象特點并輸出結果。應用多目標追蹤MOT算法對車輛進行在線跟蹤。在線跟蹤中的分支多目標跟蹤算法（NOMT）可以部分利用未來幀的信息，通過對當前幀及之前幀的信息對當前情況進行判別。其作用原理如圖2所示。

該程序模塊采用跨鏡追蹤技術（ReID），將先將移動目標進行軌跡檢測及目標特征提取，并使用Deep Sort算法計算目標的特征值，將所建數據庫作為數據來源，并利用多粒度網絡（MGN）進行計算并輸出被追蹤目標的標記，多粒度網絡處理流程圖如圖3所示。將經過處理的數據建立多層神經網絡，其中包括卷積神經網絡層、池化層和全連接層。

馬氏距離法是考慮到各種目標物體特性之間聯系的一種計算兩個未知樣本集相似度的方法，在研究中被用于對比所得樣本與數據庫中車輛樣本是否能夠匹配，排除相互關聯的變量之間的干擾，其公式如式（2）。因為物體運動是具有連續性的，還需設置門限函數，達到對馬氏距離預測結果篩選的目的。門限函數如式（3）。

在多目標跟蹤功能中需要在視頻幀序中進行跨檢測結果的關聯[3]，因此需要對交通工具的運動軌跡和運動過程進行建模，使系統計算出精度和物體運動的速度，考慮到交通工具被短時間遮擋從而產生影響的問題，采用匈牙利指派算法對系統進行數據關聯，預測目標在未來幀的位置并計算其IOU（Intersection over Union），若在短時遮擋結束后，經系統計算為相近物體則IOU偏大，從而使系統能夠更快速地恢復視覺的關聯性，從而減少因車輛被遮擋而產生的不準確問題。

卡爾曼濾波可通過其線性系統狀態方程的特性觀測系統輸入和輸出的數據，對系統最優狀態進行預測和估計，總結了系統輸入和干擾系統正常作用的最小參數集合，排除了系統被不確定因素干擾的隱患，保障用戶在使用過程中系統的穩定性。卡爾曼濾波器算法如式（4）。

[dx，X= （x-μ）T-1（x-y）]? ? ? ? ? ?（2）

其中，X是總樣本，x是未知樣本，μ是樣本均值，[-1（x-y）]是多維隨機變量的協方差矩陣。

[bx，X= （dx，X≤t）]? ? ? ? ? ? ? ? （3）

其中，X是總樣本，x是位置樣本，t是時間閾值。

[Xt=A Xt-1+B Ut+W（t）]

本公式為對卡爾曼濾波器算法中離散控制過程系統的詳細描述，其中，X（t）是t時刻時的系統情況，U（t）是t時刻時對系統的控制量，A和B均為默認的系統參數，在本項目中A和B均為矩陣形式。

[Zt=H Xt+Y（t）]

此為系統的測量值公式，其中Z（t）是t時刻時系統的測量數值，H為測量系統的默認參數，在本項目中為矩陣形式，其余參數表示含義如上。

[Xt|t-1=A Xt-1|t-1+B Ut? ? ? ? ]（4）

此為預測系統未來狀態的公式，其中X（t|t-1）是上一時刻預測系統狀態的結果，X（t-1|t-1）是上一系統狀態的最優結果，U（t）是當前狀態的控制變量，若無控制變量，則為0。

2.3 導航功能程序設計

首先，系統需要具備地理基礎數據，該數據可通過OSM官方下載，為保障地圖數據的實時性，在研究中也可采用與第三方合作的方式[4]優化算法，實現基本的業務邏輯，完善導航功能。在研究中采用Dijkstra算法（即路徑查詢算法）來實現，并應用最短路徑算法計算最優路徑。為減少開發難度，可將此模塊部分借助第三方應用程序編程接口進行實現，利用其地圖數據和算法接口，自行優化算法結構，使其響應速度更快。具體設計思路為：首先將地圖轉換為數字形式，然后將地圖劃分為不同區域的網格，與矩陣的行列一一對應，賦予矩陣中元素不同的值來區分平坦道路和障礙物，通過設定不同的參數來更新和測試數據，最終投入使用。

距離參照數據引例表1所示：

當人與某個障礙物距離等于設定距離時，則對使用者進行提醒，當這個距離小于設定的危險距離時，則發出警報，示意使用者不再前進或者改變路線。當使用者到達有紅綠燈的十字路口時，墨鏡會對使用者發出提醒，如果綠燈秒數小于等于5秒時，則示意使用者等下一個綠燈。

3? 算法的應用及研究

3.1 模糊算法[5]

在道路基本狀況識別系統中，處理數據的方法分為圖像處理和基于傳感器信號進行分析兩種情況。由于圖像處理實時性差且不能靈活應對道路突發狀況，而傳感器信號具有實時采集數據并分析車輛行駛規律及行駛關系的功能，這種方法能做到對路況進行靈活實時識別，因此采用通過傳感器信號進行分析的方法以保障系統的準確性。鑒于路況的多變性、不確定性和傳感器信號與車輛行進規律之前不能準確地使用數學模型進行描述這三種影響因素，以模糊控制理論為主要的理論支持對路況進行基本的判斷。

模糊識別算法是在給定標準庫的情況下，將待識別對象分類到標準庫的方法。本文中標準庫為通過卷積神經網絡已建立完善的物體特征模型。為準確識別對象，采用針對模糊集合的擇近原則，公式如式（5）。

[NAx，B=max1≤x≤n{N（Ay，B）}]? ? ? ? ? ? ? ? （5）

其中，A為已存在的物體特征集合，B為待識別對象，x和y為A集合中的索引角標，n為論域中模糊集的數量，N為元素間的貼合程度。

3.2 Dijkstra算法[6]

為使在導航功能中系統自動選擇最優路徑，研究采用Dijkstra算法對最短路徑進行選擇。由于可能會產生負值圈問題，因此不考慮當權值為負數的情況。算法數據處理思路如下：

在有權的情況下，若[da =∞]則置[da= db+1]；

在無權的情況下，若[da=∞]則置[da= db+ca，b]；

若[da? ！=∞]，則進行如圖4分析：

此時，頂點a的值也應改為頂點b。

在優化算法時需要用到優先隊列，每次提出[da]值的最小頂點，相較于使用遍歷循環來找到其最小的頂點，該方法耗費的時間大幅縮短。在每個頂點對象進行處理后可以通過任意頂點的返回值，最后通過回溯的操作得到反轉的最短路徑。

3.3 基于卷積神經網絡的多目標追蹤功能實現

3.3.1 基于MultiTracker的多目標追蹤[7]

OpenCV中的多目標追蹤器MultiTracker初步實現了對動態多物體的追蹤。因為多對象的跟蹤可以理解為單個追蹤器的集合，所以需要先逐步創建單個對象跟蹤器，給出各個跟蹤器類的名稱，再返回單個跟蹤器對象，最后再對這些追蹤器對應進行集成，建立多跟蹤器類。接下來，需要讀取視頻中的第一幀，在第一幀中使用OpenCV提供的selectROIs函數來確定需要跟蹤的對象，由于在Python版本中selectROI函數只能給定一個邊界框，所以需要編寫循環以實現多目標的選擇。準備工作完成后，初始化MultiTracker，更新MultiTracker并顯示結果。

3.3.2 深度神經網絡多目標追蹤訓練[8]

當把圖片作為數據輸入時，可以用殘差層和檢測層組成檢測模塊，經檢測操作后，得到圖片的坐標與分類；當將殘差層的輸出數據作為輸入數據時，瓶頸層和深度可分卷積層可作為追蹤分支，追蹤物體的平面位置，最終輸出物體的追蹤坐標。

本文針對物體識別提出三種基本情況進行研究：

① 沒有物體消失和出現

基于這種情況，將圖像輸入至深度神經網絡的檢測模塊中，預測當前幀目標的位置，通過分析得到當前物體的坐標。

② 物體被遮擋后出現

基于這種情況，將未遮擋前的圖像與遮擋后的圖像進行特征對比，若其歐氏距離小于閾值，則它們為同一物體；反之，則不是。

③ 新物體出現

基于這種情況，引用目標檢測中常見概念IOU（候選框與物體真值框的交并比），原理如式6：

[IOU= SiSu]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（6）

其中，[Si]為候選框與真值框相交面積，[Su]為候選框與真值框相并面積

經理論研究和具體實踐，得出各項算法參數如表2所示：

4? 產品準確性和實時性難點攻克

為時刻保持數據的實時性和準確性，硬件使用AWR1642單芯片毫米波傳感器，能夠感應到細微的運動，該傳感器的芯片上具有存儲模塊和數字信號處理器，可以用于探測物體運動，在物體運動的捕捉和預測功能上起到了重要的作用。在墨鏡投入使用前，可在Matlab平臺上模擬并加入消除靜態雜波的算法，加深產品對于運動物體的感知能力，進一步提高其準確性。產品研發過程中存在難點，研究將從以下幾方面入手進行優化：

4.1 雷達邊緣的智能化

毫米波可以進行測距和測速的操作，在墨鏡的應用中，它可以反饋項目所需的數據信息。毫米波雷達的傳感器可以獲取安全探測范圍內不同物體的特點。同時，毫米波還能夠探測到微多普勒效應，也就是說，傳感器可以準確接收到來自微小運動的調制效應，保障產品使用的準確性。

4.2 容錯率

智能墨鏡在實際使用中容錯率極低，因此，在實現邊緣智能的同時，還需要微控制器和數字信號處理器（DSP）對所得物體特征進行檢測和分類。毫米波傳感器應使用特殊處理和升級算法來濾除系統錯誤，減少錯誤檢測直至精準。

4.3 數據傳輸[9]

為保證數據的實時推送，采用同步調用的方式，省去數字信號發送請求-應答的方式，簡化數據通信過程，加快數據傳輸速度。在人機交互的過程中信號采集需要與對象的動態性緊密連接，形成動態信號采集-數據輸出的系統，使其滿足T≈ts≤ta（其中T為滯后時間，ta為響應時間）。

在智能墨鏡系統的實時性設計中，應以降低軟件運行時間為主要解決方法，通過后續研究采用高速I/O接口、傳感器的捕獲和比較，最后挑選出運行效果相對較快的方案。

5 項目總結

本研究以深度神經網絡為基礎，完善了多目標追蹤技術和動態識別技術的綜合理論，適用于對行進過程中的物體進行特征識別和距離判斷。以準確率可達99%的德國交通標志識別為例，對研究的識別系統進行優化，解決了產品準確性的問題。此外，使用OpenCV實現機器視覺部分，采用多目標追蹤算法達到同時標記多個物體的目的，保障產品在復雜路況中仍然能夠進行準確判斷。附加導航功能，自動規劃行進路線，提供出行便利，切實解決視障人群出行痛點。

參考文獻：

[1] 言有三.深度學習之圖像識別：核心技術與案例實戰[M].北京：機械工業出版社，2019.

[2] TensorFlow卷積神經網絡之貓狗識別[EB/OL].[2022-03-15]. https：//blog.csdn.net/summer_and_Opencv/article/details/8052 3800.

[3] 孫嘉燚，蒼巖.基于多目標追蹤方法的豬只個體識別算法[J].應用科技，2022，49（2）：75-80.

[4] python調用百度地圖API實現單點沿線軌跡運動[EB/OL].[2022-03-15].https：//blog.csdn.net/qq_15642411/article/details/78712066.

[5] 徐超.車輛行駛環境模糊識別方法的研究與實現[J].電腦知識與技術，2018，14（21）：219-221.

[6] 張超，李欣，趙祥偉.基于改進Dijkstra算法的輸電線路路徑規劃[J].電力勘測設計，2022（2）：1-5.

[7] Satya Mallick.MultiTrcker：Multi Object Tracking using OpenCV[EB/OL].[2022-03-15]. https：//learnopencv.com/multitracker-multiple-object-tracking-using-opencv-c-python.

[8] 溫博閣.基于深度可分離卷積的多目標追蹤神經網絡研究[J].大連交通大學學報，2021，42（5）：111-114.

[9] 廖建尚.物聯網&云平臺高級應用開發[M].北京：電子工業出版社，2017.

【通聯編輯：唐一東】