基于雙目視覺的識別測距系統設計

張潤豪 楊瑞 管艷

摘要：雙目視覺的識別測距主要通過雙目視覺系統模擬人的“雙眼”，從而獲得物體的形狀和距離的遠近。文章提出一種目標識別測距系統，構建卷積神經網絡模型，利用圖像處理技術識別目標以及三角相似原理計算目標距離，最后達到識別和檢測的目的。實驗結果表明，所設計的目標識別測距系統能夠同時保證特定目標的檢測和測距，具有一定的研究意義。

關鍵詞：雙目視覺；識別測距；神經網絡

中圖分類號：TP391.41? 文獻標志碼：A

0 引言

隨著農業自動化的發展，水果的自動化與智能化采摘技術研究已成為當今的研究熱點。然而，水果的采摘方式與其他作物不同，需要進行準確的采摘。因此，依靠雙目視覺實現對目標物的準確識別和定位十分重要。雙目視覺對于危險生產場所的檢測、非接觸產品的質量檢測以及位置隨機移動物體的實時檢測具有重要的研究意義和應用價值［1］。雙目視覺技術還可應用于機械臂、智能家居、智能制造、工業等具有巨大潛力的領域［2］。

其他測距方法測距誤差較大，測量范圍受限，而雙目視覺技術可以在不接觸目標物的情況下識別和定位目標物，還可以估計目標物的深度信息。因此，本文選擇雙目測距法。然而，同時具備目標物識別和測距的系統比較少，不能滿足指定工作的需求［3-5］。

針對上述存在的問題，結合雙目視覺和機器學習等技術［6-9］，本文提出了基于雙目視覺的目標檢測測距方法，設計了一個基于雙目視覺的目標檢測測距系統。該系統能夠實現對目標物的識別和定位，使人們可以利用計算機技術模擬人眼，方便后期的操作。該系統利用卷積神經網絡對物體進行識別，再根據雙目相機測距原理，最后得到目標與攝像頭之間的距離，從而最終實現定位。

1 雙目視覺系統

雙目系統主要由兩款相同的攝像頭組成，保持在同一個水平面上，并共享一個共同的觀察區。距離測量是用三角數學方法進行的。測距的原理如圖1所示。

2 雙目相機標定

2.1 相機標定

雙目相機中內部和外部參數和畸變參數的精度直接影響后續測量的精度。因此，文章選用了具有精度高、操作方便的張正友標定法。本文自制一個黑白棋盤，并將其固定在一個紙板上，如圖4所示。首先，使用雙目相機在不同的位置和角度拍攝大約30幅棋盤圖像。其次，將圖像分別導入MATLAB進行檢測校正。最后，經過計算和分析，利用棋盤校準板獲得左右相機內部和外部參數及其位置的三維視圖。標定結果如圖5所示。

2.2 立體校正

把實際中非共面行對準的兩幅圖像，校正成共面行對準，提高匹配搜索的效率。將消除畸變后的兩幅圖像嚴格地對應，利用極線約束使得兩幅圖像的對極線恰好在同一水平線上，這樣一幅圖像上任意一點與其在另一幅圖像上的對應點就必然具有相同的行號，只需在該行進行一維搜索即可匹配到對應點。根據攝像頭標定后獲得的雙目相對位置對左右視圖進行消除畸變和行對準，如圖6所示。

2.3 立體匹配

立體匹配主要計算視差。基于雙目測距原理的分析使得可以通過計算由左右攝像機拍攝的每個圖像相應點的視差來獲得關于圖像深度的信息。雙目立體視覺的三維重建過程中，需要通過立體匹配算法進行視差圖的計算得到左右兩幅圖像的視差值，進而計算深度以恢復場景的三維信息。要計算左右視圖中三維場景中目標點生成的視差，左右視圖中的兩個對應像點必須與該點匹配。然而，協調二維空間中的對應點需要很長時間才能縮小適當的搜索范圍，需要進行雙目相機的立體校正，將二維上的匹配搜索降低到一維。立體匹配后，得到的視差圖如圖7所示。

3 圖像識別定位測距

3.1 數據標注和圖片訓練

數據標注是處理原始語音、圖像、文本、視頻和其他數據并將其轉換為機器可讀信息的過程。機器無法識別和研究未標記的原始數據。原始數據只有經過標注處理成為結構化數據后才能被算法訓練所使用。整個數據標注的過程如下：首先，將要標注的物體制作成數據集，并且圖片越多越好，如果樣本過少，模型訓練和預測都會受到影響，非常容易欠擬合；其次，通過Labelme工具進行標注，如圖8所示；最后，將數據集分為訓練集、驗證集和測試集。數據標注完成后，需要對標注的數據集圖片進行訓練，圖片訓練完成后，可以看到訓練好的模型的權重和PR Curve 曲線、Confusion Matrix （混淆矩陣）等訓練過程數據。然后可以用訓練的模型進行測試，配合雙目攝像頭，可以實現對特定物體的實時識別，如圖9所示。

3.2 雙目識別測距

雙目相機的工作方式與人眼相同。人眼感知物體距離的能力基于兩只眼睛在同一物體上呈現的圖像差異，也稱為視差。把物體識別和雙目測距結合在一起，融合了卷積神經網絡，不僅能夠對物體進行識別，還能夠進行測距。本文通過深度學習技術與傳統算法的結合，利用雙目相機實現了物體的精準測距。

通過網絡框的置信度確定識別的準確度，計算表達式為：

Pr（object）×IOUtruthpred（9）

IOUtruthpred=area（BBdt∩BBgt）area（BBdt∪BBgt）（10）

Pr（object）為訓練樣本的概率；BBgt為物體標簽的可行度，BBdt分為網絡預測的可信度；area為面積函數。測距效果如圖10所示。

4 結語

在目標識別的基礎上，建立雙目系統，開發并實? 施基于雙目視覺和機器學習的識別和定位系統。該系統已被證明具有一定的精度和穩定性。通過對雙目距離原理的研究，本文開發了一種基于雙目視覺的目標測距和檢測系統，通過收集圖像、校準相機、處理圖像并進行比較，最后進行目標測試。實驗表明，目標測距和檢測系統具有良好的精度和可行性。下一步，筆者將繼續深入研究、分析和提高雙目視覺，消除系統測量的準確性和可靠性，研究雙目視覺在智能制造設備和相關智能場景中的應用。

參考文獻

［1］任慧娟，金守峰，程云飛，等.面向分揀機器人的多目標視覺識別定位方法［J］.機械與電子，2019（12）：64-68.

［2］趙剛，郭曉康，劉德政，等.隨機工件的點云場景CAD模型的快速識別與定位［J］.激光與紅外，2019（12）：1490-1496.

［3］柴鈺，許繼科.基于機器視覺的目標識別與定位系統［J］.計算機工程與設計，2019（12）：3557-3562.

［4］連黎明.基于多信息融合的移動機器人定位算法［J］.西南師范大學學報（自然科學版），2019（9）：89-95.

［5］蔣萌，王堯堯，陳柏.基于雙目視覺的目標識別與定位研究［J］.機電工程，2018（4）：414-419.

［6］王德海，洪偉，程群哲.基于雙目立體視覺的目標識別與定位［J］.吉林大學學報（信息科學版），2016（2）：289-295.

［7］高如新，王俊孟.基于雙目視覺的目標識別與定位［J］.河南理工大學學報（自然科學版），2014（4）：495-500.

［8］袁小平，張毅，張俠，等.基于改進FAST檢測的ORB特征匹配算法［J］.科學技術與工程，2019（21）：233-238.

［9］BOYKOV Y，VEKSLER O，ZABIH R. Fast approximate energy minimization via graph cuts［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2001（11）：1222-1239.

（編輯 王雪芬）

Design of recognition and ranging system based on binocular vision

Zhang? Runhao， Yang? Rui， Guan? Yan

（School of Computer Science， Xijing University， Shaanxi 710123， China）

Abstract： The recognition and ranging of binocular vision mainly uses a binocular vision system to simulate the “eyes” of humans， thereby obtaining the shape of objects and the distance between them. This paper proposes a target recognition and ranging system， constructs a convolutional neural network model， uses image processing technology to identify the target， and calculates the target distance based on the triangular similarity principle， finally achieving recognition and detection. Experimental results show that the designed target recognition and ranging system can simultaneously ensure the detection and ranging of specific targets， which has certain research significance.

Key words： binocular vision; recognition ranging; neural network