基于邊緣增強(qiáng)與視差填充的SGBM視覺測(cè)距方法

中圖分類號(hào)：TP391.4;TN911.73 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1671-8755（2025）02-0086-08

Abstract：Because the traditional SGBM（Semi-global Block Matching） stereo matching algorithm does not fully consider the edge contour information，there are holes and noise in the generated parallx map. A parallax filling and noise suppression method based on edge enhancement was proposed to improve the traditional SGBM algorithm.On the basis of using four-direction Sobel operator to enhance the edge information，the least squares interpolation method was used to fillthe holes in the parallx map，and the weighted least squares （WLS） filter was used to further optimize the processing noise，so as to improve thequality and accuracy of the parallax map. Then by performing coordinate mapping of the pixel points of the region of interest extracted by YOLOv5s model，the distance value of the target object was accurately calculated.The experimental results show that compared with the traditional method，the average mismatching rate is reduced by 71.47% ，the target recognition accuracy reaches 93.9% within 200cm ， and the average ranging error rate is only 1.44% . Compared with the traditional method，this method has a great improvement in stereo matching effect and ranging accuracy.

Keywords： Visual ranging method；SGBM algorithm； Edge enhancement； Parallax filing；Noise sup-pression

目標(biāo)物測(cè)距是當(dāng)前計(jì)算機(jī)視覺系統(tǒng)中最為關(guān)鍵的任務(wù)之一，也是無(wú)人機(jī)定位系統(tǒng)、醫(yī)療應(yīng)用等多種實(shí)際場(chǎng)景的基礎(chǔ)[1]。為獲取準(zhǔn)確的距離信息，目前主流方法之一是利用雙目相機(jī)對(duì)采集到的二維圖像進(jìn)行立體匹配[2]

視差圖質(zhì)量會(huì)直接影響立體匹配結(jié)果的精確性。莊培桎等3采用傳統(tǒng)的 SGBM算法進(jìn)行林間樹木與障礙物距離測(cè)量，該方法受到紋理缺乏、光照變化與遮擋的影響，導(dǎo)致視差圖質(zhì)量不高，其魯棒性較差。Han等[4針對(duì)大面積空洞問題提出了將其轉(zhuǎn)化為小面積空洞，并通過加權(quán)最小二乘濾波修復(fù)視差圖，然而該方法可能導(dǎo)致過度平滑化從而喪失微小深度變化，進(jìn)而影響測(cè)距準(zhǔn)確性和細(xì)節(jié)分辨率。Zhang等[5]采用左右一致性（Left-RightConsisten-cy，LRC）方法去除失配點(diǎn)，并使用雙邊濾波填充視差圖中的空洞，但這可能會(huì)導(dǎo)致圖像邊緣模糊或過于平滑從而影響視差圖保留細(xì)節(jié)和準(zhǔn)確性；Chang等[提出了聯(lián)合紋理相似性孔填充（TSHF）、紋理相似性深度增強(qiáng)（TSDE）和旋轉(zhuǎn)建議深度細(xì)化（RCDR）的深度圖像增強(qiáng)系統(tǒng)來(lái)有效抑制噪聲并填補(bǔ)深度空洞，然而該方法增加了算法復(fù)雜度，并且在紋理相似性判斷方面容易受到噪聲等因素干擾導(dǎo)致填充效果不佳。

為提高視差圖還原度和測(cè)距系統(tǒng)的魯棒性與精確性，本文提出一種基于邊緣增強(qiáng)的視差填充與噪聲抑制方法對(duì)SGBM立體匹配算法進(jìn)行改進(jìn)，該方法充分考慮邊緣輪廓信息并對(duì)視差圖進(jìn)行空洞填補(bǔ)與噪聲抑制。最后結(jié)合YOLOv5s目標(biāo)檢測(cè)算法選取檢測(cè)框中心像素為感興趣區(qū)域，并利用改進(jìn)后的SGBM算法進(jìn)行立體匹配以獲得目標(biāo)物體中心像素點(diǎn)處距離值。

1 SGBM算法改進(jìn)

由于傳統(tǒng)的SGBM算法是一種半全局匹配算法，雖然其視差圖質(zhì)量?jī)?yōu)于局部匹配算法，但其未充分考慮圖像邊緣細(xì)節(jié)，且易受弱紋理、光照變化與遮擋等影響，導(dǎo)致其視差圖還原度較低，測(cè)距系統(tǒng)的魯棒性與精度較差。因此，對(duì)SGBM算法進(jìn)行改進(jìn)，

改進(jìn)步驟如下：

步驟1：由于傳統(tǒng)的SGBM算法只考慮水平方向的梯度信息，對(duì)對(duì)角線和垂直方向上的邊緣信息不敏感，因此本文采用改進(jìn)后的四方向Sobel算子[8]增強(qiáng)邊緣信息，抑制高頻噪聲、減少噪聲干擾，提高匹配質(zhì)量。四方向Sobel算子在傳統(tǒng)的Sobel算子基礎(chǔ)上增加了 45^° 與 135^° 兩個(gè)方向，其4個(gè)方向的Sobel算子如圖1所示。

步驟2：結(jié)合視差空洞周圍的視差值，采用最小二乘插值的方法進(jìn)行視差空洞填充。最小二乘插值方法相較于其他插值方法能更好地反映圖像的局部特征，得到更加平滑的深度圖，從而提高深度圖的質(zhì)量和精確度。建立插值二次多項(xiàng)式模型如式（6）所示：

d（x，y）=a₀+a₁x+a₂y+a₃x²+a₄x²+a₅xy

設(shè)視差空洞位置為 （x₀，y₀） ，其周圍 n 個(gè)非零深度值坐標(biāo)為 （x_i，y_i） ，深度值為 d_i ，可以得到方程組如式（7）所示：

將方程組（7）改寫為矩陣形式，如式（8）所示：

使用最小二乘法求解方程組得到待定系數(shù) a₀ ，a₁，a₂，a₃，a₄，a₅ ，進(jìn)而計(jì)算得到空洞像素視差值完成插值填充。

步驟3：在步驟2中采用最小二乘插值得到的視差圖仍存在一些噪聲或過渡平滑的區(qū)域，采用加權(quán)最小二乘濾波進(jìn)行處理，提高視差圖的質(zhì)量和準(zhǔn)確性。其代價(jià)函數(shù)如式（9）所示：

式中： P 為圖像中某點(diǎn)的像素坐標(biāo)； g_p 為輸入圖像 g 中某點(diǎn)的坐標(biāo); u_p 為輸出圖像 u 中某點(diǎn)的坐標(biāo)； λ 為平滑項(xiàng)權(quán)重。

αx，p（g），αy，p（g）分別為平滑權(quán)重系數(shù)，其表達(dá)式如式（10）式（11）所示：

式中： L 為輸入圖像 g 的亮度通道； α 為梯度權(quán)重系數(shù)； ε 為平滑系數(shù)。

改進(jìn)后的算法流程如圖2所示。

為驗(yàn)證改進(jìn)后立體匹配算法的效果，分別利用文獻(xiàn)[10]中的BM算法和傳統(tǒng)的SGBM算法與本文改進(jìn)后的SGBM立體匹配算法對(duì)MiddleBury數(shù)據(jù)集圖像進(jìn)行特征點(diǎn)匹配，得到如圖3所示的視差圖。

引入誤匹配率 R 對(duì)匹配精度進(jìn)行評(píng)價(jià)，表達(dá)式如式（12）所示：

式中： K 為圖像像素?cái)?shù)； d_a（x，y） 為計(jì)算得到的視差圖；db（x，y）為真實(shí)視差圖;σd為誤差閾值，通常取1[]

使用上述評(píng)價(jià)標(biāo)準(zhǔn)對(duì)文獻(xiàn)［10]中的算法、SGBM算法與本文算法進(jìn)行評(píng)估，其結(jié)果如表1所示，

由表1中的誤匹配率分析可知，文獻(xiàn)[10]算法得到的3組視差圖平均誤匹配率為 41.16% ，SGBM算法得到的3組視差圖平均誤匹配率為 28.74% ，本文算法得到的3組視差圖平均誤匹配率為8.20% 。經(jīng)過3種算法的平均誤匹配率對(duì)比可知本文算法相比于文獻(xiàn)［10］算法誤匹配率降低了80.08% ，相比于SGBM算法降低了 71.47% 。本文算法具有更低的誤匹配率。

2 雙目測(cè)距原理

上節(jié)對(duì)SGBM算法進(jìn)行改進(jìn)，為雙目測(cè)距打下了基礎(chǔ)。雙目視覺技術(shù)是仿照人的眼睛，利用左右兩幅圖像的差異，使用標(biāo)定好的相機(jī)參數(shù)，采用立體匹配算法獲取拍攝物體的空間三維信息[12-14]。當(dāng)前主流雙目相機(jī)普遍采用兩個(gè)單目相機(jī)構(gòu)成，并根據(jù)物體在左右相機(jī)成像平面上的像素之差進(jìn)行三維坐標(biāo)還原[15]。雙目成像模型如圖4所示。

在圖4中 P 為待測(cè)距的目標(biāo)對(duì)象， O_l 與 分別為雙目相機(jī)的左右光心， b 表示雙目相機(jī)的基線距離， h 為物體 P 到成像平面的垂直距離，且物體 P 在左成像平面的坐標(biāo)為 X_l ，在右成像平面的坐標(biāo)為X_r，P 和左右相機(jī)光心的連線分別與左右成像平面相交于 P₁ 和 P_r，f 為雙目相機(jī)左右攝像頭的焦距。

由于 ，根據(jù)相似的基本性質(zhì)可得式（13）：

設(shè) d 為 P 物體對(duì)于雙目相機(jī)的視差值，即 d= X_l-X_r ，代入可得式（14）：

3 目標(biāo)物檢測(cè)

3.1 YOLOv5s算法檢測(cè)過程

在對(duì)目標(biāo)物體進(jìn)行測(cè)距之前需要對(duì)其進(jìn)行識(shí)別，經(jīng)過對(duì)檢測(cè)算法進(jìn)行對(duì)比，選擇YOLO算法進(jìn)行目標(biāo)物檢測(cè)。YOLOv5作為一階段目標(biāo)檢測(cè)算法，其結(jié)構(gòu)簡(jiǎn)單、檢測(cè)速度快，相比于YOLOv4結(jié)構(gòu)更加緊湊[16-17]。該算法核心思想是將目標(biāo)檢測(cè)的問題轉(zhuǎn)變成回歸問題，將十字架標(biāo)志的圖像輸人到網(wǎng)絡(luò)中，經(jīng)過特征提取、目標(biāo)檢測(cè)與后處理等操作，獲取目標(biāo)物體的種類、置信度及邊界框的位置等信息。YOLOv5s在YOLOv5模型中綜合能力較為均衡，具有較高的平均檢測(cè)精度和較小的模型內(nèi)存，對(duì)硬件運(yùn)算量要求較小且精度達(dá)標(biāo)。YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)參見文獻(xiàn)[16-17]。

3.2 YOLOv5s模型訓(xùn)練

為進(jìn)行模型訓(xùn)練，創(chuàng)建一個(gè)十字架標(biāo)志的數(shù)據(jù)集。該數(shù)據(jù)集來(lái)源于網(wǎng)絡(luò)和實(shí)際拍攝，共包含1 000 張圖片。將這些圖片按照4：1的比例劃分為訓(xùn)練集與測(cè)試集。對(duì)訓(xùn)練集中的所有圖片使用labelimg工具進(jìn)行標(biāo)注[18]，并將十字架標(biāo)簽命名為“goal”。實(shí)驗(yàn)過程中，預(yù)設(shè)訓(xùn)練次數(shù)為150次，完成訓(xùn)練后，記錄模型的訓(xùn)練結(jié)果如圖5所示。

通過對(duì)各項(xiàng)參數(shù)進(jìn)行觀察，發(fā)現(xiàn)其數(shù)值逐漸趨于穩(wěn)定，曲線也顯示出良好的擬合狀態(tài)。精確度、召回率、平均精確度等指標(biāo)被廣泛應(yīng)用于自標(biāo)檢測(cè)模型的評(píng)估中，這幾項(xiàng)指標(biāo)分別為 0.939，0.980，0.961 。各項(xiàng)指標(biāo)都趨近1，該模型可被應(yīng)用于十字架標(biāo)志的檢測(cè)。

4測(cè)距實(shí)驗(yàn)

4.1實(shí)驗(yàn)平臺(tái)搭建

實(shí)驗(yàn)設(shè)備包括雙目相機(jī)（HBVCAM-4M2214HD-2 ）和計(jì)算機(jī)。IDE為pycharm2021，使用python3.8與Opencv4.4對(duì)圖像進(jìn)行處理，硬件處理器為AMDRyzen 75800H with Radeon Graphics（主頻 3.20GHz ），機(jī)帶RAM為 32GB 。利用該實(shí)驗(yàn)設(shè)備對(duì)目標(biāo)物進(jìn)行圖像采集。雙目相機(jī)的具體參數(shù)為分辨率3840像素 ×1080 像素，視場(chǎng)角 72^° ，焦距 3.6mm ，基線距離 60mm ，尺寸 156mm× 36mm×25mm 。

4.2雙目相機(jī)標(biāo)定與立體校正

相機(jī)標(biāo)定旨在獲取后期校準(zhǔn)與匹配過程中所需的參數(shù)，且標(biāo)定結(jié)果的精度直接影響測(cè)距的準(zhǔn)確性。通過對(duì)比各種標(biāo)定方法的優(yōu)缺點(diǎn)，采用文獻(xiàn)[19-20]提出的棋盤格標(biāo)定法來(lái)獲得雙目相機(jī)的內(nèi)外參數(shù)信息。將拍攝到的棋盤格標(biāo)定板導(dǎo)人MATLAB標(biāo)定工具，并對(duì)每張圖像進(jìn)行角點(diǎn)檢測(cè)[2]，如圖6所示。

為提高標(biāo)定精度，剔除重投影誤差較大的圖片。最終雙目相機(jī)標(biāo)定的平均誤差為0.04個(gè)像素，其結(jié)果如圖7所示，滿足可用精度要求[22]

采用棋盤格標(biāo)定法對(duì)雙目相機(jī)進(jìn)行標(biāo)定后得到雙目相機(jī)參數(shù)信息如表2所示。

為避免實(shí)際項(xiàng)目中由于安裝等原因?qū)е码p目相機(jī)成像平面未處于同一水平線上[23]，通過相機(jī)校正盡可能使空間中任意一點(diǎn)像素處于同一水平線上。使用雙目相機(jī)分別拍攝了校正前和校正后的圖片，校正前后的對(duì)比圖像如圖8所示。

4.3 測(cè)距實(shí)驗(yàn)

為驗(yàn)證本文算法對(duì)測(cè)距精度是否有所提高，將傳統(tǒng)SGBM算法與本文算法分別與YOLOv5s檢測(cè)算法相結(jié)合。選擇檢測(cè)框中心像素點(diǎn)對(duì)應(yīng)在視差圖上的距離值作為十字架標(biāo)志的測(cè)量距離值。

將雙目相機(jī)置于十字架標(biāo)志 130cm 作為初始距離，隨后依次增加 10cm ，共設(shè)置8組距離進(jìn)行測(cè)距實(shí)驗(yàn)，測(cè)距效果圖如圖9所示。

使用相對(duì)誤差 ε 對(duì)測(cè)距精度進(jìn)行評(píng)價(jià)，其表達(dá)式如式（15）所示：

式中： d_l 為距離真實(shí)值； d_r 為距離測(cè)量值。傳統(tǒng)SGBM算法與本文算法的測(cè)距結(jié)果及誤差如表3所示。圖10直觀顯示了兩種方法的誤差。

由表3與圖10對(duì)比可知，傳統(tǒng)SGBM算法測(cè)距的平均相對(duì)誤差為 3.46% ，本文算法測(cè)距的平均相對(duì)誤差率為 1.44% ，與傳統(tǒng)SGBM算法相比，本文算法測(cè)距平均相對(duì)誤差率減小2.02個(gè)百分點(diǎn)。

本文算法絕對(duì)誤差 SGBM算法絕對(duì)誤差本文算法相對(duì)誤差 SGBM算法相對(duì)誤差76 65505433022105542 %/3一0130140150160170180190200真實(shí)距離/cm

當(dāng)十字架標(biāo)志距離雙目相機(jī) 130cm 至 190cm 時(shí)，相對(duì)誤差不超過 2% ，本文算法與傳統(tǒng)SGBM算法相比測(cè)距精度有較大提高，其相對(duì)誤差減小了約三分之二。經(jīng)過分析，當(dāng)雙目相機(jī)與十字架標(biāo)志之間的距離小于 150cm 時(shí)，由于視線遮擋拍不到十字架標(biāo)志的全貌，匹配效果變差，從而導(dǎo)致相對(duì)誤差也較大。在 150cm 至 190cm 的范圍內(nèi)，相對(duì)誤差在0.60% 至 1.89% ，測(cè)距誤差小，可靠性較高。

通過對(duì)十字架標(biāo)志的識(shí)別與測(cè)距，發(fā)現(xiàn)檢測(cè)十字架標(biāo)志的平均準(zhǔn)確率較高，且耗時(shí)較短。表明本文改進(jìn)的SGBM立體匹配算法與YOLOv5s檢測(cè)算法相結(jié)合可以較好地應(yīng)用于目標(biāo)檢測(cè)與測(cè)距系統(tǒng)中。

5結(jié)論

本文針對(duì)傳統(tǒng)SGBM算法在邊緣輪廓信息處理上的不足，提出了一種基于邊緣增強(qiáng)的視差填充與噪聲抑制方法。通過四方向Sobel算子增強(qiáng)邊緣信息，結(jié)合最小二乘插值和加權(quán)最小二乘濾波，有效填補(bǔ)了視差圖中的空洞并抑制了噪聲，顯著提升了視差圖的質(zhì)量。改進(jìn)后的算法在 200cm 范圍內(nèi)的目標(biāo)物識(shí)別準(zhǔn)確率達(dá)到 93.9% ，平均測(cè)距誤差率僅為1.44% ，較傳統(tǒng)SGBM算法在誤匹配率和測(cè)距精度上均有顯著提升。該方法在雙目視覺測(cè)距系統(tǒng)中具有較好的應(yīng)用前景，未來(lái)可進(jìn)一步優(yōu)化算法以適應(yīng)更復(fù)雜的環(huán)境和場(chǎng)景。

參考文獻(xiàn)

[1] DONGL，HANY，HUMH，etal.Stereo matching methodbased on high-precision occlusion-recovering and discontinu-ity-preserving[J].Displays，2023，80：102573.

[2] 趙偉，武帥琦，張意林，等．結(jié)合深度學(xué)習(xí)與雙目視覺的多目標(biāo)障礙物追蹤測(cè)距研究［J]．激光雜志，2023，44（10）：57-64.

[3] 莊培桎，林文樹．基于雙目視覺的林間目標(biāo)測(cè)距系統(tǒng)研究[J]．森林工程，2023，39（5）：111-117，127.

[4] HANXX，CHENQM，MAQY，etal.Depthhole fill-ingand optimizing method based on binocular parallaximage[J].IETControl Theoryamp;Applications，2023，17（15）：2064-2070.

[5] ZHANG YW，GUJ，RAO T，et al.A shape reconstruc-tion and measurement method for spherical hedges usingbinocularvision[J].Frontiersin Plant Science，2022，13：849821.

[6] CHANG TA，LIAO WC，YANGJF. Robust depth en-hancement based on texture and depth consistency[J].IETSignal Processing，2018，12（1）：119-128.

［7］王明吉，陳秋夢(mèng)，任福深．基于雙目視覺的目標(biāo)測(cè)距系統(tǒng)[J].自動(dòng)化與儀器儀表，2022（7）：5-8.

[8] 劉源，夏春蕾．一種基于Sobel算子的帶鋼表面缺陷圖像邊緣檢測(cè)算法［J]．電子測(cè)量技術(shù)，2021，44（3）：138 -143.

［9］王小虎．堆垛紙箱識(shí)別與定位算法設(shè)計(jì)研究［D]．合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2023.

[10］吳雨航.基于雙目相機(jī)的目標(biāo)定位、跟蹤算法研究[D].遼寧錦州：遼寧工業(yè)大學(xué)，2021.

[11］王安，王芳榮，郭柏蒼，等.基于邊緣檢測(cè)的視差圖效果優(yōu)化[J].計(jì)算機(jī)應(yīng)用與軟件，2019，36（7）：236-241.

[12］黃剛．雙目視覺系統(tǒng)實(shí)現(xiàn)羽毛球?qū)崟r(shí)跟蹤[J]．電子測(cè)量與儀器學(xué)報(bào)，2021，35（6）：117-123.

[13] ZHANG L，HAO S K，WANG H S， et al. Safety warningofmine conveyorbelt based on binocular vision[J].Sustainability，2022，14（20）：13276.

[14］張曙，華云松：基于雙目立體視覺的目標(biāo)物定位研究[J].軟件導(dǎo)刊，2018，17（2）：198-201.

[15］廖國(guó)慶，吳文海，曾鑫鵬．YOLOv4與ORB深度融合的絕緣子識(shí)別定位研究［J]．電子測(cè)量與儀器學(xué)報(bào)，2022，36（2）：131-138.

[16］辛佳雯，王睿，謝艷霞，等．基于關(guān)鍵點(diǎn)檢測(cè)的航空發(fā)動(dòng)機(jī)螺栓安裝缺陷自動(dòng)化檢測(cè)方法[J]：儀器儀表學(xué)報(bào)，2023，44（3）：98-106.

[17］陳彥蓉，高刃，吳文歡，等.改進(jìn)YOLOv5的新能源電池集流盤缺陷檢測(cè)方法[J].電子測(cè)量與儀器學(xué)報(bào)，2023，37（5）：58-67.

[18］趙梓杉，桑海峰．基于改進(jìn)的YOLOv5的交通錐標(biāo)檢測(cè)系統(tǒng)[J]．電子測(cè)量與儀器學(xué)報(bào)，2023，37（2）：56 -64.

[19］陳果，花國(guó)祥，俞斌，等．基于雙目視覺的帶電作業(yè)機(jī)器人的目標(biāo)識(shí)別與定位方法研究［J]：國(guó)外電子測(cè)量技術(shù)，2023，42（6）：139-146.

［20］顧浩文，鄒光明，王眾玄，等．基于雙目視覺的紙箱尺寸測(cè)量立體匹配方法研究［J]．電子測(cè)量技術(shù)，2024，47（2）：98-105.

[21］田俊英，伍濟(jì)鋼，趙前程．視覺系統(tǒng)中攝像機(jī)標(biāo)定方法研究現(xiàn)狀及展望[J]．液晶與顯示，2021，36（12）：1674 -1692.

[22］顏麟，曹守啟．基于雙目視覺的無(wú)人補(bǔ)料裝置測(cè)距技術(shù)[J]．上海海洋大學(xué)學(xué)報(bào)，2023，32（5）：1006-1014.

[23］肖楊，高峰，花國(guó)祥．基于雙目視覺的輸電線路防外破系統(tǒng)設(shè)計(jì)［J]．電子測(cè)量技術(shù)，2023，46（16）：1-9.