基于三分量自主意識UAV路面遙感圖像拼接算法

摘要：針對在檢測過程中需要高分辨率的全景圖像分析路面病害特征參數(shù)的問題，提出了一種具有三分量（3c）動態(tài)自主意識的遙感路面病害圖像拼接算法。基于目標(biāo)識別、主動立體視覺確定UAV系統(tǒng)在三維結(jié)構(gòu)中的自主意識；采用增量搜索策略基于幾何約束將SIFT點特征三角化；結(jié)合PNP—RANSAC算法找到最佳匹配面進(jìn)行誤匹配剔除；利用三角函數(shù)理論對圖像進(jìn)行融合。實現(xiàn)對長線程病害路面圖像數(shù)據(jù)集的快速準(zhǔn)確拼接。特征搜索時間平均為未使用增量搜索策略的43.45%，拼接準(zhǔn)確率在88%以上。實驗數(shù)據(jù)表明，基于三分量自主意識的UAV路面遙感圖像拼接系統(tǒng)可以有效地應(yīng)對長線程路面病害圖像。

關(guān)鍵詞：機器視覺；重投影；特征匹配；幾何約束；圖像拼接

中圖分類號：TP311.51文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2023）01-052-0309-06

doi：10.19734/j.issn.1001-3695.2022.04.0210

Stitching algorithm of UAV pavement remote sensing image with

three-component autonomy consciousness

Gao Mingxing，F(xiàn)eng Shuangda，Zhao Ting，Guo Min

（College of Energy amp; Transportation Engineering，Inner Mongolia Agricultural University，Hohhot 010018，China）

Abstract：This paper presented a remote sensing image mosaic algorithm for pavement diseases.There was a dynamic sensed of autonomy in its three components（3c）.The algorithm solved a problem in the detection process，which needed to paramete-rize the pavement disease information with high-resolution panoramic images.This paper determined the autonomous consciousness of the UAV system in a three-dimensional structure based on target detection and stereo active vision，used an incremental search strategy to triangulate SIFT point features based on geometric constraints，combined the PNP-RANSAC algorithm to find the best matching surface for eliminating the wrong matching and used trigonometric function theory to fuse the images.It realized the fast and accurate splicing of long-thread data sets of diseased pavement.The average feature search time is 43.45% of that without the incremental search strategy，and the stitching accuracy is over 88%.The experimental data show that the three-component autonomous awareness-based UAV pavement remote sensing image stitching system can effectively cope with long-lane pavement distress images.

Key words：machine vision；re-projection；feature matching；geometric constraint；image stitching

0引言

隨著國內(nèi)基礎(chǔ)建設(shè)的完善，截止2021年底全國公路總里程達(dá)到528.07萬千米，公路養(yǎng)護(hù)里程525.16萬千米，占公路總里程比重為99.4%［1］。在不同溫度、雨水和行駛車輛等影響下，很容易使路面產(chǎn)生橫縱裂縫進(jìn)一步導(dǎo)致骨料破損脫落、形成坑槽、表面破損等嚴(yán)重病害［2，3］。如不及時養(yǎng)護(hù)治理，必將影響正常的道路通行甚至引發(fā)交通安全事故，造成經(jīng)濟(jì)損失和人員傷亡。而路面檢測是道路養(yǎng)護(hù)的重要前期工作。傳統(tǒng)基于人工視覺的公路養(yǎng)護(hù)檢測方式因其成本高、精度低、影響交通、作業(yè)危險等特點越來越不能適應(yīng)公路養(yǎng)護(hù)快速發(fā)展的需求［4，5］。隨著數(shù)字圖像軟硬件技術(shù)的發(fā)展，利用數(shù)字圖像對路面病害的檢測成為有效的檢測手段［6～10］。檢測車上攜帶的高速相機動態(tài)下拍攝的路面圖像受車速、光照、道路平整度、病害狀況等的影響產(chǎn)生運動模糊，逐幀連續(xù)采集的路面圖像中，絕大部分單幀圖像包含的道路病害區(qū)域并不完整，大量病害（如裂縫）分布在三幀以上的圖像，且相鄰兩幀圖像間存在不同程度的重疊，這些單幀病害圖像的模糊形變、殘缺和重疊嚴(yán)重影響了道路病害評估的識別效率和準(zhǔn)確率，另外目前常見的一些路面病害圖像處理算法，其檢測數(shù)據(jù)集多為局部病害圖像，檢測到的內(nèi)容大多完整性不佳，未能實現(xiàn)單一病害的全局性識別。因此所檢測到的病害參數(shù)誤差較大，制約了公路養(yǎng)護(hù)工作的順利實施。高分辨率的全景圖有較清晰的紋理特征，這可能有助于對路面破損的多尺度和一體化分析。然而由于成像原理的限制，通常很難獲得高分辨率的單幀圖像來觀察大物理尺寸的整個樣本［11］，一種常見的解決辦法是將具有重疊區(qū)域的幾個局部子圖進(jìn)行拼接以形成完整復(fù)合區(qū)域的策略對局部病害內(nèi)容全局化［12］。相比多功能檢測技術(shù)，無人機信息采集系統(tǒng)具有檢測范圍廣、不受交通環(huán)境影響、效率高等優(yōu)點［13，14］。本文旨在開發(fā)一種便攜式無人機路面圖像全景檢測技術(shù)，該方法采用可為道路病害自動化檢測識別提供大視野、寬視角、無明顯接縫的全景圖像，可提高道路病害自動化檢測的完整性、精度和效率，為道路病害的準(zhǔn)確識別分析提供理論支撐，補充和完善了公路養(yǎng)護(hù)檢測系統(tǒng)。

在拼接過程中存在著一些挑戰(zhàn)，如實際實驗中沒有靜態(tài)的拍攝環(huán)境和路徑［15～18］，所以拼接策略應(yīng)能自適應(yīng)任何情況。另外由于路面破損圖像分析時通常需要高分辨率的圖像，這也增加了對拼接策略耗時的要求；高分辨率的子圖像中分布著不同的細(xì)小結(jié)構(gòu)這增加了對拼接策略魯棒性的要求；并且現(xiàn)有的圖像采集設(shè)備光心在長距離的移動中會產(chǎn)生大量的尺度變化和旋轉(zhuǎn)變換，通常采集到的圖像使用現(xiàn)有算法無法精準(zhǔn)地進(jìn)行拼接［19］。所以圖像拼接系統(tǒng)技術(shù)的深入研究有著重要的現(xiàn)實意義。

目前拼接軟件分為基于特征搜索和基于相位相關(guān)方法［20］兩類。基于特征搜索的方法可以獲得高精度的不變特征參數(shù)如SIFT［21～23］、SURF［16，24，25］、ORB［26］。使用特征檢測算法對圖像的噪聲不變性、尺度不變性、位移不變性和旋轉(zhuǎn)不變性進(jìn)行評價得到的效果顯示這幾種檢測特征點的方法魯棒性很好。但由于高分辨率路面病害結(jié)構(gòu)的復(fù)雜性，使得這些方法中的大多數(shù)算法均可以提取成千上萬的特征匹配點，這可能導(dǎo)致時間的消耗和沉重的計算負(fù)擔(dān)，從而無法直接應(yīng)用于一些試圖對圖像信息進(jìn)行實時采樣的工作中［18］。以減少特征區(qū)域內(nèi)特征點的搜索來減少匹配時間消耗，會不可避免地丟失掉路面病害圖像的特征信息［16］。對于應(yīng)用相位相關(guān)方法的拼接算法，可以通過快速傅里葉變換來實現(xiàn)實時拼接［20］，但當(dāng)圖像中的內(nèi)容多為類似結(jié)構(gòu)時這種方法會導(dǎo)致拼接圖像的模糊，并且拼接精度低。對于圖像拼接技術(shù)的研究，存在以AutoStitch為代表的全局對齊策略，適合沒有視差或者視差極小的場景［14］；以APAP為代表的局部單應(yīng)性矩陣，有效地實現(xiàn)輸入圖像的對齊，但是在拼接時間消耗上大大增加［27］。DFW（dual-feature warping）將線特征與點特征相結(jié)合，為匹配特征的選擇提供了新的思路［28］。此外也有一些算法對如何降低圖像拼接的損耗時間進(jìn)行了深入的探究［11，16］。本文針對于路面遙感圖像提出了一種具有三維認(rèn)知的圖像拼接算法，使得拼接系統(tǒng)具有旋轉(zhuǎn)不變性、尺度不變性、平移不變性，解決了長距離光心變化產(chǎn)生的偏移對路面遙感圖像拼接帶來的影響，提高了拼接策略的準(zhǔn)確性和實時性。

1三維分量自主意識和增量搜索策略

1.1方法

傳統(tǒng)的圖像拼接軟件對于長線程數(shù)據(jù)集的拼接不魯棒。為了解決這類問題，本文方法使用了在三維世界坐標(biāo)系內(nèi)具有三分量自主意識的圖像采集傳感系統(tǒng)，應(yīng)用增量搜索策略、幾何約束、PNP-RANSAC、重投影等算法進(jìn)行特征平面匹配，提高無人機遙感路面圖像拼接的魯棒性。長線程路面圖像拼接流程如圖1所示，具體步驟如下：a）需要采集高分辨率的連續(xù)子圖，確定三分量自主意識動態(tài)模型；b）使用增量搜索策略尋找特征點，進(jìn)行圖像的匹配。利用三角函數(shù)理論對圖像進(jìn)行融合。

1.2圖像采集和確定動態(tài)模型

為了獲取能夠準(zhǔn)確拼接出二維路面全景圖的局部子圖像，算法首先對攝像機進(jìn)行校準(zhǔn)，以確保攝像機采集圖像的實際物理信息沒有失真［29～33］。研究中采用了基于OpenCV相機校準(zhǔn)工具箱（張正友標(biāo)定法）。在校準(zhǔn)中使用了標(biāo)準(zhǔn)的棋盤圖案目標(biāo)共36張照片。另外需要注意的是，溫度變化會導(dǎo)致攝像機校準(zhǔn)出現(xiàn)誤差［34］，建議溫度變化超過10℃時重新校準(zhǔn)攝像機參數(shù)。

雖然無人機可以穩(wěn)定地懸停在空中，并允許高質(zhì)量的圖像捕捉和穩(wěn)健的目標(biāo)識別，但仍然會存在輕微的漂移，這會在圖像全局拼接的應(yīng)用中引入重大誤差。為了消除云臺漂移引起的誤差，UAV系統(tǒng)需要在三個方向上有自我意識。數(shù)據(jù)采集設(shè)備采用DJ mini2進(jìn)行測試，光學(xué)（RGB）傳感器（1/2.3英寸CMOS），具有滾動快門，能夠以30 fps捕捉3840×2160像素，等效焦距為24 mm。相機的水平角FOV為83°。

經(jīng)校準(zhǔn)的光學(xué)傳感器需記錄特征在像素坐標(biāo)系上的尺度。圖2（a）中人為給定一個世界坐標(biāo)參照點陣，點陣中每一個紅色點的相對位置已知。圖像從RGB轉(zhuǎn)換為HSV顏色模型，使用HSV顏色模型進(jìn)行顏色識別。通過文獻(xiàn)［35］中開發(fā)的輪廓檢測器找到二進(jìn)制圖像中的輪廓，對輪廓內(nèi)的像素位置取平均值來估計中心（圖2（b））。根據(jù)點陣的坐標(biāo)結(jié)合點陣中心點和矩形的角度可以判斷首張圖像的失真率P失真，獲取關(guān)鍵幀的特征地圖。

P失真=∑4i=118|li-l真|l真+|90°-θi|90°（1）

其中：li表示點陣中心到點陣邊緣點的像素距離單位為pixel。l真為無人機高度一定的情況下獲取的未失真的長度單位為pixel，θi為點陣圍成矩形的內(nèi)角。通過顏色濾鏡獲取的特征坐標(biāo)可以計算出攝像機的深度值Hx，Hy。

（Hx，Hy）=（X/fx，X/fy）（2）

其中：fx、fy為相機內(nèi)參；X、Y為實際的點陣的幾何尺寸，單位為mm。另外根據(jù)點陣的參數(shù)有f（x，y）圖像坐標(biāo)，F(xiàn)（X，Y，Z）為世界坐標(biāo)（相機坐標(biāo)系與世界坐標(biāo)系重合），假設(shè)采集到的圖像未失真，則有世界坐標(biāo)系內(nèi)的物體幾何尺度與圖像坐標(biāo)系內(nèi)的比值為

e=xX=yY（3）

由式（3）可以獲取2c平面內(nèi)的物體尺度情況。為了進(jìn)一步驗證2c平面內(nèi)路面相對于相機視野之間的旋轉(zhuǎn)。認(rèn)為路面整體為靜止參照直線，需對關(guān)鍵幀旋轉(zhuǎn)矯正如圖3所示，k為霍夫直線的斜率。

θ=arctan（k）×57.29577（4）

在數(shù)據(jù)采集過程中采集路線嚴(yán)格按圖4，路面相對于圖像的旋轉(zhuǎn)角度不超過10°當(dāng)超過這個角度時認(rèn)為采集到的圖像不符合拼接要求進(jìn)行剔除。保證采集的子圖像具有40%～70%的重疊區(qū)域。另外在采集的圖像中會存在路面邊緣分割不明顯，路邊障礙物陰影干擾等復(fù)雜工況，為確保后續(xù)算法能在這些復(fù)雜場景中正確檢測，需要定義一個感興趣區(qū)域。圖4用陰影區(qū)域標(biāo)出。

1.3增量搜索

增量搜索策略流程如圖5所示。

假設(shè)使用f1（x，y）、f2（x，y）來表示連續(xù)的兩張待拼接圖像。存在三個參數(shù)會影響本文算法的運行，分別是局部搜索方向、增量搜索參數(shù)和特征搜索區(qū)域長度。局部搜索方向是指兩個連續(xù)子圖的拼接方向。假設(shè)當(dāng)局部搜索方向為0時代表第一張圖在第二張圖的上方，1代表第一張圖在第二張圖的左側(cè)，當(dāng)方向為2時代表第一張圖在第二張圖的下側(cè)，3代表第一張圖在第二張圖的右側(cè)。第二個參數(shù)增量搜索參數(shù)設(shè)定為-1，0，1，其控制下一個局部拼接方向，用LSDprevious（local search direction）來代表前一張圖的局部搜索方向，用LSDnext來代表下一張圖的局部搜索方向。如果增量參數(shù)為0，那么下一個局部搜索方向與前一個搜索方向相同，如果增量搜索參數(shù)為1或-1，那么分別將上一個局部搜索方向做順時針90°或者逆時針90°旋轉(zhuǎn)處理來得到下一個局部搜索方向。此參數(shù)的運算公式為

LSDnext=（LSDprevious-增量搜索參數(shù)）%4（5）

當(dāng)算法在某些局部方向上找不到正確的結(jié)果時，更新局部方向。其中：%表示取余數(shù)。

第三個參數(shù)是特征搜索長度，為了提高拼接過程中的特征搜索速度，認(rèn)為拼接任務(wù)只需要圖像的局部區(qū)域來比較相似度，不需要計算兩幅圖像的所有信息。因此特征搜索長度是控制特征搜索區(qū)域的關(guān)鍵參數(shù)，它將被初始為一個相對小的值，本文取（40%）并可以自主循環(huán)。如果算法找到了正確結(jié)果，那么繼續(xù)以原來的路徑運算，如果特征搜索長度超過相應(yīng)邊緣的80%并且算法依然沒有找到正確的特征匹配點進(jìn)行圖像拼接，假設(shè)這兩張連續(xù)的子圖不能拼接。如果匹配正確，則記錄偏移量；如果匹配不正確算法報告這兩張連續(xù)的圖像不能拼接。可以通過使用定義的局部搜索方向和增量搜索參數(shù)的默認(rèn)值來找到正確的拼接結(jié)果路徑。另外可以輸入這些參數(shù)讓算法根據(jù)不同的拍攝路徑來改變特征搜索長度的增量搜索方向，減少搜索次數(shù)來加快算法的運行速度。通過增量搜索策略，算法僅僅需要部分圖像來計算偏移量和匹配量，因此它將節(jié)省計算機資源的消耗，并提高拼接任務(wù)的速度。為了實現(xiàn)圖像的高精度拼接選用SIFT算法來獲取圖像特征點。

1.4圖像校正和匹配

增量搜索機制需要算法自動檢測失配，用于局部搜索方向的轉(zhuǎn)換。傳統(tǒng)的誤匹配操作無法直接實現(xiàn)這一步，使用單應(yīng)性矩陣和RANSAC［36］不能有效地檢測失配，因此建立了一種適合增量搜索策略的匹配方法。基于1.2節(jié)無法保證光學(xué)傳感器采集圖像的所有轉(zhuǎn)換只是平移，其中由于采集云臺的漂移運動會存在不同程度的旋轉(zhuǎn)和振蕩，算法需要自動對匹配幀進(jìn)行縮放、旋轉(zhuǎn)和平移。以1.2節(jié)獲取的關(guān)鍵幀為參照圖像對后續(xù)子圖記錄特征點三維空間的平移、旋轉(zhuǎn)（yaw、roll、pitch）、尺度變化，通過特征點幾何約束、PNP-RANSAC算法計算特征點2D到3D的對應(yīng)關(guān)系。通過SIFT算法檢測到的特征點具有尺度、旋轉(zhuǎn)、噪聲和位移不變性，并認(rèn)為興趣點位置通常僅在0～3像素內(nèi)是準(zhǔn)確的［36］。相機繞其光學(xué)中心發(fā)生旋轉(zhuǎn)和平移，圖像在成像平面坐標(biāo)系內(nèi)存在三種狀況，分別是平面相交、平面平行和平面的重合。只經(jīng)過簡單的RANSAC誤匹配剔除，會損失掉大量的特征點，直接進(jìn)行單應(yīng)性變換使得拼接圖像存在變形和重影，不利于長線程獲取數(shù)據(jù)集的拼接。因此在此基礎(chǔ)上加入了幾何約束項。認(rèn)為匹配圖像的特征三角化后對應(yīng)尺度（角度、邊長）相等時，為準(zhǔn)確匹配。采用K近鄰方法獲取最佳匹配點對后，可以獲取匹配特征點在圖像的位置坐標(biāo)。1.2節(jié)提取的關(guān)鍵幀特征地圖為參照，選取非共線的三點進(jìn)行三角化，并計算出每個點基于像素坐標(biāo)原點的單位向量，和相鄰兩點間的相對距離，因此可以獲得成百上千組匹配三角形，算法首先會根據(jù)匹配三角形之間的比例關(guān)系對輸入的第二張圖像進(jìn)行判定，如果一一配對的三角形全等（本文定義為穩(wěn)定方差不超過閾值），認(rèn)為輸入的第二張圖像與第一張圖像完整匹配，如果一一配對的三角形存在一定的相似比例k（k≠1）時，認(rèn)為輸入的第二張圖像相對于參照圖像在采集過程中發(fā)生了振蕩變換，根據(jù)相似三角形法則對第二張圖進(jìn)行重投影后再進(jìn)行平移參量的記錄，否則兩張圖像在采集時存在徑向旋轉(zhuǎn)，需要計算一組透射投影矩陣。假設(shè)UW為場景內(nèi)的一點，其齊次坐標(biāo)為［XYZ1］T，其在參照幀和匹配幀的特征點坐標(biāo)向量分別為u0、u1，定義相機坐標(biāo)系與世界坐標(biāo)系重合，u1為相機的光心進(jìn)行平移旋轉(zhuǎn)后投影在成像平面上（匹配幀圖像坐標(biāo)）。有如下關(guān)系：

Zu0=［K|0］XYZ1，Z1u1=［K［R|T］］XYZ1（6）

其中：Z1=RXYZ-RT3，（·）3表示向量的第三個分量；因此通過像點透射平面繞世界坐標(biāo)的旋轉(zhuǎn)角度αβγ，焦距F相機精度dx和相機初始高度Z來參數(shù)化每個相機。這里給出了點對之間的透射旋轉(zhuǎn)變換：

u1=Z1Z0mtx［R|T］mtx-1u0（7）

其中：mtx=fx0u00fyv0001，T=txtytz（8）

R=Rx（α）Ry（β）Rz（γ）（9）

其中：mtx為相機內(nèi)參矩陣；［RT］為相機姿態(tài)旋轉(zhuǎn)平移矩陣。根據(jù)旋轉(zhuǎn)平移矩陣可以估計攝像機在拍攝過程中的位姿變化，當(dāng)以關(guān)鍵幀的特征點標(biāo)定世界坐標(biāo)后，應(yīng)用PNP_RANSAC算法可以有效地計算出第二幀圖像在拍攝的過程中相機發(fā)生的旋轉(zhuǎn)平移變化矩陣［RT］，從而計算出圖像像素坐標(biāo)對應(yīng)的世界坐標(biāo)點，并對其進(jìn)行重投影來獲取校正后的圖像。圖6假設(shè)將相機從O0平移到O1進(jìn)行拍攝，得到圖像所在平面I′1。則I′1的圖像平面與I0平面會重合，只要將平面I1重投影到I′1就可以將具有切向變形的圖像校正，即有單應(yīng)性矩陣：

M=mtxR1mtx-1（10）

其中：R1為I′1到I1的旋轉(zhuǎn)矩陣。

圖6重投影使得兩個不同視點的兩個視平面I′1‖I0

Fig.6Reprojection makes two planes of view I′1‖I0 from two different viewpoints

為了減少重投影的誤差需應(yīng)用特征點三角化對特征點的匹配進(jìn)行回環(huán)檢測。然后對所有圖像n進(jìn)行變換后，再對其進(jìn)行幾何約束項的特征點篩選，這可以保證高精度的圖像匹配。圖7以Brute-Force模型為篩選模型的特征點匹配存在大量的誤匹配點，且匹配點的坐標(biāo)會出現(xiàn)極大的不對應(yīng)，以RANSAC模型為篩選模型的特征點匹配，雖然有所改善，但是由于RANSAC是先隨機選取最小抽樣集作為內(nèi)點計算，這取決于閾值的設(shè)定，所以會將大量的特征匹配點作為局域外點剔除，造成匹配不均勻，在后續(xù)的拼接過程中造成局部損失，以R幾何約束模型為篩選模型的特征點匹配獲取的特征點對，雖然在數(shù)量上有所減少，但是在均勻分布和匹配的過程中效果顯著。并且應(yīng)用幾何約束項可以判斷出待匹配圖像與參照圖像之間的豎向旋轉(zhuǎn)和尺度變化關(guān)系，有利于后期路面圖像的拼接。

經(jīng)過旋轉(zhuǎn)和尺度校正后的圖像可以進(jìn)行平移量的計算如圖8所示，圖中黃色虛線和藍(lán)色虛線分別表示重疊區(qū)域的左右邊界，圖中的局部特征搜索方向為1（見2.3節(jié)）。假設(shè)第一張圖的左右寬度為N1，特征點為o點。可以確定o點在第一張圖的坐標(biāo)為f（x1，y1），o點在第二張圖中的位置為f（x2，y2），因此可以計算特征點o的偏移量為（（n1-x1+x2），（y2-y1））。當(dāng)算法正確匹配時會記錄這個偏移值。可以得到大量的偏移數(shù)據(jù)。篩選出這些數(shù)據(jù)中最常出現(xiàn)的值，這些模量超過閾值（本文設(shè)置為10），算法將承認(rèn)這個偏移量是正確的，并判斷是否改變局部搜索方向。

1.5圖像融合

拼接過程中存在重疊區(qū)域，由于成像原理的限制，現(xiàn)在的圖像采集硬件設(shè)備普遍存在邊緣亮度低于中心區(qū)域。這很容易導(dǎo)致拼接結(jié)果存在明顯的拼接縫。本文使用三角函數(shù)算法［37］來融合兩個重疊區(qū)域，為了消除拼接縫線，認(rèn)為f1（x，y）和f2（x，y）分別表示兩個連續(xù)的局部子圖像f（x，y）表示融合結(jié)果，每個像素的定義值可以由下式給出：

f（x，y）=f1（x，y）x，y∈f1

w1f1（x，y）+w2f2（x，y）x，y∈（f1∩f2）

f2（x，y）x，y∈f2（11）

其中w1=cos2π×（x-xleft）2×（xright-xleft），w2=sin2π×（xright-x）2×（xright-xleft）

或w1=cos2π×（y-yupper）2×（ybottom-yupper），w2=sin2π×（ybottom-y）2×（ybottom-yupper）

其中：yupper、ybottom、xright、xleft分別表示圖像的上邊緣下邊緣右邊緣和左邊緣，融合后的結(jié)果如圖9所示，表明三角函數(shù)融合算法可以明顯地消除拼接縫線。

2實驗結(jié)果及分析

本算法基于Python語言編程完成，開發(fā)環(huán)境PyCharm 2021，計算機CPU為Intel Core i5 7th Gen，內(nèi)存16 GB。選取具有典型路面病害特征的公路采集圖像，采集設(shè)備可參考2.2節(jié)，圖像處理軟件為自主研發(fā)，為了能有效證明算法的可靠性和準(zhǔn)確性。共選取398張不同路面紋理結(jié)構(gòu)的圖像對本文拼接算法的準(zhǔn)確性進(jìn)行檢驗。首先對圖像采集系統(tǒng)透視旋轉(zhuǎn)變換的準(zhǔn)確性進(jìn)行分析，然后通過特征搜索策略的對比，分析增量搜索策略時間消耗的相關(guān)性。最后對拼接結(jié)果與經(jīng)典算法AutoStitch和軟件Photoshop-Phptpmerge；Image_J對比驗證。數(shù)據(jù)集如表1所示。

2.1三維意識測量分析

為了進(jìn)一步驗證無人機采集系統(tǒng)相對于2c平面校正技術(shù)的精度，對光學(xué)傳感器進(jìn)行了相機校準(zhǔn)和透射旋轉(zhuǎn)變換的精度評估。以傾斜的角度拍攝棋盤圖案，并對棋盤角進(jìn)行四次測量。已知單個黑白格的尺寸為29 mm，應(yīng)用透射旋轉(zhuǎn)變換并測算光學(xué)傳感器至棋盤的距離。圖10（a）是原始的失真圖像；圖中標(biāo)出了每個方向上的誤差，單位為mm；圖（b）僅僅針對相機失真進(jìn)行了矯正；圖（c）僅做了透視旋轉(zhuǎn)變換，沒有校正透鏡的失真；最后，圖10（d）首先對透鏡進(jìn)行了失真校正后又應(yīng)用透射旋轉(zhuǎn)變換（本文方法）。應(yīng)用了相機透鏡校正和透視旋轉(zhuǎn)變換的總體誤差最小如圖10（d）所示。只應(yīng)用了透視旋轉(zhuǎn)變換的圖像在y方向的誤差較小，但是在x方向的誤差相對較大，未實現(xiàn)誤差的一致性。采用透鏡校準(zhǔn)和透視旋轉(zhuǎn)變換的圖像在x，y兩個方向上的誤差一致性較強。圖10（d）中的剩余誤差是由于物體四個角的參考點的子像素位置中的小誤差引起的，而透視旋轉(zhuǎn)變換默認(rèn)采集面為平面，且標(biāo)定物本身會存在自身的扭曲形變，算法對子像素位置的變化較為敏感。然而，圖10（d）中的測試精度在亞毫米范圍內(nèi)。

2.2增量搜索和特征匹配分析

基于特征拼接具有較高的精度，但如果圖像中存在上萬的特征點將會消耗大量的時間，尤其是在處理有高分辨率的自然路面場景時。這些場景非常復(fù)雜，會消耗大量的特征搜索和匹配時間。對表2數(shù)據(jù)集分別采用未經(jīng)過增量搜索策略的全局SIFT特征點檢測和使用增量搜索策略的局部SIFT特征點檢測，圖像特征點數(shù)量統(tǒng)計和搜索相同待拼接圖像所消耗的時間對比。

從圖11中看出，未進(jìn)行增強搜索策略的算法所需檢測的特征點數(shù)量遠(yuǎn)遠(yuǎn)高于使用特征搜索策略的算法。且需要更長的搜索時間（表2），而使用增量搜索策略的算法所需的時間僅為未使用搜索策略算法的43.45%，搜索時間下降了56.58%。另外使用增量特征搜索策略可以使得算法自主檢測下一張待拼接子圖的方向并對其進(jìn)行方向適配，完成算法的自主拼接。

采用2.4節(jié)提出的三角化幾何約束匹配特征的篩選結(jié)合圖12（其中圖12（b）為采用幾何約束后），采用幾何約束項和未采用幾何約束項的匹配，平面內(nèi)三角尺度的標(biāo)準(zhǔn)差對比趨勢可以看出，經(jīng)過重投影和幾何約束匹配后的匹配誤差平均在1個像素以內(nèi)。調(diào)整了由于相機徑向旋轉(zhuǎn)帶來的失真并剔除了誤差較大的匹配特征。

2.3拼接結(jié)果分析

采用增量搜索策略，幾何約束項和2.4節(jié)提出的圖像透視旋轉(zhuǎn)變換可以有效地檢測失配。通過對圖13～15中的拼接圖像對比來檢驗算法的可行性。 AutoStitch算法因為使用了單個全局單應(yīng)性矩陣，對于短線程的圖像拼接的魯棒性很好，但在拼接長線程圖像的過程中會丟失掉部分信息無法完整拼接，且拼接過程中由于數(shù)據(jù)集的光心位置在不斷漂移，會造成圖像的變形和錯位，所以AutoStitch算法針對此數(shù)據(jù)集的魯棒性不佳，其中為了公正對比本文選擇Photoshop-Phptpmerge的拼貼模式對數(shù)據(jù)集進(jìn)行拼貼，Photoshop-Phptpmerge可以將每組圖像都拼貼到一起，相對于路面平整損害范圍少的城市瀝青路面和脆弱區(qū)水泥混凝土路面的拼接效果不佳，Photoshop-Phptpmerge對存在大量紋理變化的脆弱區(qū)瀝青損害路面的拼接結(jié)果存在大量的拼接縫，多組路面圖像的拼接結(jié)果存在變形，這可能跟Photoshop-Phptpmerge采用的是相關(guān)相位算法有關(guān)。 Image_J軟件的算法也采用相位相關(guān)算法，因此對于本實驗路面圖像數(shù)據(jù)集（存在大量的相似特征）魯棒性差。相比以上算法，本文算法在路面圖像的準(zhǔn)確拼接方面性能魯棒，雖在圖12橫向裂縫處仍會存在鬼影現(xiàn)象，這是由于圖像在重投影的過程中獲取的旋轉(zhuǎn)平移矩陣及相機內(nèi)參系數(shù)對于非線性深度存在不敏感造成的，在后續(xù)的研究中會著重考慮如何消除這種誤差帶來的危害。每種類型的拼接精度按式（12）計算，并由路面檢測方面的學(xué)者進(jìn)行評估。通過觀察縫線和道路邊緣兩側(cè)是否有肉眼可見的錯位來判斷拼接是否正確。由表3分析數(shù)據(jù)可知本文算法相比較于AutoStitch、Photoshop-Phptpmerge、Image_J更為準(zhǔn)確，準(zhǔn)確率在88%以上。

準(zhǔn)確性=N正確拼接組數(shù)N總組數(shù)×100%（12）

3結(jié)束語

本文提出了一種新的具有三維自主意識的遙感圖像拼接算法。解決了在檢測過程中通過高分辨率的全景圖像分析完整路面病害特征參數(shù)的問題，進(jìn)而驗證了本文算法和技術(shù)的可行性。通過研究得到具體結(jié)論如下：

a）經(jīng)過對UAV記錄數(shù)據(jù)的分析，采用透鏡校準(zhǔn)和重投影的圖像，在x，y兩個方向上的誤差一致性較強，可以準(zhǔn)確地定位病害在三維世界的尺度信息，為拼接算法的自動縮放、旋轉(zhuǎn)、平移提供了可靠信息，解決了因長線程數(shù)據(jù)采集過程中由于設(shè)備的漂移造成圖像無法自動精準(zhǔn)拼接的問題。

b）通過對特征搜索和匹配策略的分析證明本文算法有效地縮短了特征搜索時間，更好地確定成像平面，在不設(shè)計拍攝路徑的情況下完整拼接連續(xù)的子圖像。

c）在本實驗條件下拼接的成功率可以達(dá)到88%以上，對三種不同路面病害結(jié)構(gòu)數(shù)據(jù)集的拼接準(zhǔn)確率和速度都達(dá)到了較高的水平。此外它明顯優(yōu)于要有代表性的常用軟件。如ImageJ、Photoshop和Autostitch。

由于硬件部分尚未搭載完畢，本文目前使用的圖像多為人工手動采集的圖像，且圖像數(shù)量有限，未來將搭載完整的圖像采集平臺，對系統(tǒng)的匹配融合參數(shù)進(jìn)行優(yōu)化和改進(jìn)。

參考文獻(xiàn)：

［1］國家交通運輸部.2021 年交通運輸行業(yè)發(fā)展統(tǒng)計公報 ［EB/OL］.［2022-05-25］.https：//xxgk.mot.gov.cn/2020/jigou/zhghs/202205/t2022.0524_3656659.html.（The National Ministry of Transport.2021 transportation industry development statistical bulletin ［EB/OL］.［2022-05-25］.https：//xxgk.mot.gov.cn/2020/jigou/zhghs/202205/t20220524_3656659.html.）

［2］Yousaf M H，Azhar K，Murtaza F，et al.Visual analysis of asphalt pavement for detection and localization of potholes ［J］.Advanced Engineering Informatics，2018，38：527-537.

［3］王宏暢，茅建校，陳旭東.瀝青路面表面縱向與橫向疲勞裂縫擴(kuò)展研究 ［J］.森林工程，2012，28（2）：62-67.（Wang Hongchang，Mao Jianxiao，Chen Xudong.Research on fatigue cracks extend in transverse and longitudinal direction of the asphalt pavement surface［J］.Forest Engineering，2012，28（2）：62-67.）

［4］孔祥杰.京哈公路北運河橋試驗檢測與病害分析研究［J］.公路，2009 （4）：158-161.（Kong Xiangjie.Test detection and disease analysis of north canal bridge of Beijing-Harbin highway［J］.Highway，2009（4）：158-161.）

［5］余正武.高速公路路基路面病害檢測技術(shù)的合理選擇［J］.公路，2007 （5）：19-23.（Yu Zhengwu.Reasonable selection of highway subgrade and pavement disease detection technology［J］.Highway，2007（5）：19-23.）

［6］Zhang Qingzhe，Qin Zhi.Application of machine vision technology in road detection［J］.Civil Engineering Journal，2018，27（4）：513-524.

［7］Oliveira H，Correia P L.Automatic road crack detection and characteri-zation［J］.IEEE Trans on Intelligent Transportation Systems，2012，14（1）：155-168.

［8］Gopalakrishnan K.Deep learning in data-driven pavement image ana-lysis and automated distress detection：a review［J］.Data，2018，3（3）：28.

［9］Mathavan S，Kamal K，Rahman M.A review of three-dimensional imaging technologies for pavement distress detection and measurements［J］.IEEE Trans on Intelligent Transportation Systems，2015，16（5）：2353-2362.

［10］Koch C，Georgieva K，Kasireddy V，et al.A review on computer vision based defect detection and condition assessment of concrete and asphalt civil infrastructure［J］.Advanced Engineering Informatics，2015，29（2）：196-210.

［11］Ma Boyuan，Ban Xiaojuan，Huang Haiyou，et al.A fast algorithm for material image sequential stitching［J］.Computational Materials Science，2019，158：1-13.

［12］Brown M，Lowe D G.Automatic panoramic image stitching using invariant features ［J］.International Journal of Computer Vision，2007，74（1）：59-73.

［13］楊燕煒，蘇義坤，蘇偉勝，等.基于無人機系統(tǒng)的高速公路邊坡數(shù)據(jù)采集模式研究［J］.森林工程，2022，38（2）：140-145.（Yang Yanwei，Su Yikun，Su Weisheng，et al.Research on data collection mode of highway slope based on UAV system［J］.Forest Enginee-ring，2022，38（2）：140-145.）

［14］付超.無人機在道路交通安全領(lǐng)域的應(yīng)用現(xiàn)狀與趨勢預(yù)測 ［J］.中國市場，2019（27）：105-106.（Fu Chao.Application status and trend prediction of UAV in the field of road traffic safety［J］.China Market Marketing，2019（27）：105-106.）

［15］程焱，周焰，林洪濤，等.基于SIFT特征遙感影像自動配準(zhǔn)與拼接 ［J］.遙感技術(shù)與應(yīng)用，2008，23（6）：721-728，608.（Cheng Yan，Zhou Yan，Lin Hongtao，et al.Automatic registration and mosaic of remote sensed imagery based on SIFT feature［J］.Remote Sensing Technology and Application，2008，23（6）：721-728，608.）

［16］陳偉，劉宇，王亞偉，等.基于改進(jìn)的FAST-SURF快速圖像拼接算法 ［J］.應(yīng)用光學(xué)，2021，42（4）：636-642.（Chen Wei，Liu Yu，Wang Yawei，et al.Fast image stitching algorithm based on improved FAST-SURF ［J］.Journal of Applied Optics，2021，42（4）：636-642.）

［17］李登峰，馬躍龍，陳丁，等.基于視覺SLAM的無人機序列影像快速拼接 ［J］.系統(tǒng)仿真學(xué)報，2017，29（Z1）：30-38.（Li Dengfeng，Ma Yuelong，Chen Ding，et al.Rapid mosaic of UAV sequence images based on visual SLAM［J］.Journal of System Simulation，2017，29（Z1）：30-38.）

［18］王艷，李宗學(xué)，丁文勝，等.結(jié)合幾何代數(shù)改進(jìn)的SIFT橋梁裂縫圖像拼接算法［J］.光學(xué)技術(shù)，2019，45（1）：78-84.（Wang Yan，Li Zongxue，Ding Wensheng，et al.Improved SIFT algorithm for bridge crack image mosaic combining geometric algebra［J］.Optical Technique，2019，45（1）：78-84.）

［19］Du Yuchuan，Weng Zihang，Liu Chenglong，et al.Dynamic pavement distress image stitching based on fine-grained feature matching［J］.Journal of Advanced Transportation，2020，2020：1-15.

［20］涂建剛，汪輝，徐成，等.基于圖像與數(shù)據(jù)雙層融合的高光譜圖像拼接 ［J］.激光與光電子學(xué)進(jìn)展，2021，58（2）：173-182.（Tu Jiangang，Wang Hui，Xu Cheng，et al.Hyperspectral image mosaicking based on double-layer fusion of image and data ［J］.Laser amp; Optoelectronics Progress，2021，58（2）：173-182.）

［21］Lowe D G.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91-110.

［22］Fathima A A，Karthik R，Vaidehi V.Image stitching with combined moment invariants and sift features［J］.Procedia Computer Science，2013，19：420-427.

［23］崔家禮，王鵬.基于圖像拼接的PCB基板質(zhì)量檢測算法［J］.計算機應(yīng)用與軟件，2020，37（6）：191-198.（Cui Jiali，Wang Peng.PCB substrate quality inspection algorithm based on image stitching［J］.Computer Applications and Software，2020，37（6）：191-198.）

［24］Karthik R，AnnisFathima A，Vaidehi V.Panoramic view creation usinginvariant moments and SURF features［C］//Proc of International Conference on Recent Trends in Information Technology.Piscataway，NJ：IEEE Press，2013：376-382.

［25］Bay H，Tuytelaars T，Van Gool L.Surf：Speeded up robust features［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2006：404-417.

［26］Jeon H，Jeong J，Lee K.An implementation of the real-time panoramic image stitching using ORB and PROSAC［C］//Proc of International SoC Design Conference.Piscataway，NJ：IEEE Press，2015：91-92.

［27］Zaragoza J，Chin T J，Brown M S，et al.As-projective-as-possible image stitching with moving DLT［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2013：2339-2346.

［28］Li Shiwei，Yuan Lu，Sun Jian，et al.Dual-feature warping-based motion model estimation［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2015：4283-4291.

［29］Tsai R.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses ［J］.IEEE Journal on Robotics and Automation，1987，3（4）：323-344.

［30］Weng Juyang，Cohen P，Herniou M.Camera calibration with distortion models and accuracy evaluation ［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，1992，14（10）：965-980.

［31］Heikkila J，Silvén O.A four-step camera calibration procedure with implicit image correction［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，1997：1106-1112.

［32］Zhang Zhengyou.Flexible camera calibration by viewing a plane from unknown orientations［C］//Proc of the 7th IEEE International Confe-rence on Computer Vision.Piscataway，NJ：1999：666-673.

［33］Zhang Zhengyou.A flexible new technique for camera calibration［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

［34］Adamczyk M，Liberadzki P，Sitnik R.Temperature compensation method for digital cameras in 2D and 3D measurement applications［J］.Sensors，2018，18（11）：3685.

［35］Suzuki S.Topological structural analysis of digitized binary images by border following［J］.Computer Vision，Graphics，and Image Processing，1985，30（1）：32-46.

［36］Fischler M A，Bolles R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24（6）：381-395.

［37］汪丹，劉輝，李可，等.一種三角函數(shù)權(quán)重的圖像拼接算法 ［J］.紅外技術(shù)，2017，39（1）：53-57.（Wang Dan，Liu Hui，Li Ke，et al.An image fusion algorithm based on trigonometric functions［J］.Infrared Technology，2017，39（1）：53-57.

收稿日期：2022-04-24；修回日期：2022-06-27基金項目：內(nèi)蒙古自治區(qū)重點科技攻關(guān)項目（2021GG78）；內(nèi)蒙古自治區(qū)高校重點科研項目（NJZZ21013）

作者簡介：高明星（1981-），男（通信作者），內(nèi)蒙古赤峰人，教授，博導(dǎo)，博士，主要研究方向為生態(tài)路面結(jié)構(gòu)與材料、道路病害智能檢測（gaoming-xing_2000@imau.edu.cn）；馮雙達(dá)（1994-），男，河北衡水人，碩士研究生，主要研究方向為道路病害智能檢測；趙婷（1988-），女，內(nèi)蒙古巴彥淖爾人，講師，博士，主要研究方向為生態(tài)脆弱區(qū)道路設(shè)計；郭敏（1994-），女，內(nèi)蒙古烏蘭察布人，講師，碩士，主要研究方向為交通控制仿真、交通大數(shù)據(jù).