基于鄰域一致性的無人機航拍圖像配準過程控制技術

李亞娟

(安康學院 電子信息技術研究中心，陜西 安康 725000)

0 引言

鄰域一致性是一種新的圖像處理方法，該理論認為相似像素點的排列關系會影響整個圖像的拼接方式，且任何一幅圖像中，都存在完全一致的像素節點?！班徲颉笔且环N范圍化量詞，是指由多個非中心節點組成的物理集合空間，該空間以中心節點為原點，所有集合節點與原點之間的物理距離完全相等[1]。在鄰域空間中能夠充分描述像素點的相似性，在樣本空間足夠大的情況下，節點與節點之間的相似性會逐漸被一致性取代，這也是鄰域一致性原則并不排斥非完全相同像素節點的主要原因。近年來，隨著圖像處理等多種技術的發展，鄰域一致性原則也被廣泛應用于各大圖像處理領域之中，特別是對于無人機航拍圖像來說，原點周圍所有像素點的排列行為都受到鄰域一致性原則的影響與約束[2]。

無人機是以機載計算機和無線電遙控裝置作為控制設備的不載人飛行器，結構相對簡單，能夠完成各類不適宜有人飛機執行的任務[3]。航拍也叫航空攝影或空中攝影，能夠從空中拍攝局部區域的完整地質特征，借助相關圖像處理軟件，實現采樣像素節點的拼接與排序。當前的深度去噪自動編碼器的目標檢測算法通過分辨航拍信息頻域特征的方式，確定相鄰像素節點之間的相似性程度，再根據待采樣圖像之間的重疊度關系，計算像素點與像素點之間的匹配關系[4]。然而此方法并不能有效控制無人機航拍圖像采樣節點之間的重疊度，并不能在圖像拼接的過程中避免像素點的錯誤匹配行為，導致圖像匹配效果下降。為避免上述情況的發生，引入鄰域一致性原則，設計無人機航拍圖像配準過程控制技術。

1 基于鄰域一致性的無人機航拍圖像融合

無人機航拍圖像配準過程控制的實施，以航拍圖像的融合處理為基礎，在鄰域一致性方法的支持下，本章節將針對具體融合方法展開設計。

1.1 配準區域劃定

為了有效控制無人機航拍圖像采樣節點之間的重疊程度，應在鄰域一致性原則的支持下，劃定配準區域。所謂配準區域是指無人機航拍圖像采樣節點的原始存在區域，一般來說，在該區域環境中，根據鄰域一致性所選取原點的位置始終保持不變，而在不考慮其他干擾條件的情況下，所需處理的無人機航拍像素點越多，則表示鄰域組織中所包含的采樣節點數量越多，反之則越少[5-6]。

假設δ1,δ1,…,δn表示n個不同的鄰域像素點配比系數，c1,c2,…,cn表示n個不同的無人機航拍圖像采樣指標，v1,v2,…,vn表示n個不同的鄰域像素重疊特征。聯立上述物理量，可將n個不同的無人機航拍圖像采樣點配置表達式定義為：

(1)

假設α表示配準區域內像素搜索系數的初始取值，Δχ表示單位時間內的無人機航拍圖像信息搜索量，εmin表示航拍圖像最小特征值，εmax表示航拍圖像最大特征值。在上述物理量的支持下，聯立公式(1)，可將基于鄰域一致性的配準區域劃定表達式定義為：

(2)

若配準區域劃定結果不發生改變，則可以認為配準區域劃定過程具有相對穩定性。

1.2 圖像標注點識別

圖像標注點識別過程也是無人機航拍圖像節點的二次標注過程，整幅無人機航拍圖像可以被分解成多個小型物理區間，且每一區間之內節點之間的度量映射關系都不會發生改變。若單純采用一次標注方式，會阻礙原點與鄰域像素點之間的信息互通，從而使得無人機航拍拼接圖像的質量受到影響[7-8]。而在圖像標注點識別技術的作用下，所有配準區域內的節點劃定條件均呈現出絕對穩定的狀態，此時鄰域一致性的作用能夠被充分激發，從而提取無人機航拍圖像的配準特征，以供主機元件對其進行精準的拼接與識別處理。

假設γ1、ι1表示兩個不同的無人機航拍圖像節點一次標注系數，γ2、ι2表示兩個不同的無人機航拍圖像節點二次標注系數，在鄰域一致性原則下，γ1≠ι1、γ2≠ι2的不等式條件同時成立，且γ1恒大于γ2、ι1恒大于ι2。在上述物理量的支持下，聯立公式(2)，可將基于鄰域一致性的無人機航拍圖像標注點識別條件定義為：

(3)

式中，X1、X2表示無人機航拍圖像中兩個不同的度量映射系數。為了使所有無人機航拍像素點都能實現處理，所有圖像標注點識別指令都必須滿足鄰域一致性原則的約束。

1.3 一致性測度值

對于無人機航拍圖像而言，一致性測度值既保證了領域像素區域內圖像節點之間的信息互通，也可以在已知標注點識別權限的基礎上，對待配準節點處的圖像特征進行加工[9]。

在圖1所示的無人機航拍圖像中，A1、A2為兩個完全獨立的鄰域一致性測度節點，且二者的橫、縱坐標均不相等。設d表示點A1到點A2的豎直距離、l表示點A1到點A2的水平距離。聯立上述物理量，豎直距離d、水平距離l計算公式為：

圖1 無人機航拍圖像的一致性測度標記

(4)

其中：S表示無人機航拍圖像鄰域配準搜索區內的節點標記系數，x1、y1表示A1點的橫縱坐標，x2、y2表示A2點的橫縱坐標。

設η表示基于鄰域一致性原則的無人機航拍圖像測度標準系數，γ表示配準節點的領域特征值。聯立公式(3)、公式(4)，可將無人機航拍圖像的一致性測度值計算結果表示為：

(5)

鄰域一致性原則只能作用于單一的無人機航拍圖像，因此一致性測度值指標的計算結果必須適應配準節點的實時排列方式[10]。

2 無人機航拍圖像預處理

在鄰域一致性原則的支持下，按照航拍圖像地理定位、采樣灰度計算、圖像重疊關系分析的處理流程，完成對無人機航拍圖像的初步預處理。

2.1 航拍圖像地理定位

航拍圖像地理定位能夠確定像素點所處空間位置，按照鄰域一致性原則對原始配準區間進行規劃，從而將相似或完全一致的節點整合到同一區間之中，以供配準主機的直接調取與利用[11-12]。

從功能性角度來看，航拍圖像地理定位就是為了消除干擾性節點對目標節點定位的影響，使得獨立像素點空間內的節點對象能夠得到快速配準。

圖2為一個邊長等于?1的獨立像素點空間，其中N為該空間所包含的航拍圖像節點個數，目標節點為V′。在上述物理量的支持下，聯立公式(5)，可將航拍圖像地理定位原則表示為：

圖2 航拍圖像地理定位原理

(6)

式中，β為定位標度指標。一般來說，獨立像素點空間內所包含的航拍圖像節點個數越多，定位條件的劃分也就越細致。

2.2 采樣灰度

采樣灰度是指無人機航拍圖像在鄰域采用空間中所表現出來的灰度水平，待配準處理的像素點數量越多，相關圖像節點的分布狀態也就越密集，反之則越稀疏[13-14]。在航拍圖像的地理位置空間中，相鄰兩個像素節點的物理坐標不可能完全一致，且隨著橫、縱指標數值的改變，像素點所處的空間位置也會不斷變化。為使整個無人機航拍圖像的采樣灰度水平趨于相對平均的數值狀態，必須確保圖像尺寸、像素分布密度等指標的物理數值均處于一個相對穩定的取值范圍之內。

設f為航拍像素點取值系數，D為像素點取值特征值，a1、a2為兩個不同的無人機航拍圖像尺寸取值條件，ρ表示像素節點的分布密度。在上述物理量的支持下，聯立公式(6)，可將基于鄰域一致性的航拍圖像采樣灰度計算表達式定義為：

(7)

采樣灰度作為一項關鍵參考指標，其數值水平直接影響鄰域一致性原則對于無人機航拍圖像配準節點的約束能力。

2.3 圖像重疊關系

無人機航拍圖像的重疊關系主要包含重點區域重疊、邊緣區域重疊兩種形式，其具體表現特征如下：

1)重點區域重疊：重點區域重疊可以繼續細分為完全重疊、部分重疊兩種形式。其中，完全重疊是指兩幅待拼接無人機航拍圖像的關鍵配準區域呈全覆蓋狀態，兩種不相關的節點特征混合在一起，使得采集到的像素樣本的灰度水平大幅提升[15]；部分重疊是指兩幅待拼接無人機航拍圖像的關鍵配準區域呈現出不完全覆蓋的表現狀態，此情況下所采集到像素樣本的灰度水平具有較大差異[16]。

2)邊緣區域重疊：邊緣區域重疊是指兩幅待拼接無人機航拍圖像的關鍵配準區域完全獨立，但其邊緣區域的節點混合在一起。由于其節點混合位置并不處于關鍵配準區域內，所以并不會對無人機航拍圖像的拼接結果造成影響[17-18]。

3 無人機航拍圖像配準過程控制技術

3.1 坐標變換

由圖3所示的坐標體系可知，x軸表示配準處理的水平操作方向，變換后坐標軸為x*；y軸表示配準處理的豎直操作方向，變換后坐標軸為y*；z軸表示了配準處理的空間操作方向，變換后坐標軸為z*。

3.2 幾何校正

(8)

式中，ΔW表示單位時間內的像素節點拼接總量。為獲得較為精確的像素點配準結果，任何一幅無人機航拍圖像在實施拼接處理之前，都必須實施幾何校正處理[22]。

3.3 配準過程控制

邊界特征點提取是控制無人機航拍圖像配準配準過程的關鍵環節，可在鄰域一致性原則的基礎上，將所有相似的像素節點整合到一起，從而統一不同尺度區間的拼接特征，使得整幅無人機航拍圖像呈現出相對平衡的狀態。在實施邊界特征點提取之前，必須將待拼接的無人機航拍圖像完全對正，使得相鄰像素節點之間的物理距離不斷縮小，當距離指標取值屬于(0,1)時，即可認為兩幅無人機航拍圖像能夠實現精確配準。

設?為最小的無人機航拍圖像拼接系數，j0為原圖像中的配準節點定義項，ζ0為原圖像中的配準標度向量，jn為拼接圖像中的配準節點定義項，ζn為拼接圖像中的配準標度向量。在上述物理量的支持下，可將無人機航拍圖像邊界特征點提取表達式定義為：

(9)

在實際應用過程中，只有特征點提取原則不發生變化，主機元件才能對無人機航拍圖像進行配準處理。選擇無人機航拍圖像中一定數量的邊界特征點，將這些特征點作為配準過程控制點。

在選定無人機航拍圖像配準過程控制點之后，定義該點描述符為以該點為中心的局部窗口的一組灰度旋轉不變量，描述符向量用下述公式表示:

(10)

式中，Ix與Iy分別為一維高斯核在x軸、y軸對無人機航拍圖像的一次卷積，Ixx、Iyy分別為在x軸、y軸的兩次卷積，Ixy表示為二維高斯核對無人機航拍圖像的卷積。

對描述符向量v進行分割處理，分割結果分別用v1、v2表示，二者之間的距離為dM，結合對角矩陣Dl以及正交矩陣P對v進行標準化處理，結果如下：

(11)

就可以在各個方向使用相同大小的網格單元進行分割，計算vn的熵，具體的計算公式如下：

(12)

式中，pi表示vn處于向量空間網格的概率。

結合熵值計算結果，對于無人機航拍圖像配準過程控制點分布質量進行控制，則控制點加權中心計算公式如下：

(13)

式中，(xi,yi)表示第i個無人機航拍圖像配準過程控制點在圖像坐標系下的坐標，wi表示控制點權重。

控制點分布質量計算公式如下所示：

(14)

式中，M、N分別為無人機航拍圖像公共區域的行數和列數。Qi值越大，其余控制點到控制點加權中心的距離增大，那么其余控制點離散程度與均勻程度增加。

尺度空間極值約束了像素節點之間配準映射關系的穩定性，當原航拍圖像與待拼接圖像中像素節點數量完全相等時，尺度空間極值越大，則表示拼接處理后的圖像尺寸越大；反之若尺度空間極值相對較小，則表示拼接處理后的圖像尺寸較小[23-24]。設e表示由原航拍圖像指向待拼接圖像的像素點映射系數，e∈[1,+∞)這一表達式恒成立。ue表示像素點映射系數等于e時的像素尺度，umin表示像素尺度權限指標的最小取值，R表示無人機航拍圖形中的空間劃分標度系數，一般來說，R的數值結果越大，則表示像素節點之間的配準映射關系越穩定，λ表示既定的像素配準指標?？蓪⒊叨瓤臻g極值的計算表達式定義為：

(15)

在確保原圖像與拼接后圖像不出現重疊關系的情況下，尺度空間極值與控制點分布質量值應盡可能向著其極大值結果趨近，以此保證配準結果的精準性。

通過上述過程完成基于鄰域一致性的無人機航拍圖像配準過程控制技術研究。

4 實例分析

選取如圖4所示的無人機設備作為實驗對象，將航攝相機安置于無人機設備之上，令其在5 km×5 km實驗區域中保持相對穩定的飛行狀態，記錄在實驗過程中，各項指標參量的具體數值變化情況。

圖4 實驗用無人機

部分實驗樣本數據如圖5所示。

圖5 部分實驗樣本數據

本次實驗的具體實驗流程如下：

步驟一：采用基于鄰域一致性的快速配準算法對航攝像機進行控制，將所得指標參量作為實驗組數據；

步驟二：采用基于深度去噪自動編碼器的目標檢測算法對航攝相機進行控制，將所得指標參量作為對照組數據；

步驟三：分析實驗組、對照組數據變量的具體變化情況；

無人機航拍圖像采樣點之間的像素重疊關系能夠反映像素點錯誤匹配情況，一般情況下，采樣點之間的像素重疊關系越明顯(即像素重疊關系的計算數值越大)，則表示像素點錯誤匹配概率越高；反之，若采樣點之間的像素重疊關系越細微(即像素重疊關系的計算數值越小)，則表示像素點錯誤匹配概率越低。

具體的像素重疊關系(O指標)計算表達式如下：

(16)

其中:i1、i2為兩個不同的重疊度指標，ΔΩ為無人機航拍區域的面積數值。

圖6反映了實驗組、對照組i1指標的數值變化情況。

圖6 i1指標的數值變化曲線

分析圖6可知，隨著航拍區域邊長數值的不斷增大，實驗組、對照組i1指標均呈現不斷增大的變化狀態，但明顯對照組i1指標的上升幅度更明顯。單就對照組曲線來看，當航拍區域邊長由0增大至1 km時，其i1指標的上升幅度最大，達到了317；單就實驗組曲線來看，當航拍區域邊長由4 km增大至5 km時，其i1指標的上升幅度最大，達到了117。從極限值角度來看，對照組i1指標最大值700與實驗組i1指標最大值499相比，上升了201。

圖7反映了實驗組、對照組i2指標的數值變化情況。

圖7 i2指標的數值變化曲線

分析圖7可知，當航拍區域邊長處于0～1 km的區間之內時，對照組i2指標數值始終小于對照組，而從此時刻開始，對照組i2指標則開始快速增大；實驗組i2指標雖然能夠保持不斷增大的數值變化趨勢，但其均值水平始終低于對照組。從極限值角度來看，對照組i2指標最大值達到了890，與實驗組i2指標最大值723相比，上升了167。

已知本次實驗所取無人機航拍區域的面積為25 km2，即ΔΩ=25 km2，聯合圖5、圖6中i1指標與i2指標的取值結果，對像素重疊關系(O指標)進行計算，具體計算結果如表1所示。

表1 無人機航拍圖像采樣點之間的像素重疊關系

分析表1可知，隨著航拍區域邊長數值的增大，對照組O指標始終保持不斷增大的數趨勢，將0節點排斥在外，可知對照組像素重疊關系指標最小值為1 673.76、最大值為24 920.00，二者之間的物理差值為23 246.24。實驗組O指標雖然也能夠保持不斷增大的數值變化狀態，但其均值水平始終相對較低，將0節點排斥在外，可知實驗組像素重疊關系指標最小值為615.68、最大值為14 431.08，二者之間的物理差值為13 815.40，遠低于對照組差值水平。

對比了實驗組與對照組的無人機航拍圖像配準控制效果，結果如圖8和圖9所示。

圖8 實驗組航拍效果圖

圖9 對照組航拍效果圖

分析圖8和圖9中的結果可知，實驗組的無人機航拍圖像特征點匹配更為精準，配準效果更好。而對照組無人機航拍圖像特征點匹配效果差，導致配準質量下降，證明該方法的無人機航拍圖像配準控制效果較差。

綜上可知，本次實驗的結論如下：

1)在基于深度去噪自動編碼器的目標檢測算法的作用下，無人機航拍圖像采樣點之間像素重疊指標的數值結果始終相對較大，表明該方法并不能較好地避免像素點錯誤匹配行為的出現；

2)在基于鄰域一致性的快速配準方法的作用下，無人機航拍圖像采樣點之間像素重疊指標的數值結果始終相對較小，表明該方法能夠較好解決像素點錯誤匹配問題，更為符合實際應用需求。

5 結束語

本文主要通過對配準區域進行重新劃定，又根據圖像標注點識別結果，完成對無人機航拍圖像的初步預處理。根據圖像融合處理結果提取特征點，將特征點作為配準過程控制點，根據控制點分布質量與尺度空間極值實現無人機航拍圖像配準過程控制，保證尺度空間極值計算結果能夠穩定在合理的取值區間之內，不但使無人機航拍圖像采樣節點之間的明顯重疊關系得到較好緩解，也使得圖像拼接過程中的像素點錯誤匹配問題得以解決。從實用性角度來看，隨著這種新型基于鄰域一致性的無人機航拍圖像配準過程控制技術的應用，重疊度指標的數值計算結果出現了明顯縮小的變化趨勢，與基于深度去噪自動編碼器的目標檢測算法相比，這種新型方法確實具備更強的實用性價值。