基于自適應紋理復雜度的仿生視覺導航方法研究

王 霞，左一凡，李磊磊，陳家斌

(1.光電成像技術與系統教育部重點實驗室，北京理工大學光電學院，北京 100081；2.北京理工大學自動化學院，北京 100081)

0 引言

近幾年，無人機在軍用和民用領域均有較大發展，其在軍事偵察、勘探、搜救、大氣探測、無人農業、城市測繪等領域都發揮了重要作用[1]。現階段主流的無人機導航方法主要依靠慣性導航系統(Inertial Navigation System，INS)以及全球定位系統(Global Position System，GPS)進行導航，但是由于慣性導航積分的過程存在累計誤差，且需要進行導航初始化，而GPS信號容易受到地形遮擋和信號干擾等因素的影響[2-3]，所以發展可以補償慣導和GPS不足的導航方式極為重要。

有研究發現，鳥類以及昆蟲能夠利用光流來判斷速度、實現避障等，所以將光流的概念引入到無人機、無人車、機器人等相關領域的導航中[4]。之后大量計算機視覺以及生物學專家提出了各種光流算法，包括基于梯度的Lucas-Kanade算法[5]和Horn-Shunck算法[6],以及基于SIFT特征的光流算法[7-8]等。其中稠密光流算法由于精度較高，可獲得稠密光流圖像的特點被廣泛使用。此外，通過研究大量蜜蜂飛行實驗發現，蜜蜂感知飛行距離還受到顏色、紋理和對比度等影響[3]。同樣，在光流算法中，對于圖像上紋理欠豐富區域中的特征點，由于區域內像素灰度變化不明顯，會降低光流跟蹤時的計算精度[9]。

稠密光流在進行全局計算時，受到圖像紋理的影響尤為明顯。因此，本文提出了一種基于自適應圖像紋理復雜度提升光流精度的方法，該方法通過灰度共生矩陣對圖像紋理復雜度做出評價，再計算Farneback光流[10]，通過最小二乘法建立紋理復雜度與光流精度之間的函數關系，通過此函數關系可有效提升在弱紋理圖像中的光流精度，進而提升仿生光流導航精度。

1 圖像紋理復雜度對光流精度的影響

光流是三維空間運動的二維投影，當物體運動時，其在二維圖像上的亮度會同時發生變化，光流就是這種圖像亮度模式的運動。根據連續圖像前后幀之間的像素在時間上的變化和其相關性，可求得前后幀之間的一一映射關系，進而求得兩幀之間物體的運動信息，這種方法叫做光流法[11]。

設在t時刻某幀圖像在點(x,y)的亮度值為E(x,y,t)，在t+ 1時刻圖像上像素間位移為(dx, dy)，可求得水平和垂直速度分別為

u=dx/dt

(1)

v=dy/dt

(2)

通過Δt時間間隔后，此位置相應的亮度為E(x+Δx,y+Δy,t+Δt)，假設圖像的亮度改變是平滑的，可將上式進行Taylor公式展開得

E(x+Δx,y+Δy,t+Δt)=

(3)

忽略式(3)中二階無窮小項，同時假定Δt是極小量，并認為同一目標點在不同圖像幀中的亮度不變，化簡式(3)得

(4)

Exu+Eyv+Et=0

(5)

求解此方程可得到速度u和v的值。

根據上述光流計算公式可知，光流精度和圖像梯度有緊密聯系，下面通過仿真實驗，分析實際應用中兩種影響光流計算精度的情況。一是相同場景下不同的模糊退化程度和大氣條件對光流精度的影響，這是由于傳遞函數的改變影響了圖像梯度變化，從而使光流精度受到影響；二是相同模糊退化程度和大氣條件下，不同紋理特性場景對光流精度的影響，這是由于圖像本身缺乏紋理，從而導致圖像梯度不足造成光流計算不能得到理想的結果。

本文選取TOPS場景仿真軟件中晴天天氣下的遙感圖像，太陽高度角為53.85°，時間為14:00，通過相機平行移動獲取100組實驗圖像，為減少計算量，選取圖像中心500×500的區域進行計算。

首先進行模糊退化程度對光流影響的仿真實驗。高斯模糊的過程是將圖像中每個像素都與其周圍像素根據卷積核做加權平均，中心像素有最大權重，距離中心像素越遠權重越小，通過卷積核的不斷移動，遍歷整個圖像，從而將整幅圖像模糊。所以本文使用高斯模糊模擬不同程度模糊退化對光流精度的影響。使用圖1(a)所示晴天仿真圖像進行仿真實驗，設置模糊半徑為2，標準差為1，統計3次不同模糊程度下100組圖像的光流平均精度，發現模糊程度與光流精度確實存在關系，模糊程度越高，光流精度越低，其結果如表1所示。

表1 圖像模糊程度與光流精度關系Tab.1 Relationship between image blur level and optical flow accuracy

本文選取同一場景、時間和太陽高度角，對三種不同大氣條件下的圖像進行光流計算，分析其對光流精度的影響。選取晴天、薄霧(下文統稱霧天)和陰天3種大氣條件，如圖1所示，分別統計每種大氣條件下100組圖像的光流平均精度，統計結果如表2所示?？梢钥闯?，晴天和霧天光流精度較好，而陰天光流精度較差。

(a)晴天

(b)霧天

(c)陰天圖1 不同大氣條件下的遙感圖像Fig.1 Remote sensing images under different atmo-spheric conditions

表2 不同大氣條件對光流精度的影響Tab.2 Effects of different atmospheric conditions on optical flow accuracy

最后，本文選取圖1(a)所示晴天條件遙感圖像中的三種典型紋理特性區域，構建農田、城鎮以及森林場景，如圖2所示。其中，農田的紋理明顯少于其余兩種場景。分別統計每種場景中100組圖像的光流平均精度，對比紋理對光流精度的影響，如表3所示。結果表明，農田場景的光流精度明顯低于其他兩種場景。

(a)農田

(b)城鎮

(c)森林圖2 不同場景對比圖Fig.2 Comparison of different scenes

表3 不同場景圖像對光流精度的影響Tab.3 Effects of different scene images on optical flow accuracy

綜上所述，圖像模糊退化、大氣條件變化以及不同紋理特性場景都可以影響光流精度，但其本質都是圖像紋理復雜度的變化導致圖像梯度發生改變，進而影響光流精度。

2 圖像紋理復雜度與光流精度的關系

無論是圖像模糊程度還是大氣條件變化或場景選取都和圖像紋理復雜度息息相關。圖像紋理的本質就是相鄰像素值的變化，而這也正是光流計算的關鍵問題。所以，本文選擇一種描述圖像紋理的方法，并擬合其和光流精度的關系，這是光流優化以及仿生視覺導航算法精度提升的重要步驟。

在灰度圖像中，在一定距離內的像素間存在一定聯系[12]，這是描述紋理的主要思路。在多種描述紋理的方法中，灰度共生矩陣通過對圖像像素間關系進行統計，可描述灰度空間的聯系，并可對紋理特征進行量化表述[13]。這種量化表述方法與光流計算圖像間像素位移有一定聯系，因此，本文選取灰度共生矩陣作為描述紋理的方法。

首先，將一幅圖像的灰度分為多個等級，根據灰度等級和像素間隔構建灰度共生矩陣。Haralick等[13]在共生矩陣的基礎上定義了14個特征參數用于紋理分析，其中對比度反映了圖像的清晰度和紋理溝紋深淺的程度，紋理的溝紋越深，反差越大，效果清晰；反之，對比值小，則溝紋淺，效果模糊。而光流計算則是判斷圖像灰度值的位移，溝紋越多，位移量計算越準確。所以，對比度參數可以很好地反映圖像紋理的情況，以及在不同模糊程度下紋理復雜度和光流精度的關系。因此，本文選擇14個特征參數中的對比度參數進行紋理復雜度的分析。

光流算法采用Farneback光流法，該算法是Farneback[10]提出的一種稠密光流計算方法，其精度高于Lucus-Kanade光流法[14]。Farneback算法通過設定圖像梯度和局部光流恒定的方法[11]，把輸入圖像用二維函數表示，并通過二維函數的變化推出光流值。

計算三種不同場景不同模糊程度的100組圖像的光流精度和圖像紋理復雜度，并繪制統計圖。以霧天大氣條件下一次高斯模糊圖像為例，其紋理復雜度和光流精度關系如圖3所示，可以看出，光流精度與紋理復雜度呈現近似線性關系。

圖3 霧天大氣條件下高斯模糊圖像紋理復雜度與光流精度的關系Fig.3 Relationship between texture complexity and optical flow accuracy of the Gaussian blur image in foggy atmospheric conditions

通過評價圖像的紋理復雜度，可以建立其與光流精度的關系。與圖3示例類似，三種大氣條件和三種模糊度下都存在近似一次函數的關系，說明可以通過擬合函數進行光流精度的優化。

3 基于紋理復雜度的光流優化算法

低紋理復雜度的圖像具有較低的圖像梯度，從而對光流的計算造成困難。針對不同紋理復雜度的圖像進行稠密光流計算發現，紋理復雜度與光流精度基本呈線性關系。根據這一現象，本文設計了一種基于紋理復雜度的稠密光流優化算法。首先，采用Farneback算法計算光流；然后，根據灰度共生矩陣對比度評價圖像紋理復雜度；第三，使用光流真值除以計算得到的光流值得到光流的補償系數；最后，利用最小二乘法建立圖像紋理復雜度和光流補償系數之間的函數關系?；谠摵瘮店P系，實際運動圖像可以根據紋理復雜度確定光流補償系數，從而修正光流值，獲得高精度的光流計算結果。算法流程如圖4所示。

圖4 基于紋理復雜度的光流優化算法流程圖Fig.4 Flow chart of optical flow optimization algorithm based on texture complexity

4 仿真實驗

基于TOPS場景仿真軟件平臺，仿真輸出三種模糊退化程度和三種大氣條件場景，對基于紋理復雜度的光流精度優化效果進行了仿真實驗驗證。

在第一組仿真實驗中，選取晴天遙感圖像作為仿真場景，如圖5所示。模擬無人機獲取的圖像數據，設置拍攝高度300m，俯仰角度90°，即垂直向下拍攝，地面分辨率0.3m，拍攝幀頻10幀/s，飛行速度15m/s。由于計算速度原因，每次選取圖像中心500×500的區域作為實驗圖像，并進行1～3次高斯模糊，設置模糊半徑為2，標準差為1，模糊后結果如圖6所示。

圖5 晴天遙感圖像Fig.5 Remote sensing image on a clear day

(a)原始圖像

(b)一次高斯模糊

(c)兩次高斯模糊圖6 不同程度高斯模糊圖像Fig.6 Gaussian blur images with different degree

由圖6可知，不同程度高斯模糊后的圖像在肉眼觀測下并無較大差異，但是通過擬合后可知，其對光流精度產生較大影響。選取100組仿真圖像，并剔除光流值精度小于25%的數據，通過對不同程度高斯模糊的一系列圖像進行Farneback光流法計算，求得對應的光流優化系數；同時通過灰度共生矩陣計算對比度后作為紋理復雜度，再用最小二乘法擬合得到光流優化系數和紋理復雜度的關系圖，如圖7所示。

(a)原始圖像

(b)一次高斯模糊

(c)兩次高斯模糊圖7 紋理復雜度與光流優化系數關系圖Fig.7 Relationship between texture complexity and optical flow optimization coefficient

從數據擬合的結果可以看出，模糊程度越高，即整體紋理復雜度越低的情況下，直線斜率的絕對值越大，表明整體紋理復雜度越低，光流精度對紋理復雜度變化越敏感。同一模糊程度下光流精度與紋理復雜度呈線性關系，不同模糊程度圖之間沒有線性關系。因此實際應用中，需要根據具體場景，擬合紋理復雜度和光流補償系數函數，從而更好地提升光流計算精度。

根據圖7所示紋理復雜度與光流優化系數關系，選擇仿真圖像中同等模糊程度的不同圖像區域進行優化前后光流精度提升效果對比實驗。測試區域與擬合函數區域不重疊，但場景類似，不去除任何異常值，每組模糊程度取100組數據求平均值，優化前后光流平均精度對比結果如表4所示。

表4 三種不同模糊程度光流精度對比Tab.4 Comparison of optical precision flow in three different blur conditions

測試結果表明，隨著模糊程度的加深，光流平均精度逐漸下降，基于紋理復雜度和光流優化系數擬合函數優化后，光流平均精度均有較大程度的提升。

通過設定3000組實驗圖像，計算出相機飛行1272.79m時不同模糊程度光流導航的定位誤差對比如表5所示。

表5 三種不同模糊程度定位誤差對比Tab.5 Comparison of position error results in three different blur conditions

第2組仿真實驗選取晴天、霧天以及陰天的遙感圖像作為仿真場景，仿真設置與第一組一致，不進行高斯模糊。實驗結果如表6所示。

表6 三種不同大氣條件光流精度對比Tab.6 Comparison of optical precision flow in three different atmospheric conditions

實驗結果表明，不同大氣條件下光流精度都可以得到相應的提升，陰天情況下由于紋理復雜度較低，其精度提升效果更好。表7給出了三種不同大氣條件下1272.79m飛行距離的定位誤差。

表7 三種不同大氣條件定位誤差對比Tab.7 Comparison of position error results in three different atmospheric conditions

5 結論

本文針對紋理復雜度對光流精度產生影響的問題，仿真了幾種不同紋理復雜度的圖像，并分別擬合了對應的光流補償函數，建立了基于自適應紋理復雜度的稠密光流優化模型。實驗結果表明：

1)多數情況下，當整體紋理復雜度越低，本文方法對光流精度的提升越明顯。這是由于低紋理復雜度的情況下光流計算值遠低于真實值，所以擬合函數的大斜率可以更好地補償光流計算的不足，從而得到更好的效果。

2)光流精度與紋理復雜度呈線性關系，可以有效補償低紋理復雜度時的光流計算誤差，仿真實驗結果表明，優化后的光流精度均有較明顯的提升。

3)本文方法需要根據少量數據擬合特定場景的光流補償函數，然后在此場景圖像獲取條件下實現光流精度的提升，若成像條件發生變化需要重復上述工作。

后續工作將會開展以本文算法應用于機械臂水平運動的光流導航或者無人機平穩飛行等場景下的應用研究，重點解決算法的實時性問題，擴大適用場景，克服其局限性。