基于光流技術的障礙物檢測方法

郭文俊　常桂然

摘要：障礙物的檢測有著重要的應用，然而一般的檢測方法容易受到環境因素的影響使得檢測的效果不是特別理想，因此研究改進障礙物檢測的方法有著重要的意義。本文從計算機視覺的角度上，對障礙物檢測技術進行了分析研究，提出了利用光流技術進行障礙物的檢測，該方法利用時間序列圖像中的灰度信息獲取運動參數，實現了障礙物的檢測，操作簡單實用性較強。

關鍵詞：計算機視覺；障礙物檢測；光流技術；運動參數

中圖分類號：TP391 文獻標識碼：A DOI：10.3969/j.issn.1003-6970.2016.04.017

0 引言

人們對周圍環境信息的獲取和接受大多是通過視覺感受的，尤其是動態信息更容易引起人們的注意。科技的進步以及多媒體技術的發展使得人們接觸的信息越來越多，如何從大量的信息中進行提取、分類和跟蹤已經成為運動目標檢測和目標跟蹤技術的研究熱點。目前該該項技術已經取得了很多成果，而且不斷有新的算法在提出，作為智能交通系統中的一項關鍵技術，對于保證智能車輛安全行駛也是至關重要的。卞建勇、崔心等采用基于幀間差分的方法實現了運動障礙物的檢測，但該方法要求對大數據量的整理無法滿足整個監控場內的實時要求。吳思、林守勛等實現了對動態背景下目標物的檢測與跟蹤，但其提出的方法對車輛識別率較高，無法滿足城市交通的檢測要求。

本文建立了基于光流技術的障礙物檢測系統，通過比較實際圖像與自運動估計之間的光流場來識別障礙物，在檢測的過程中設置一定的預估計檢測區域，整個過程只對區域內的數據進行處理，一定程度上降低了系統處理的數據量，同時利用顏色不變定律消除背景的影響，只檢測出障礙物。

1 攝像機標定

計算機視覺是利用計算機實現對生物視覺的模擬，即利用計算機來實現客觀的三維世界與平面圖像之間的聯系。實驗操作中處理的圖像序列都是通過攝像機捕獲的視頻序列里提取出來的。想要將圖像中的信息反饋給系統識別，就必須建立二維圖像信息與三維空間目標物幾何信息之間的聯系，故此研究攝像機成像幾何模型是非常必要的。通過攝像機成像模型的研究建立真實世界中的目標物與獲取的圖像空間中的目標物之間的坐標關系。

1.1 坐標系描述

本文選用的模型為小孔成像模型，如圖1.1小孔模型所示，采用右手準則定義的坐標系，表示了三個不同層次的坐標系系統：攝像機坐標系（O_c；C_c，Y_c，Z_c）、圖像物理坐標系（O₁；x，y）和圖像坐標系（O₀；u，v）。其中攝像機坐標系是一個以小孔模型的中心O_c為原點，以光軸Z_c為Z軸的三維直角坐標系，它的X_c軸和Y_c軸分別與以O₁為原點的圖像物理坐標系的x軸和Y軸，以及以O₀為原點的圖像坐標系的u、v兩軸相平行，從圖中可以看到圖像物理坐標系和圖像坐標系均為二維直角坐標系。

1.2 攝像機成像模型

攝像機的成像過程是一個從三維空間到二維空間退化的投影變換過程。如圖1.1所示的小孔攝像機模型中，將三維空間中的一點P投影到圖像平面上，再存儲到計算機中并建立兩兩不同坐標系之間的變換關系，以實現從三維空間到二維空間的轉換。

（1）攝像機坐標系到圖像物理坐標系

如圖1.1所示，攝像機坐標系中的物點P（X_c，Y_c，Z_c）與其在圖像物理坐標系中的投影點p（x，y）的關系可以表示為：

（1）

利用齊次坐標系可表示：

（2）

f為攝像機的內部參數，是固有屬性。

（2）圖像物理坐標系到圖像坐標系

如圖1.1所示，圖像物理坐標系O₁在圖像坐標系O₀下的投影坐標為（u₀，v₀），代表圖片上的每個像素在圖像物理坐標系上的x軸v軸的物理尺寸分別為dx，dy，兩個坐標系的變換關系為：

（3）

利用齊次坐標系可表示：

（4）

2 基于光流技術的障礙物檢測

光流的概念由Gibson于1950年首先提出，是目前圖像分析的重要方法。光流在計算機視覺、對象分割、三維運動分析、對象識別與跟蹤中有很重要的作用。光流不僅包含了被觀察物體的運動信息，而且攜帶著有關其自身三維結構的相關信息。故此，在很多實際應用中，光流都有非常重要的角色。

2.1 光流的計算

光流的計算就是在視覺運動分析中計算三維物體的運動參數和結構參數，光流的計算有很多種方法，最常用的是基于時空梯度的方法，它根據圖像灰度對時空和空間的導數來得到，故此假設圖像區域在時間和空間上是連續的，或是可導的，該關系式被稱為基本等式有時也被成為光流約束方程，它構成了光流計算的一個重要的約束。

如圖2.1，設圖像上的點（x，y）在某一時刻t的輻照度為f（x，y，t），經過一定的時間間隔△t后對應點的輻照度為f（x+△t，y+△t，t+△t），根據極限思想當△t→0時認為輻照度是不發生變化，于是有：

f（x，y，t）=f（x+△t，y+△t，t+△t） （5）

用Taylor公式展開為：

（6）

忽略公式（6）中的二階無窮小ε，當△t→0，有：

（7）

其中u=dx/dt，v=dy/dt分別是圖像中某點像素在x和y方向上的光流分量。

下面則主要介紹比較經典的基于梯度的光流檢測方法，Lueas-Kanade光流法。

2.2 Lucas-Kanade光流法

Lucas-Kanade算法（LK）是用于求稀疏光流（sparseoptical flow）的，最初于1981年提出。由于算法易于應用在輸入圖像中的一組點上，其后來成為求稀疏光流的一種重要方法。LK算法只需要每個感興趣周圍小窗口的局部信息，所以它可以應用于稀疏內容，這與Horn-Sehunck的算法全局性是不同的。

LK算法基于以下三個假設：

（1）亮度基本保持變。視頻序列中目標物的像素在幀間運動時其外觀基本保持不變，對于獲取的灰度圖像（LK算法也可以用于彩色圖像），假設其像素被逐幀跟蹤時亮度基本不發生任何變化。

（2）幀間時間間隔非常微小即可認為時間上是連續的。

（3）空間一致。—個場景中同一表面上鄰近的點具有相似的運動，在圖像平面上的投影也在鄰近區域。

設圖像上的點（x，y）在時刻t的輻照度為I（x，y，t），經過時間間隔人t后對應點為I（x+△t，y+△t，t+△t），當△t→0時可認為輻照度不變，于是有：

I（x，y，t）=I（x+△t，y+△t，t+△t） （8）

我們假設移動足夠的小，則對于（8）使用泰勒公式，可以得到：

（9）

其中H.O.T=higher order terms指更高階，在移動足夠小的情況下可以忽略，結合式（8）和式（9），可以得到下式：

（10）

（11）

2.3 算法流程圖

基于光流的方法能夠很好的描述物體的運動特征，該方法的改進也能很好的用于實時的視頻處理中，但是該方法的困難在于物體特征點的尋找和匹配。特別是當運動目標很多的時候往往需要先依據別的方法來區分不同的障礙物，而且到目前為止還沒有一種比較通用的快速匹配算法，從而限制了光流法在實時障礙物檢測中的應用，L-K算法的流程圖如圖2.2所示。

3 基于Lucas-Kanade光流技術的障礙物檢測結果

本實驗是在HP 251-110cn臺式機上進行的，在Windows XP操作系統的平臺上，采用Intel公司開發的開源項目OpenCV，在Microsoft Visual C++集成開發環境下完成的。數據由車載相機捕獲的視頻序列組成，圖像幀是在不同光照、不同姿態下拍攝的，實驗前要將捕獲的圖像幀利用cvCvtColor（）函數轉化為如圖3.1所示的灰度圖，在對其調用函數cvCalcOpticalFlowPyrLK（）得到光流檢測結果。如圖3.2和圖3.3分別為LK光流檢測結果圖和光流矢量圖。

文章主要針對光照變化以及旋轉變化小到可以忽略不計的情況下進行的研究。通過對結果的比較，對圖像處理中的一些基本的操作耗時情況有了一定了解，其中主要影響檢測結果的是不同幀間時差的選取。其中方式1和方式2是選取轉換后的灰度圖中分別選取時間間隔為2s和5s的圖像幀，而方式3和方式4是選取并未經過處理的原始圖像幀而時間間隔分別與方式1與方式2相同。表1則是在以上四中情況下的對比實驗，其中算法處理結果的正確識別率及各步的耗時如表1所示。

5 總結與展望

本文通過對圖像處理技術的分析討論了Lucas-kanade光流法，并利用該算法實現了障礙物的檢測，對于增強行車系統的安全性和可靠性有著非常大的幫助。該系統的實現可使用戶能較好的掌握行車過程中的路況信息及時對外界環境信息做出反應，大大提高了行車的安全性，避免了事故的發生。此外該算法還可用于視頻的檢測，而且系統設計也比較簡單，只是由于圖片檢測的時間很難達到實時的要求，故在今后的設計中要增加考慮利用其視頻的運動特性來增加檢測效果的是實時性。