一種基于幀間差分與模板匹配的河水表面流速測量方法

趙曉剛 馮 全* 王書志

1(甘肅農業大學工學院 甘肅 蘭州 730070)2(西北民族大學電氣工程學院 甘肅 蘭州 730030)

一種基于幀間差分與模板匹配的河水表面流速測量方法

趙曉剛1馮 全1*王書志2

1(甘肅農業大學工學院 甘肅 蘭州 730070)2(西北民族大學電氣工程學院 甘肅 蘭州 730030)

為了解決常見幾種流速測量方法受含沙量與漂浮物影響大、設備與人力成本高的局限性，提出一種基于機器視覺的河水表面流速測量方法。我們分析了圖像空間與現實空間的位置映射關系，得出了物理速度與圖像速度之間的關系。通過垂直于水面的攝像頭獲取河流視頻，采用幀差處理獲得幀差圖像，檢測出其中運動顯著性比較明顯的一些區域作為模板。最后，基于模板匹配的方法檢測出模板的像素位移，聯立圖像坐標系和與現實空間坐標系的位置映射關系以及幀間時間計算出河流表面實際流速。實驗結果表明，該測速方法對自然條件下流速相對平緩的河流視頻具有較好的效果，誤差小于3%，可持續監測水流流速情況。

流速測量 模板匹配 視頻處理 幀差法

0 引 言

我國的河流眾多，水文監測信息對預防治理洪澇和水旱災害以及水資源調控具有重要作用。而流速測量是水文監測的重要工作之一，但是目前的流速測量方法用方面都有一定的局限性。常用的河水流速測量方法主要分為三類。第一類是傳統的流速儀測量法[1]，其主要原理是通過水流帶動旋槳轉動，記錄旋槳轉速，通過一定的映射關系可算出流速，但存在著當水質突變，含沙量變大時誤差會變大，且水中漂浮物會影響其結果甚至損毀旋漿的問題。第二類是通過聲學多普勒效應來測量流速[1]，主要用于測量船，也存在著設備和人類投入比較大、成本比較高的問題。第三類是浮標法，其中比較先進的是基于視頻處理與浮標法相結合的水流速度測量方法，例如韓予皖[1]通過跟蹤水流視頻中浮標的運動軌跡結合攝像機標定來計算水流速度，但該方法需要投擲浮標，無法實現對水流速度的不間斷實時監控。針對以上問題，本文試圖探索一種不受含沙量與漂浮物影響，設備和人力成本低且可持續實時監控的水流流速測量方法。

傳統模擬攝像機原本分辨率就不高，加之要受到反復的A/D轉換、電磁傳輸干擾、D1畫面的合成反交錯等視頻損傷，使得圖像細節紋理丟失嚴重。流水運動產生的細節在視頻上往往觀察不清，因此傳統的方法需要投擲浮標或者拋灑示蹤粒子，通過觀察浮標的運動才能在圖像中分析流水的運動。隨著科技的發展與技術的進步，數百萬乃至千萬分辨率的高清攝像機應用越來越廣泛。借助高清攝像機能很好地觀測到水面波動的紋理細節。本文在利用高清攝像頭拍攝序列圖像(視頻)的基礎上，提出了一種河水表面流速測量方法。該方法分析河水流動過程中本身產生的波動紋理特征或自然漂浮物來檢查具有顯著運動的區域，以這些區域為模板，在隨后的視頻圖像中搜索匹配區域，以此估計這些區域的運動位移，結合攝像機標定來計算水流速度。具體來說是采用幀差法[2-6]計算出幀差圖像，在t時刻幀差圖像提取出其中具有顯著運動的小目標作為模板，在t+△t時刻幀差圖像中，用模板匹配[7-11]法找到與之對應的最佳匹配坐標，從而計算出各模板的相對位移，求出所有模板的平均相對位移后，最終結合攝像機標定結果計算水流流動速度，流程如圖1所示。本方法的優點是不需要投擲浮標，可連續測量，人力和設備成本低。

圖1 系統流程圖

1 攝像機標定

基于機器視覺的速度測量方法需要通過攝像機標定來建立二維圖像尺度與世界三維空間坐標系中的真實尺度之間的映射關系。如果將攝像機固定在水面正上方，并將攝像頭光軸垂直指向水面，則水流流動可看做是一種二維運動，流速計算可簡化為二維運動估計問題[12-14]，攝像機標定模型為一種線性模型，即透視投影成像模型[1]。

根據透視投影成像模型，二維圖像尺度與世界三維空間坐標系中的真實尺度之間存在線性關系。應用到本文中，水面上存在的B、C兩點其在二維圖像上的映射為B’、C’,則B、C的距離dbc與B’、C’的距離db′c′(像素意義)有如下數學關系：

dbc=k·db′c′

(1)

由于水流都是在河道中流動，實驗時只需要計算流速，而不必考慮其方向。當光照可靠時，物距固定且攝像頭焦距固定的情況下，其成像大小總是一致的。所以放大倍數k是一定的。攝像機標定主要工作就是獲取k，通過實驗可獲得k值，從而建立像平面速度與實際速度之間的關系。

2 流水視頻處理與表面流速測量

2.1 模板提取

當視頻中有物體運動時，幀與幀之間會有明顯的差異，兩幀相減得到兩幀差的絕對值作為幀差圖像，可以在幀差圖像上分析物體的運動特性。在自然條件下，河流流動時，受到重力和表面張力的影響，總是不平靜的，會天然地產生波動。一幀圖像上波動可能很弱，但從幀差圖像上卻容易判斷水流的波動，這為本文通過視頻處理來獲取水流速度提供了可靠的目標。

假設很短的時間內小目標的運動狀態基本不變，本文通過檢測跟蹤這些天然目標最終得出水流流動速度。而為了捕捉這些細小的波動，本文計算了幀差圖像：

ΔI(u,v,t1)=|I(u,v,t1)-I(u,v,t2)|

(2)

其中：I(u,v,t1)是視頻在t1時刻那一幀在點(u,v)處的灰度值，ΔI(u,v)是t1時刻與t2時刻灰度圖像差的絕對值。本文需要統計連續多幀上的小目標速度，采用連續幀差的檢測方案(通常取連續三幀，分別是t-Δt、t和t+Δt，Δt為相鄰兩幀的間隔時間)，即讓t-Δt時刻的灰度圖像與t時刻的灰度圖像做幀差，表示為Ct-；再讓t時刻的灰度圖像與t+Δt時刻的灰度圖像做幀差，表示為Ct+。然后將Ct-進行二值化處理，其數學表達為：

(3)

其中：T為設定的閾值函數。

因為同一視頻每一幀的灰度存在差異，設定固定的閾值會造成某些幀無法檢測到目標或者目標數量太少，所以本文采用動態閾值，會自動根據灰度最大值調整系統閾值，即：

T=α·max(ΔI(u,v,t))

(4)

其中：α為常數因子，實驗中取0.95。

幀差圖像經過二值化后被分割為多個連通域，將各個連通域用最小矩形包圍，本文將二值圖C2t-中各矩形區域做為掩模，將它們在Ct-中對應的矩形區域設定為模板?？紤]到本文后續處理采用的是模板匹配的方式來計算河流速度，模板面積太大則運算量大，耗費時間，模板面積太小則匹配精準度不高，故應選取模板面積大小合適的連通域作為檢測目標，如此則選取合適的掩模PS，其面積屬于區間[S1,S2]。一個模板可表示為：

bboxPs=(u,v,w,h)

(5)

其中：(u,v)為模板左上角坐標，w與h分別矩形的寬和高。模板提取傳輸圖如圖2所示。其中：(a)為原始視頻中提取的某幀，(b)為(a)做幀差圖像(10倍亮度顯示)，(c)為(b)的二值化圖像，(d)圖上白色框表示自動選取出的掩模。

圖2 模板的提取傳輸圖

2.2 模板匹配

模板匹配是一種應用很廣泛的定位方法，其主要過程為已知一個模板，在待檢圖像中通過滑動與模板同尺寸的框得到當前輸入圖像，利用一定數學方法統計各輸入圖像與原模板的差異，從而找出最佳匹配點。在幀差圖Ct-中檢測出多個模板，在Ct+中匹配出這些模板，就可以知道模板的運動速度。

本文采用式(6)來計算模板f在Ct+中的匹配程度：

(6)

其中：f表示模板，f(u′,v′)表示模板在(u′,v′)處的灰度值；F為Ct+中的區域，F(u+u′,v+v′)表示左上角坐標為(u,v)的輸入圖像在(u′,v′)處的灰度值；R(u,v)表示模板與左上角坐標為(u,v)的輸入圖像的差異值；R(u,v)越小則以(u,v)為左上角坐標的輸入圖像塊與模板差異越小。

展開式(6)可得：

(7)

在式(7)中第一項為模板各點的平方和，當模板已知時，為常量，所以本文只需計算后兩項，而第二項為輸入圖像與模板的互相關項，第三項為輸入圖像塊的能量。

(8)

(9)

Rs(u,v)=R1(u,v)-2R2(u,v)

(10)

本文取使得Rs(u,v)在取最小值的(u,v)作為模板f在Ct+中的最佳匹配坐標，即：

(u,v)*=arg(u,v)minRs(u,v)

(11)

為了提高計算Rs(u,v)的速度，可采用快速傅里葉變換計算式(10)。

2.3 流速計算

利用式(5)可獲取到在Ct-上的模板bboxA，因為模板運動速度有限，則在很小的時間間隔有一定的運動范圍，即匹配時選取一定的搜索范圍可節省運算開銷并提高精度。另一方面，考慮到模板匹配故有的檢測漂移[15]問題，本文采用文獻[15]的方法解決模板漂移問題，即先使用Ct-作為待檢圖像并找出模板的最佳匹配坐標，再使用Ct+作為待檢圖像中并找出模板的最佳匹配坐標，以這兩個坐標作為位移計算的原始數據。對于某個模板，通過上述方法在Ct-上的最佳匹配坐標(r1,c1)，在Ct+上的最佳匹配坐標(r2,c2)，則將兩個坐標的差作為模板真正的運動距離。為了得到可靠的運動速度，本文記錄連續η幀上所有模板的位移(實驗中η值取100)。

以橫坐標為ω，縱坐標為模板位在范圍[ω-ω0,ω+ω0](實驗中ω0值取5)內出現的次數做統計。可見統計圖為單峰分布，找出使得模板位移出現次數取得最大值的ω，統計在[ω-ω0,ω+ω0]范圍內的剩余O組模板位移的平均值。

(12)

如圖3所示，為某段河流視頻令ω0=5時連續100幀的模板位移統計圖，橫坐標為ω值，縱坐標為[ω-ω0,ω+ω0]內模板位移出現的次數。

則水流表面運動速度：

(13)

圖3 模板位移統計圖

3 實驗結果與數據分析

對于本文方法的準確性，需要通過實驗進行驗證，其方法是將本文算法計算得到結果與傳統的機械旋轉漿式水流測量儀的測量結果做對比。

3.1 實驗設備及參數設置

本文實驗采用的水流測量儀型號為LS1206B型旋漿式流速儀，其相對誤差δ≤±5%，全線相對均方差|m|≤1.5%。視頻采集使用的攝像機為佳能公司EOS1200D，鏡頭采用EF 75-300 mm Ⅲ，圖片尺寸為1 920×1 088，幀率25即Δt=0.04 s。圖像處理過程是在PC上完成，操作系統是Windows 7，算法運行環境是Matlab 2016。

3.2 低速河流速度測試與數據分析

為驗證本方法的有效性，在自然條件下采集多段水流視頻，并同時使用水流測量儀測量水流速度。在采集視頻時，攝像機鏡頭軸線垂直于水面。經過實地采集，獲得低速河流運動視頻A、視頻B，視頻采集地點為蘭州市銀灘公園黃河支流。受試驗條件限制，無法實地對中速河流進行測試，對中速河流通過進行模擬測試。本文認為河流在中速情況下，拍攝的視頻中目標運動距離會變大;而在不同的拍攝距離下，拍攝的視頻中的紋理特征會有不同的尺寸變化。由此本文通過兩種方法來對其他速度情況與其它距離情況進行模擬。第一種是計算幀差圖像時采用隔一幀做幀差的方法來模擬流速較高的情況，第二種是通過縮小視頻尺寸來模擬拍攝距離較遠的情況。

表1為河水表面流速測試誤差統計表。其中，情形1與情形2為原始采集的視頻A與視頻B。情形3與情形4分別視頻A與視頻B隔幀采樣后的視頻。情形5與情形6為視頻A與視頻B的圖像分別對寬和高縮小到原來0.5倍時的視頻。

表1 河水表面流速測試誤差統計表

其中：V0表示水流測量儀多次測量結果的平均值或通過模擬技術對視頻處理后的計算值，V表示本方法或通過模擬技術對視頻處理后的計算值，V表示本方法實驗結果，k表示攝像機標定的放大系數，Δt表示幀間時差，l表示視頻縮放系數，δ表示相對誤差。

通過表1的情形1～2可以看出，本文方法對不同的視頻都能進行檢測，證明本文方法對低速河流具有普遍性。通過情形1與情形3、情形2與情形4對比，證明本文方法在目標位移變大時誤差較小，表現良好。通過情形1與情形5、情形2與情形6對比，證明本文方法在目標尺寸變小時誤差較小，表現良好。通過情形3～6可以看出，本文方法對中速河流也可以進行檢測。綜上所述，本文方法對中低速河流都能進行監測，并且結果穩定可靠，具有一定的可靠性與普遍性。

4 結 語

本文方法在通過幀間差分法與模板匹配相結合的技術對河流流動時產生的自然波紋進行跟蹤，再聯合攝像機標定來測算河水表面流速，基本實現了預期目標，是一種不受含沙量與漂浮物影響，設備和人力成本低且可持續實時監控的河水表面流速測量方法。本文通過實驗與理論論證，證明基于機器視覺的水流速度測量方法是可行的，為進一步采用其他機器視覺處理方法測量水流速度提供了先期探索。實驗結果表明，本文方法在單幀位移變大，目標尺寸變小的情況下，誤差小于3%，效果良好，是一種可靠的河水表面流速測量方案。

[1] 韓予皖. 基于視頻處理的河水流速監測系統設計[D]. 太原理工大學, 2013.

[2] 鄧文浩, 唐立才, 張南鋒,等. 基于改進的幀差法和Mean-shift結合的運動目標自動檢測與跟蹤[J]. 現代電子技術, 2016, 39(4):108-111.

[3] 於正強, 潘赟, 宦若虹. 一種結合幀差法和混合高斯的運動檢測算法[J]. 計算機應用與軟件, 2015,32(4):129-132,270.

[4] 張賽鈺, 朱小玲, 汪衍廣,等. 基于幀差法與Mean-shift算法相結合的運動熔滴識別與跟蹤方法[J]. 上海交通大學學報, 2016,50(10):1605-1608.

[5] 劉青芳. 基于幀差法的運動目標檢測方法研究[J]. 數字通信世界, 2015(11)：54，120.

[6] 安云鳳, 潘海鵬. 一種新的三幀差運動氣泡檢測方法[J]. 光電子·激光, 2016(9):963-972.

[7] 彭玉青, 李木, 高晴晴,等. 基于動態模板匹配的移動機器人目標識別[J]. 傳感技術學報, 2016,29(1):58-63.

[8] 王雷, 姜久雷. 基于改進的模板匹配的設計模式自動識別[J]. 計算機工程與設計,2016,37(9):2429-2434.

[9] Fredriksson K, M?kinen V, Navarro G. Rotation and lighting invariant template matching[J].Information & Computation, 2004,205(7):1096-1113.

[10] 唐琎, 李青. 一種快速的模板匹配算法[J]. 計算機應用, 2010, 30(6):1559-1561.

[11] 李超, 于飛, 康曉軍. 一種模板匹配的快速實現方法[J]. 航天返回與遙感, 2016,37(1):63-70.

[12] 李世揚, 儲澤楠. 一種視頻圖像目標平移運動估計算法[J]. 計算機應用與軟件, 2015, 32(12):184-187,200.

[13] 修彬, 李成龍, 湯進,等. 一種基于運動估計的紅外目標跟蹤方法[J]. 計算機工程與應用, 2014,50(12):125-128.

[14] 禹晶, 蘇開娜. 塊運動估計的研究進展[J]. 中國圖象圖形學報, 2007, 12(12):2031-2041.

[15] 潘吉彥, 胡波, 張建秋. 抑制模板漂移的目標跟蹤算法[J].電子學報, 2009,37(3):622-627.

MEASURINGSURFACEVELOCITYOFRIVERFLOWBASEDONIMAGESOFFRAMEDIFFERENCEANDTEMPLATEMATCHING

Zhao Xiaogang1Feng Quan1*Wang Shuzhi21

(CollegeofEngineering,GansuAgriculturalUniversity,Lanzhou730070，Gansu，China)2(SchoolofElectricalEngineering,NorthwestUniversityforNationalities,Lanzhou730030，Gansu，China)

There are some limitations in traditional velocity measure methods of river flow. For example, sediment concentration, floating objects and the cost of device and human resource are too high. In order to overcome the limitations, this paper proposes a method to measure the surface velocity of the river flow based on computer vision. We analyzed the relationship between image space and real world space, and derived the physical velocity from the image velocity. We captured the video of river by a camera whose optic axis was perpendicular to the surface of the river. The frame difference method was used to produce difference image in which the salient moving regions were detected as templates. In the succeeding difference image, the template matching algorithm was employed to find out the regions matched those template best, indicating the templates’ movement. The shift of a template between two images was evaluated by the pair of the template and the corresponding region and used to calculate the velocity of the template. The experimental results show that the proposed method can evaluate the surface velocity effectively and accurately for smooth flow. The error is lower than 3%, and the flow velocity can be monitored continuously.

Flow velocity measurement Template matching Video processing Frame difference method

TP3

A

10.3969/j.issn.1000-386x.2017.09.014

2016-12-28。國家自然科學基金項目(61461005)。趙曉剛，碩士生，主研領域：圖像處理，模式識別。馮全，教授。王書志，副教授。