面向冰凌密度監測的圖像校正算法優化及系統設計

鄧 霄，王玎睿，馮 健，張 琳，秦建敏

(1.太原理工大學 a.物理與光電工程學院，b.新型傳感器與智能控制教育部與山西省重點實驗室，太原 030024； 2.中國電子科技集團公司 第二十二研究所，山東 青島 266107)

凌汛是冰凌對水流的阻力作用而引起的一種漲水現象[1]。黑龍江為中國第三大河流，穿越了中國、蒙古、俄羅斯三個國家，地處高寒高緯度地區。黑龍江上游的漠河縣江段狹窄、島嶼眾多，加之地理位置和氣候條件綜合作用，常引起“倒開江”現象，造成洪水泛濫，威脅到沿江流域兩岸居民生命財產及水電工程設施的安全運行，所以凌汛的預報與預防是當地政府的一項重要任務[2-4]。人工檢測流凌是目前水文部門主要使用的手段，但是其勞動強度大，信息很難做到連續，無法實現定時定點觀測。隨著信息技術的發展，地電冰凌技術與衛星遙感技術等也被小規模采用[5]。但是地電冰凌技術無法獲取直觀、清晰的小范圍冰凌圖像；而衛星遙感技術也存在對河道的局部彎曲細節反映不準確等問題[6]。戎軍飛等[7]在內蒙黃河蒲灘拐河道搭建了一套冰凌圖像數據監測系統，通過對采集圖像進行自適應閾值分割算法處理，得到了被觀測區域的冰凌密度的分布情況。但是該方法并沒有考慮所采集圖像的透視關系，故如果應用于黑龍江漠河江段(最小跨幅約500 m)，將對其測量結果產生較大的誤差。同時考慮到實驗地點極端寒冷的天氣，常規的視頻監測系統很難滿足長時間連續工作的要求。

針對現有監測方法的不足，本文設計了一種適用于野外極端低溫環境的河道定點冰凌圖像監測系統，針對傳回圖像存在“近大遠小”的問題，采用基于透視變換的圖像校正算法進行了優化，進而獲得了相對準確的被觀測區域河道水面冰凌密度數值和流速值。該系統于2015/2016年冬季部署在黑龍江漠河江段(53°28′43″N,122°21′38″E)，為提高該河段凌汛測報準確度提供了一種有效的技術方案。

1 系統現場部署概述

現場實驗地點位于中國最北(中俄交界)的黑龍江上游漠河縣北極村境內，如圖1(a)和(b)所示。該地區的冰期通常從十月下旬開始，一直持續至第二年的四月下旬，冰層的最大厚度約110 cm[8-9]。在融冰期，受溫度影響，低緯度地區(上游)的冰蓋會首先破裂，大塊碎冰順流而下，在河道拐彎處常常發生堆積，堵塞河道，造成壅水漫灘[10]。針對這一情況，項目組與當地水文部門人員經過實地考察，最終確定將河道定點冰凌圖像監測系統安裝于北極村北極廣場東南側岸邊(圖1(b)和(c))，距離地面的高度為8 m.該系統的前端攝像頭選用海康威視的螢石3G網絡攝像頭，分辨率為300萬像素，內部存放有3G網絡連接端口協議，采用H.264視頻壓縮算法，可以自動獲取被測河道冰面的靜態圖像和動態視頻。

圖1 系統現場部署情況Fig.1 Deployment introduction of monitoring system

2 監測系統總體結構

整個監測系統由基于MSP430F1611單片機的系統控制模塊、視頻采集模塊、無線視頻服務器模塊、電源控制模塊和監控中心組成。系統外圍的供電采用45 W的太陽能板及控制器實現，網絡通信基于GPRS以及Internet網絡實現。為了保證采集數據的可靠性，設計了實時傳輸和SD卡存儲兩種模式。同時，由于要運行在極端低溫環境(最低溫度-45 ℃)，所以整個系統采用了一套具有溫度反饋功能的自加熱控制系統，其總體結構如圖2所示。在系統運行時，還設計了定時和手動兩種工作模式，既可以選擇通過預設的時間啟動設備，也可以選擇通過監控中心手動發送控制命令，以實現冰凌圖像信息的采集。

圖2 系統總體結構示意圖Fig.2 Schematic diagram of the monitoring system

如圖3所示為系統的主程序流程圖。系統上電后，開始初始化工作，配置相關寄存器、初始化時鐘、I/O口、看門狗、中斷控制器及其他相關外設；初始化完成后，系統進入低功耗休眠狀態，等待中斷事件的喚醒；當有中斷事件產生時，處理器首先判斷中斷源，然后進入中斷處理程序處理相應的事件，事件處理完成后，再次進入休眠狀態，等待下一次事件的喚醒。

圖3 系統主程序流程圖Fig.3 Flowchart of system main program

3 冰凌圖像數據的處理算法

利用冰凌圖像數據可以判斷掌握被監測河道的實時冰凌密度與流速情況。在此基礎上利用Matlab對已有冰凌分布圖像數據進行量化分析，可以為相關部門的防凌決策提供基本的技術支持。

3.1 基于透視變換的圖像校正算法

由于現場條件的限制，監測系統只能部署于中國一側的岸邊，所以為了解決所采集圖像“近大遠小”的問題，提高對于流凌密度計算的精度，本文采用了基于透視變換的圖像校正處理算法。共分為兩步：1) 將河道冰凌圖像從背景中分割，并得到冰凌圖像的邊界；2) 基于標定數據建立透視變換矩陣，達到圖像校正的目的。

如圖4所示，典型的透射投影模型包括觀察點、透視平面和對象的目標表面[11]。攝像機的位置是觀察點，該點還確定了透射平面與目標表面四對角點之間的角度[12-13]。其中，透射平面代表將3D對象轉換為2D圖像的表面(攝像機拍攝到的冰凌圖像)；目標表面代表理想的捕獲圖像(校正的冰凌圖像)[14]。由于透射平面與目標表面四對角點之間存在一定的角度，所以會丟失目標表面中線條的平行關系，導致在透視平面上形成不規則的四邊形。

圖4 透射投影模型Fig.4 Transmission projection model

根據透射投影模型，文中校正矩陣的建立過程如圖5所示。北極廣場氣象站為攝像機的安裝地點，圖中邊界A、邊界B是攝像機視野的下邊界；邊界C、邊界D是攝像機視野的上邊界。經測量，北極廣場氣象站與邊界B，A，C和D的距離分別為70.21 m，62.00 m，193.47 m和167.00 m；邊界A和邊界B的距離為45.18 m.

根據漠河江段現場標定數據，可以獲得透射平面(冰凌圖像)和目標表面(校正圖像)四對角點之間的對應關系，從而確定透視變換的矩陣，該矩陣可以實現對透視圖像的校正變換，其后再進行差值處理，以保證校正變換后冰凌圖像的清晰度。

圖5 實驗江段現場標定圖Fig.5 Field calibration diagram of experimental section

原始冰凌圖像與校正冰凌圖像之間的點對關系可以用透視變換的矩陣來表示，它是一個從二維空間(x,y)到三維空間(x′,y′,a)并回到二維空間(x′,y′)的過程(見式1)：

(1)

其中，(x,y)為原始冰凌圖像的二維坐標，(x′,y′)為校正冰凌圖像的二維坐標，(x′,y′,a)為冰凌圖像的三維坐標，a為任意非零常數。

將式(1)在直角坐標系中表示如下：

(2)

(3)

求解此線性方程組可以得到矩陣中每一個hi的值。

利用解得的變換矩陣就可以對透視冰凌圖像中的每一個像素實現透視變換，從而將透視變形的冰凌圖像校正為近似無變形的原冰凌圖像的正視圖，結果如圖6和圖7所示。

圖6 原始圖像Fig.6 Original image

圖7 校正后的圖像Fig.7 Corrected image

3.2 基于亮度均衡化的圖像分割算法

基于亮度均衡化的圖像閾值分割算法的基本思路為：對于采集到的冰凌原始圖像，首先采用形態學的相關運算對圖像進行預處理[15]。隨后按照圖像的灰度特性，將圖像分成背景(河水)和目標(冰凌)兩部分，若二者間的類間方差值越大，說明構成圖像的兩部分的差別越大，即背景(河水)和目標(冰凌)分割的越準確。以類間方差作為衡量冰凌、河水之間差異的判別準則，其極大化的過程就是根據冰凌圖像自動確定閾值的過程，因此，類間方差的最大值就是區別背景河水和目標冰凌的最佳閾值[7]。為了便于后續分析，根據閾值分割原理，將校正后的冰凌圖像轉化為二值圖像，如圖8和圖9所示。

圖8 灰度圖像Fig.8 Grayscale image

圖9 二值圖像Fig.9 Binary image

3.3 算法實現例程

冰凌密集度計算程序流程圖如圖10所示。程序首先讀取河道冰凌監測系統傳回的冰凌圖像，之后利用確定透視變換的矩陣對透視圖像進行校正變換，隨后進行插值處理，以保證校正后圖像的清晰度。最后對校正后的冰凌圖像進行灰度化處理，并

圖10 冰凌密集度計算程序流程圖Fig.10 Flow chart of ice density program

利用形態學原理將冰凌原始圖像的亮度均衡化。以類間方差的最大值為標準，求取最佳閾值，將冰凌圖像轉換為二值圖像，則冰凌分布的密度Z可以定義為式(4)：

Z=X/Y.

(4)

式中：X為圖像中冰凌部分的像素數，Y為圖像中的總像素數。

此算法的優勢在于能夠實現閾值的動態獲取，在使用上更具有通用性。由圖11可知，該冰凌圖像的最佳閾值為96.

圖11 灰度-閾值曲線Fig.11 Gray-threshold curve

4 現場冰凌圖像數據分析

4.1 冰凌密度計算

2015年12月至2016年5月期間，課題組在黑龍江漠河江段(53°28′43″N,122°21′38″E)進行了流凌監測現場實驗，全面觀測了漠河江段的封凍、開河過程，得到了大量的圖像數據，為后續的數據處理提供了有利保障。需要說明的是，為了使系統能在野外環境中長時間可靠工作，對系統進行了低功耗處理。即以每天2次(上午10時和晚上20時)的頻率將所采集的視頻數據存儲于現場的SD卡中，并通過GPRS網絡將SD卡中的數據傳回監控中心。

圖12為2016年4月23日至5月3日的冰凌

圖12 2016年4月23日至5月3日的冰凌密度變化曲線Fig.12 Change curve of ice density from April 23 to May 3, 2016

密度變化曲線，由圖可知，監測點在4月23日之前仍處于封凍期(100%)，4月23日至4月29日河道的部分冰蓋發生了融化(40%～60%)，但尚未形成流凌。4月30日以后開始有伴隨江水順流而下的浮冰出現，故選取5月2日的圖像數據進行分析。

利用文中所提流凌密度圖像處理程序，對2016年5月2日上午10:28:00至10:28:50接收到的部分數據進行分析，可得監測點處的流凌密度為8%左右。結果如表1所示。

表1 部分冰凌圖像數據分析結果Table 1 Analysis of partial ice image

4.2 河道流速的計算

由于在透視投影中目標物體的水平移動不會影響其形狀的變化，因此河道的平均流速可以定義如下(式5)：

(5)

式中：n為目標物體移動的像素數；nr為基于標定點的已知像素；Lr為標定點的實際距離；t為目標物體移動的時間。

假設某一時段內江水的水平流速不變(不考慮江邊的情況)，選取2016年5月2日上午10:28:20至10:28:30接收到的部分數據進行分析。從圖13可知，目標冰塊從圖13(a)處移動到圖13(b)處所用的時間t為10 s，冰塊在圖片中移動的像素n為460，攝像機視角的邊界A和邊界B之間的距離Lr為45.18 m，其對應的圖片像素nr為1 280.根據透視變換中透視平面和目標表面之間的對應關系，可得被測河道的平均流速為1.62 m/s.

圖13 計算流速時目標物體的確定Fig.13 Determination of the target object in calculating the flow rate

5 結束語

針對黑龍江漠河江段春季開河時冰凌密度與流速的實時監測問題，本文設計了一種可用于野外極端低溫環境的河道定點冰凌圖像監測系統，考慮到利用原始圖像數據對冰凌密度的計算結果存在誤差，采用基于透視變換的圖像校正算法和動態閾值分割算法對圖像數據進行了優化。該系統于2015/2016年冬季對黑龍江漠河江段的封凍、開河過程進行了全面監測，獲得了凌汛期間的流冰密度分布、流速等重要參數，為該江段凌汛測報工作的有效開展提供了一種新的方法和手段。