基于熱紅外視頻圖像監測的海面溢油識別技術研究

王利鋒，辛麗平*，劉家碩，鞠蓮

(1.青島理工大學 信息與控制工程學院，山東 青島 266520；2.國家海洋局北海環境監測中心，山東 青島 266033；3.山東省海洋生態環境與防災減災重點實驗室，山東 青島 266033)

1 引言

隨著海洋運輸業的發展，海面溢油事故（船舶溢油、油輪溢油、油井平臺溢油）的發生也愈加頻繁。若溢油事故未被及時發現并得到有效控制，溢漏的石油（原油、汽油、柴油等）在海風/浪的影響下將會在海面上形成數百甚至數千平方千米的大規模油膜覆蓋，這必將嚴重破壞海洋生態環境[1-3]。因此，開展海面溢油識別技術的研究以第一時間鑒別溢油的發生，不僅可以及時發現并有效控制溢油事故，而且有利于防治海洋環境污染、保護海洋生物資源。

目前，海面溢油監測方式主要有浮標監測、遙感監測、船舶監測、定點監測等[4-6]。浮標監測是通過觀測浮標監測海水特性指標來分析海面是否存在油膜，該方法只能監測已設置浮標的固定區域海面是否發生溢油，對于未設置浮標的區域無法探測。遙感監測是通過衛星和飛行器攜帶可見光傳感器、紫外傳感器、多/高光譜成像儀、合成孔徑雷達（SAR）或激光熒光傳感器等傳感檢測設備來感知海面是否存在油膜以識別海面溢油的發生[7-11]。其中，可見光傳感器與紫外傳感器受外界光照條件影響嚴重，其應用場合十分有限；多/高光譜成像儀的檢測精度受云層及海面惡劣天氣影響嚴重[8-9]；SAR 雖可穿透云層、全天候檢測海面油膜，但難以排除生物油膜、降雨區、低風速區等“假目標”區域的干擾[10-11]；激光熒光傳感器是目前唯一能探測海灘、冰雪油污染的傳感器，但其造價昂貴，推廣困難[4]。遙感監測只有在海面已呈現大規模油膜覆蓋后才能識別海面溢油，對于石油運輸、碼頭作業等過程中發生的持續性小規模溢油，遙感監測無法及時識別溢油事故。船舶監測是通過巡邏船攜帶傳感器對海域進行巡視來采集海面信息[12]。定點監測是在碼頭、港口的特定區域設置固定的傳感器來監視海面是否發生溢油[6]。如德國OPTIMARE 公司的溢油監測設備SpillWatch；美國InterOcean 公司的Slick Sleuth；深圳鹽田港布置的激光熒光傳感器溢油報警裝置[13]；它們能實時獲取特定區域的海面環境信息，故在及時發現溢油事故方面有一定優勢。但由于它們所采用的傳感器易受到太陽耀斑、海面波浪、低光照、海霧等惡劣天氣條件的干擾，其檢測精度和靈敏度難以令人滿意[12-13]。熱紅外傳感器是基于油膜呈現的熱特性來分析油膜的物理化學性質，不僅能克服太陽耀斑及光照條件對油膜識別帶來的影響，還能全天候監測海面油膜的具體分布情況及其變化趨勢[14-18]。但熱紅外傳感器難以區分與油膜具有相同/相似的熱特性的自然物體（如水藻及其他海面漂浮物）[5]。此外，目前主流的視頻監測算法在復雜海面環境下容易產生誤報，且處理時間較長，因此難以滿足實時監測的需求[19-20]。

為此，本文結合溢油發生時油膜面積迅速擴大的特性，采用熱紅外視頻圖像監測油膜面積變化，通過設置面積變化率閾值來排除相似物干擾區域，從而提出快速識別海面溢油區域的方法。基于單幀熱紅外圖像提取海面前景區域并通過已開發的像素面積法[21]計算各區域所代表的實際物理面積；基于單幀熱紅外圖像提取海面前景區域（包含油膜區域和相似物干擾區域）并通過已開發的像素面積法[19]計算各區域所代表的實際物理面積；基于視頻圖像跟蹤測算前景區域中各連通區域的實際物理面積；依據石油泄露時海面油膜的擴散特征，設置面積變化率閾值，當海面前景區域的面積變化率大于所設閾值時，標志著該海面區域正在發生溢油。本方法能快速識別特定場景下（如碼頭、船舶等）正在發生的海面溢油，能為溢油事故的及時發現和有效控制提供技術支持。

2 實驗與原理

2.1 實驗材料與裝置

本次實驗選用Fotric288 非制冷型紅外熱像儀采集海面視頻數據，紅外熱像儀的關鍵設備參數如表1所示。實驗用石油樣品為美孚（Mobil）公司黏度等級為20W-50 和0W-20 的成品油。實驗海水來自膠州灣近海水域。實驗水槽為污染物運移水動力模擬水槽（國家海洋局北海環境監測中心，青島），長、寬、高分別為20 m、0.8 m、2 m，水槽外側與底部設有隔光紙（去除雜光干擾），水槽配有造浪裝置，可產生周期為2 s、振幅為0～50 cm 的規則波，實驗時水槽內水深為1 m。溢油模擬裝置采用直徑8 cm、高10 cm 的自制塑料圓環。

表1 Fotric288 參數規格Table 1 Specifications of the Fotric288

2.2 視頻圖像采集

實驗室位于地下一層，為恒溫實驗室，實驗時室內溫度為23 °C、濕度為65%；實驗前將海水注入實驗水槽中并于恒溫實驗室內靜置48 h 以上。將熱像儀安裝在距水面1.5 m 位置以垂直監測水面狀況。水面溢油油膜視頻圖像采集示意圖如圖1 所示，將溢油模擬裝置（塑料圓環）靜置于水面（熱像儀可監測范圍內）；用量筒量取50 mL 的石油樣品，通過導油管緩慢滴入溢油模擬裝置；待石油樣品完全滴入并保持穩定后，撤除模擬裝置，用紅外熱像儀記錄油膜擴散的動態變化過程。實驗設置3 種不同的水面環境（分別為平靜水面環境、含波浪干擾的水面環境、含漂浮物干擾的水面環境），共采集5 組不同實驗條件下的視頻數據，具體實驗條件如表2 所示。每組數據采集完畢后，使用吸油氈清理水槽。

圖1 水面油膜熱紅外視頻采集示意Fig.1 Schematic of thermal infrared video acquisition of water surface oil film

表2 實驗條件Table 2 Experimental condition setting

2.3 海面油膜識別原理

由于油與水的熱輻射率存在差異，油膜區域與海面背景在熱紅外圖像中的亮度溫度不同，當油膜厚度大于最小可檢測厚度時，亮度溫度是識別油膜的可靠參數[17]。雖然海面漂浮物等相似物干擾區域可能在熱紅外圖像中表現出與油膜區域相同或近似的亮度溫度特性，但相似物干擾區域通常無明顯的面積變化特性。而石油在泄漏初期會向四周快速擴散，具有明顯的擴散特征。Lehr 等[1]于波斯灣進行了溢油擴散實驗，使用同種輕質原油，分別獲取了20 桶與51 桶油在水面的擴散情況。油膜區域面積變化情況如圖2所示。

圖2 油膜區域面積變化情況Fig.2 Variation of the area of oil films

可見，在石油泄漏早期，油膜區域面積呈單調遞增趨勢。因此，可以通過熱紅外視頻圖像中油膜的面積變化特性來排除相似物的干擾。

3 方法

3.1 單幀熱紅外圖像處理方法

3.1.1 圖像預處理

熱像儀采集到的原始熱紅外視頻圖像以RGB 顏色空間表示，R、G、B 分別代表圖像的紅、綠、藍3 個色彩通道，圖像中每個像素點以一個三維數組表示。通過下述步驟對圖像進行預處理：（1）對比R、G、B 各通道的灰度分布特征，選擇灰度分布最均勻的分量灰度圖像替代原始圖像；（2）采用3×3 的中值濾波器進行濾波處理；（3）采用拉普拉斯算子進行銳化處理，補償由中值濾波引起的圖像模糊現象。

3.1.2 前景區域分割

在本文中，水面油膜區域和相似物干擾區域為前景區域，其他區域為背景區域。由于前景區域與背景區域之間具有明顯的灰度值差異，因此選用Otsu[22]提出的最大類間方差法對圖像進行分割。將圖像中灰度值大于閾值T的像素群認定為前景區域，小于T的像素群認定為背景區域，可表示為

式中，f(x,y) 為 灰度圖像中任一點的像素值；g(x,y)為分割后二值圖像中對應點的像素值。

分割后圖像中存在孔洞與離散像素的干擾，采用形態學操作對圖像進行降噪處理。設Qi為前景區域中的第i連通區域，i≥1，則經形態學操作后圖像中任意一點的像素值可表示為

Qi的像素數量和可表示為

3.2 面積計算方法

圖像中任一單位像素在世界坐標系中都代表一塊實際物理區域，利用像素面積法[21]可求得單位像素在世界坐標系下所代表的實際物理尺寸，從而計算出圖像中任意區域所代表的實際物理面積。連通區域Qi的實際物理面積可表示為

式中，H為紅外鏡頭焦點至成像平面的物距；α×β為紅外鏡頭的視場角。

3.3 視頻圖像處理方法

3.3.1 多幀圖像間的區域跟蹤

由于海面存在海風、海浪、海流等外力的影響，海面油膜除了擴散外，往往還會出現徑向移動。在圖像中的表現為：多幀視頻圖像間的Qi的像素數量和重心坐標會不斷發生改變[23]。為此，本文通過以下步驟實現多幀圖像間的連通區域跟蹤：

（1）分別對當前幀圖像ft與前一幀圖像ft-1進行3.1 節中的單幀圖像處理，得到處理后的圖像與，其中i和j分別為當前幀圖像與前一幀圖像中連通區域的數量。

（6）重復上述步驟實現連續多幀圖像間的區域跟蹤。

3.3.2 油膜區域的提取與標記

由于在溢油初期油膜區域面積會迅速增大，若前景區域中某一連通區域在多幀圖像內的面積呈單調遞增趨勢且變化率大于一定范圍，則可將其認定為感興趣的油膜區域（Region of Interest,ROI）；若前景區域中某一連通區域在多幀圖像內面積變化不大或無變化，則將其認定為相似物干擾區域。基于上述特性，通過多幀圖像間的連通區域面積變化率進行ROI 提取，可表示為

若前景區域中連通區域Qi的面積變化率滿足式（8），則Qi為圖像中的ROI，數學表達式為

如此一來，圖像中的ROI 即被提取出來，且表示為白色。通過對與原始熱紅外圖像進行像素融合，可在原始熱紅外圖像中標記ROI[24]。

4 結果與討論

4.1 單幀熱紅外圖像處理結果

圖3 是平靜水面條件下的20W-50 成品油單幀圖像處理結果。可以看出，原始熱紅外圖像中前景區域與海面背景的亮度溫度差異明顯。經預處理后圖像中的細微噪聲被較好地去除且區域邊緣特征明顯。經前景區域分割后，圖像轉換為二值圖像，圖像中僅有一塊連通區域。經面積計算后可得，連通區域所代表的實際物理面積（S1）為42.23 cm2。為含漂浮物干擾的水面條件下的0W-20 成品油單幀圖像處理結果。圖4 能得到與圖3 相同的前景區域分割效果。圖4c 的二值圖像中有兩塊連通區域。由圖4d 可見，經面積計算后，各連通區域的序號在區域重心位置給出，連通區域1（S1）與連通區域2（S2）所代表的實際物理面積分別為84.41 cm2與96.02 cm2。

圖3 水槽實驗平靜水面條件下的20W-50 成品油單幀圖像處理結果Fig.3 Image processing results of 20W-50 refined oil under calm water surface in tank experiment

圖4 含漂浮物干擾的水槽實驗條件下的0W-20 成品油單幀圖像處理結果Fig.4 Image processing results of 0W-20 refined oil under water surface with floating objects in tank experiment

4.2 視頻圖像處理結果

4.2.1 平靜水面條件下的多幀圖像處理結果

為了提高實際應用場景下的處理速度，選擇等間隔采樣構造視頻圖像處理數據集，采樣間隔為5 幀（即1/6 s），在每秒30 幀圖像中選擇6 幀進行處理。本文取每秒鐘圖像的第1 幀、第6 幀、第11 幀、第16 幀、第21 幀、第26 幀（分別用t1-t6表示）構建數據集。

圖5 為水槽實驗平靜水面條件下的20W-50 成品油多幀圖像處理結果，可以看出，6 幅二值圖像中都僅存在單塊連通區域。連通區域1 所代表的實際物理面積不斷增大，在6 幅圖像中從42.23 cm2逐步增加至114.63 cm2。由于其面積變化率大于M，判定連通區域1 為ROI。如圖5d 所示，連通區域1 在原始熱紅外圖像中以黃色標記，其面積在圖像左上角以黃色字符表示。

4.2.2 含波浪干擾的水面條件下的多幀圖像處理結果

圖6 是水槽實驗含波浪干擾水面條件下20W-50成品油多幀圖像處理結果。可以看出，圖像中僅有一塊面積逐漸增加的連通區域，其面積從58.93 cm2逐步增加至207.54 cm2。從圖6d 可以看出，標記出的ROI 與原始圖像中的前景區域完全吻合。與圖5d 中的計算結果對比可以看出，相較于平靜海面下的油膜擴散情況，在水面含波浪干擾的情況下，油膜的擴散面積更大。圖7 是水槽實驗含波浪干擾水面條件下0W-20 成品油多幀圖像處理結果，可見圖7 也能達到與圖6 相同的分割效果。圖7 中ROI 區域面積從156.35 cm2逐步增加至455.2 cm2。圖7d 中標記出的ROI 與原始圖像中的前景區域完全吻合。對比圖6與圖7 的面積結果可見，由于0W-20 成品油的黏度低于20W-50 成品油，其在水面的擴散面積更大。

圖5 水槽實驗平靜水面條件下的20W-50 成品油多幀圖像處理結果Fig.5 Multi-frame image processing results of 20W-50 refined oil under calm water surface in tank experiment

圖6 水槽實驗含波浪干擾水面條件下20W-50 成品油多幀圖像處理結果Fig.6 Multi-frame image processing results of 20W-50 refined oil under water surface with waves in tank experiment

圖7 水槽實驗含波浪干擾水面條件下的0W-20 成品油多幀圖像處理結果Fig.7 Multi-frame image processing results of 0W-20 refined oil under water surface with waves in tank experiment

4.2.3 含漂浮物干擾的水面條件下的多幀圖像處理結果

圖8 是含漂浮物干擾的水槽實驗條件下的20W-50 成品油多幀圖像處理結果。可以看出，經前景區域分割后，各連通區域被完整地提取，其形狀特征與原始圖像保持一致。連通區域1 的面積在6 幅圖像中基本無變化，保持在95～98 cm2的區間內；連通區域2 的面積在6 幅圖像中逐漸增大，從63.23 cm2增加至149.13 cm2；連通區域3 的面積保持在6～6.20 cm2區間內；連通區域4 僅在后兩幅圖像中出現，面積分別為1.17 cm2與1.02 cm2。由于連通區域2 的面積呈單調遞增趨勢，且面積變化率大于M，而其他連通區域雖然面積發生變化，但變化率不大，且不滿足單調遞增規則。因此，將連通區域2 認定為ROI，如圖8d所示，標記出的ROI 與實際觀察到的水面油膜區域一致。

圖9 是含漂浮物干擾的水槽實驗條件下的0W-20 成品油多幀圖像處理結果。可見，圖9 也能達到與圖8 相同的分割效果，分割后海面上存在兩處明顯的連通區域。連通區域1 的面積在6 幅圖像中逐漸增大，從84.41 cm2增加至351.54 cm2；連通區域2 的面積維持在93～99 cm2區間內。由于連通區域1 的面積呈單調遞增趨勢且變化率大于M，將其認定為ROI，這與實際觀察到的海面油膜區域一致。

4.3 面積計算結果與誤差分析

圖10 是在5 種實驗條件下的ROI 面積變化情況。可以看出，各實驗條件下的ROI 面積均呈單調遞增趨勢，這與Leh 等[1]所得到的實驗結果一致。在保持相同的水面條件時，黏度更低的0W-20 成品油的ROI 擴散面積大于20W-50 成品油的擴散面積。在使用相同的石油樣品時，油膜在含波浪干擾的條件下的擴散面積大于平靜水面下的擴散面積。在海面存在漂浮物干擾時，所用方法依然能準確跟蹤ROI 擴散情況。顯然，該方法在5 種實驗條件下均能有效跟蹤水面油膜的面積變化情況。

圖10 不同實驗條件下的感興趣的油膜區域面積變化情況Fig.10 The changes of the area of region of interest under different experimental conditions

為了獲得各幀圖像間的油膜擴散速率，在含漂浮物干擾的水面條件下，取原始熱紅外視頻中的前60 幀（即前2 s）圖像，根據式（8）計算了20W-50 成品油與0W-20 成品油圖像ROI 的面積變化率M，并對M進行了最小二乘擬合，結果如圖11 與圖12 所示。可以看出，在溢油剛擴散時的ROI 面積變化率最大，隨著時間的推移，M呈遞減趨勢并逐漸趨近于0。

對比圖11 與圖12 可以發現，黏度更低的0W-20 成品油的M在數值上整體高于20W-50 成品油，20W-50 成品油的M最大值為15.18%，0W-20 成品油的M最大值為19.31%，可見石油樣品的黏度會對M取值產生影響，黏度越低的石油樣品M值越大。20W-50 成品油的M值在變化率為1.45%之前變化較快，之后變化穩定并逐漸趨近于0；0W-20 成品油的M在變化率為1.51%之前變化較快，之后變化穩定并逐漸趨近于0。故本文所用視頻圖像（采樣間隔為5 幀）的M分別取上述變化率的5 倍值，即7.25%與7.55%作為參考值。此參考值僅適用于本文所述實驗條件，在實際應用時需要根據應用場景調整參數。

圖11 含漂浮物干擾的水槽實驗條件下的20W-50 成品油圖像幀間感興趣的油膜區域面積變化率Fig.11 The inter-frames region of interest area change rate of 20W-50 refined oil images under water surface with floating objects

圖12 含漂浮物干擾的水槽實驗條件下的0W-20 成品油圖像幀間感興趣的油膜區域面積變化率Fig.12 The inter-frames region of interest area change rate of 0W-20 refined oil images under water surface with floating objects

在進行包含漂浮物干擾的海面實驗時，海面存在10 cm×10 cm 的均勻泡沫板。以泡沫板作為參照物，可根據式(10)計算本次實驗的面積計算平均誤差，

式中，I為采樣幀數；S為參照物面積，本實驗S為100 cm2。

可得面積計算平均誤差為4.05%。結合圖8 與圖9 所得的面積計算結果可以看出，所得到的參照物面積計算結果均小于參照物的實際物理面積。

圖8 含漂浮物干擾的水槽實驗條件下的20W-50 成品油多幀圖像處理結果Fig.8 Multi-frame image processing results of 20W-50 refined oil under water surface with floating objects in tank experiment

圖9 含漂浮物干擾的水槽實驗條件下的0W-20 成品油多幀圖像處理結果Fig.9 Multi-frame image processing results of 0W-20 refined oil under water surface with floating objects in tank experiment

4.4 方法對比與定量評估

為了驗證算法的有效性，將本文算法與GMM（Gaussian Mixture Model）、WEBS（Wigner-Entropybased Background Subtraction）[19]、SFS（Spatiotemporal Features of Superpixel）[20]的ROI 提取效果進行對比。以20W-50 成品油在3 種實驗條件下的前60 幀圖像作為數據集，分別使用上述方法進行處理，結果如圖13、圖14、圖15 所示。

圖13 水槽實驗平靜水面條件下20W-50 成品油圖像感興趣的油膜區域提取結果對比Fig.13 Comparison of region of interest extraction results of 20W-50 refined oil image under calm water in tank experiment

圖14 水槽實驗含波浪干擾水面條件下20W-50 成品油圖像感興趣的油膜區域提取結果對比Fig.14 Comparison of region of interest extraction results of 20W-50 refined oil image under water surface with waves in tank experimsent

圖15 含漂浮物干擾的水槽實驗條件下的20W-50 成品油圖像感興趣的油膜區域提取結果對比Fig.15 Comparison of region of interest extraction results of 20W-50 refined oil image under water surface with floating objects in tank experiment

可以看出，GMM 在3 種條件下可以檢測到幀間的像素變化情況，但無法完整提取變化區域。WEBS算法雖然可以完整提取ROI，但其前景區域中也包含了大量的干擾信息；SFS 算法提取的ROI 損失了部分區域信息；相較之下本文方法提取出的ROI 保證了區域完整性，與原始圖像中的油膜區域吻合度最高，又較好地剔除了非目標區域像素的干擾。

通過定量評估進一步驗證算法的有效性，本文以F-Measure 與處理時間為指標，對不同方法之間的性能進行客觀對比，F-Measure 與處理時間均取60 幀圖像計算結果的平均值。F-Measure 為精確率和召回率的加權平均和，該值表示算法在提取ROI 的同時又抑制非ROI 目標的能力。F-Measure 的計算方法為

式中，P為精確率；R為召回率；β為權重系數，在算法評價時準確度相較于召回率更加重要，因此本文的β2取0.3 以強調精確率。

不同方法的對比結果如表3 所示。可以看出，相較于GMM、WEBS、SFS 算法，本文算法在3 種實驗條件下的F-Measure 均有明顯提升，且本文的平均處理時間為各算法最短。這表明本文算法可快速、精準、有效地提取ROI，且對不同的水槽實驗環境均有良好的適應度。

表3 不同方法的感興趣的油膜區域提取效果對比Table 3 Comparison of region of interest extraction results of different methods

5 結論

本文基于熱紅外視頻圖像觀測數據，提出了一種識別海面溢油的方法。基于單幀圖像處理算法對數據進行預處理、前景區域分割、連通區域面積計算。基于視頻圖像處理算法對ROI 進行提取并標記。實驗結果表明：所用單幀熱紅外圖像處理算法可有效分離圖像中的前景區域；所用像素面積法可準確計算各連通區域所代表的實際物理面積，面積計算平均誤差為4.05%。所用視頻圖像處理算法可實現幀間區域

跟蹤，基于面積變化閾值的油膜識別方法可有效提取并標記ROI，提取出的ROI 與海面真實油膜區域吻合度高，且對不同種類石油樣品產生的油膜均具有良好的適應性。在實驗室模擬的平靜水面、包含波浪干擾的水面、包含漂浮物干擾的水面條件下，該方法均能有效跟蹤油膜區域的面積變化，具有良好的溢油識別精度。

致謝：本研究的實驗過程中得到了國家海洋局北海 環境監測中心的大力幫助，在此表示衷心的感謝！