船舶排氣污染自動識別方法研究

李曉斌，李毓勤，周當，呂先令

廣州市云景信息科技有限公司，廣東廣州，510663

0 引言

近年來，中國航運以勢如破竹的態勢闖進世界航運大國之列。然而，內河和沿海船舶的排氣污染問題也凸顯出來，在一些航運發達的區域，船舶排氣對該區域的空氣質量造成了一定的影響。船舶在各種運行工況下會排出NOx、SO2和顆粒物等污染物。據統計，2018年我國船舶排放NOx、SO2、顆粒物分別為151.1萬噸、58.8萬噸、10.9萬噸，分別占非道路移動源排放總量的27%、25%、12%[1]。目前國家對機動車排氣污染的管控日益加強，機動車排氣污染大量減排，而船舶排氣污染還未施加嚴格監管，污染問題日益凸顯，占比也持續上升。因此，為了減少船舶排氣污染，改善區域空氣質量，非常有必要利用科技手段對船舶排氣污染開展高效、嚴格的監管。

針對機動船保有量迅速增加、船舶排氣污染日益嚴重、管控壓力不斷加大的現狀，基于人工智能AI的船舶排氣污染自動監測技術和產品顯然能夠成為應對船舶排氣污染和環境污染處理突發事件的有力輔助工具[2]。在這樣的背景下，為有效解決船舶排放的監管難題，研發船舶排氣污染自動識別系統，對水域內的黑煙運輸船只進行識別和抓拍，并及時發出預警，建立和完善船舶排氣污染監管體系，推動整個航運業船舶尾氣治理工作與環境保護事業的前進。

1 船舶排氣污染自動識別系統組成

船舶排氣污染自動識別系統主要是利用架設在河流/港口岸邊或橋梁上的高清攝像機不間斷巡視目標水域，對采集的視頻利用人工智能算法進行識別，及時發現冒黑煙的高污染船只，并進行記錄、預警等后續處理的系統。

船舶排氣污染自動識別系統可分為目標區域巡航、船體自動跟蹤、船舶黑煙識別、船體編號識別與提取等四個部分。目標區域巡航用來控制攝像機對指定的區域進行反復巡航掃描，以發現潛在的目標船只；船體自動跟蹤則是在發現目標并識別出目標為船只后，自動跟蹤鎖定移動中的船只目標；船舶冒黑煙識別則對前背景過濾和前景提取，對冒黑煙細節進行提升，提取黑煙的運動、紋理和空間特征，并對輸出特征采用SVM加權融合后，最后得到推理結果。系統組成見圖1。

圖1 船舶排氣污染自動識別系統組成

2 區域檢測巡航方法

在對黑煙船檢測這個場景下，需要對船進行全天候的跟蹤和識別，根據現場人員對河流船只的統計，從早上9點到晚上7點，大概有250艘船經過，平均2.5分鐘就有一艘船經過，如果是人工來進行查看，會對觀察人員造成極大的負擔。對此，傳統的區域檢測巡航使用的是海康SDK自帶的巡航程序，通過設置視野坐標（P：水平旋轉角度、T：垂直旋轉角度、Z：放大縮小倍數），再設置視野坐標停留時間間隔，對每一個視野坐標進行遍歷。但這種方式會產生很多問題，比如巡航過程無法中斷。如果球機斷電，會有視野坐標信息丟失的風險，無法高度定制化。

為了解決這些問題，通過海康SDK獲取攝像頭的視野坐標，將這些視野坐標存入數據庫，防止球機斷電，視野坐標丟失。而且存入數據庫之后，可以根據業務來進行多樣化巡航。比如對船的檢測巡航，人工設置視野坐標，來對船舶航行區域進行覆蓋。設置不同巡航視野見圖2。

圖2 不同巡航視野

每一個視野坐標停留6s，如果停留過程中檢測到船，則開始對船進行跟蹤，如果沒有檢測到船，則跳轉到下一個視野坐標，當視野坐標輪詢一遍之后，繼續從頭開始巡航，達到自動多樣化巡航的目的。

3 船體自動跟蹤方法

船體自動跟蹤分為兩部分：船體識別、船體位置控制算法。

3.1 船體識別

使用CNN卷積神經網絡，通過對大量不同的船體數據進行訓練與識別，找到船體。

3.2 船體位置控制算法

在對黑煙船進行檢煙時，需要對煙的冒出點留出足夠的空間，船冒煙位置一般在船的上方，才能比較明顯地觀察到煙。傳統的做法是用人工操作海康攝像頭，通過海康web后臺來對海康攝像頭進行位置操作，會極大地消耗人力。針對此，提出設定船體的目標范圍，然后通過海康SDK調整攝像頭位置，使船的中心點始終保持在目標范圍中，給冒煙的位置留出更多的空間，留出視頻畫面50%的高度來提高煙的檢出率。

4 船體黑煙識別方法

船體黑煙識別使用了背景過濾和前景提取、超分辨率提升黑煙細節、黑煙運動特征提取、黑煙紋理特征提取、黑煙空間特征提取、對特征進行加權融合、特征融合推理結果等七個部分。

4.1 背景過濾和前景提取

為了找出視頻中移動的區域，把移動的區域設為白色，其他沒有移動的區域設為黑色背景。由于混合高斯背景建模算法在計算過程中會消耗大量CPU資源，而且需要比較久的時間才能提取到前景。對此我們采用基于時空混合高斯背景建模的改進型時空動態高斯背景建模DSTGMM。

Stauffer[3]等人提出的混合高斯背景建模擁有K個高斯成分組成的混合高斯模型表示像素的時間域上的概率分布模型，K一般取3～5，其值越大，處理波動的能力也就越強。每個高斯成分的權重為ωk。設θk=μk，ρk是第k個高斯模型的參數集。第k個高斯狀態對像素X構成的影響概率為P(k│X,Φ)：

X的概率分布是各混合高斯模型之和：

這里，P(k)=ωk，表示取k狀態的先驗概率。第k個高斯成分在參數集θk下的概率密度為：

這里μk是均值，∑k是第k個高斯模型的協方差矩陣[4]。

模型的參數需要更新，各參數按以下方程進行更新：

其中，α表示學習速率，一般取0.001～0.01，，表示參數更新速率。如果第i個高斯成分與xj匹配，則為1，否則為0；如果xj與像素j的所有高斯成分都不匹配，則用新的高斯成分取代該像素混合高斯模型中排在最后的高斯成分。新的高斯成分初始值為均值xj，標準差及權重為σinit和ωinit[5]。

參數完成更新各項后，對各高斯成分進行排序，建立閾值T，將滿足式（8）的前S個模型作為背景模型，其余的高斯成分則定義為前景目標：

閾值T表征背景高斯成分在像素點的各概率分布中所占的最小比例。

在實際船舶背景的提取中，第一幀圖像可能存在運動目標，如果模型沒有及時更新，這些運動目標就會被當成背景，就會產生“鬼影”現象，會對運動目標的連續檢測效果產生不利影響。針對這種不利影響，可以設定幀數閾值T0，對前T0幀和后續幀學習速率采用不同的更新方法：

模型初步建立時，設置較快的更新速度來加速消除影響，可以采用較大的學習速率；一段時間運行之后，模型穩定時，學習速率可以維持在固定點較小值[6]。檢測結果見圖3。

圖3 檢測結果

4.2 超分辨率提升黑煙細節

當放大倍數最大后，視頻會呈現不同程度的嚴重噪點、模糊。會對黑煙識別產生影響，通過超分辨率變異算法，用于解決視頻模糊、嚴重噪點，以降低誤檢率。

4.3 黑煙運動特征提取

為了觀察運動物體的運動軌跡，采用稠密光流來提取運動特征。

4.4 黑煙紋理特征提取

為了提取煙霧的紋理，采用LBP（local binary pattern）紋理分類特征算法來進行提取[7]。

4.5 黑煙空間特征提取

為了讓神經網絡對每個時間點的特征進行分類，并且能夠使用前一個特征推理下一個事件，使用LSTM神經網絡來進行長時間記憶[8]。

4.6 對特征進行加權融合

將提取的光流特征、紋理特征、空間特征輸入到SVM向量機中進行識別推理[9]。整體的推理結果見圖4。

圖4 推理結果

5 小目標分割檢測

目標檢測發展很快，但對于小目標的檢測還是有一定的瓶頸，特別是大分辨率圖像小目標檢測[10]。比如7920*2160、甚至16000*16000的圖像。主要原因是：①小目標尺寸。原始圖像中目標的寬或高小于101像素，網絡很難學習到目標的特征信息。②高分辨率。在很高分辨率的圖像中，長寬比的分辨率比7680*2160更大，如果采用直接輸入原圖的方式，很多小目標都無法檢出。③顯卡爆炸。圖像分辨率很大，如果簡單地進行下采用，下采用的倍數太大，容易丟失數據信息。但是倍數太小，網絡前向傳播需要在內存中保存大量的特征圖，極大耗盡GPU資源，很容易存在爆顯存，無法正常訓練及推理。

基于以上存在的問題，我們提出以下方法：①我們首先對大分辨率的圖片先進行分割，變成一張張小圖，再進行檢測；②同時為了避免兩張小圖之間，一些目標正好被分割截斷，所以兩個小圖之間設置overlap重疊區域；③比如分割的小圖是960*960像素大小，則overlap可以設置為960*20%=192像素；④每個小圖檢測完成后，再將所有的框放到大圖上，對大圖整體做一次nms操作，將重疊區域的很多重復框去除。

6 結語

通過以上的一系列方法，同時結合其他排除環境干擾的方法（如可在水域容易出現的強光及逆光、輕霧等環境干擾），目前已經研發出相關產品，并在廣州珠江口、肇慶西江等交通繁忙的水域進行了測試，冒黑煙船的識別準確率達到了90%以上，最遠的識別距離達到了5公里以上。未來可開展相關的改進，增加NOX和SO2傳感器，可以測量出污染物的濃度，推演船只燃油的硫含量，同時結合風向、攝像機視角位置、全球位置定位裝置等，追蹤污染船只的精準方位。通過船舶排氣污染自動識別系統的研發，大大提升船舶排氣污染的監管效率，其具有推廣應用價值。