基于紅外和彩色攝像機目標檢測的油田聯動報警系統設計

孟勇，劉鵬，趙闖，趙永杰，戴亞峰

（1.中國石化勝利油田分公司河口采油廠，東營257200；2.四川大學電子信息學院，成都610065）

0 引言

隨著油田信息化、自動化技術的發展，視頻監控技術越來越多應用于生產中，不僅提高了勞動效率，減輕了勞動強度，也提升了綜合治理管理水平。但是，現在的監控系統多是由專崗職工24小時進行監測，人為操作難免出現漏洞。根據試驗顯示，連續觀察2個以上的監視器，10分鐘后，將錯過45%的場景，22分鐘后，會錯過95%的場景。為此，引入了數字圖像智能識別技術，通過分析被監控現場的實時圖像資料，智能化地準確判斷出被監控現場的異常狀況，并根據相應模式進行有效處理，從而完全實現無人智能監控。一是將操作人員從“盯屏幕”的工作中解脫出來，只需要對系統的報警信息進行處理；二是將信息化、自動化技術將現有的設備發揮最大的工作效率，發現問題，及時報警，實現視頻監控的“自動化”[1]。

油田廠區的主要異常狀況多發生于夜晚，光照情況差，普通的攝像機監控效果較差。因此，在夜間使用紅外攝像機進行成像，它不需要燈光輔助，可以節省人力和電力成本。但是紅外圖像噪點多、對比度差、邊緣較模糊，傳統檢測算法在檢測時間和檢測準確率上都有一定局限性。深度學習方法和傳統方法相比，最大的優勢就是其強大的自學習和泛化能力，通過學習訓練后，不僅可以提取出目標的一些表象特征，也可以挖掘出一些肉眼看不到的深層特征，對紅外圖像的檢測時間和檢測準確率都優于傳統檢測算法[2]。

針對油田監控系統的需求，將系統設計為采集分析層和中心管理層。采集分析層連接紅外和彩色攝像機，基于YOLO神經網絡紅外視頻檢測識別，聯動彩色攝像機跟蹤拍攝，并將檢測結果上傳到中心管理層；中心管理層對采集分析層上傳的信息匯集管理并及時展示，提醒工作人員油田廠區異常事件[3]。

1 系統總體方案

軟件實際運行環境的網絡結構如圖1所示，系統劃分為兩層：采集分析層和中心管理層。主要功能如下：

（1）采集分析層：適配不同標準的攝像機接入，對攝像機傳入的RTSP視頻流進行智能檢測和攝像機云臺控制，將視頻流、檢測結果和軟件工作狀態通過路由器上傳給中心管理層。

（2）中心管理層：匯集前端分析模塊上傳的信息和視頻流，對上傳的信息進行分類處理并寫入數據庫，隨時調取任意攝像機視頻、進行云臺控制、查看歷史報警信息[4]。對采集分析層的設備進行添加、刪除、更新等功能。

圖1系統網絡結構圖

系統總架構圖如圖2所示，架構圖主要梳理了視頻流、分析結果、控制信息、配置數據和系統數據的流向。

圖2系統總架構

2 系統設計

系統主要是為油田監控部門對油田防盜等異常事件提供輔助決策，在大量的監控視頻中提取有用的報警信息上傳。因此系統的交互性、報警信息的準確性以及架構的合理性是系統設計的主要問題。下面將分別介紹系統的兩個部分[1]。

2. 1 采集分析層

采集分析層主要包括視頻采集、智能分析及云臺控制和工況監測及管理三個功能。視頻采集功能是支持主流攝像機廠家的攝像機接入，并獲取RTSP流進行分析；智能分析及云臺控制功能是指對采集到RTSP視頻流進行分析，將視頻流解碼成圖片，通過YOLOv3網絡檢測進行目標檢測并記錄檢測結果，調用攝像機對應廠家SDK將攝像機對準檢測到的目標；工況監測及管理功能是檢測前端工況機工作狀態，向中心管理層上傳異常狀況，如內存不足、接收算法配置信息等。其中智能分析的準確性和云臺控制的速度是工作的核心。其軟件部署如圖3。

圖3采樣分析層軟件配置圖

（1）視頻采集

采用紅外攝像機和高清攝像機共同監控，攝像頭連接視頻編碼器。采用標準H.264編碼算法，推出RTSP流供其他模塊使用。

（2）智能分析及云臺控制算法

智能分析是將圖中的人或車檢測出來，目標檢測常用算法包括：背景差分法、幀間差分法和光流法等，分別適用于不同的目標檢測場景[5]。背景差分法處理速度快、能同時檢測出靜態的物體，但對光照、天氣等場景變化敏感，背景建立過程較復雜；幀間差分法可以適用于光照變化緩慢的場景、處理速度快，但對移動目標敏感、無法檢測出靜止物體，容易產生空洞的檢測背景；光流法對整張圖片進行運算、對物體尺度變化不敏感，但計算量巨大、難以實現實時性，需要特定的硬件支持。這幾種常用的檢測算法都不太適合于系統。

①目標檢測算法

YOLO的是由Joseph Redmon等人于2016年5月提出的目標檢測算法，它最大的特點是檢測速度很快，整個網絡端到端，可以用于實時檢測系統。目標檢測算法基于最新的YOLOv3神經網絡。在輸入是320×320時，YOLOv3可以以22ms的速度運行28.2mAP，準確度和SSD相差不大，但速度是其三倍。而且YOLOv3可預測不同分辨率的圖片，網絡尺寸越小運行速度越快，速度隨著網絡尺寸的加大而減慢，在速度和精度上保持動態平衡。

邊界框示意圖[6]如圖4，網絡預測每個邊界框的4個坐標tx,ty,twth，如果單元格偏離圖像的左上角cx,cy，并且前面的邊界框具有寬度和高度pw,ph，則預測公式為式（1）：

圖4

網絡實際的預測值為 tx、ty、tw、th，根據圖 4中的四個公式計算得到預測框的中心點坐標和寬高bx、by、bw、bh。其中，cx、cy為當前grid相對于左上角grid偏移的grid數量。σ（）函數為logistic函數，將坐標歸一化到0-1之間。最終得到的bx、by為歸一化后的相對于grid cell的值。pw、ph為與groundtruth重合度最大的anchor框的寬和高。實際在使用中，筆者為了將bw、bh也歸一化到0-1，實際程序中的pw、ph為anchor的寬、高和featuremap的寬、高的比值。最終得到的bw、bh為歸一化后相對于anchor的值。

紅外熱成像視頻檢測成功率達90%，能夠適應不同天氣，但不能對物體分類。紅外圖片目標檢測效果圖如圖5。

高清彩色圖像檢測成功率達96%，能夠對物體進行分類、適應不同天氣。高清圖片目標檢測效果圖如圖6。

在實際應用中，對圖片的全部區間進行目標檢測顯然是浪費的，只需要對感興趣區域進行檢測即可。對目標檢測算法進行的改進，在進行目標檢測前，先對圖片進行分割，減小圖片大小，加快檢測速度，圖片分割規則由中心管理層上傳配置文件，配置文件中包括兩個框的信息，一個大框統入侵人數但并不報警，一個小框檢測目標并報警追蹤。改進后效果圖如圖7。

圖5紅外圖片目標檢測效果圖

圖6高清圖片目標檢測效果圖

圖7改進后的目標檢測

②相機聯動算法

紅外相機檢測范圍大，對光線要求低，但是分辨率較低，即使檢測到目標，也很難根據周邊環境判斷出目標的具體位置，高清相機主要用來監控單一油井或設備，而且對光線要求高，不適合大范圍搜索目標。根據兩種相機的特性，設計了聯動報警算法。首先將一個紅外相機，和附近的幾個高清相機分為一組，當紅外相機檢測到目標后，根據目標在圖片中位置、相機現在的相對角度，聯動最近的高清相機，對目標進行追蹤，示意圖如圖8。

圖8聯動示意圖

紅外相機架在64米高處，附近地勢平坦，檢測目標一般都在地面上，其高度可以忽略，根據相機高度h，相機俯角α，相機轉動角度γ可計算出目標所在區域，公式如式（2）：

D為目標到相機的距離，結合相機轉動角度γ即可計算出檢測目標的位置。選擇最近的彩色高清相機，對目標可能所在區域進行目標檢測。檢測到目標后進行目標追蹤。聯動效果圖如圖9。

圖9紅外檢測聯動報警

③目標追蹤算法

在檢測到目標后，會調用相機SDK轉動相機，使目標顯示屏中央，根據YOLOv3檢測出來的目標坐標，可計算出目標的中心點C坐標[7]，計算公式如式（3）：

攝像機分辨率是720p，根據目標中心點坐標位置，計算出需要轉動的水平角度α1和垂直角度α2，計算公式如式（4）：

調用海康相機SDK，轉動速度分為7個檔，當速度為1時，水平轉動速度約為30°/s，垂直轉動速度約為15°/s；根據α1和α2即可完成目標追蹤，攝像機追蹤期間，不進行目標檢測。云臺控制相機追蹤目標效果圖如圖10。

圖10云臺控制相機追蹤目標效果圖

經試驗，攝像機需要2秒左右即可移動對準速度較慢的目標，一般情況，檢測區域內只有一個目標，當多目標出現時，默認跟蹤面積最大的目標。

（3）工況監測及管理

油田廠區每個攝像頭都部署一個工況機，不便工作人員進行管理，所以工況機的運行穩定性很重要。在工控機開機時自動啟動，根據配置文件開啟檢測算法，同時檢測工作狀態，實時更新算法配置。在目標檢測算法檢測到目標時，將檢測信息保存本地日志，當日志大小大于20G時自動覆蓋舊日志；如果需要報警，則將相應的報警信息傳輸到中心管理層；如果需要進行云臺控制，則直接調用攝像機SDK進行控制；當攝像機進行云臺控制時，自動暫停目標檢測算法，在云臺控制結束后重啟運行。在出現算法運行出現異常、工況機內存占用過大等問題時，向中心管理層發送報警信息。

2. 2 中心管理層

中心管理層包括數據庫和資源管理平臺兩部分。資源管理平臺主要包括攝像機管理、前端工況管理、用戶管理、歷史記錄管理和Web服務五個功能。攝像機管理是配置攝像機IP、端口和定時定點巡航等功能，確保連接并隨時能調取相機RTSP視頻流觀看；前端工況管理是配置前端工況機IP、端口和算法配置文件；用戶管理的功能是管理資源管理平臺的用戶，支持添加或刪除用戶；歷史記錄主要包括歷史報警信息、歷史操做記錄等。Web服務主要是通過Webserver為前端工況機提供信息上傳的服務。

（1）數據庫

數據庫需要保存資源管理平臺的信息和工況機上傳的報警信息。資源管理平臺的數據包括平臺登錄用戶信息，攝像機配置信息，聯動報警攝像機信息；工況機上傳的報警信息包括目標檢測結果報警信息，工控機異常狀態報警信息。

（2）資源管理平臺

資源管理平臺是給油田管理人員使用的監管軟件。平臺負責攝像頭管理、前端工況管理和歷史記錄管理，同時可以播放每個攝像機的視頻流，彈窗顯示報警信息，顯示歷史報警信息等。

①攝像機管理

平臺需要播放攝像頭視頻流、設置聯動相機、對攝像機進行云臺控制。攝像頭需要配置的信息如圖11。

圖11攝像頭配置信息

②前端工況管理

前端攝像頭監控的具體環境不盡相同，為了提高檢測效率[8]，針對不同的監控環境進行相同的算法配置，人工設置檢測區域，對不同的區域進行不同的檢測算法[2]。具體配置規則如圖12。

算法配置包括入侵規則（只統計入侵人數但并不報警）和越線規則（檢測目標并報警追蹤），通過鼠標畫框，將規則框坐標信息傳輸到相應的前端工況機。

③歷史記錄管理

資源管理平臺需要記錄各前端工況機上傳的檢測報警信息和設備狀態信息，以及平臺的操作記錄日志，歷史記錄按日期分類，默認只保存六個月的信息，可以手動調節。

圖12配置規則

2. 3 系統硬件組成

（1）紅外熱成像攝像機

采用國內海康威視公司DS-2CD8314型號的紅外熱成像攝像機，其內部傳感器類型為多晶硅非制冷焦平面探測器，熱靈敏度（NETD）≤80mK（即≤0.08℃），識別距離最遠可達2000米，視頻壓縮編碼為H.264，控制接口類型RS-485，云臺支持水平360°無限位連續旋轉、仰俯 60°旋轉，云臺速度水平 0.1°～9°/s、俯仰0.1°～4°/s，一個RJ-45網線接口支持10M/100M以太網連接。此外，有352×288和704×576兩種分辨率可供選擇，支持最多80個預置位設置。光纖網絡傳輸條件下，704×576分辨率成像質量高，系統檢測效果更好。

（2）視頻編解碼器

視頻編解碼器采用?？低暪镜腄S-6102HFV編碼器，采用標準H.264編碼算法，兼容性強；基于Linux操作系統，代碼固化在Flash中，運行穩定可靠；所有通道支持4CIF/2CIF/CIF/QCIF實時編碼；視頻碼率32Kbps-2048Kbps，可自定義選擇；采用10/100M自適應以太網口，支持TCP、UDP、RTP、SADP等多種網絡協議，網絡功能強大。

（3）采集分析端工控機

根據內部資源和開發成本，最終選用中冠智能公司的J1900-6C工控機作為前端分析設備，CPU為Intel Celeron J1900，主頻1.99GHz，四核四線程，2M二級緩存；內存 4G DDR3，頻率 1600MHz，固態硬盤 64G SSD，RJ-45接口連接千兆有線網，內置無線網卡可以Wi-Fi傳輸；工作溫度-15～70度，耗電功率不大于25W；鋁合金機身，無風扇散熱，支持7×24小時全天候運行，穩定，防塵、防噪、防震，在惡劣環境下可正常運行，滿足系統穩定需求。

（4）中心管理平臺

控制中心端實現對多臺攝像機的控制管理，耗費資源與分析前端相比更多，但所處工作環境較好，可以采用常用的臺式機。CPU為Intel Core i5-6500，主頻3.2GHz，四核四線程，6M三級緩存；內存8G DDR3，機械硬盤容量500GB轉速7200PPM，可以將檢測視頻保存到本地；集成顯卡Intel HD Graphics 530，實時輸出視頻到顯示模塊。

3 系統運行結果

中心管理平臺開發環境為Visual Studio 2015，開發語言為C#，運行環境為32位Windows 7。采集分析層智能分析模塊開發環境為Visual Studio 2015，開發語言為C++，運行環境為32位Windows XP。系統在勝利油田河口采油廠義南站投入使用，站點附近有一個紅外攝像機和三個高清攝像機，實際使用中工況機不安裝顯示器，只上傳信息。系統運行效果如圖13。

圖13系統實際運行效果

對系統前端工況機算法配置如圖14。

圖14前端工況機算法配置界面

當目標出現在算法檢測區域內時，工況機會發出報警信息，平臺會彈窗顯示，報警展示界面如圖15。

圖15報警效果展示界面

其中a～d是紅外攝像機報警效果展示圖；e～f是紅外攝像機和高清攝像機聯動報警效果圖；g～h為高清攝像機報警效果展示圖。測試表明，在配置合理檢測區域后，檢測準確率達90%，聯動相機在2秒內可轉至指定位置，并對目標檢測跟蹤。

報警信息被處理后，會寫入數據庫，瀏覽歷史記錄如圖16。

圖16歷史記錄

在完成系統各個子模塊的功能設計和測試后，搭建實驗環境，進行調試、綜合，系統所消耗的硬件資源情況如圖17所示。

圖17系統所消耗的硬件資源情況

4 結語

針對傳統目標檢測算法存在的實時性差、計算復雜、效果不佳等問題，結合目前智能監控領域的實際需求，提出一種基于紅外和彩色攝像機目標檢測的油田聯動報警系統。該系統已在勝利油田河口采油廠試運行，運行期間系統穩定，對油廠異常狀況報警及時。實驗結果表明，該系統能夠有效地識別紅外監控中的目標物體，并基于相機聯動與跟蹤算法對目標物體實施穩定跟蹤，而且系統跟蹤效果較好，實現了預期的設計目標。