探討基于多信息融合的攝像頭故障監測系統

郭倩茜

（國家知識產權局專利局專利審查協作廣東中心，廣東廣州 510535）

0.引言

攝像頭作為當前信息化社會建設發展的重要組成部分，其運行質量與各類系統設備的運行有著密切聯系，包括監控、檢測、傳感等多種信息系統，保障攝像頭的運行穩定至關重要。

1.攝像頭故障監測系統概述

基于多信息融合的攝像頭故障監測系統是一種依靠多種傳感器收集信息，并由相關監測系統進行分析處理的設備。系統除了攝像頭和服務器兩大關鍵組成部分之外，傳感器是系統中最為關鍵的組成部分，包括溫度傳感器、濕度傳感器、氣壓傳感器、風向傳感器、風速傳感器、霧霾傳感器等多種類型的傳感器，實際安設的傳感器種類需要結合攝像頭應用環境確定。這些傳感器所收集的環境圖像或信息將傳輸給服務器，服務器具有的管控系統將分析和處理獲得信息，以此判斷攝像頭是否出現故障。攝像頭故障監測系統的應用避免了由于攝像頭故障而導致的監控問題，也能夠對攝像頭受到外界環境影響而提高故障發生概率的情況進行預警。

2.攝像頭故障分析

2.1 攝像頭正常運行狀態

一般來說攝像頭的適宜工作環境為10℃～30℃，相對濕度在55%一下，攝像頭在加速器機頭內的機械位置需要與放射野中心軸對應。攝像頭光圈開啟正常，鏡頭和反光鏡干凈整潔，視頻采集卡系統傳輸光路正常。若攝像頭帶有風扇，則風扇也需運行良好。攝像頭的運行工作是通過實時拍攝數據傳輸接口并和視頻采集卡配合，來獲得該影像的模擬或數字信號。而視頻采集設備所拍攝到的畫面質量與攝像頭性能以及外界因素的干擾有關，當系統本身無法準確得到視頻采集信號時，就會發出連鎖信號，停止攝像頭運作。之后系統自行調節攝像頭角度來使視頻采集設備獲得拍攝畫面，進而再提供數字信號。

2.2 攝像頭故障現象

攝像頭的故障因素有多種情況，通常根據攝像頭故障現象將故障原因分為硬件故障和軟件故障兩大類。硬件故障是多信息融合監測系統處理攝像頭故障的關鍵，而硬件故障產生的原因也跟攝像頭所處環境有較大關系，在溫度提升、濕度提升或是其他環境中攝像頭會受到影響，從而使攝像頭出現異常或故障問題。這些硬件問題通過多種傳感器的安設可以提前分析和預警。例如通過攝像頭云臺傳感器得到云臺移動出現細微偏差，便能夠提前云臺可能出現運轉不靈的問題，從而及時養護檢修，避免更大的損害問題出現。而軟件故障則是攝像頭自身系統出現問題，可能是傳感器失靈或是傳輸出現故障，這類問題由服務器管理系統進行分析和研究，并將故障因素匯報給檢修人員，及時進行修復[1]。

3.多信息融合監測方法

多信息融合的攝像頭故障監測系統由3部分組成，分別為傳感監測、深度補全機制以及管理決策系統。攝像頭與傳感器結合在一起，而兩者再與服務器具有的管理系統分別連接，通過傳感監測獲得攝像頭信息，再經過深度補全機制，將數據信息補全為具有二維點云的數據深度圖，使這些點云數據和實際情況相互對應，再將這份圖像交由管理決策系統分析處理，監測攝像頭周邊情況，最后得到故障結果。在攝像頭沒有發生故障的情況下，多信息融合的監測系統還可以通過攝像頭線路提供的拍攝畫面為管理決策提供輔助，比如雨雪天氣條件下，外界環境有明顯變化，可以為故障預警。

3.1 傳感監測

傳統的faster RCNN目標輸入監測是將整張圖像作為輸入整體，這使得其在傳感器監測上的應用不夠理想，而YOLO針對目標檢測是利用整張圖像作為網絡輸入方式，經過以此inference，便能將數據中的物體位置和信息類別分布在二維點云的圖像之上，當然這種輸入是存在一定置信概率的，不過檢測結果也將在傳感類別和傳感位置上進一步劃分，以此提高檢測系統的準確性。當前YOLO已經來到v4版本，相比較前三代模型的運行速度更快、精確度也更高，能夠快速處理傳感信息和攝像圖像。強大的檢測速度和質量為傳感器監測收集也提出了更高的要求。通常來說攝像頭信息融合的傳感器設置需要根據具體情況來設定，例如監測冰雪、低溫傳感器類型在我國南方地區就無需安裝，不僅可以降低攝像頭監測系統的投資成本，也能夠縮減數據信息量，使管理系統更快分析出具體的故障因素。

3.2 深度補全機制

深度補全是將傳感監測后的輸出信息進行預處理，能夠使管理決策系統進行分析。在預處理過程中，將傳感信息和攝像頭信息進行校正，確保傳感信息與攝像頭實際情況保持一致，從而也能夠將傳感信息精確地投影在二維圖像平面上，多個傳感信息的融合交匯便能夠形成深度圖，可以反映出影響或造成攝像頭故障的實際原因。比如在高溫天氣下，溫度影響攝像頭某些零部件出現失靈問題，其本質故障原因是高溫所引起的。或是多種因素耦合產生的連鎖反應，需要從根本上找出引發故障的原因，不止于表面情況便是監測系統設置的實際意義。

在預處理工作完成后，深度圖可以與攝像頭拍攝情況形成更為密集的點云圖或者通過數據庫補充過往攝像頭傳感信息進行補全。即一種通過攝像圖像引導的補全方式以及一種由數據信息提供支撐的補全方式，兩種方式可以獨立運用也可以互相結合，多數情況下以攝像頭圖像進行深度補全更具有時效性。比如在高溫天氣下，利用攝像頭拍攝像素點和顏色區域的深度值變化來模擬攝像頭周圍的相對溫度，再結合傳感信息確定模擬圖像的準確性[2]。

3.3 管理決策系統

依據深度補全之后的監測結果，將得到的數據信息和相應的準確度進行融合便可以得到最終的檢測結果。不過，管理決策還需通過驗證和分析來確定檢測結果的正確性，才能夠得出最終的故障信息。將多種傳感信息進行結合，判斷各類傳感信息在二維點云圖上的權重，以此選擇不同的分析策略。如果是兩個獨立的監測目標，則不進行結合，比如低溫和高溫兩種信息[3]。而當傳感信息具有重疊關系，但距離完全重疊仍有一定差距，需要對重疊區域進行分析，比如風速和降雨。若兩個傳感信息基本重合，則認為此傳感信息的權重較大，應當作為主要的分析對象，比如低溫和降雪。根據傳感信息在二維點云圖上的分布情況，得到最終影響攝像頭故障的原因。

4.結語

多信息融合的攝像頭故障監測系統為攝像頭故障預防和處理提供了更為準確的信息基礎，通過傳感器監測方式，以及深度補全機制的配合，保障了監測決策的準確性，達到了多信息融合下的攝像頭故障正確監測效果，促進了攝像頭監測技術的發展。