智能識別視頻圖像質量分析系統在平安城市的應用

劉哲 李秀云 楊子鵬 董雪

摘要：近年來，視頻監控技術在智能交通、安防監控等各行各業得到了廣泛的應用。隨著視頻監控設備數量的急劇增加，其自身設備的故障維護和管理面臨越來越大的挑戰。以往采用人工巡檢的方式對監控視頻設備的故障管理模式已經遠遠不能滿足現實的需求。針對視頻監控設備檢測中的視頻質量分析問題，本文設計并實現了一種視頻質量實時檢測系統，包括圖像預處理、異常檢測、結果輸出、管理等四個模塊。其中圖像預處理模塊主要是對視頻圖像格式、分辨率等進行處理；異常檢測模塊則是視頻常見異常的檢測算法實現部分；結果輸出模塊是對異常檢測結果的可視化顯示；管理模塊則是為用戶便于管理系統而設計的?測試結果表明該系統基本滿足視頻質量實時檢測要求，不僅檢測異常精度高，而且系統性能穩定。

關鍵詞：視頻質量檢測；圖像質量評價；清晰度異常；偏色

中圖分類號：TP391文獻標識碼：ADOI：10.3969/j.issn.l003-6970.2017.08.044

本文著錄格式：劉哲，李秀云，楊子鵬，等.智能識別視頻圖像質量分析系統在平安城市的應用[J].軟件，2017，38（8）：220-225

引言

近年來，視頻監控技術在智能交通、安防監控等各行各業得到了廣泛的應用。隨著視頻監控設備數量的急劇增加，其自身設備的故障維護和管理面臨越來越大的挑戰。以往采用人工巡檢的方式對監控視頻設備的故障管理模式已經遠遠不能滿足現實的需求。實現視頻監控系統智能化自動檢測具有十分重要的意義。本文重點研究的是視頻質量檢測技術。即通過取得視頻流之后要實時地檢測出視頻圖像中是否存在亮度異常、信號缺失、噪點、雪花噪聲、清晰度異常以及偏色這六種視頻異常，然后將檢測結果存儲到數據庫中以便監管人員進行事后的檢索與查看，然后管理者從檢查結果中發現視頻監控系統中的異常狀況，從而采取及時有效的措施對監控系統進行修復。本文的難點在于各種異常檢測的算法設計與實現，尤其是清晰度異常與偏色這兩個基本為圖像質量奠定基調的異常的檢測。

1 系統總體設計

本文根據視頻質量檢測的實際需求，對整個系統的框架進行了設計，包括圖像預處理、異常檢測、結果輸出、管理等四個模塊。其中圖像預處理模塊主要是對視頻圖像格式、分辨率等進行處理；異常檢測模塊則是視頻常見異常的檢測算法實現部分；結果輸出模塊是對異常檢測結果的可視化顯示；管理模塊則是為用戶便于管理系統而設計的。

2.1 系統總體框圖

根據系統所要完成的功能，本套視頻圖像質量分析系統的結構圖如圖1所示：

2.2 系統算法總體框圖

通過對系統需求分析，智能識別視頻圖像質量分析系統主要可以分為四個部分：視頻圖像預處理、異常檢測、結果存儲和管理模塊。其中最為關鍵的模塊是異常檢測模塊。

視頻圖像預處理模塊是對截取到的視頻幀進行格式、大小、存儲處理，以方便異常檢測模塊進行質量診斷；異常檢測模塊是本系統的核心所在，該模塊的功能是對所屬的監控系統內各路視頻流輪詢檢測，它集成了偏色、清晰度異常、噪點等干擾圖像質量的因素的檢測算法；檢測結果存儲模塊的作用是將視頻質量異常檢測結果包括發生哪種異常、是哪個位置的異常以及發生的時間等保存到數據庫中，以供維護人員事后查看檢測記錄；管理模塊主要是檢測系統進行管理，包括用戶登錄、添加用戶和賬號管理等。

對異常的檢測是整個視頻質量檢測系統的核心，它主要功能是檢測視頻畫面是否出現異常，并檢測判斷出是哪種異常以及返回量化后相應的異常程度值。本文所開發的視頻質量檢測系統主要檢測的異常種類包括：亮度異常、信號缺失、噪點、雪花噪聲、清晰度和偏色。本文對異常檢測，基本都是基于視頻圖像的空域特點，由相互獨立的數學算法完成。下面就是對系統中所包含的異常進行詳細地介紹與分析，以及針對各種異常在空域的分布特征，然后采取合適的異常檢測算法構建檢測函數，完成視頻圖像異常干擾的自動化檢測。

3 算法模塊研究

3.1 亮度異常

當視頻畫面出現亮度異常時，在視覺效果上表現為畫面全部、局部過亮或過暗，細節紋理不明晰，對比度相對較低。亮度異常破壞了畫面的美感，嚴重影響視頻的質量。當前對圖像亮度異常檢測算法主要包括灰度直方圖法與亮度均值法。對于灰度直方圖是根據亮度正常圖像的灰度級會占較多的灰度級，反之亮度異常的圖像的灰度級就會比較集中，從而用此來檢測亮度是否異常。而亮度均值法是計算整幅圖像的亮度平均值，然后與所設閾值進行比較確定進而判斷畫面是否亮度異常。故本文在亮度均值法的基礎上來檢測視頻的亮度異常。

本文對亮度異常的處理具體為：首先截取一幀視頻圖像作為待檢測幀，然后提取該幀圖像的亮度成分與事先設置好的閾值進行比較從而得出亮度是否異常。大多情況下計算圖片亮度信息一般會選擇在YUV或者YCrCb空間，因為它們其中的Y分量直接代表著亮度。但與上述的相比HSI模型更符合人類視覺特性，它完全可以反映人感知顏色、亮度的基本屬性。另外與其他顏色空間比較它更好的反映了“飽和度”和“亮度”作為兩個獨立參數的直覺觀念，并且在HSI空間模型中，I分量也可直接用于表征圖像的亮度情況，還有在HSI模型中可以充分、高效的使用多種計算機視覺圖像處理算法。所以人們一般使用HSI模型來模擬人類視覺系統處理圖像，而往往都能獲得更好的主觀效果。所以在本文的亮度異常檢測中，我選擇了HSI，只需計算圖像的I通道值即可得到圖片亮度分量值。提取圖片的亮度分量如下：

接著檢測亮度低于所設閾值T1的點的比例R1，然后結合I的值與閾值T3比較，如果滿足R1小于T1，或I小于T3則可判斷圖像亮度過暗。一樣地檢測亮度高于所設閾值T2的點的比例R2，然后結合I值與閾值T4比較，如果滿足R2大于T2或I大于T4則判定圖像亮度過亮。算法流程如圖3所示：

3.2 信號缺失

當視頻出現無信號異常時，幀圖像會呈現出某種顏色的像素點在圖像中占絕大部分或者視頻畫面只有單一的某種顏色比如黑屏或者綠屏，稱為信號缺失。

如果系統沒有視頻信號，這對視頻監控造成的不良后果可想而知。因此根據無信號的視頻畫面的黑屏、藍屏或者某種顏色占據整個畫面的絕大部分這一特征，而由實踐證明畫面比較單一的圖像的灰度值就會有規律可循，即同一幀視頻圖像中各個像素點之間灰度值的差別體現了該幀圖像發生變化是否劇烈。當視頻畫面發生信號丟失時，提取到的視頻幀圖像里各個像素點之間的灰度值的差異必然很小，那么便可推斷出即它的灰度值均方差的也會偏小。故本文根據此特點采取以下算法對設備故障引起的信號缺失進行檢測。

首先，從監控視頻中截取一幀圖像，然后對這幀圖像各像素的灰度值進行統計。算出它的灰度平均值與灰度均方差，如下式：

其中，H，W分別為幀圖像的高與寬，U為各個像素點灰度值的平均值，是圖像位置像素點的值，S是所有像素點灰度值的均方差。將S與事先設定好的閾值K（隨機取HxW幀視頻圖像計算它們的灰度均方差的均值乘以30%所得）進行比較，當3小于閾值K時，則可以認為這幀圖像可能出現了信號缺失的異常。但考慮到監控系統可能出現正常的短暫現黑屏現象，如果只做一步檢測可能導致誤判，為檢測的準確度，我們在一定時間內又截取一幀圖像進行檢測。如果兩次結果口的值都小于所設閾值，則基本上可以斷定該視頻確實發生了信號缺失。檢測算法流程圖如圖4所示。

3.3 噪聲檢測

視頻圖像噪聲是一種不可預測、損壞圖像質量的隨機信號，它在圖像的采集、處理、傳輸等各個環節都有可能出現。噪聲的種類繁多從產生的來源可分成：內部與外部噪聲。內部噪聲是指系統設備或者電路自身產生的噪聲，如電源噪聲；而外部噪聲是指導致系統產生噪聲的干擾來自外界，如電磁干擾。

3.3.1 噪點噪聲

視頻圖像噪點在空域上表現為該點與它鄰域周圍的像素點的灰度值區分很大，在視覺上的反映是有許多雜亂的斑點或亮或暗隨機地分布在圖像上，嚴重影響人的感知視覺。噪點不僅破壞了畫面的美觀，又嚴重阻礙了人們想從圖片中提取某些重要的信息，所以對視頻圖像準確及時地檢測是否有噪點的存在意義非凡。本文根據像素點的鄰域信息來檢測監控視頻中是否發生了噪點異常。具體的算法公式如下：

其中為噪點的向量和，而m則表示虛線邊框內像素點包圍著的區域，代表著中心像素點的通道值，為中心像素點以外m區域內的其它的像素點灰度值，由分析可知此時N取8。如果中心點為非邊緣點且fq（m）的結果大于我們所設的閾值，我就能夠判斷區域m的中心像素點O為噪聲點。而如果中心像素點是邊緣點，則經過試驗得知fq（m）計算出來的值要遠小于事先設定的閾值。

3.3.2 雪花噪聲

目前，一般對視頻雪花噪聲檢測都是結合大量先驗背景圖片技術作依托然后通過機器學習的方式來診斷的。然而經過大量研究分析時，我們發現雪花噪聲有這些特性：紋理深，并且有規律可循，“閃爍點”像素灰度值劇烈變化。所以本文從像素灰度值人手，直接用數學的模型來檢測視頻中出現的雪花噪聲。

而本文檢測雪花噪聲的基本思想方法是：因為正常圖像像素的灰度值變化一般都平緩，方差較小，而雪花的“閃爍點”像素灰度值劇烈變化，灰度值跳躍性大，計算方差也偏大，窗口鄰域也正是把圖像細分，不漏過可能的異常像素點。所以檢測雪花的思路是小窗口方差法。算法步驟具體如下：

①將截取到的彩色視頻幀圖像作灰度化處理；

②將灰度圖像的灰度級進行壓縮，量化成16級，以減少系統的計算量；

③從視頻圖像左上角開始位置將它分成3x3子塊窗口，接著便計算該區域內9個像素點灰度值的方差；

④窗口遍歷大小為MxN的整幅圖像，則得到個方差值；

⑤對個方差取均值T，與閾值Th比較；

⑥若則為“雪花屏”。

雪花噪聲檢測算法流程圖如圖5所示：

3.4 清晰度異常檢測算法

清晰度對于視頻圖像的重要性不言而喻，所以能快速、準確地檢測視頻的清晰度是否異常是十分必要的。目前對圖像清晰度的評價方法通常在頻域和空間域進行。頻域方法是分析圖像的成分頻率成分進而評價圖像的清晰度，它的優勢在于得出來的結果通常比空域的要準確。不足之處是需要進行各種復雜的變換，所以它的運行效率相對低下；而空域主要通過邊緣檢測算子，根據圖像灰度、梯度差來表征圖像的清晰程度。這類方法計算簡單，運行速度快，但抗干擾性能相對較差，故往往會發生誤檢、漏檢等現象。

所以為彌補現有算法的不足，本文利用平方梯度法區分度較好的特點，用一種焦點窗口改進的平均梯度算法來檢測視頻清晰度的異常。這種方法能克服計算量大的缺點，兼顧了準確性和實時性。具體算法步驟如下：

（1）根據攝影藝術和美學理論中的三分法原則，我們將焦點區域的劃分為圖6所示，其中點O為圖像中心點，而點A，B，C和D到最近圖像邊界的距離為圖像高或寬的1/3。

（2）計算大小為HxW圖像f（x，y）5個區域O，A，B，C，D的聚焦評價值。聚焦評價值計算公式如下：

其電與分別為圖像x及y方向的梯度值

之和，式子取3/2次方的目的是為了增強大梯度值的影響，以提高算法抗噪性。

其中M，N分別為O，A，B，C，D子塊圖像的高和寬。

（3）然后由下面公式得出圖像的整體聚焦評價值：

考慮-監控圖像中心區域通常為有用或者是人們所感興趣區域，因此本文結合實驗結果分析把kl取取0.15。

（4）接著計算該視頻圖像在Lab空間下的色差

值，如下式：

（5）最后便是結合聚焦評價值F與色差值SC作為清晰度評價函數，然后與閾值Thl、進行比較，從而得出清晰與否的診斷。

清晰度異常檢測算法流程圖如圖7所示：

3.5 偏色檢測算法

成像儀器卻不具備顏色恒常性，它會受環境光照和成像設備的感光元器件感光系數的物理特性以及物體本身的反射特性等多種因素的影響，所以成像儀器拍攝到的圖像的色彩與物體表面真實色彩就會發生一定程度的偏差，這種顏色上的差異就叫偏色。要想正確檢測視頻圖像的偏色程度，首要的就是選擇合適的顏色處理空間。

一般情況下顯示器顯示的圖片是RGB顏色空間的，但RGB色彩空間具有不均勻性，所以偏色檢測中，我們選擇了1976年CIE規定的用于非自照明的顏色空間——CIELab。但由RGB色彩空間轉換到CIELab空間需要引入一個過渡的顏色空間XYZ，可以分為以下兩步：

① 將圖像從RBG色彩空間按公式轉換到過渡的色彩空間XYZ。

② M后從XYZ顏色空間按下式轉換到Lab顏色空間。

其中，f（x）為校正函數，其表達式為：

在比較了眾多偏色檢測算法后，結合本檢測系統的時實際情況，本文提出了一種新的偏色檢測算法一基于協方差相關函數的偏色檢測算法，利用相鄰兩幀圖像的顏色差異和相關性差異來檢測偏色干擾。具體算法步驟如下：

① 獲取檢測視頻的相鄰兩幀圖像；

② 從RGB空間轉換到Lab空間；

③ 計算對應子塊色差方差的均值及協相關系數絕對值的均值；

④ 將兩者結果的比值進行處理與所設閾值進行比較從而判定是否偏色。

本模塊使用的子程序有：

4 結論

該系統能夠對監控系統中視頻圖像出現的信號缺失、噪點、雪花、清晰度異常、亮度異常、偏色等常見畫面異常進行準確分析和判斷，重點介紹了信號缺失、噪點、雪花、清晰度異常、亮度異常、偏色這些常見異常的檢測算法，實現了視頻質量實時檢測，是解決視頻圖像質量分析的一種有效手段。