基于改進稠密網絡的視頻監控人臉識別算法研究

DOI：10.19850/j.cnki.2096-4706.2024.01.018

收稿日期：2023-06-05

摘? 要：為了提升視頻監控中的人臉識別能力，研究利用運動歷史圖像算法來實現人體跟蹤，提出了一種改進稠密網絡。在結果中顯示，研究采用的人體跟蹤算法的跟蹤準確率高達99.5%，同時提出的識別算法的識別準確率能夠穩定在99.7%以上，且能夠針對不同表情特征的人臉表現出較高的識別準確率。以上結果表明，改進稠密網絡能夠有效提升視頻監控人臉識別能力，對城市監控的智能化發展具有重要意義。

關鍵詞：視頻監控；運動歷史圖像算法；改進稠密網絡；人體跟蹤；人臉識別

中圖分類號：TP391.4? ? 文獻標識碼：A? 文章編號：2096-4706（2024）01-0089-05

Research on Video Surveillance Face Recognition Algorithm Based on

Improved Dense Network

YU Ming

（Department of Information Technology， Qujing Vocational and Technical College， Qujing? 655000， China）

Abstract： In order to improve the ability of face recognition in video surveillance， it studies the use of motion history image algorithm to realize human tracking， and proposes an improved dense network. The results show that the tracking accuracy of the human tracking algorithm used in the study is as high as 99.5%， and the recognition accuracy of the proposed recognition algorithm can be above 99.7%， and can show high recognition accuracy for faces with different expression features. The above results show that the improved dense network can effectively improve the face recognition ability of video surveillance， which is of great significance to the intelligent development of urban surveillance.

Keywords： video surveillance; motion history image algorithm; improved dense network; human tracking; face recognition

0? 引? 言

視頻監控是促進城市和諧發展的重要技術，在視頻監控中，針對人臉的有效識別一直是該領域主要的發展方向。在視頻監控人臉識別技術發展過程中，受到人工智能技術的啟發，越來越多的研究開始探討人工智能技術在視頻監控人臉識別中的可行性[1，2]。既往研究提出，深度學習作為人工智能技術發展中的重點研究對象，能夠快速完成視頻監控圖像處理，因此，大量研究認為將深度學習應用至視頻監控的人臉識別中具有重要價值[3，4]。但是在當前的視頻監控識別中，仍然存在計算量龐大、模型難以訓練等問題。為此有研究提出了一種稠密卷積網絡，該網絡可以借助不同的卷積核來提取圖像檢測目標的特征，并通過特征融合的方式來獲取更為全面的圖像特征[5]。然而，傳統的稠密網絡在計算中需要多次采用5×5卷積核，會使得長期訓練中，模型的參數量不斷增加，降低模型在特征識別中的效率[6]。為此研究提出了一種改進的淺層稠密卷積神經網絡，同時引入人體跟蹤技術，期望借此實現視頻監控中的人臉特征抓取及快速識別，為視頻監控技術的發展提供建議。

1? 面向視頻監控人臉識別的人體跟蹤及識別算法設計

1.1? 視頻監控人體跟蹤設計

視頻監控是通過視頻攝影設備來獲取移動目標信息的圖像處理技術，在視頻監控中，獲取人臉信息的關鍵技術包括人體跟蹤以及人臉圖像識別，而人體跟蹤是實現運動目標特征提取的重要步驟[7]。為此研究為了提升視頻監控人臉識別的效率，提出了一種人體跟蹤方法，其跟蹤流程如圖1所示。

圖1中顯示，在視頻監控人體跟蹤中，首先讀取監控視頻中的人體幀數，并提取其中的一幀圖像。針對識別到的視頻幀數，采用運動歷史圖像來計算當前幀與上一幀之間的距離，比較計算距離與設定值之間的差異。當計算距離大于設定值，則采用運動歷史圖像再次計算兩幀之間的距離，當計算距離小于設定值，則認為完成跟蹤。

在人體跟蹤識別中，研究中為了對運動目標進行跟蹤識別，采用了運動歷史圖像來進行模塊跟蹤，以H為運動歷史圖像中的像素點強度，其計算方式如式（1）所示：

（1）

式（1）中，τ表示視頻場景中的兩幀之間的持續時間；t表示目標像素點時刻；δ表示衰退參數；ψ（x，y，t）表示幀間差分法。此外在跟蹤過程中，像素點的權值大小會影響目標檢測的穩定性和可靠性，權重計算如式（2）所示：

（2）

式（2）中，C表示歸一化系數；qn表示顏色分布概率；h表示區域半徑；m表示像素點總數。其中歸一化系數表示如式（3）所示：

（3）

其次采用相似性來度量運動目標模板之間的匹配程度，如式（4）所示：

（4）

式（4）中，qn（x）、qn（y）分別表示圖像x軸y軸上的顏色分布概率。

然而，值得注意的是，在視頻監控中，受到社會環境以及自然環境的影響，監控視頻存在顯著的干擾噪聲，因此為了準確實現監控視頻中的人體跟蹤，需要對視頻圖像進行預處理。監控視頻中的圖像去噪，采用圖像濾波的方式來提取圖像中的目標特征，采用中值濾波法來抑制圖像中的噪聲。中值濾波的基本原理是將圖像中的值以其所在區域的中值代替，一維中值濾波如式（5）所示：

（5）

式（5）中，（f0， f1， …， fk）表示一維序列中的序列值；k表示序列長度。在濾波處理后需要對圖像進行增強處理，在圖像增強中，研究采用過拉普拉斯銳化的方式來實現。拉普拉斯計算方式如式（6）所示：

（6）

式（6）中，（x，y）表示圖像中某點的坐標。

此外由于在實際的監控視頻中，當光照充足時，被檢測目標在運動過程中會產生較為明顯的陰影，陰影的存在會在檢測時被判斷為前景部分，導致前景檢測無法達到較好的效果，為此研究中提出了一種陰影消除算法。首先將視頻圖像中的亮度進行建模，如式（7）所示：

（7）

式（7）中，Ek （m， n）表示（m， n）處像素點的輻射度，ρk （m， n）表示人體對光的反射系數。在亮度建模基礎上，采用HSV來進行陰影消除，陰影檢測的判別函數見式（8）：

式（8）中，、、 表示第k幀圖像像素點在HSV空間中的分量；、、 表示第k幀背景像素點在HSV空間中的分量；?、β表示判斷參數；Ts、TB表示閾值；當判別函數的值為1時，則位置（x，y）定義為陰影，其余為目標。

1.2? 基于改進稠密網絡的人臉識別算法

在視頻監控的人體跟蹤基礎上，研究提出了一種基于改進稠密網絡的人臉識別算法。稠密網絡目前常被應用于人臉表情圖像的特征提取中，但是傳統的稠密網絡在計算中的參數量會難以得到控制，導致在長期應用中出現過擬合的現象，進而浪費計算資源[8]。為此研究提出了一種淺層稠密卷積網絡，目的是利用淺層的卷積神經網絡來降低模型的訓練時間，并提高稠密網絡的表情識別率。淺層稠密網絡的基本模型如圖2所示。

圖2中顯示，在淺層稠密網絡中，首先將視頻監控中的人體跟蹤圖像作為輸入，利用第一層卷積神經網絡來初步處理人體特征，以此獲取到圖像中的稠密區塊。針對初步處理得到特征圖像輸送至稠密區塊1，同時將第二層卷積神經網絡作為過渡層1，采用過渡層1來對圖像進行卷積操作和池化操作，以此獲取更為清晰的人體特征。此后將進一步得到的人體特征作為特征圖輸送至稠密區塊2，利用第三層卷積神經網絡來實現人體圖像中的人臉識別，將處理結果輸送至第四層卷積神經網絡中，并進行池化操作。最后通過線性轉化的方式將上一階段池化處理得到的人臉特征進行二維轉化，得到可以作為輸出的人臉識別結果。

在淺層稠密網絡的人臉識別中，對于人臉特征的提取至關重要，原因在于，人臉圖像較為復雜，在人臉識別過程中需要鑒別人臉基本特征以及表情特征。為此研究為了進一步提升人臉識別算法的精確率，提出了一種特征融合的方式，如圖3所示。

圖3中顯示，在人臉特征融合中，將圖像數據分割成多樣本，從多樣本中獲取不同人臉表情特征，同時將多樣本數據與原始數據相融合，構建原始版本的融合數據集。其次在多樣本的人臉表情特征分類中，提取出不同表情特征，并將不同的表情特征進行融合，同時構建特征融合數據集。然后利用分類器來進行表情特征分類，以上一階段特征提取為基礎，利用分類器進行人臉表情分類，在分類器的輸出端，將結果分為分類融合數據集以及人臉識別結構。最后對原始融合數據集、特征融合數據集、分類數據集以及人臉識別結果進行多方決策，通過決策得到最終的人臉特征識別結果。

2? 人臉識別算法的性能測試結果

2.1? 人臉識別算法性能分析

研究針對視頻圖像中的人體跟蹤，提出采用運動歷史圖像來運動目標檢測與跟蹤，同時為了實現視頻監控中的人臉識別，提出了一種淺層稠密卷積網絡。因此為了驗證研究提出的人體跟蹤算法及淺層稠密卷積網絡的有效性和可行性，首先對兩種算法進行性能分析。在人體跟蹤測試中，將實驗設置在Intel Core i5-5300中，其主頻為2.3 GHz，內存為4 GB，在Windows7中進行操作。研究采用HiEve數據集來驗證人體跟蹤算法的跟蹤效果，結果如圖4所示。

從圖4中可以看出，研究分析了在HiEve數據集中的人體跟蹤算法的準確率及跟蹤延時。在算法準確率評價中顯示，研究提出的運動歷史圖像跟蹤算法的準確率隨著迭代次數的增加而不斷提升。在迭代次數達到100次之后，跟蹤算法的準確率超過98%，最后在迭代次數達到150次之后，算法的準確率開始逐漸穩定在99.5%以上。在跟蹤算法的延時評價中顯示，研究所采用的運動歷史圖像算法的延時最大值僅為0.1 s，并且隨著迭代次數的不斷增加，運動歷史圖像跟蹤算法的延時呈現出不斷降低的趨勢，在迭代次數達到100次之后，算法的延時降低至0.05 s以內，并在迭代次數達到150次之后，算法的延時開始穩定在0.01 s附近。以上結果表明，研究所采用的運動歷史圖像跟蹤算法在人體跟蹤中具備較高的準確率，并且在跟蹤中的延時較小，即表明運動歷史算法在視頻監控人體跟蹤的幀數識別效率較高。其次研究選擇PER2013數據集和SPResNet18作為數據集，評價研究提出的淺層稠密網絡的人臉識別算法性能。在算法比較中，評價了傳統稠密網絡與淺層稠密網絡之間的準確率差異，結果如圖5所示。

圖5（a）是傳統稠密網絡與淺層稠密網絡在PER2013數據集中的識別準確率變化及差異，可以看出，隨著迭代次數的增長，兩種算法的準確率呈現出不斷增長的趨勢。傳統的稠密網絡在迭代次數達到230次之后開始趨于穩定，此時的算法準確率穩定在96.5%附近。研究提出的淺層稠密網絡在迭代次數達到200次時，人臉識別的準確率開始穩定至97%附近，并且最終的準確率至達到了97.5%。圖5（b）是傳統稠密網絡與淺層稠密網絡在SPResNet18數據集中的識別準確率變化及差異，可以看出，隨著迭代次數的增長，算法的準確率不斷提升。相較于傳統稠密網絡，研究提出的淺層稠密網絡穩定后的準確率更高，最大值達到了97.7%，并且淺層稠密網絡達到穩定值的迭代計算次數僅為200次，顯著低于傳統的稠密網絡。此外從圖5中可以看出，傳統稠密網絡在不同數據集中的識別波動明顯，而淺層稠密網絡的準確率提升表現出較為平緩的趨勢，即淺層稠密網絡的穩定性顯著高于傳統的稠密網絡。

2.2? 視頻監控人臉識別應用測試

為了滿足當前市面上的視頻監控需求，研究提出了一種基于改進稠密網絡的人臉識別算法，為了驗證研究提出的算法可行性，研究選擇實際視頻監控數據為測試數據集。研究中所采用的數據集為某市區晴天、陰雨天以及夜晚的人體監控視頻數據，首先評價在該數據集中，研究提出的人體跟蹤算法的跟蹤性能，結果如圖6所示。

圖6（a）是人體跟蹤算法在跟蹤距離不斷增加時的人體檢測結果，并比較了實際值與檢測值的變化。從圖6（a）中可以看出，研究提出的人體跟蹤算法能夠在不斷檢測過程中與實際值呈現相同的變化趨勢，即研究提出的跟蹤算法具備人體跟蹤的基本能力。圖6（b）是人體跟蹤算法的跟蹤結果與實際值之間的誤差，結果中顯示，在不同距離的跟蹤過程中，研究提出的跟蹤算法的檢測值與實際值的誤差值始終控制在2 mm以內，且最大值僅為1.70 mm，最小值僅為0.24 mm。以上結果表明，研究提出的人體跟蹤算法能夠有效進行視頻監控中的人體跟蹤，且誤差較小。最后，為了驗證淺層稠密網絡的人體識別能力，研究以監控視頻數據為基礎，評價了淺層稠密網絡算法在不同人臉及人臉表情識別中的能力，結果如表1所示。

從表1中可以看出，研究分析了淺層稠密網絡算法針對不同天氣的人臉特征及表情特征識別結果。結果中顯示，淺層稠密網絡在不同性別的人臉識別中的準確率始終高于99.5%，其中在晴天環境下的不同性別人臉識別準確率達到了99.8%以上，在夜晚環境下，不同性別的人臉識別率最低也達到了99.1%。在不同表情識別中，不同環境中，最大的人臉表情識別率達到了99.5%。最低人臉表情識別率也達到了98.8%。此外研究還測試了針對不同遮擋面積的人臉識別能力，結果中顯示，研究提出的人臉識別算法識別準確率最低也達到了98.0%。以上結果表明，研究提出的人臉識別算法能夠在不同環境下，針對不同性別、不同表情以及不同遮擋面積的人臉表現出較高的識別準確率。研究將改進淺層稠密網絡算法與基于主成分分析和尺度不變特征變換算法的識別模型、基于遺傳算法和支持向量機的人臉識別模型、改進隨機深林識別模型進行對比分析，結合CK數據集和視頻監控圖像驗證不同算法的人臉跟蹤和識別性能，識別結果如圖7所示。

從圖7中可以看出，相較于改進隨機森林算法等其他識別模型，改進淺層稠密網絡對不同場景和性別對象的人臉跟蹤和識別性能最優，人臉表情和性別識別準確率分別為99.4%和99.8%，在面部大面積遮擋情況下對人臉圖像的抓取和識別能力較好，能在受遮擋時對人臉表情和性別進行準確識別。

3? 結? 論

視頻監控中的人臉識別是促進城市發展的重要技術，在城市的智能化發展中，如何提升視頻監控中的人臉識別能力是當前高新技術研究的重點。研究中為了提升視頻監控中的人臉識別能力，提出了采用運動歷史圖像跟蹤算法來實現監控視頻中的人體跟蹤，同時提出了一種淺層稠密網絡，以此實現人臉特征及表情識別。在算法性能測試中顯示，運動歷史圖像跟蹤算法的跟蹤準確率最高達到了99.5%以上，且在人體跟蹤中的延時也控制在了0.01 s。在人臉識別算法的性能測試中顯示，研究提出的淺層稠密網絡的識別準確率最高達到了97.7%，且顯著高于傳統的稠密網絡。最后在應用測試中顯示，研究提出的人體跟蹤算法在人體跟蹤測試中顯示，針對監控視頻中的運動人體位置檢測，檢測值與實際值之間的位置差異較小，最大差異僅為1.70 mm，最小值僅為0.24 mm。在人臉識別測試中顯示，針對不同性別、不同表情以及不同遮擋面積的人臉識別，研究提出的淺層稠密網絡的識別準確率均在98.0%以上。以上結果表明，研究針對視頻監控的人臉識別，提出的淺層稠密網絡具有可行性。然而研究中所提出的人臉識別算法在遮擋人臉識別中的準確率仍然難以達到較為理想的狀態，為此在后續研究中需要針對遮擋人臉提出更為有效的人臉識別算法。

參考文獻：

[1] 劉宇琦，趙宏偉，王玉.一種基于QPSO優化的流形學習的視頻人臉識別算法 [J].自動化學報，2020，46（2）：256-263.

[2] 胡佳玲，施一萍，謝思雅，等.基于輕量級卷積神經網絡人臉識別算法的研究與應用 [J].傳感器與微系統，2022，41（1）：153-156.

[3] 柯鵬飛，蔡茂國，吳濤.基于改進卷積神經網絡與集成學習的人臉識別算法 [J].計算機工程，2020，46（2）：262-267+273.

[4] 王超，趙陽，裴繼紅.松弛耦合非負矩陣分解的低分辨率人臉識別算法 [J].信號處理，2020，36（7）：1127-1135.

[5] 劉啟超，肖亮，劉芳，等.SSCDenseNet：一種空-譜卷積稠密網絡的高光譜圖像分類算法 [J].電子學報，2020，48（4）：751-762.

[6] 張帆，張景森，裴昌幸.采用雙通道時間稠密網絡的高光譜影像分類方法 [J].西安交通大學學報，2020，54（4）：126-132.

[7] 孟紅記，劉沛諺，胡振偉.基于注意力特征融合稠密網絡的圖像去霧算法 [J].東北大學學報：自然科學版，2022，43（12）：1717-1723.

[8] LEE S，KIM I. DVC-Net：A deep neural network model for dense video captioning [J].IET Computer Vision，2021，15（1）：12-23.

作者簡介：余鳴（1977.06—），男，漢族，云南曲靖人，副教授，本科，研究方向：計算機科學與技術。