基于深度學習的運動目標交接算法①

曹建榮,武欣瑩,呂俊杰,王亞萌,楊紅娟,張 旭

1(山東建筑大學 信息與電氣工程學院,濟南 250101)

2(山東省智能建筑技術重點實驗室,濟南 250101)

隨著監控場景復雜度的增加和視頻監控系統規模的不斷擴大,基于智能視頻分析的多攝像機下的運動目標交接技術逐漸成為計算機視覺領域熱門的研究方向之一.運動目標交接的目的是分別在相鄰的攝像機下確認運動目標的身份等各項參數指標,由此利用毗鄰的多臺攝像機實現對該運動中目標對象的不間斷追蹤.

以目標的特征融合為基礎的目標交接一般應用于無重疊視域的多攝像機連續跟蹤.在進行目標的特征提取時,陸興華等[1]通過統計灰度直方圖的信息可以提取到目標的特征,但目標和背景的顏色差異有可能帶來特征匹配誤差；Liang 等提出使用LOMO (LOcal Maximal Occurrence)算法[2]將手工特征和深度特征兩種特征交融在同一個深度網絡中完成目標的交接,但網絡訓練速度較慢.而常用的特征相似度度量有余弦相似度、歐式相似度、MLAPG 相似度[3]和NLML 相似度[4].

以空間模型為基礎的運動目標交接一般應用于有重疊視域的多攝像機連續跟蹤.張正本等[5]提出了一種采用卡爾曼一致濾波對空間內多個目標狀態進行一致性估計的方法解決分布式多運動目標交接問題,但該方法對測量模型要求高,實用性不高.陽小燕等[6]提出了一種改進的基于視野分界線的多攝像機運動目標跟蹤算法,但當視野分界線被遮擋時會影響目標交接的準確性.Ur-Rehman 等[7]為了解決多個運動目標在交接時所產生的遮擋問題,采用聚類模型理論作為指導方法進行研究,但該模型的收斂速度較慢,受限于樣本容量大小.

以上兩種傳統的目標交接方法可以根據目標的特征和空間模型特征完成重疊或非重疊視域的多攝像機連續跟蹤,但以上模型較為復雜且無法兼顧目標交接的實時性和準確性.近年來,深度學習算法在運動目標交接和跟蹤中展現出強大的速度優勢,因此本文以人臉為研究對象并利用深度學習的方法完成運動目標交接,在保持算法原有的速度優勢的同時,還可以緩解由目標相互遮擋引起的目標不連續和不確定問題,提高交接的精度.

本文通過對不同攝像機下獲取的人臉圖像進行匹配實現運動目標在不同攝像機中的目標交接匹配,實現對運動目標的連續跟蹤.首先利用深度學習方法檢測行人運動目標,并提取行人的人臉特征；然后通過合適的相似度度量方法對不同攝像機中的人臉進行特征相似度匹配,找到最匹配的人臉,有效地實現毗鄰攝像機對運動目標的交接算法.

1 整體算法介紹

本文整體算法流程圖如圖1所示,算法的主要結構如下.

圖1 整體算法流程圖

(1)首先,運動目標作為非剛體易發生相互遮擋且其他生物特征在匹配時容易產生匹配誤差,因此本文選擇人臉作為研究對象,利用深度學習提取人臉的特征；

(2)然后,開始網絡模型的訓練,訓練流程如圖1(a)所示.分別建立MTCNN 人臉檢測模型和ResNet-v4特征提取模型,選取經典人臉庫和自行采集的視頻人臉庫組成訓練數據,對模型進行訓練.根據本文訓練數據的特點對模型進行調整和改進,確定網絡的權值和閾值,提高模型的自適應性和訓練速度；

(3)最后,將攝像機A、相鄰攝像機B 獲取的視頻幀輸入訓練達標的模型中實現目標交接.交接流程如圖1(b)所示.根據人臉檢測模型檢測到人臉的位置,根據特征提取模型提取檢測到的人臉特征,利用相似度度量將人臉特征在相鄰攝像頭下進行人臉特征匹配,并循壞獲取攝像機A、B 視頻幀不斷進行檢測和匹配過程,最終實現所有目標的交接.

2 人臉檢測算法

人臉檢測旨在有行人運動目標的視頻監控序列中判斷是否存在人臉,并同時給出人臉的數量、位置等參數,是運動目標交接的首要環節.本文利用MTCNN(Multi-Task Convolutional Neural Network)網絡進行人臉檢測.該網絡由圖像金字塔及三階段級聯CNN 組成,將人臉檢測、人臉位置標定和人臉特征點檢測同時進行[8].級聯網絡包括P-Net (Proposal Network)網絡、R-Net (Refine Network) 網絡及O-Net (Output Network)網絡,MTCNN 3 個CNN 子網絡結構如圖2所示.

圖2 MTCNN 3 個子網絡結構圖

該算法的主要流程如下：

1)首先將圖片按照不同比例縮放成大小不同的圖片,建立圖像金字塔,最后得到的最小的圖像最短邊要大于等于12；

2)然后將12×12 的圖片輸入P-Net 網絡,通過計算生成大量的人臉候選框和邊框回歸向量,利用邊框回歸的方法來矯正生成的人臉框,利用非極大值抑制合并重疊的候選框；

3)其次將P-Net 網絡輸出的圖像縮放至24×24,輸入至R-Net 網絡中,進一步篩掉大量非人臉框,繼續使用邊框回歸和非極大值抑制的方法合并候選框,達到高精度過濾和人臉區域優化的效果；

4)最后將R-Net 網絡輸出的圖像縮放至48×48,輸入至O-Net 網絡中,最終輸出回歸框分類、回歸框位置及人臉特征點的位置.

由上可知,MTCNN 網絡為了兼顧性能及準確率,避免滑動窗口加分類器等傳統方法帶來的性能消耗,先使用簡單網絡生成有一定可能性的人臉區域候選框,然后再使用更復雜的網絡進行細分類和更高精度的人臉框回歸,并讓這一步遞歸執行來構成三層網絡,完成快速高效的人臉檢測.

3 人臉特征提取算法

人臉特征提取是多攝像機運動目標交接方法中的關鍵部分,主要分為基于傳統和深度學習的特征提取方法.傳統方法側重于通過人的膚色、紋理和幾何特征等方面提取特征.例如,HOG 特征提取算法通過計算圖像局部區域的梯度方向直方圖來獲取圖像特征[9]；LBP 算法通過區域塊匹配的方法提取人臉圖像的紋理特征[10].Haar-like 特征算法利用人臉器官間的幾何關系來提取人臉特征[11].

基于深度學習的卷積神經網絡模型主要有Deep-Face[12]、DeepID[13]、FaceNet[14]模型等,其算法的精準度已經優于人眼觀測的效果.最新研究成果表明,深度卷積神經網絡通過不斷的訓練提取圖片中的特征,具有較強的客觀性和選擇性,因此本文選擇深度學習的方法搭建人臉特征提取模型.

3.1 ResNet-v4 深度學習框架

本文運用深度學習方法對人臉特征進行提取時需要對神經網絡模型進行訓練,主要參考VGGNet[15]與GoogleLeNet[16]的結構模型,使用ResNet-v4[17]的模型提取人臉的特征,該模型可以避免訓練集的準確率隨網絡層數的加深而下降的風險.最后依據本文訓練數據的特點,進一步對模型進行完善,完善之后的訓練主網絡結構圖如圖3所示.

圖3 訓練主網絡結構圖

圖3展示了由1 個輸入層、13 個卷積組、1 個全局平均池化層、1 個Dropout 層及1 個輸出層組成的改進的網絡模型.開始先向模型中輸入3 張160×160尺寸的訓練圖片,經過Stem 卷積組后生成18×18 的特征圖共384 個；其次通過卷積組Inception-A 共4 個,得到18×18 的特征圖形共384 個；之后通過卷積組Reduction-A 1 個,得到9×9 的特征圖形共1024 個；再通過卷積組Inception-B 共7 個,得到9×9 的特征圖形共1024 個；最后經過平均池化層,得到1×1 的特征圖形共1024 個.

該殘差網絡相對于之前的深度學習網絡具有很多改進和優點.在參數數量方面,用2 個小的卷積核串聯代替較大的卷積核可以降低計算量的同時增加神經網絡的表征能力.例如,在該網絡中將2 個3×3 小卷積核串聯代替1 個5×5 的大卷積核,訓練參數由25 個變為18 個；在網絡寬度方面,為了提高網絡模型對尺寸的自適應能力,將卷積組中1×1、3×3 的卷積核和3×3 的池化層堆疊在一起來增加網絡結構的寬度；在卷積降維方面,卷積網絡的增寬會急速地增加卷積通道的數量,為了避免其對神經網絡模型的運算速率產生影響,將Inception-B 卷積組與1×1 的卷積核進行卷積計算,這樣能夠大大降低大卷積核的通道數.

3.2 人臉特征提取數據集

在網絡的框架構建完成之后,還要處理和分析用于人臉特征匹配的數據集.當今網絡化時代有大量用于人臉識別的開源數據集.例如,CelebaA (Celeb Faces Attributes Dataset)數據集[18]是由香港中文大學湯曉鷗教授實驗室公布的大型人臉屬性數據集,該數據集包含了200000 張人臉圖片,人臉屬性有40 多種；為了探究人臉識別在非限制環境中產生的問題,LFW 數據集[19]應運而生,這一數據集共包含人臉圖像13000 多張,涉及人數為5749 人,每張人臉均被標注上了對應的人名,通過定義無監督、限制與非限制3 個標準協議來評估人臉匹配的性能,是標準的人臉匹配測試數據集.

本文采用LFW 標準人臉匹配數據集作為測試數據集,訓練數據集是根據目標交接要求,通過網絡收集到8400 張大小為160×160 的人臉圖片,并將其分為400 組不同的類別,完成人臉特征提取數據集的制作.

3.3 人臉特征提取模型損失函數

本文的損失函數借鑒文獻[20],采用一種Softmax損失與中心損失相結合的方法.這種方法能夠降低同類內部的差異,同時能夠提高類別之間的差異,以此來增強特征提取時模型的辨別與泛化能力.

Softmax 的損失函數主要用來處理多分類問題,它的公式如下所示：

其中,LSoftmax表示Softmax 的損失函數；i為圖片數量；表示Softmax 的輸出向量的y第i個值,輸出的是預測結果；yi表示個體的真實類別,取值為0 或1,即真實標簽對應位置的那個值為1,其他都為0.

中心損失函數為一種經典的聚類算法,當卷積神經網絡具備多個特征時,每一批次都能夠通過計算得到多個特征中心,同時也能夠都得到對應的的損失函數.式(2)為中心損失函數的表達形式：

其中,LCentre表示中心損失函數；xi為第i張圖片的特征值；Cyi為第i張圖片所處類別的中心,即yi所屬類別的特征值的中間點.

分類的特征中心Cyi隨著深度特征的變化而變化,初次訓練時需要隨機設定Cyi的值,單次訓練時需要利用式(3)對Cyi進行更新：

其中,ΔCj表示分類中心的變化量；yi代表類別個體的實際所屬,當它與Cj表 現出一樣的類別時,對Cj進行迭代更新；當它與Cj表現出不一樣的類別的時候,不進行迭代更新.

通過中心損失與Softmax 損失這兩種函數的合作監督,構建總損失函數.總損失函數計算公式如式(4)：

式中,L表示總損失函數；λ的值由人為設置,它是一個使兩種損失相互平衡的超參,選擇合適的 λ可以增強網絡特征的識別能力.當 λ=0時,可以將式(4)的函數認為是僅有Softmax 損失的情況.λ取值越大種類之間越分散,反之越集中.本文對文獻[19]進行分析,取λ=0.9.

通過以上Softmax loss 和Center loss 聯合監督的方法可以解決三重損失中采樣復雜的問題,也可以解決對比損失中無法采集合適樣本對的問題,可使模型的泛化能力大大提升.

4 人臉相似度匹配方法

構建好人臉特征提取框架后,還需要通過相似度度量方法對人臉的相似度進行計算,完成人臉匹配.最常用的相似度測量方法是余弦距離相似度,最常用的距離度量是歐氏距離,很多相似度的度量和距離度量的方法都是在這兩種方法的基礎上的變化和推演而來的.文中將余弦距離與歐氏距離進行對比分析,對最佳的度量算法進行選用.

(1)歐氏距離(Euclidean Distance)

歐氏距離對個體差異的分析通常取決于維度數值的大小,主要通過數值表現的差異來判斷個體間的類別.

例如空間是N維的,那么N維向量x(a1,a2,a3,···,an),y(b1,b2,b3,···,bn) 之 間的歐式距離為dN.其計算公式如下所示：

(2)余弦距離(Cosine Distance)

在N維空間中,還可以通過余弦距離來得到兩個向量組成角度的余弦值,余弦距離大多數情況是從向量的方向上來分辨差別,依據向量在方向上的差異來判斷兩者是否為同一類別[8].

假設在N維空間中,計算N維向量x(a1,a2,a3,···,an),y(b1,b2,b3,···,bn)之間的夾角余弦公式.其計算公式如下所示：

已知向量之間的夾角的余弦值位于[-1,1]這一范圍內,兩個不同向量在N維空間的方向相同時為正向,1 為最大值；而方向相異時為負向,-1 為最小值.夾角余弦越大表示兩個向量的夾角越小,說明人臉圖像的差異越小.反之表示兩向量的夾角越大,說明人臉圖像的差異越大.深度神經網絡的最后往往連接不同的分類函數,用來輸出區別人臉類別的預估概率可能性.往往要篩除掉全連接一層,同時把最后一層卷積層當作人臉的“向量表示”,用來表示人臉的“特征”.假設兩張人臉圖像的“向量表示”表示為x(a1,a2,a3,···,an),y(b1,b,b3,···,bn)將其帶入式(5)或式(6)可以計算出不同人臉圖片的相似程度.

5 運動目標交接算法

多攝像機間的監控區域主要根據人臉面部清晰度和監控視覺特性這兩個方面來劃分,圖4所展示的是攝像機監控下的視域范圍.

圖4 攝像機監控下的視域范圍圖

如圖4可知,假如運動目標的監控視域隨著監控角度的變化可以等分為A—E 這4 個監控區域,由于攝像機具有景深的特點,在以上4 個監控區域中,監控區域B—D 這一視域范圍內是捕捉人臉圖片的最優范圍.所以,本文以D 線作為視線邊界并由此開始捕捉運動目標的人臉圖片,將人臉捕捉間隔設置為5 幀,并對同一目標捕獲3 張圖片加以保存.

相鄰兩攝像機在非重疊視域下的運動目標交接步驟如下：

1)當運動目標通過第一個監控攝像機的監控區域時,對所有目標人臉進行檢測并標注不同的ID,相同目標人臉圖像抓取3 張并保存；

2)若目標行人運動到鄰近的攝像機的視域范圍內,該攝像機隨即對人臉圖片進行捕獲；

3)分別對兩臺相鄰攝像機檢測到的人臉進行人臉對齊和特征提取；

4)最后,將第二臺攝像機采集到的人臉與前一臺攝像機的目標人臉圖片進行對比分析,根據分析結果對不同ID 的人臉特征相似度進行平均值計算；

5)假設特征相似度計算選用余弦距離：已知設定閾值a大于設定閾值b,對后一臺攝像機與前一臺攝像機分別采集到的人臉圖片進行對比分析計算,若對比結果相似度的值比預定的閾值a大,那么可認為二者是相同的對象,完成目標交接；

6)若計算結果的相似度比預定的閾值a小,則選出計算結果里最大的一個值,若該值比預定的閾值b大,那么可認為二者是相同的對象,若比閾值b小,那么可認為二者是不相同的對象,并對這個新的目標做一次標記.

6 運動目標交接實驗分析

6.1 人臉特征提取模型訓練

人臉特征提取模型以3.1 節中所搭建的深度學習框架為依據,搭建所需要的實驗分析平臺.訓練共進行30 輪,設置批次大小為60.其中每經過10 輪訓練,將學習率更改為上一階段的10%,從第10 輪開始分別設定成0.005、0.0005、0.00005,神經元的保留率在Dropout 層上被設定為0.8.最終得到如圖5所示的訓練結果.

圖5 網絡訓練結果圖

由圖5中的網絡訓練結果圖分析得到,總損失值會因為訓練的不斷進行而慢慢變小,而測試集的精準度因此有所升高.但是由于實驗采集到的人臉模型訓練數據量不夠大,最終訓練的精確度達到80%以上.實驗證明,該網絡模型的性能和自適應能力可以滿足數據集訓練的要求,從正確率趨勢可以看到,準確率會隨著訓練的輪數和數據量的增加而得到進一步的提升.

6.2 人臉相似度度量方法的確定

根據6.1 節訓練完成人臉的特征提取模型性能之后,還要確定人臉匹配的判定閾值以及適用的相似度的度量方法.本節隨機選取臉部狀態不同情況下的5 張相同人臉和5 張不同人臉,分別采用歐式距離與余弦距離這兩種度量方法,他們得到的人臉的特征“距離”結果分別如表1與表2所示.

表1 歐式距離相同/不同人臉的相似度度量

表2 余弦距離相同/不同人臉的相似度度量

通過表1能夠得到如下結論：在歐式距離算法得到的結果中,相同的目標人臉特征之間的“距離”大多都比1 小,相異的目標人臉特征之間的“距離”大多都比0.8 大.而通過表2能夠得到如下結論：在余弦距離算法得到的結果中,相同人臉特征之間的“距離”大多都比0.45 小,相異人臉特征之間的 “距離”大多都比0.55 小.通過對兩種距離算法的比較可以得出,余弦距離的計算模型比歐式距離得到的重合度數值更小,并且前者衡量的是空間向量的夾角,更側重于從方向上區分差異.綜合衡量以上內容,挑選余弦距離算法來計算人臉特征的相似程度.

在確定完相似度的計算算法之后,還需要確定人臉匹配的判定閾值.本文根據在不同的情況下的相同人臉和不同人臉的圖像各400 張來計算出人臉匹配的閾值.開始對相同的人臉對象特征進行相似度的計算,得出的數據結果中,針對小于0.45 的那部分數值再取平均,得到其平均值是0.439；接著對不同的人臉對象特征進行相似度的計算,在得出的數值結果中,針對大于0.55 的那部分數值再取平均,得到其平均值是0.561.綜上所述,本文確定人臉匹配的閾值a=0.561,閾值b=0.439.

6.3 運動目標交接實驗結果分析

本文中選擇的兩個相鄰的攝像機分別為視域邊界不重合的“走廊東”與“走廊中”的攝像機,通過完成對運動目標的人臉檢測和特征提取的過程,來實現對運動目標交接算法的驗證.實驗結果如圖6至圖9.

如圖6,展示的是“走廊中”的攝像機的監控范圍.由圖6(a)可知視頻中出現了5 個不同的行人,在目標進入監控區域后獲取視頻中行人的人臉圖像,同時記錄下運動目標的ID,保留5 個不同ID 行人的人臉圖片,人臉ID 標記為1、2、3、4、5.由1.2 節的目標交接原理可知,每張相同的ID 保留3 張,因此總共需要保留15 張人臉圖像.

圖6 “走廊中”人臉區域圖像提取圖

如圖7,展示的是監控攝像機位于“走廊東”的監控視域.由圖可知當運動目標在走進該攝像機的監視范圍之前,對目標運動對象展開檢測和再次追蹤,圖中目標對象在交接之前被設置的ID 分別為1、2.

如圖8,展示的是目標進入“走廊東”攝像機監控的視域范圍內.由圖可知,目標對象進入到監視范圍后,攝像機隨即對人臉進行檢測和特征提取,然后與圖6(b)的對應的人臉特征進行對比匹配.若對比前后二者的結果顯示匹配不成功,則對這一目標對象進行連續的追蹤；若對比前后二者的結果顯示匹配成功,則對運動目標身份展開再一次的分析確認,然后替換掉該目標人臉的ID,如圖中展示,人臉的ID 分別從1、2 變換成為4、5.

圖7 目標再次跟蹤圖

圖8 運動目標交接圖

最終再把兩臺攝像機,即“走廊東”與“走廊中”的攝像機分別采集到的人臉特征進行相似度的分析對比.其相似程度的比較結果如圖9所示.由圖中結果可知,對于同一個運動目標來說,兩者之間的余弦距離相對更大,差異更??；當兩場景的人臉圖像是不同目標時余弦距離相對更小,差異更大.因此可以由余弦相似度對比值完成人臉匹配的過程,進而實現運動目標在不同攝像機下的交接.

圖9 人臉圖像相似度對比圖

6.4 算法比較

最后,為進一步體現本文算法的優越性,參考文獻[21]的實驗方法選擇搭建好的雙攝像機系統環境,對不同交接算法的同一時間的視頻幀進行了兩組統計驗證,對比結果如表3所示.

從表3中可以看出,在相同實驗環境下本文的交接算法的準確率高于其他兩種算法,有更好的目標交接準確性.主要由于本文的目標交接算法中的深度學習網絡模型對數據波動較為敏感,網絡模型會根據本文數據特點及時調整,從而保證交接的速度和準確率,但深度學習的目標交接實現必須要建立在大量訓練樣本的基礎上.另外本文可以解決由目標遮擋或光照干擾引起的目標不連續和不確定問題,使得整體的實驗效果較為理想.

表3 不同算法目標交接結果對比

7 結論與展望

本文重點研究了在相鄰攝像機間視域邊界不重疊情況下的運動目標交接技術.首先利用深度學習檢測運動行人的人臉,搭建以人臉為研究對象的特征提取模型；之后比較兩種相似度度量方法,選取最優的度量方法對人臉特征進行相似度匹配；同時計算了大量不同情況下的相同與不同的人臉特征“距離”,通過數據擬合確定了本文人臉匹配的最優判定閾值；最后通過對不同攝像機下人臉進行特征匹配找到最匹配的人臉,實現運動目標的交接.從仿真結果可以發現,深度神經網絡模型可以精確地提取運動目標的人臉特征,余弦距離的相似度計算模型更符合本文的實驗要求,該算法有效地完成了多攝像機下運動目標的交接跟蹤任務.從實際應用中,本文使用的方法相比較于傳統的運動目標交接的方法減少了算法的復雜度和計算量,大大提高了運動目標特征提取的精確度,可以實現對運動目標的確定性和連續性跟蹤,適用于復雜多變環境下的視頻監控系統.