基于NTSS和壓縮感知的人臉跟蹤算法

徐 杰， 郭春赫， 孫 超， 鄧湘奇

(黑龍江科技大學(xué)電子與信息工程學(xué)院，哈爾濱150022)

0 引言

目標(biāo)跟蹤應(yīng)用的領(lǐng)域十分廣泛。例如，目標(biāo)跟蹤是無(wú)人駕駛汽車(chē)的核心系統(tǒng)，大部分無(wú)人駕駛汽車(chē)出現(xiàn)安全風(fēng)險(xiǎn)事故的原因是由于強(qiáng)光的干擾和行人與背景信息顏色相近導(dǎo)致誤判，最終釀成車(chē)禍。

目前，大部分的跟蹤算法是基于外觀特征模板的。一種有效的外觀模型在跟蹤算法中是很重要的，并且在近些年受到了極大的關(guān)注［1-2］。基于線(xiàn)性隨機(jī)測(cè)量的實(shí)時(shí)目標(biāo)跟蹤算法具有較好的實(shí)時(shí)性?xún)?yōu)勢(shì)，一經(jīng)提出就得到了眾多相關(guān)領(lǐng)域研究者的關(guān)注［3-8］。但是，以上算法在目標(biāo)受到光照干擾或者對(duì)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤時(shí)仍然存在目標(biāo)漂移的現(xiàn)象，不能達(dá)到跟蹤目標(biāo)的實(shí)時(shí)性和魯棒性。文獻(xiàn)［9-10］中提出了對(duì)壓縮感知跟蹤算法在這種情況下的改進(jìn)。傳統(tǒng)的跟蹤算法大部分利用全局搜索，遍歷整張圖片，這樣會(huì)加大計(jì)算的復(fù)雜度，提取目標(biāo)特征的速度會(huì)大大降低。在行人跟蹤方面，由于人的非剛性變化，在長(zhǎng)時(shí)間跟蹤目標(biāo)狀態(tài)下仍然具有較弱的跟蹤效果，容易發(fā)生漂移現(xiàn)象。本文提出的基于NTSS和壓縮感知的人臉跟蹤算法是利用雙重采樣方法，并結(jié)合NTSS搜索方法遍歷輸入圖像，最終能夠有效地解決目標(biāo)發(fā)生局部遮擋和強(qiáng)光干擾的問(wèn)題。

1 壓縮感知理論

壓縮感知是近年來(lái)發(fā)展最為前沿的理論之一。壓縮傳感指出信號(hào)是可壓縮的，其在某個(gè)變化范圍內(nèi)是稀疏的，這樣就可以通過(guò)特定的方法，將高維信號(hào)降到低維空間上以方便求解，再把原始信號(hào)從低維空間中還原出來(lái)，保證信號(hào)的全部信息。圖1給出了壓縮感知理論的整個(gè)操作流程。

圖1 壓縮感知理論框架

1.1 信號(hào)的稀疏表示方法

信號(hào)并不是絕對(duì)稀疏的。從理論意義上理解，如能找到信號(hào)稀疏表達(dá)空間，任何信號(hào)都具有可壓縮性的。壓縮感知數(shù)學(xué)模型表示如下:

假設(shè)1個(gè)長(zhǎng)度為N的一維信號(hào)x在某個(gè)正交基上能夠進(jìn)行稀疏表示，則有

式中:x為信號(hào)在時(shí)域中的表示;k(稀疏系數(shù))為信號(hào)在頻域中的表示，其與x是同一個(gè)信號(hào)的等價(jià)表示，其中k中有K個(gè)系數(shù)不為0，則稱(chēng)x在頻域是可壓縮的或者是K-稀疏的。

1.2 滿(mǎn)足RIP條件的測(cè)量矩陣

信號(hào)無(wú)失真的恢復(fù)原始信號(hào)，這里采用壓縮感知的方法將處在高維的原始圖像信號(hào)降低到低維度的測(cè)量矩陣，其數(shù)學(xué)模型表示如下:

式中:k稱(chēng)為CS信息算子［11］;測(cè)量值Y是一個(gè)M維的向量，實(shí)現(xiàn)了降維的過(guò)程。在將高維信號(hào)x轉(zhuǎn)換為低維信號(hào)Y的過(guò)程中，信號(hào)能夠無(wú)失真地還原出來(lái)要確保矩陣 滿(mǎn)足RIP準(zhǔn)則［12］，RIP準(zhǔn)則的數(shù)學(xué)描述為:

1.3 恢復(fù)信號(hào)

當(dāng)矩陣 滿(mǎn)足RIP準(zhǔn)則時(shí)，求解稀疏系數(shù)k，再通過(guò)x=θk重構(gòu)原始信號(hào)x。最后將x從M維的測(cè)量值中構(gòu)造出來(lái)。其數(shù)學(xué)模型為:

2 NTSS和壓縮感知的人臉跟蹤算法

2.1 NTSS 算法

NTSS是根據(jù)上1幀目標(biāo)框的位置來(lái)尋找下1幀目標(biāo)框位置的搜索算法。其實(shí)現(xiàn)過(guò)程如下，將目標(biāo)框的質(zhì)心位置作為最小誤差(MAD)位置，同時(shí)取距離質(zhì)心位置步長(zhǎng)為4和2的各8個(gè)點(diǎn)計(jì)算最小誤差點(diǎn)作為下一個(gè)中心點(diǎn)，再距離這個(gè)中心點(diǎn)取步長(zhǎng)為1的8個(gè)點(diǎn)計(jì)算MAD，找到最終的目標(biāo)子窗口。NTSS搜索跟蹤目標(biāo)的過(guò)程如圖2所示。符號(hào)表示各個(gè)步驟搜索過(guò)程的候選點(diǎn)，此候選點(diǎn)用于下1幀目標(biāo)跟蹤框的確定。

圖2 NTSS搜索目標(biāo)過(guò)程

MAD平均絕對(duì)誤差函數(shù)計(jì)算過(guò)程如下:

式中:M×N表示當(dāng)前幀中與目標(biāo)塊最佳匹配塊的大小;f(m，n)表示目標(biāo)的灰度值。多種搜索算法在執(zhí)行時(shí)間和恢復(fù)圖像質(zhì)量上進(jìn)行了對(duì)比，如表1所示。

表1 多種匹配算法的Matlab執(zhí)行時(shí)間和重構(gòu)圖像PSNR值

由表1可知，在恢復(fù)圖像質(zhì)量上雖然全局搜索算法FS恢復(fù)圖像的質(zhì)量上最佳，但在運(yùn)行速率上，F(xiàn)S所運(yùn)行的時(shí)間要比其他算法長(zhǎng)，NTSS執(zhí)行時(shí)間最短，所以在考慮檢測(cè)圖像速率方面NTSS搜索算法最佳。

2.2 NTSS和壓縮感知的人臉跟蹤過(guò)程

利用NTSS和壓縮感知算法處理第1幀目標(biāo)的流程圖如圖3所示。l1紅色矩形框?yàn)槟繕?biāo)的初始位置，此算法的目標(biāo)初始位置l1是事先給定的。初始化稀疏測(cè)量矩陣M定義為:

式中:rij為矩陣M中的元素。通過(guò)初始化稀疏測(cè)量矩陣可大幅度降低計(jì)算速度，且數(shù)據(jù)存儲(chǔ)空間可以有效地利用，大大節(jié)省了樣本存儲(chǔ)空間。M中每行非零項(xiàng)保存的是在輸入圖像中的矩形過(guò)濾器的位置。

圖3 第1幀的處理流程(圖中的數(shù)字表示的是先后順序)

此后在與目標(biāo)位置l1相距

的區(qū)域內(nèi)取正樣本(見(jiàn)圖3中第②步取樣本中的紅色矩形框)，在與l1相距

的區(qū)域內(nèi)取負(fù)樣本(見(jiàn)圖3中第②步取樣本中的黃色矩形框)。用不同尺度的矩形濾波器對(duì)所有正負(fù)樣本進(jìn)行卷積得到高緯度的特征向量x，它是每個(gè)尺度下過(guò)濾的圖像所連成的高維度的向量。最后用稀疏隨機(jī)測(cè)量矩陣M對(duì)高緯度的特征向量進(jìn)行降維，得到低維的特征向量v，有

由于M是一個(gè)巨大的稀疏矩陣，并由許多小的矩陣濾波器組成，如果使用稀疏測(cè)量矩陣會(huì)消耗相當(dāng)大的存儲(chǔ)空間。如圖3中的第3步和第4步，此算法巧妙地使用M矩陣對(duì)正負(fù)樣本直接提取低維特征向量v，特征提取示意圖如圖4所示，其特征提取過(guò)程如下式所示:

圖4 特征生成示意圖

經(jīng)過(guò)式(7)特征提取后，計(jì)算提取的低維特征并更新樸素貝葉斯分類(lèi)器［13］的參數(shù)，得到分類(lèi)器1。

式中:y=0表示正樣本，y=1表示負(fù)樣本，且p(y=0)=p(y=1);μ1和σ1分別為正樣本均值和方差，且它們的更新過(guò)程如下:

式中，λ為學(xué)習(xí)率。

隨著第1幀處理完成后，此時(shí)的分類(lèi)器1的參數(shù)得到了更新，開(kāi)始處理第2幀圖像，如圖5所示。將目標(biāo)框l1的質(zhì)心位置作為最小誤差(MAD)位置，同時(shí)取距離質(zhì)心位置步長(zhǎng)為4和2的各8個(gè)點(diǎn)計(jì)算最小誤差點(diǎn)作為下一個(gè)中心點(diǎn)，再距離這個(gè)中心點(diǎn)取步長(zhǎng)為1的8個(gè)點(diǎn)計(jì)算MAD，找到最終的目標(biāo)子窗口。

圖5 第2幀尋找跟蹤目標(biāo)位置的處理流程(圖中的數(shù)字表示的是先后順序)

當(dāng)?shù)?幀圖像來(lái)時(shí)，以經(jīng)過(guò)NTSS檢測(cè)得到的候選目標(biāo)子窗口的質(zhì)心(見(jiàn)圖6中的黃色虛線(xiàn)框)為圓心，以半徑為α范圍內(nèi)的區(qū)域采集若干正樣本Bα=

根據(jù)以上介紹的視頻第1幀和第2幀處理方法，后面每幀的處理和這兩幀類(lèi)似。

圖6 第2幀更新分類(lèi)器的處理流程(圖中的數(shù)字表示的是先后順序)

3 實(shí)驗(yàn)結(jié)果分析

通過(guò)國(guó)際標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)中的視頻序列對(duì)壓縮感知算法和基于NTSS壓縮感知人臉跟蹤算法分別得到的目標(biāo)位置進(jìn)行了比較，圖7所示為壓縮感知算法得到的目標(biāo)位置(紅色框)。由圖7可見(jiàn)，在182幀和213幀，當(dāng)人臉經(jīng)過(guò)90°旋轉(zhuǎn)后再?gòu)?fù)原得到的目標(biāo)框已經(jīng)發(fā)生了漂移。而基于NTSS和壓縮感知算法實(shí)現(xiàn)人臉跟蹤的結(jié)果如圖8所示，在182幀和213幀中得到的目標(biāo)框更具有較強(qiáng)的魯棒性。

圖7 壓縮感知算法實(shí)現(xiàn)的人臉跟蹤

圖8 基于NTSS和壓縮感知算法實(shí)現(xiàn)人臉跟蹤

利用國(guó)際標(biāo)準(zhǔn)的人臉數(shù)據(jù)庫(kù)AFW和MALF視頻序列分別在暗光、臉部旋轉(zhuǎn)、尺度變換和局部遮擋等影響條件下進(jìn)行算法的測(cè)試，針對(duì)壓縮感知算法和基于NTSS壓縮感知算法運(yùn)用中心距離均值［14-15］進(jìn)行了比對(duì)，如表2所示。

表2 中心距離均值/像素

從表2可見(jiàn)，本文算法最大可降低59.01%的誤差。最后得出以下結(jié)論，基于NTSS和壓縮感知的人臉跟蹤算法不受目標(biāo)發(fā)生遮擋、臉部90°旋轉(zhuǎn)和光照的影響，對(duì)人臉的跟蹤具有較強(qiáng)的穩(wěn)定性和實(shí)時(shí)性。中心距離均值為

4 結(jié)語(yǔ)

本文提出了基于NTSS雙重采樣壓縮感知人臉跟蹤算法。此算法通過(guò)選用不同的半徑和步長(zhǎng)進(jìn)行正負(fù)樣本的雙重采樣。并運(yùn)用NTSS搜索方法作為目標(biāo)的檢測(cè)方法，根據(jù)測(cè)試的國(guó)際標(biāo)準(zhǔn)視頻序列所得出的跟蹤結(jié)果表明，本文提出的基于NTSS和壓縮感知的人臉跟蹤算法在人臉發(fā)生尺度變換、人臉90°旋轉(zhuǎn)和暗光條件下更具有魯棒性，有效提高了目標(biāo)跟蹤的準(zhǔn)確性。