基于多核屬性學習的視頻多概念檢測研究

惠開發+皋軍

摘要：視頻概念檢測領域一直存在語義鴻溝難以跨越的問題。針對該問題，提出了基于多核屬性學習方法，將屬性概念引入視頻概念分類中，利用屬性的高級語義表達能力，降低語義鴻溝影響，同時結合多核學習，提高多特征下屬性分類器性能。在公有數據集上進行對比實驗表明，該方法可以有效提高視頻概念檢測正確率。

關鍵詞：視頻語義；概念檢測；多核學習；屬性學習

DOIDOI：10.11907/rjdk.171831

中圖分類號：TP306

文獻標識碼：A 文章編號：1672-7800（2017）006-0001-04

0 引言

隨著物聯網的發展，視頻監控設備應用到諸多場景中，為維護城市和諧安寧，提高人們生活質量發揮了顯著作用。大量的視頻監控設備產生了海量視頻文件，視頻的查閱、存儲、傳輸、歸檔和檢索問題顯現，研究者提出了視頻語義分析[1]概念，希望利用機器自動地檢測視頻內容，從而減輕甚至代替人工檢測工作。

監控視頻序列包含前景對象和背景對象，通常情況下，人們感興趣的內容集中在運動的前景對象上。而前景通常包含多種概念，如人、車、物，這些語義概念又可以進一步細化。比如人按年齡分有小孩、成人、老人，按性別分有男人和女人，按照體型分有高矮胖瘦，還可以按穿著或膚色等分類。視頻中的語義概念包含大量的高級語義特征，而目前如顏色、形狀、紋理等底層特征還停留在低級語義描述上。為跨越視頻檢測的語義鴻溝[2]，本文引入屬性學習[3]方法來關聯底層視覺特征與屬性的關系。為更好地利用提取出的多種特征，引入了多核學習[4]生成合成核，并將其運用到屬性預測模型訓練中去。

1 多核屬性學習模型

1.1 多核學習模型

在利用屬性分類器進行預測分類之前，首先需要對訓練樣本提取的特征進行學習和訓練。由于屬性的多樣性，若僅提取單一特征則不能滿足屬性學習需求，通常情況下會對訓練樣本提取多組特征。目前的方法是將特征向量直接拼接形成新的特征向量，也有學者將特征送入視覺詞袋，通過統計詞頻得到新的詞袋特征，再對新獲取的特征向量進行訓練。這兩種融合方法屬于前期融合，思路簡單，忽視了特征之間的差異性。因此，提出了特征后期融合方法，即多核融合學習。通過對不同特征分別產生核空間矩陣，計算多個核矩陣的權重系數，加權求得融合后的核空間矩陣，將其送入分類器或回歸函數進行訓練，采用加權相加的線性求和方式獲取最終的融合核。多核融合如圖1所示。

1.3 基于多核屬性學習模型的遷移學習

遷移學習[6]一詞意指在信息大爆炸時代，新的概念不斷出現，無法像傳統的機器學習那樣分類或檢測某類事物，搜集大量的訓練樣本，并對樣本數據進行標注。傳統的學習方法是建立在訓練數據和測試數據服從相同的分布假定基礎上的，而實際情況是不同分布的概念之間存在共通的特征或屬性，通過學習現有的有限樣本遷移到未知領域。監控視頻場景下的概念檢測屬于異構空間場景的學習任務，且監控視頻中各個場景出現的概念對象具有多樣性特點，具有使用遷移學習的需求。直接屬性預測模型（DAP）可以解決訓練樣本和測試數據分布不同的問題。監控場景下語義概念具多樣性和可變性，因此可以利用給定的訓練樣本和不可預見的測試數據之間的共有屬性進行遷移學習，實現零樣本學習目標。學習過程如圖3所示。

2 實驗與結果分析

為了驗證方法的有效性，本文設置了3組實驗：①通過迭代求解加權系數，并驗證求解算法的有效性；②設立對比實驗，以評價基于多核屬性學習的遷移學習框架性能；③評價基于多核屬性模型的視頻多概念檢測有效性。

2.1 加權系數優化求解算法驗證實驗

在數據集Flower Category Database[7]上進行加權系數求解實驗，對樣本提取3種特征，分別是1 500維的SIFT_BoW特征，140維的HOG特征，128維的HSV特征。這里需要說明的是，由于樣本圖像SIFT特征的維數不能確定，故對原始特征進行Kmeans聚類，生成K個聚類中心，然后利用視覺詞袋模型對特征詞頻進行統計，最后得到K維的SIFT_BoW特征。

在核函數方面選取了高斯核：k（x，y）=exp（‖x-y‖）2[]2σ2，直方圖交叉核：k（x，y）=∑n[]i=1min（xi，yi），以及多項式核：k（x，y）=（x y+c）d，分別對實驗數據集合中的樣本進行測試。本文設計了對比實驗，將3種特征分別在3種核函數下進行訓練與測試，ROC曲線如圖5所示。對ROC曲線進行分析可以發現，相對而言Hog特征在多項式核中效果最佳；SIFT-BoW和HSV特征在交叉直方圖核中有不錯的分類表現。分析這兩類均屬于直方圖性質，因此和交叉直方圖核有較好的融洽性；而SIFT-BoW的維數較高，在高斯核分類效果最佳，交叉直方圖核次之。因此將對Hog特征采用多項式核、SIFT-BoW采用高斯核、HSV采用交叉直方圖核進行多核學習。

對核函數權重系數進行優化求解，迭代求解過程如圖6所示，在迭代120次后，算法開始收斂，最終得到的權重系數為[0.31，0.08，0.11]。

在求解出權重系數后，繼續設計實驗驗證求解過程的正確性。對權重向量做隨機向量變換，通過設計實驗，將變換向量和原向量作為權重向量，統計不同向量所對應的識別率，結果如表1所示。由表1中數據可以發現，通過迭代求得的最優解對比隨機產生的權重向量，分類準確率達到86.15%，相較于隨機產生的10組權重向量訓練模型，本方法模型識別率最高。

2.2 性能評價實驗

為了驗證基于多核屬性學習模型的遷移學習性能，本文選擇與遷移學習框架TradaBoost[7]和直接屬性模型在相同數據集上對應不同的訓練樣本占比錯誤率進行對比實驗。在數據集方面，選取AWA[8]和Attributes of People Dataset [9]作為實驗樣本數據。為避免實驗過程中的偶然性，本文通過隨機分配訓練測試樣本，并進行10次重復實驗取平均，最終得出實驗結果如圖7所示。

分析實驗結果可以發現，屬性學習模型在對分類目標的共享屬性描述上，先天具有良好的遷移學習能力。結合實驗結果圖可以發現，直接屬性模型和基于多核屬性學習模型在樣本占比較少的情況下，比Tradaboost具有更好的遷移學習表現，且在數據占比上升之后依然有較高的分類準確率。此外，對比直接屬性模型和基于多核屬性學習模型結果可以發現，融入了合成核空間之后，屬性學習的分類性能得到了進一步提高，從而更好地挖掘訓練樣本和測試樣本之間的公用屬性關聯關系，完成遷移學習任務。

2.3 有效性實驗

驗證基于多核屬性模型的視頻多概念檢測有效性需要考慮實際應用場景為監控視頻，因此選取VIRAT Video Dataset[10]數據集。該數據集為實際監控攝像頭數據，前景對象包含行人、車輛、物體。參考大量的文獻資料，對行人對象選取 “性別膚色”、“戴眼鏡”、“戴帽子”、“帽子顏色”、“帶包”、“包顏色”、“手提包”、“背包”、“上衣顏色”、“下衣顏色”、“鞋子顏色”等12個屬性；針對車輛檢測選擇 “車輛顏色”、“車輛形狀”、“車輛大小”、“車輛輪胎數”、“有無車窗”、“車窗數量”等6個屬性；針對物體檢測，選擇 “形狀”、“顏色”、“材質”、“紋理”、“大小”等5個屬性。

實驗中利用背景建模算法批量提取出前景對象，而后人工建立屬性類別關聯表，隨機選取訓練樣本，且使訓練測試樣本比例為6：4，對兩種算法進行對比實驗，如圖8所示。分析實驗結果可發現，多核學習和直接屬性預測模型相結合，相比單純的直接屬性預測模型對視頻前景概念檢測準確率更高。

3 結語

本文介紹了將多核學習與直接屬性模型結合的視頻概念檢測方法。首先建立多核學習思想，給出了不同的核函數權重系數的優化求解方法，然后將其應用到屬性模型分類器訓練過程中。多核學習的引入可以更好地利用提取出的多種特征，提高模型的分類性能，并將方法運用到視頻概念檢測中。通過實驗分別對加權系數的優化求解算法、基于多核屬性學習的遷移學習性能、基于多核屬性模型的視頻多概念檢測有效性進行驗證。實驗表明，本文提出的方法對視頻中多概念檢測有效。

參考文獻：

[1] 王敏超，詹永照，茍建平，等.面向視頻語義分析的局部敏感的可鑒別稀疏表示[J].計算機科學，2015，42（9）：313-318.

[2] 謝毓湘，欒悉道，吳玲達.多媒體數據語義鴻溝問題分析[J].武漢理工大學學報：信息與管理工程版，2011，33（6）：859-863.

[3] QIAN B，WANG X，CAO N，et al.Learning multiple relative attributes with humans in the loop[J].IEEE Transactions on Image Processing，2014，23（12）：5573-5585.

[4] 胡湘萍.基于多核學習的多特征融合圖像分類研究[J].計算機工程與應用，2016，52（5）：194-198.

[5] RAKOTOMAMONJY A，BACH F R，CANU S，et al.Simplemkl[J].Journal of Machine Learning Research，2008，9（3）：2491-2521.

[6] 莊福振，羅平，何清，等.遷移學習研究進展[J].軟件學報，2015，26（1）：26-39.

[7] CHENG，YUHU，WANG，et al.Weighted multi-source trAdaboost[J].Chinese Journal of Electronics，2013（3）：505-510.

[8] OLIVA A，TORRALBA A.Modeling the shape of the scene：a holistic representation of the spatial envelope[J].International Journal of Computer Vision，2001，42（3）：145-175.

[9] CHENG，YUHU，WANG，et al.Weighted multi-source trAdaboost[J].Chinese Journal of Electronics，2013（3）：505-510.

[10] BOURDEV L，MAJI S，MALIK J.Describing people：a poselet-based approach to attribute classification[C].IEEE International Conference on Computer Vision.IEEE，2011：1543-1550.

（責任編輯：杜能鋼）