視頻動態紋理分類創新實驗設計

李 映， 楊 炯

(蘇州大學 計算機科學與技術學院，江蘇 蘇州 215006)

?

視頻動態紋理分類創新實驗設計

李 映， 楊 炯

(蘇州大學 計算機科學與技術學院，江蘇 蘇州 215006)

設計了一個面向實際應用場景的創新實驗。該實驗設計基于Matlab 2010軟件，以動態紋理視頻為實驗對象，采用線性動態系統模型參數進行動態紋理特征描述，并將其從低層特征描述轉換到中層語義描述，形成視覺詞典，最后基于現有分類器進行動態紋理圖像的分類實驗。該創新實驗涵蓋了“數字圖像處理與分析”中的絕大部分知識點，并在此基礎上進行了知識的拓展，使學生在更加深刻理解課程中重點內容的同時還可以鍛煉自己動手解決實際問題的能力，初步培養學生的創新能力。

動態紋理； 創新實驗設計； 視覺詞典

0 引 言

傳統紋理隨著時間的演變就形成了動態紋理，因此，動態紋理具有時間相關重復特征，是一類比較特殊的視頻數據[1]。其在自然界中廣泛存在，如風中飄揚的旗子、隨風擺動的樹木、森林中的大火等動態紋理。由于這些動態紋理是一種空間重復且隨時間變化的隨機過程，在時間上具有某種穩定特性的圖像序列[2-3]，因此具有時空的某種自相似性，分類這些含有動態紋理的動態場景非常具有挑戰性，但這類動態場景卻是實際應用中必須解決的一個關鍵問題。現有動態紋理識別的方法主要包括基于光流場的方法、基于時空幾何屬性的方法、基于局部時空濾波的方法和基于模型參數的方法[4]。基于模型的動態紋理識別技術很多，如混合動態紋理模型[5]與分層動態紋理[6]，基于混沌特征的動態紋理分類方法[7]。目前基于模型動態紋理識別技術最經常采用的模型之一就是LDS(Linear Dynamical System)動態紋理模型[8]。本文依據該模型進行動態紋理分類的實驗設計，利用Ravichandran等[8]提出的算法設計并實現動態紋理分類。該實驗在LDS線性動態系統模型的基礎上，解決了當前分類算法無法解決的變化視角和不同尺寸下動態紋理的分類問題。

由于動態紋理分類是后期圖像理解和實際應用的一個關鍵環節，并且需要綜合應用圖像各方面的知識，在這一動態紋理分類的創新實驗中，學生可以從系統的角度對圖像處理、分析和理解有更深入、更準確的直觀性的認識。在圖像特征提取階段，學生可以理解和掌握如何將原始圖像數據通過轉換變成有利于圖像分類的特征，進行數據的抽象。在圖像分類解決，學生還可以學到如何將提取的特征轉換為符合人類表述的語義表達，通過抽象的簡單語義描述進行場景分類。最終在這個創新實驗中貫穿圖像處理與分析的主線：圖像分析→圖像理解的圖像工程線路。因此為了培養和鍛煉學生學習知識與應用知識兩方面能力的結合，并將學習知識主動轉化為對知識的應用能力，強化學生將所學圖像處理知識,綜合應用于實際視頻內容理解的能力，利用實際應用中遇到的具有挑戰性的動態場景中的紋理分類設計創新實驗，具有非常好的教學意義。

實驗設計具體步驟為：① 使用線性動態系統參數作為動態紋理的特征描述符；② 將BoF(Bag of Feature)詞袋算法流程擴展到動態紋理分類中，形成基于BoS(Bag of System)系統袋的算法流程。

1 實驗設計框架

動態紋理具有運動和外觀的特征，根據這兩大類特征，現有動態紋理識別的方法分為兩類，其一是根據動態紋理的運動特性進行識別；另一類則是將運動和外觀結合得到紋理的有效表達[9]。

動態紋理識別主要分為訓練階段和預測階段。在訓練階段，通過訓練集中的視頻獲得詞典BoS與訓練視頻序列的特征向量H=[h1,h2,…,hK]T。在預測階段，利用訓練階段獲得的詞典獲得預測視頻的特征向量。通過前兩個階段獲取的訓練集特征向量與預測集特征向量H′，根據已知的訓練集中視頻的類標簽，分類得出特征向量的類別。圖1給出了動態紋理分類的整體流程圖。

圖1 動態紋理分類實驗總體框架結構

(1) 訓練階段。從訓練數據集中獲取大量的訓練視頻，經過重采樣得到所需尺寸的動態紋理視頻，然后將視頻序列劃分為時間域和空間域都不重疊的大小為σ×σ×τ時空體(σ為空間域的大小，τ為時間域的大小)，接著利用動態紋理模型來建模時空體，獲得可以表示該時空體的模型參數元組M=(A,C)，利用模型參數間的馬丁距離來構建時空體之間的距離矩陣。然后利用高維空間中點間距離的多維標度法(Multi-dimensional Scaling，MDS)[10]進行降維處理，給出歐氏空間的點集，同時保留其在高維非歐氏空間的關系。在降維的過程中，不會特別指定降維后歐氏空間的維數。降維后的空間是歐氏空間，接著使用K-means聚類算法[11]進行聚類，獲得歐氏空間中的聚類中心，然而這些聚類中心并不對應到任何一個原始線性動態系統時空體。由于從低維內嵌空間到原始高維空間并不存在明顯的映射關系，為了獲得原始高維空間中的碼詞，選擇低維空間中到聚類中心距離最小的點對應的高維空間的系統參數為高維空間的碼詞，構成所需詞典。最后使用詞頻法(Term Frequency，TF)[12-13]表示動態紋理視頻，獲得訓練集中表示動態紋理特征向量。

(2) 預測階段。預測集視頻經過與預測階段同樣的重采樣、分割、建模等處理過程，然后利用馬丁距離獲得特征描述符M=(A,C)與詞典的距離矩陣。在詞典中選擇距離特征描述符距離最小的碼詞作為該特征描述符的碼詞，使用詞頻法TF，獲得預測集中動態紋理視頻的特征向量H′。通過訓練階段獲取的訓練集特征向量與已知的訓練集中視頻的類標簽，預測得出特征向量H′的類別。

2 具體實驗步驟的實現

BoF方法[14]應用于計算機視覺的靈感來自于文檔檢索領域。在文檔檢索中，通過關鍵詞分布情況的差異性識別該文檔。在該實驗中，采用類似BoF方法的處理流程，不同之處在于實驗中使用特征描述符的分布取代關鍵詞的分布。BoF方法典型處理如下：

(1) 從訓練集圖片中提取特征和對應的特征描述符；

(2) 通過使用類似K-means的聚類算法形成字典，聚類中心代表詞典中的字碼；

(3) 用字典表示訓練集中的每張圖片；

(4) 選擇一個分類器，將新圖片詞分布與訓練集中已有詞分布進行比較，推斷類別。

BoS基本處理流程與BoF方法類似，主要不同點在于用線性動態系統參數作為特征描述符取代傳統時空特征，這也造成獲取特征描述符不再處于歐氏空間。因此引入一種新的降維處理方法，使降維后特征處于歐氏空間，并從這些特征描述符中獲取詞典。基于BoS動態紋理分類過程如圖2所示，包括特征提取、詞典形成、詞典描述和分類。

(a) (b) (c)

2.1 LDS模型參數計算

(1)

(2)

其中：z(t)∈Rn是t時間段的隱藏狀態；A∈Rn×n代表隱藏狀態的動態性；C∈Rn×n將隱藏狀態轉換為系統的輸出；C0∈Rp是視頻序列像素值的均值；w(t)～N(0,R)和Bv(t)～N(0,Q)分別是度量和過程噪聲。隱藏狀態的維數n是線性動態系統的序；p是視頻序列或者視頻塊中一幀的像素數。

實驗中動態模型的參數(C0,A,C,Q,R)采用主成分分析方法[15]來求取。該動態模型的優點在于它將由C建模的時空塊外觀特征和由A建模的動態性特征相互分離。因此，給定一動態紋理時空視頻塊，就可以使用元組M=(A,C)來表示，既描述了動態紋理的動態性又描述了動態紋理的整體外觀。

2.2 詞典形成

從LDS系統參數的計算步驟中，獲得LDS的描述是以元組M=(A,C)來表達的。但這個元組的表示處于非歐氏空間，不能直接用適用于BoF聚類的方法。實驗中采用馬丁距離來表示元組之間的相似性。

(3)

通過式(3)可以獲得想要的詞典C={F1,…,FK}，其中Fi=(Ai,Ci)。

2.3 基于詞典的視頻描述

一旦獲得K個碼詞，每個視頻序列都可以用這個詞典來描述。實驗中采用直方圖H=[h1,h2,…,hK]T∈RK的形式來實現視頻的描述。假設第i個視頻序列中碼詞k出現cik次，N為所有視頻序列的數量，Nk為出現碼詞k的視頻序列的數量。實驗設計中將通過兩種不同的表達方法來描述視頻序列。

(1) TF，定義如下：

(4)

其中：k=1,2，…,K；i=1,2，…,N。

(2) 逆文本詞頻法(Term Frequency-Inverse Document Frequency，TF-IDF)，定義如下：

(5)

這兩種方法都有各自的優點。TF的表達形式比較簡潔，該方法只考慮新的測試視頻序列中碼詞分布情況；TF-IDF減弱了所有類共有特征的影響，突出了視頻序列具有區別性特征的影響。一旦計算出直方圖H后，使用L1范數進行標準化。

2.4 分 類

3 實驗結果

實驗數據集為 “DynTex”數據庫。本文提取該數據庫中8類視頻序列：20個靜態水面視頻、20個旗幟視頻、20個噴泉視頻、6個電梯視頻、20個草地視頻、20個大海視頻、9個交通視頻、20個樹木視頻作為實驗原始數據。在實驗中，一半用來訓練，另一半用來測試。圖3中展示了數據庫中一些視頻序列的截圖。下面給出在該創新實驗平臺上的幾個實驗驗證結果。

湖面

電梯

旗幟

噴泉

草地

大海

交通

樹木

圖3 動態紋理視頻庫中8類視頻部分截圖示例

3.1 視頻時空體大小對分類性能的分析

實驗中首先將視頻序列劃分為時間域和空間域都不重疊的大小為σ×σ×τ時空體，σ為空間域的大小，τ為時間域的大小。對于σ和τ取不同的值，其中σ∈{20,30,60}，τ∈{15,25}，σ可以取3個值，τ可以取2個值，這樣就出現了6種不同的時空體大小。對于6種不同的時空體，使用秩為n的線性動態系統進行建模，實驗中n的值取3。對于6種不同大小時空體分別獨立進行實驗。為了能夠劃分出不重疊的時空體，并且在劃分的過程中不存在剩余視頻未被劃分，需要對視頻序列空間域進行重采樣，使其達到需求的尺寸。原始數據庫中視頻每一幀的大小為352×288，每個視頻包含的幀數都大于100幀。對視頻每幀進行重采樣，重采樣后視頻每幀大小為360×300，這樣就可以完整的利用整個視頻并且不進行重疊的劃分。

圖4給出了不同尺寸時空體的動態紋理識別率結果。在實驗中分別使用了3種不同類別的組合來進行實驗，3組不同的類別分別為：湖面、噴泉、大海；草地、樹木、湖面；電梯、交通、旗幟。圖4給出的動態紋理識別率是這三組實驗的平均值。從圖4可以看出，識別率最高的時空體為20×20×25，最低的為60×60×15，空間尺寸σ變大后識別率降低，時間尺寸τ變大后識別率便上升。根據上面的分析，可以得出在較小空間尺寸σ較大時間尺寸τ情況下，識別率較高，但隨著空間尺寸σ的變小，視頻序列被劃分的時空體增加，在降維聚類的過程中耗費的時間也相應增加了大約2倍。鑒于識別率與時間的綜合考慮，在實驗中選用時空體尺寸為30×30×25。

圖4 不同時空體大小動態紋理識別率

3.2 聚類中心個數對分類性能影響分析

視頻被劃分為不重疊的時空體后，利用線性動態系統獲得描述時空體的參數。但由于獲取的參數處于非歐氏空間，為了獲得詞典，需要進行降維處理，將處于非歐氏空間的參數降維到歐氏空間。實驗中采用高維空間中點之間距離的多維標度法(Multi-dimensional Scaling，MDS)，該方法在給出歐氏空間的點集的同時保留了其在高維非歐氏空間的關系。實驗平臺搭建時直接使用Matlab中Y=cmdscale(D)函數實現降維。在降維的過程中，不會特別指定降維后歐氏空間的維數。然后使用K-means聚類算法進行聚類，同樣也是直接調用Matlab中自帶函數[IDX,C]=kmeans(Y,K)進行聚類，聚類中心數量K的值取8～96間以8為倍數的值。

圖5給出了不同聚類中心數量的動態紋理識別率結果。該實驗，仍采用3種不同的類別組合來進行實驗，三組不同的類別分別為：湖面、噴泉、大海；草地、樹木、湖面；電梯、交通、旗幟。圖5顯示的不同聚類中心數量動態紋理識別率是這三組實驗的平均值。

從圖5可見，隨著聚類中心的增加分類正確率也在不斷地上升，分類效果最好的聚類中心數量為96個。但在聚類中心大于72個后，其分類正確率增長幅度就很少了。這樣，在聚類中心大于72個后，聚類中心的增加對于分類正確率的影響已經很小很小。在接下來的試驗中，將使用的聚類中心數量為80個。

3.3 特征描述與分類分析

經降維聚類后獲取了詞典，對于視頻序列的表示

圖5 不同聚類中心數量下動態紋理識別率

方法，實驗可以選用前面提到的詞頻法TF與逆文本詞頻法TF-IDF。在分類算法上，可以使用的分類算法有三種：k-最鄰近算法(k-NN)、樸素貝葉斯分類法、內核支持向量機分類算法。圖6給出了不同特征描述結合不同分類器時的動態紋理識別率結果。該實驗同樣使用與前面相同的3種不同的類別組合來進行實驗。圖6給出的動態紋理識別率是這三組實驗的平均值。

由圖6可以看出，詞頻的分類正確率要比逆文本詞頻法的分類正確率要高，在分類算法上，樸素貝葉斯算法要比SVM支持向量機分類算法與K-means最鄰近分類算法。從這個實驗中發現分類效果較好的組合是詞頻法的描述與樸素貝葉斯分類算法的結合。

圖6 不同的特征描述結合不同的分類器的動態紋理識別率結果

3.4 類別數量對分類性能的影響分析

圖7給出了類別數量不同的動態紋理識別率結果。在本實驗中測試了2～6類動態紋理的分類效果。在每類中平均進行3次的實驗，動態紋理識別率是3次實驗的平均值。由圖7可以看出兩類的分類正確率最高，大于95%，最低的分類正確率為6類，僅有約45%。隨著分類種類的增加，分類正確率也在降低。

圖7 不同動態紋理類別識別率

4 結 語

該實驗設計主要是基于動態紋理模型實現動態紋理的分類的創新實驗訓練。該實驗整體流程主要分為訓練和預測兩個階段。實驗的核心在于將BoF詞袋擴展到動態紋理分類中，使用類似BoF的步驟進行動態紋理分類。在特征提取中，使用線性動態系統的參數來取代傳統的時空特征；在詞典獲取過程中，因為獲取的模型參數處于非歐氏空間，對其降維到歐氏空間后，使用K-means算法進行聚類，得到聚類中心及詞典中的碼詞。最后給出了具體的實施細節與參數設置情況，并針對較大影響實驗結果的四個因素：視頻塊的大小、聚類中心的數量、視頻描述方法、分類算法分別進行討論與實驗對比。實驗表明，若視頻原始幀大小為352×288，在視頻被劃分為30×30×25的時空塊，聚類中心選為80個，用TF詞頻法描述視頻，分類算法選擇樸素貝葉斯分類算法時，程序運行時間和分類正確率會取得較好的結果。

從整個實驗設計到實現，可以較好地鍛煉學生的理論與實踐相結合的能力，并可以初步培養學生從學術的角度進行實驗驗證和分析，為進一步培養學生的學術創新能力奠定了基礎。

[1] Soatto S, Doretto G, Wu Y N. Dynamic Textures[C]∥Proceedings of the 8th International Conference onComputer Vision. Vancouver, Canada, 2001:439-446.

[2] Chetverikov D,Péteri R. A brief survey of dynamic texture description and recognition [C]∥InternationalConference on Computer Recognition Systems, 2005: 17-26.

[3] Doretto G, Chiuso A, Wu Y N,etal. Dynamic textures [J]. International Journal of Computer Vision, 2003, 51(2): 91-109.

[4] Zhao Guoying, Matti P. Dynamic Texture RecognitionUsing Local Binary Patterns with an Application toFacial Expressions [J]. IEEE Transactions on PatternAnalysis and Machine Intelligence, 2007, 29 (6):915-928.

[5] Chan A B, Vasconcelos N. Modeling, clustering, and segmenting video with mixtures ofdynamic textures [J]. IEEE Trans Pattern Anal Machine Intell, 2008, 30(5):909-926.

[6] Chan A B, Vasconcelos N. Layered dynamic textures [J]. IEEE Trans Pattern Anal MachineIntell, 2009, 31(10):1862-1879.

[7] 王 勇, 胡士強. 基于混沌特征的運動模式分割和動態紋理分類[J]. 自動化學報, 2014, 40(4): 604-614.

[8] Ravichandran A, Chaudhry R, Vidal R. Categorizing dynamic textures using a bag of dynamical systems [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(2): 342-353.

[9] 王 碩. 基于小波變換的動態紋理分類[D]. 哈爾濱：哈爾濱工程大學, 2010.

[10] Cox T F, Cox M A A. Multidimensional Scaling [M]. Chapman andHall, 1994.

[11] MacQueen J B. Some Methods for classification and Analysis of Multivariate Observations [C]∥Proceedings of 5-th Berkeley Symposium on Mathematical Statistics and Probability, Berkeley, University of California Press, 1967: 281-297.

[12] Luhn Hans Peter. A Statistical Approach to Mechanized Encoding and Searching of Literary Information [J]. IBM Journal of Research and Development (IBM), 1957, 1(4): 315.

[13] Sivic J, Zisserman A. Video Google: A Text RetrievalApproach to Object Matching in Videos [C]∥Proc IEEE Int’l Conf Computer Vision, 2003: 1470-1477.

[14] Csurka G, Dance C, Fan L,etal. Visual categorization with bags of keypoints [C]∥Workshop on Statistical Learning in Computer Vision, ECCV. 2004, 1(1-22): 1-2.

[15] Duda R O, Hart P E, Stork D G. Pattern classification[M]. John Wiley & Sons, 2012.

Design of Innovation Experiment for Classifying Dynamic Texture in Video

LIYing，YANGJiong

(School of Computer Science and Technology, Soochow University, Suzhou 215006, China)

The experiment courses of digital image processing and analysis focus on the experiment of low-level image processing, and most experiments are used to verify the results of the methods in image processing. Therefore, we designed an innovation experiment for actual application scenario. Based on Matlab 2010 software and video of dynamic texture, the experimental design adopted the parameter of linear dynamic system model as the feature description of dynamic texture, then transited the low-level features to middle-level semantic description to form the visual dictionary, lastly implemented the dynamic texture image classification experiment using existing classifiers. The experiment covered most knowledge of the digital image processing and analysis, and extended the knowledge of image understanding. So that students could more profound understanding of the key content in the course, as well as improving students’ ability of solving the practical issue, and cultivating students’ preliminary innovation ability.

dynamic texture; design of innovation experiment; visual dictionary

2015-05-06

軟件工程國家特色專業建設點(TS2455)；蘇州大學計算機與信息技術國家級實驗示范中心開放性課題——機器視覺創新實驗室建設項目資助

李 映(1976-)，女，江蘇蘇州人，碩士，實驗師，研究方向：圖形圖像處理。Tel.:13962123096; E-mail:youngj@suda.edu.cn

楊 炯(1971-)，男，江蘇蘇州人，碩士，實驗師，研究方向：實驗技術。Tel.：13962123096; E-mail:youngj@suda.edu.cn

TP 391.41

A

1006-7167(2016)05-0071-06