MEF融合HFF的戲劇視頻關鍵情節自動提取

尚雪蓮，秦健勇

（新疆工程學院 計算機工程系，新疆 烏魯木齊 830011）

MEF融合HFF的戲劇視頻關鍵情節自動提取

尚雪蓮，秦健勇

（新疆工程學院 計算機工程系，新疆 烏魯木齊 830011）

為了更好地從戲劇視頻提取關鍵情節，提出了一種基于音樂情感特征（MEF）融合人臉特征（HFF）的自動提取方法。首先，利用基于音頻指紋技術的二級音樂情感識別方法進行音頻識別，并利用人臉特征進行視頻識別；然后，利用音頻和視頻識別得到的各元素獲取關鍵情節值，從而提取關鍵情節；最后，提出了一種量化評估方法評估關鍵情節提取方法的一致性。在四個戲劇視頻上的評估實驗驗證了該方法的有效性及可靠性，相比其他幾種較新的提取模型，該方法提取效果更好。

音樂情感特征；人臉特征；視頻關鍵情節；二級音樂情感識別；定量評估

當今大數據時代，如何獲取簡潔重要的視頻和音頻信息顯得非常重要[1]，關鍵情節的提取是常用手段。然而，由于需要考慮年齡、性別等很多因素，關鍵情節的提取成了非常具有挑戰性的問題[2]，因此，找到一種較好的提取視頻關鍵情節的方法顯得非常有意義。

針對情感識別，學者們提出了許多方法，例如，文獻[3]提出了一種核典型相關分析算法（KCCA）的多特征（multi-fea?tures）融合情感識別方法。文獻[4]利用情感激勵曲線來精確地反應足球比賽的激烈情況也取得不錯的效果。文獻[5]利用Fisher準則與SVM的分層語音情感識別，文獻[6]研究了二維激勵-價數平面，文獻[7]在此基礎上定義了情感曲線，并進行視頻情感描述，文獻[8]運用面向觀眾的個性化方法對電影情感內容進行表示。低級的視聽特征例如情感向量，特寫鏡頭和聲音能量被映射為一個激勵值，音頻數據的平均節距被映射為價數值[9]。由于視聽特征和人類情緒感知之間存在語義差別，因此完全依賴于低級特征的關鍵情節提取的精確度被限制。其他低級特征例如顏色，情緒相關的中層特征例如大笑和尖叫[10]。心理學和電影學研究發現，人臉在社交中能夠傳達重要的信息（例如，眼睛注視的方向），而音樂可以激起聽眾的情感反應[11]。戲劇視頻的導演經常通過使用配樂引導觀眾的情感到達高潮，在一個連續幀序列中的男演員和女演員的出現通常表明了戲劇的巔峰時刻（這個序列越長，情結越強烈）[12]。

本文提出了一種基于音樂情感特征融合人臉特征的關鍵情節自動提取方法，設計了一種新穎的二級情感識別方法和采用音頻指紋技術提高配樂情感識別精確度的方法，此外，還提出了一種新的距離量度方法，可以以定量的方式評估算法對于關鍵情節提取的性能，實驗結果驗證了本文方法的有效性及可靠性。

1 音頻特征提取

將戲劇視頻分為音頻信號和視頻信號分別進行處理，針對音頻信號，系統首先檢測配樂的出現，然后采用著名的MIRtoolbox[13]進行配樂的音樂情感識別。

1.1 二級情感識別方法

利用二級情感識別方法[14]（見圖1）避免了語音信號和環境噪聲的干擾，戲劇視頻中，語音信號和環境噪聲經常與音樂混合在一起，還沒有一種音樂情感識別系統可以處理含有噪聲的音樂。假設含有所有配樂的唱片被用于戲劇視頻中，即當戲劇視頻發布后，可獲得原始聲道，音樂情感識別是對來自唱片中的音樂進行操作，而不是輸入的音頻信號。由于輸入的音頻信號可能已被語音信號和環境噪聲所污染，而語音信號和環境噪聲通常降低情感識別的精確度，因此，情感識別是在純凈的數據上進行操作的。此外，對于給定的唱片，利用音頻指紋[13]檢測每一個配樂出現和每一個別演奏的特定部分的配樂。

圖1 二級音樂情感識別方法

1.2 音頻指紋識別

作為一個基于內容的信號，音頻指紋已被用于識別音頻樣本[15]。兩個音頻分段的相似性由匹配的哈希值個數決定，一個表示輸入音頻分段，另一個表示配樂唱片的音頻分段。根據相似性值判斷輸入的音頻分段是否為音樂，用于這個二值決定的閾值非常重要，因為它決定了音樂檢測的精確度。

本文提出了一種適應性技術，利用輸入音頻分段的低短時能量比ρ可以自動決定閾值。低短時能量比 ρ的計算為

式中：sgn(·)表示符號操作，對于積極的輸入，輸出1；對于消極的輸入，輸出-1。eˉ為平均短時能量；N為時窗中幀總數。en表示第n幀的短時能量值。如果音頻信號有較高的 ρ值，則擁有更加安靜的幀。一般情況下，語音信號擁有比音樂信號更加安靜的幀，因此可以利用 ρ值從音樂中區分語音。

根據經驗觀察，利用 ρ值和匹配的哈希值個數確定自適應閾值，ρ值和其相對應的閾值如表1所示，ρ值范圍被平均分成5個范圍，指定每個范圍內的不同閾值。從表1可以看出，閾值隨著 ρ值的增加而增加。本文提出的閾值避免了可能的錯誤匹配，因此在音樂檢測時取得了更加精確的結果。

表1 自適應閾值與低短時能量比的關系

1.3 音樂情感識別

利用MIRtoolbox[13]預測音樂分段的情感值，情感值的預期模塊數據集由110個電影音樂的音頻序列（每一個序列平均被110個人所注釋）組成。提取一些音樂特征（音質、協調、韻律等），采用多元回歸算法學習音樂特征和情感值之間的關聯。利用回歸模型訓練每一個情感維度。

2 人臉特征提取

文獻[16]研究表明，視頻中人臉表情通常可以獲取觀眾的注意并激起觀眾的情感，下文描述了本文系統如何利用人臉作為特征進行戲劇視頻的關鍵情節提取。

2.1 人臉

戲劇視頻的關鍵情節場景通常是人物之間的交流，故人臉的表情是一個用于關鍵情節提取的重要的候選特征。在視頻關鍵情節的上下文中，人臉尺寸與其重要性關系不大。因此，使用人臉特征進行關鍵幀提取。圖2所示為“沒有玫瑰的花店”的關鍵情節，人臉尺寸卻明顯不同，故將注意力轉移到每幀上顯示的人臉數量。

圖2 戲劇“沒有玫瑰的花店”的兩個關鍵情節幀

每幀的關鍵情節初值設為幀中檢測到的人臉數，如圖3所示為人臉關鍵情節值的計算圖解。接著，將每一幀的初始值傳播給相鄰幀。最后，每一幀的初值與它的相鄰幀的初值相加構成最終的初值，由于求和過程實際上是一個短暫的平滑操作，因此該值被稱為平滑值。

2.2 特寫鏡頭

將特寫鏡頭當作一個特征用于關鍵情節提取，研究發現，較短的特寫鏡頭比別的拍攝方式更能喚起觀眾的情感[5]，表明較短的特寫鏡頭通常是戲劇視頻關鍵情節場景的一部分。因此，本文方法在關鍵情節提取過程中檢測短的特寫鏡頭和長的特寫鏡頭。

圖3 在戲劇“沒有玫瑰的花店”上人臉關鍵情節值計算圖解

將鏡頭強度作為關鍵情節的候選者，并通過指數函數建模，使用sk表示第k個鏡頭中一幀的關鍵情節強度，使用nk-pk表示特寫鏡頭

式中：pk表示第一幀的下標，nk表示第k個鏡頭的最后一幀。從中可以看到，特寫鏡頭越短，sk的值越大。為了獲得面向短時和長時特寫鏡頭都高的值，計算sk到平均關鍵情節強度的距離，從而獲得特寫鏡頭的關鍵情節值。即第k個鏡頭中任意幀的關鍵情節值s^k通過下式獲得

2.3 動作強度

動作向量包含強度和方向信息，不同于動作方向，動作強度是關鍵情節較好的指標之一，與特寫鏡頭類似，戲劇視頻中的關鍵情節場景不一定包含快速動作的幀；含有緩慢動作的幀卻可能是關鍵情節的一部分。因此，在關鍵情節提取過程中同時考慮含有快速和慢速的動作幀。

含有快速和慢速動作的幀的檢測由兩個步驟組成。第一步，計算在第k幀中所有圖像塊的歸一化平均動作強度ak。

式中：vk(i)表示第i個圖像塊的動作向量；I表示所有動作向量的總數；Vk表示幀中最大的動作向量。由此可見，平均動作是歸一化的最大的動作向量。

第二步，表示含有快速和慢速動作的幀并且抑制含有平均動作的幀，通過下式計算戲劇視頻中第k個幀內的關鍵情節值。

3 關鍵情節提取

圖4顯示了本文提出的系統的流程圖。對于給定的戲劇視頻，系統分別處理輸入的音頻和視頻信號。系統首先提取視聽特征并利用上述方法計算每個特征的關鍵情節值。然后線性組合戲劇視頻的每個第二幀中關鍵情節值去獲得全部的關鍵情節值，并用H表示。最后，系統提取那些關鍵情節值大約閾值的視頻分段。這個閾值是系統根據關鍵情節序列的期望值自動生成的。

圖4 用于戲劇視頻的關鍵情節提取系統

全部的關鍵情節值是由4個關鍵情節值權重的和求得。

式中：HM，HF，HS和HA分別表示音樂情感、人臉、特寫鏡頭和動作強度的值，而 fM，fF，fS和 fA是其相應的權重值。在本文的系統中，這4個權重都被歸一化到[0，1]，并且所有權重之和為1。本文實驗中，4個權重被簡單地設置為[0.3，0.3，0.2，0.2]。

4 關鍵情節的定性評估

對于相同的戲劇視頻，對本文方法生成的關鍵情節序列和被測試者提供的主觀結果的一致性進行了評估。一致性越高，表明系統性能越好。每個被測試者都在看完全部的戲劇視頻后才寫下他們對于戲劇中關鍵情節的觀點，使用文字描述故事單位級別上的關鍵情節（例如，“男主角跪下向女主角求婚”）并為每一個關鍵情節打分。類似地，通過本文系統提取的每一個視頻分段的值為視頻分段中H的總和。

為了測量一致性，通過下式計算關鍵情節序列與被測試者給出的文本描述之間的距離D

式中：A表示關鍵情節序列；B表示關鍵情節的文本描述；SA是序列A中的故事單元的集合。S屬于故事單元SA?SB，而wA(S)返回序列A中故事單元S的值。如果故事單元S不屬于序列A，則wA(S)的值設為0。對于特別的關鍵情節樣式的所有值，無論是視頻分段類型的序列，還是文本描述，都將被歸一化。D的值在0與2之間，當A和B完全相同時，D的值為0。

5 實驗

5.1 數據集

測試數據集包含4個戲劇視頻：沒有玫瑰的花店（用FS表示）、最后的朋友（LF）、零秒出手（BB）和緊急救命（CB）。4個視頻分別描述4個不同的故事：例如，FS是浪漫的戲劇，而CB是醫學的戲劇。4個戲劇視頻關鍵情節的文本描述分別從13、13、16和12個被測試者的測試中得到。

5.2 二級音樂情感識別方法的定量評估

為了評估利用二級音樂情感識別方法在關鍵情節提取上的有效性，將情感識別系統作用于由唱片提供的音樂和輸入音頻上，產生相應的關鍵情節序列，計算獲得關鍵情節序列和有被測試者提供的關鍵情節的距離D，提取性能見圖5。

圖5 情感識別進行關鍵情節提取的性能

從圖5可以看出，二級音樂情感識別方法通過避免語音信號和環境噪聲的干擾有效增強了關鍵情節提取的精確度，二級方法對于戲劇視頻 FS和 LF更加有效。因為這兩個戲劇視頻中使用的歌曲大多是輕柔的和平靜的，輕柔的歌曲通常含有較低的能量，很容易被噪聲干擾。因此，在唱片歌曲上運行情感識別可有效增加關鍵情節提取的精確度。

5.3 綜合系統的定量評估

計算關鍵情節序列和由被測試者給出的關鍵情節之間的距離D，利用文獻[6]提出的基準系統進行視頻分段的提取獲得了相同的值，因為它們僅僅是對視頻的均勻采樣。文獻[9]的甲骨文系統在使用由被檢測者給出的一系列關鍵情節時提出了更低的距離下界。

圖6所示為4個視頻上由3種不同方法產生的關鍵情節與被測試者給出的關鍵情節的標準距離差異。

從圖6可以看出，利用2個特征的系統計算出的距離小于只使用一種特征的系統計算出的距離，即2個特征通過相互補充的方式從戲劇視頻中檢測關鍵情節。利用本文方法計算出的距離小于基準系統，即本文方法獲取的關鍵情節序列與由被測試者給出的關鍵情節結果相比更具持續性。

圖6 各方法在4個戲劇視頻上的性能比較

5.4 幾種系統的定性評估比較

文獻[5]利用隱條件隨機場識別語義的強大功能，和情感激勵模型來計算每一個可能的精彩鏡頭的情感激勵值，然后小樣本訓練建立檢測模型，來檢測和獲取精彩鏡頭。

本文要求被測試者觀看用于第二個測試的關鍵情節序列，然后給出他們的主觀分數，從而評估他們由關鍵情節序列所激起的感情強烈程度。分數范圍設置在1～10之間。分數越高，表明被測試者被激起的感情越強烈。由于觀看經驗可能影響評估結果，將被測試者劃分為2個相等數量的團體。第一個團體的被測試者已觀看了完整的戲劇視頻，而第二個團體沒有觀看過。4個戲劇視頻分別有30，32，26和28個被測試者，將本文方法的提取結果與文獻[5]模型、文獻[9]模型、文獻[13]模型進行比較，如表2～表5所示。

表2 4種系統的性能（單位為1）比較（第一團體）

表3 4種系統的性能（單位為1）比較（第二團體）

表4 4種系統的平均差異值（第一團體）

表5 4種系統的平均差異值（第二團體）

從表2～表5可以看出，2個被測試團體的測試結果均能驗證本文模型在戲劇視頻關鍵情節提取方面的有效性。表2和表3中的性能比較可以看出，本文系統最能激起被測試者的情感，即相比其他幾種模型，本文提取的關鍵鏡頭更能讓測試者情感發生強列變化。表4和表5表明了本文方法的穩定性和持續性，即本文方法提取的關鍵情節更能給予測試者長久穩定的情感變化。

此外，本文方法充分考慮了音樂情感特征、人臉特征這兩個高級特征和特寫鏡頭、動作強度這兩個低級特征，這兩個層次的特征具有相輔相成的作用，如在CB（醫學戲劇）中，人臉不如在其他戲劇視頻中有效，因為醫學戲劇中的關鍵情節場景通常是帶著口罩的扮演醫生的男主角在進行手術的場景，降低了人臉檢測的精確度和人臉在本系統中的有效性。在這4種方法中，文獻[5]模型最復雜，考慮隱條件隨機場、情感激勵值和小樣本訓練問題，情感激勵值明顯遜色于本文方法，本文提出的4個元素涵蓋了情感表達的所有可能情況，而文獻[5]主要針對足球視頻的精彩鏡頭，而忽略了其他情景。

6 結論

為了從戲劇視頻提取關鍵情節，利用音樂情感特征和人臉特征之間的關系來進行關鍵情節的自動提取，采用一種新的二級情感音樂識別方法進行音頻識別，并利用人臉特征進行視頻識別，同時結合了特寫鏡頭和動作強度特征，有效提高了音頻和視頻的識別性能。采用一種定性評估方法對關鍵情節進行評估，驗證了本文方法的有效性，相比其他幾種較新的提取方法，本文方法取得了更好的性能。

未來會將本文方法應用于其他的數據集上，改變初始參數設置，進行大量實驗，并結合新穎技術，進一步改善關鍵情節提取性能。

[1] TRIPATHI V，MINU E.An Improved Algorithm（KPCA）For Face Recognition[J].Digital Image Processing，2012，4（1）：27-32.

[2] VAN I M H，BAKERMANS-KRANENBURG M J.A sniff of trust：meta-analysis of the effects of intranasal oxytocin adminis?tration on face recognition，trust to in-group，and trust to out-group[J].Psychoneuroendocrinology，2012，37（3）：438-443.

[3] 劉付民，張治斌，沈記全.核典型相關分析算法的多特征融合情感識別[J].計算機工程與應用，2014，50（9）：193-196.

[4] 于俊清，張強，王贈凱，等.利用回放場景和情感激勵檢測足球視頻精彩鏡頭[J].計算機學報，2014，37（6）：1268-1280.

[5]同鳴，丁力偉，姬成龍.融合HCRF和AAM的足球視頻精彩事件檢測[J].計算機研究與發展，2014，51（1）：225-236.

[6] YANG A Y，ZHOU Z，BALASUBRAMANIAN A G，et al.Fast-minimization algorithms for robust face recognition[J].IEEE Trans.Image Processing，2013，22（8）：3234-3246.

[7] HANJALIC A，XU L Q.Affective video content representation and modeling[J].IEEE Trans.Multimedia，2005，7（1）：143-154.

[8] 孫凱，于俊清.面向觀眾的個性化電影情感內容表示與識別[J].計算機輔助設計與圖形學學報，2010，31（1）：136-144.

[9]POTAPOV D，DOUZE M，HARCHAOUI Z，et al.Computer Vi?sion-ECCV[M].[S.l.]：Springer International Publishing，2014.

[10] 陳立江，毛峽.基于Fisher準則與SVM的分層語音情感識別[J].模式識別與人工智能，2012，25（4）：604-609.

[11] ACAR E.Learning representations for affective video understand?ing[C]//Proc.the 21st ACM International Conference on Multi?media.[S.l.]：ACM Press，2013：1055-1058.

[12] 李雅倩，李穎杰，李海濱，等.融合全局與局部多樣性特征的人臉表情識別[J].光學學報，2014，34（5）：115-121.

[13] TIMMERS R，CROOK H.Affective priming in music listening：emotions as a source of musical expectation[J].Music Percep?tion：An Interdisciplinary Journal，2014，31（5）：470-484.

[14]LARTILLOT O，TOIVIAINEN P，EEROLa T.A matlab toolbox for music information retrieval[M].Berlin：Springer，2008.

[15] HASAN H，ABDUL-KAREEM S.Fingerprint image enhance?ment and recognition algorithms：a survey[J].Neural Computing and Applications，2013，23（6）：1605-1610.

[16] CHAN C H，TAHIR M A，KITTLER J，et al.Multiscale local phase quantization for robust component-based face recognition using kernel fusion of multiple descriptors[J].IEEE Trans.Pat?tern Analysisand Machine Intelligence，2013，35（5）：1164-1177.

Automatic Highlights Extraction for Key Plot of Drama Video Based on Fusion of MEF and HFF

SHANG Xuelian,QIN Jianyong
（Department of Computer Engineering,Xinjiang Institute of Engineering,Urumqi830011,China）

Order to extract key plot of the drama videos,an automatic extraction for key plot based on fusion of music emotion features(MEF)and human face features(HFF)is proposed.Firstly,a two music-based emotion recognition method based on audio fingerprinting technology is used to do audio recognition,human face features is used to do video recognition.Then,the elements of audio and video identification are used to get access to key plot value to extract key plot.Finally,a quantitative assessment method is proposed to estimate the consistency of proposed method.The validity and reliability of the assessment has been verified by the quantitative evaluation on the four drama videos method,proposed method has better results than several other new extraction methods.

music emotion features;human face features;key plot;two music-based emotion recognition method; quantitative assessment

TP391

A

10.16280/j.videoe.2015.08.013

尚雪蓮（1977—），女，碩士，講師，主研圖形圖像處理、視頻識別等；

2014-09-09

【本文獻信息】尚雪蓮，秦健勇.MEF融合HFF的戲劇視頻關鍵情節自動提取[J].電視技術，2015，39（8）.

國家自然科學基金項目（61371086）；新疆工程學院基金項目（2014030415）

秦健勇（1978—），碩士，講師，主研圖像處理、機器學習等。

責任編輯：閆雯雯