基于深度視覺語義嵌入的視頻縮略圖推薦

張夢琴，孟權令，張維剛

（哈爾濱工業大學（威海）計算機科學與技術學院，威海264209）

隨著移動互聯網的快速普及和智能電子設備的高速發展，人們獲取信息的方式已不僅僅滿足于圖像，而直接選擇使用信息更豐富、畫面感更強的視頻，因此也帶動了很多視頻分享網站和APP的快速崛起，比如YouTube、優酷，以及最近兩年快速流行的抖音、快手等短視頻分享APP。人們越來越熱衷于將自己生活中發生的事情用短視頻的形式記錄下來，并且分享到主流的視頻共享網站上。再加上一些新聞、體育、電視、電影等相關的視頻，使得互聯網上的網絡視頻每天爆炸式增長，充斥在網絡生活中。

為了能在海量的視頻資源中快速地提高某段視頻的點擊率，以及快速高效地為用戶找到需要的視頻資源，現在較大型的視頻分享網站都會對每段視頻添加一個視頻縮略圖，并配上合適的標注文本，以將視頻的內容“直截了當”的呈現給用戶?？梢姡瑢τ谝欢我曨l，用戶初步看到的是視頻縮略圖的內容及對應的標注文本，這也是決定其是否點擊并觀看該視頻的關鍵要素之一。一個好的視頻縮略圖會讓這段視頻更有吸引力，所以研究一種能夠自動提取有意義且有較好代表性的視頻縮略圖的方法就顯得尤為重要。

對于標注文本，一般由視頻上傳者手動輸入，也可通過視頻字幕（video captioning）技術來自動生成。既然有了標注文本，縮略圖自然要和文本內容相匹配，因此，如何根據已有標注文本為視頻選擇一個合適的視頻縮略圖就成為一個值得研究的問題。本文提出一種基于深度視覺語義嵌入的網絡視頻縮略圖自動生成框架，主要針對給定的一段視頻及描述視頻內容的標注文本，從視頻中選取出既與標注文本內容相符又滿足用戶瀏覽體驗需求的視頻幀作為該視頻的縮略圖。該方法首先使用卷積神經網絡（CNN）來提取視頻幀的視覺特征，并使用循環神經網絡（RNN）來提取標注文本的語義特征；然后將視覺特征與語義特征嵌入到視覺語義潛在空間，視覺語義潛在空間是指視覺特征與語義特征具有相同維度與表示方式的空間，以便對視覺特征與語義特征進行相似度匹配；最后按照相似度得分對視頻幀排序，選出分數最高的一個視頻幀作為該視頻的縮略圖。同時，該方法還將選出多個與文本語義內容相關聯的視頻幀來作為推薦縮略圖呈現給用戶，以提高用戶的可選擇性。為了將選出的得分最高的縮略圖與推薦的縮略圖序列進行區分，本文將前者稱為關鍵縮略圖，后者稱為推薦縮略圖序列。

本文的貢獻在于：①提出一個完整的視頻縮略圖推薦框架，該框架能夠根據描述語句推薦相關聯的視頻縮略圖序列；②提出一種深度視覺語義嵌入模型，模型將整個語句的語義特征與圖像的視覺特征嵌入到共同的潛在空間中以獲得兩者的相關性；③在已有相關數據集的基礎上，創建適用于本文任務的數據集，并取得較好的結果。

1 相關工作

大部分視頻分享網站都用到了視頻縮略圖自動生成技術，但一些視頻分享網站的視頻縮略圖通常是來自于視頻的固定某個時序位置（第一幀、最后一幀或者中間幀），或者借助相關的圖像捕獲工具隨機從視頻中捕獲一張圖片作為視頻縮略圖。很顯然，這種方法獲取的視頻縮略圖不具有代表性并且選取的圖片質量也得不到保證。

為了讓自動生成的視頻縮略圖更具有代表性，Gao等［1］提出了一種反映視頻內容主題的視頻縮略圖提取算法，他們注意到基于視頻幀顏色和運動信息等底層特征的所選幀可能不具有語義代表性，所以使用主題標準對生成縮略圖的關鍵幀進行排序。Lian和Zhang［2］提出使用包含正面人臉信息、側面人臉信息的高級視頻特征與包含灰度直方圖、像素值標準方差等低級視覺信息特征進行融合來選擇最后的縮略圖的方法。Jiang和Zhang［3］提出一種矢量量化方法來生成視頻縮略圖，利用視頻時間密度函數（VIDF）來研究視頻數據的時間特性，使用獨立分量分析（ICA）構建空間特征。Liu等［4］提出了一種查詢敏感的動態網絡視頻縮略圖生成方法，所選的縮略圖不僅在視頻內容上具有代表性還滿足了用戶的需求。而Zhang等［5］結合其之前在文獻［6］中所提出的基于圖像質量評估和視覺顯著性分析的視頻縮略圖提取方法以及在文獻［4］中發表的方法，提出一種綜合考慮圖像質量評估、圖像的可訪問性、圖像的內容代表性以及縮略圖與用戶查詢的關系等因素的方法，推薦出同時滿足視頻用戶與瀏覽器需求的縮略圖。Zhao等［7］在基于視覺美學的自動縮略圖選擇系統［8］的基礎上提出一種利用視覺元數據和文本元數據來自動合成類似雜志封面形式的視頻縮略圖方法；所推薦的縮略圖不是取自于原視頻，而是通過自動合成來得到的。

上述的部分視頻縮略圖選擇方法［2-3，6］都集中于單純從視頻內容來學習視覺代表性。文獻［1，4-5］研究了如何將查詢與視頻內容相結合來為不同查詢提供不同的縮略圖，但是他們都是使用基于搜索的方法。而Liu等［9］首次引入基于學習的方法，將深度視覺語義嵌入模型應用到視頻縮略圖生成任務中，開發一種多任務深度視覺語義嵌入模型，將查詢和視頻縮略圖映射到一個共同的潛在語義空間，直接計算查詢與視頻縮略圖之間的相似度，使得應用可以根據視覺和邊緣信息自動選擇依賴于查詢的縮略圖，但該方法的局限在于所用查詢是以Word Embedding（詞嵌入向量，是指將一個單詞轉換成固定長度的向量表示形式）嵌入到潛在空間中，且一次只能獲取單個單詞的Word Embedding表示。對于查詢語句或者多個查詢關鍵詞需要將查詢以單詞的向量形式依次與視頻幀特征進行相似度匹配，這種匹配方式忽略了查詢單詞之間的關聯信息。此外，文獻［9］中的視頻幀特征只使用簡單幾層的CNN進行提取，所提取的視頻幀特征也不夠豐富。本文提出的基于深度視覺語義嵌入的視頻縮略圖提取方法框架如圖1所示。首先使用預訓練的深度CNN有效地依次提取各關鍵幀的視覺特征，同時使用基于RNN的神經語言模型將整個語句的語義特征嵌入到一個固定的向量，使得語義特征不但包含了單詞之間的關聯信息，也更易與視覺特征進行相關性比較。

圖1 基于深度視覺語義嵌入模型的視頻縮略圖推薦框架Fig.1 Video thumbnail recommendation framework based on deep visual-semantic embedding model

2 深度視覺語義嵌入學習方法

基于深度視覺語義嵌入的縮略圖推薦學習方法首先需要訓練深度視覺語義嵌入模型，然后利用該模型實現縮略圖推薦。因此本節首先介紹深度視覺語義嵌入模型，然后介紹整個視頻縮略圖推薦框架。

2.1 深度視覺語義嵌入模型

深度視覺語義嵌入模型［10］，實現將從文本域中學習的語義信息和圖像中的視覺信息共同嵌入到一個潛在的空間中，以便直接計算文本與圖像之間的相關性。并且對于與圖像內容無關的語義信息也能夠根據與圖像之間的相關性，返回相關性較高的圖像［9］。而本文的任務就是從視頻中選擇與給定的語句語義相關的視頻幀作為推薦的視頻縮略圖，因此可利用深度視覺語義嵌入模型來計算給定的語句信息與視頻幀之間的相關性。所提出的深度視覺語義嵌入模型框架如圖2所示。首先使用預訓練的CNN依次提取視頻關鍵幀序列的視覺特征，再使用基于RNN的神經語言模型來提取文本的語義特征，并將視覺特征與語義特征嵌入到視覺語義潛在空間。

近年來，RNN由于具有特定的記憶功能已經在處理序列問題和自然語言處理等領域取得了很大的成功，所以本文使用RNN的變式即擅長解決中長文本序列間依賴問題的門控循環單元（GRU）［11］來提取單詞之間的依賴信息。對于給定的描述語句，本文方法不再是簡單的提取一個單詞的Word Embedding來作為其特征向量，而是將一句話中的所有單詞都用Word Embedding表示，然后將整句話作為序列輸入GRU單元，最終輸出一個表達這句話語義特征的向量，這也是典型的多對一關聯模型，其主要結構如圖3所示，本文方法使用GRU的最后一層隱層狀態hn，作為語義特征Vs：

圖2 深度視覺語義嵌入模型示意圖Fig.2 Schematic diagram of deep visual-semantic embedding model

式中：w1，w2，…，wn為單詞序列x1，x2，…，xn的Word Embedding形式；n為輸入的單詞個數。

本文方法使用預訓練好的 ResNet152模型［12］來提取視頻幀的視覺特征，由于所提方法旨在將視覺特征嵌入到固定的潛在空間，因此需去除ResNet網絡的最后一層全連接層，并提取最后一個卷積層的特征得到視覺特征Vi。

將語義特征和視覺特征分別嵌入到一個N維的潛在空間得到潛在語義特征V′s和潛在視覺特征V′i。為使語義特征向量盡可能地擬合提取到的視覺特征，本文采用均方誤差損失函數：

式中：MSE函數用于計算兩個向量之間的均方誤差；N為潛在空間的維度（本文中是2 048維）。

圖3 神經語言模型Fig.3 Neural language model

2.2 基于深度視覺語義嵌入模型的縮略圖推薦

本節將介紹如何利用上述深度視覺語義嵌入模型來為一段視頻選擇縮略圖。本過程分為2個階段，分別是關鍵幀提取和縮略圖推薦。

2.2.1 關鍵幀提取

本文方法使用基于順序聚類與K-means聚類相結合的關鍵幀提取算法對視頻進行鏡頭分割。參考文獻［13］中的視頻鏡頭分割算法，對視頻進行初步聚類。首先將視頻幀映射到HSV（Hue，Saturation，Value）顏色空間，將3個顏色空間分別分成12、5和5三個量級，生成對應的歸一化顏色直方圖。將3個顏色空間的直方圖結果組合到一起為每個視頻幀生成一個22維的顏色空間向量。再用順序聚類方法對轉換過的視頻幀進行鏡頭分割［13］。對順序聚類后的每個類的視頻幀依次進行清晰度、亮度、色偏檢測，并將最后檢測的得分進行加權融合，得出圖像質量評價得分Df，檢測方法如下：

清晰度檢測：使用Tenengrad梯度函數來計算每個視頻幀的清晰度得分fd，得分越高，圖像越清晰［14］。

色偏檢測：將RGB圖像轉變到CIE L*a*b*空間（L*表示明暗度，a*表示紅-綠軸，b*表示黃-藍軸），通常存在色偏的圖像，在a*分量和b*分量上的均值會偏離原點很遠，方差也會偏小；計算衡量圖像色偏程度的K因子得到色偏檢測得分fc，分數越高，圖像色偏越嚴重［15］。

亮度檢測：與色偏檢測相似，計算圖片在灰度圖上的均值和方差，當存在亮度異常時，均值會偏離開均值點（假設為128）；同樣根據計算衡量圖像亮度程度的K因子得到亮度檢測得分fb，分數越高，圖像亮度異常越嚴重。

最后的圖像質量評價得分為3種評價屬性的得分的加權融合。本文設置清晰度檢測的權重為0.5，亮度檢測的權重為0.3，色偏檢測的權重為0.2，由于圖像質量與亮度檢測得分fc以及色偏檢測得分fb成反比，所以最后的得分Df為

得到每個視頻幀的圖像質量得分Df后，通過分數排序將每個聚類中分數較低的一半視頻幀過濾掉（對只包含一個視頻幀的聚類不進行過濾）。獲得過濾后的視頻幀和聚類數K0。接下來對過濾后的視頻幀再進行K-means聚類，K值設置為K0，得到最后的鏡頭分割結果。

如圖4所示，將視頻幀進行鏡頭分割后，需要從每個鏡頭中提取能夠充分代表視頻鏡頭的視頻幀添加到關鍵幀序列以及為每個視頻鏡頭挑選候選縮略圖序列。

關鍵幀序列是從每個視頻鏡頭中挑選出最具代表性的一個視頻幀組成的序列，其將作為視覺語義嵌入模型的輸入以獲得關鍵幀的視覺特征序列。模型輸出關鍵幀的視覺特征序列中與輸入的文本語義特征相關性最高的視覺特征所對應的關鍵幀作為關鍵縮略圖。

候選縮略圖序列是對關鍵幀序列的擴充，從每個視頻鏡頭中挑選最具代表性的某幾個視頻幀，組成該視頻鏡頭的候選縮略圖序列。每個視頻鏡頭都有一個候選縮略圖序列，它們之間是獨立的。如果關鍵縮略圖屬于這個視頻鏡頭，那么這個鏡頭的候選縮略圖序列就會成為最后的推薦縮略圖序列。

圖4 基于已訓練模型的視頻縮略圖推薦框架Fig.4 Video thumbnail recommendation framework based on trained model

為了從每個鏡頭中提取合適的視頻關鍵幀，本文使用熵值來作為視頻信息量的度量，熵值越大，表明圖像的信息越豐富，越具有代表性，在本文中，分別計算HSV三個顏色空間的熵值，其計算式為

式中：Pk為每個視頻幀生成歸一化顏色直方圖的值。然后分別計算出H 分量的熵值E（fh），m=12；S分量的熵值E（fs），m=5；以及V分量的熵值E（fv），m=5。由于人眼對Hue的敏感性比對Saturation和Value高［11］，所以本文中對H、S、V三個分量的熵值分別賦0.5、0.3、0.2的權重，最終的熵值E（f）為

得到視頻鏡頭中每個視頻幀的熵值E（f）后，本文提取每個鏡頭中熵值最大的視頻幀作為該鏡頭的關鍵幀添加到關鍵幀序列。提取熵值最大的前5個視頻幀（不足5幀的鏡頭取全部視頻幀）作為該鏡頭的候選縮略圖序列。所以每個鏡頭的關鍵幀也包含在該鏡頭的候選縮略圖序列中。由于聚類數是由順序聚類結果而定，所以聚類數（視頻鏡頭數）是不固定的，取得的關鍵幀序列的數量也是不固定的。

2.2.2 縮略圖推薦

縮略圖推薦，如圖4所示，獲取關鍵幀序列之后需要對所有的關鍵幀進行視覺特征提取得到視覺特征序列Vi1，Vi2…，ViN，并將這些視覺特征都映射到視覺語義潛在空間中。對于輸入文本，使用2.1節中訓練好的神經語言模型提取語義特征Vs，并將其也映射到視覺語義潛在空間中。分別計算潛在語義特征V′s與潛在視覺特征序列，…，V′iN之間的余弦相似度，相似度最大的視覺特征所對應的關鍵幀將作為關鍵縮略圖。為了增加推薦縮略圖的多樣性與可選擇性，如果某個關鍵幀被選取作為關鍵縮略圖，由于與關鍵縮略圖在同一個視頻鏡頭中的視頻幀可能具有相同的視覺特征，因此將關鍵縮略圖所在鏡頭的候選縮略圖序列作為最后的推薦縮略圖序列。顯然，推薦的縮略圖序列，必然包含關鍵縮略圖，推薦的縮略圖序列最少包含1幀，最多包含5幀。

3 算法實現

3.1 數據集

本文的關鍵是訓練深度視覺語義嵌入模型，在訓練階段需要采用深度學習中的有監督學習方法，所以首先要解決的就是數據集問題。已存在的縮略圖生成方法都是在圖像質量評價或建立關聯模型等圖像處理的層面來獲取對應的縮略圖，并且都是依賴于選擇算法的縮略圖生成方法。所以目前還沒有專門針對縮略圖推薦任務的數據集可供訓練，本文只能自行收集或者對已有的相關數據集進行改動使其滿足對本任務的訓練。

首先考慮的是微軟的MS COCO 2014［16］數據集，該數據集中包含8萬多張訓練圖片，4萬多張測試圖片，由于該數據集是做圖像字幕（image captioning）任務常用的數據集，所以每張圖片都有5個左右的人工標注文本語句來對圖像內容進行描述。圖像字幕任務是輸入一張圖片得到一個描述該圖像內容的句子，本文提出的基于深度視覺語義嵌入的視頻縮略圖推薦任務，雖然是基于視頻的任務，但實質上是根據輸入一句視頻描述文本，從視頻中獲取與文本內容相關聯的一張圖像。相比于圖像字幕任務，本文的任務是從文本到圖像的一個相反的過程，所以可以將MS COCO 2014數據集中的標注語句作為模型的訓練數據，將圖片作為目標值來進行模型的訓練，獲得用于訓練的｛語句，縮略圖｝對。

另一個數據集是微軟的MSR-VTT（MSR Video-to-Text）［17］，該數據集是用來做視頻相關任務，比如視頻字幕。數據集中每段視頻大約有20條描述性語句，每段視頻時長在20 s以內。由于本文的訓練目標是獲得圖像，所以需要對此數據集進行重新標注，生成適合本任務的數據集。本文根據MSR-VTT數據集提供的描述性語句從對應的視頻中選出與語句內容最相關并且視覺效果較好的視頻幀，組成訓練需要的｛語句，縮略圖｝對。由于該數據集中有很多存在偏義以及無法從視頻中獲得相關視頻幀的描述語句，所以本文對原數據集提供的描述語句進行了篩選，每段視頻只留取10句左右的描述語句。之所以要在MS COCO 2014數據集訓練后還用這個視頻數據集來訓練是因為MS COCO 2014數據集圖片之間的差異較大，圖片之間以及標注文本之間的關聯性較小，不利于細節處的學習。而從MSR-VTT數據集中選出的句子有些來源于同一段視頻，所以語句之間的關聯性較大，而對應的圖片之間也會存在一定的聯系，更有利于模型的學習。最后從MSR-VTT數據集的前400段視頻中收集了4 000多個描述語句以及對應的800多個視頻幀，其中不同的標注文本可能會對應同一個視頻幀，最后得到包含4 000多個｛語句，縮略圖｝對的數據集。

3.2 模型的訓練

3.2.1 文本預處理

所使用的語料庫來源于MS COCO 2014數據集中的標注文本。首先將所有標注語句中的單詞都轉化為小寫形式，然后使用NLTK工具包中的word＿tokenize函數對句子進行分詞處理，并將標點符號都移除。對每個單詞出現的次數進行統計，將出現頻率小于3次的單詞移除。再加上＜pad＞＜unk＞這2個補齊和補缺的標注符，一共得到8 576個單詞的語料庫。對于輸入的文本語句，需要將語句中單詞映射成詞匯表中對應的單詞序列號，并且將每條語句的長度都設置為30，語句長度不夠就用＜pad＞對應的序列號補齊，在語料庫中找不到對應單詞則用＜unk＞對應的序列號代替。

3.2.2 圖像預處理

訓練階段的縮略圖圖像以及測試階段的視頻關鍵幀在進行視覺特征提取之前，需要將圖像縮放到224×224大小。然后使用預訓練的Res-Net152網絡模型對圖像進行特征提取，并將最后一個卷積層的特征保存下來，得到一個2 048維的特征向量。

3.2.3 參數設置

訓練模型階段：數據集形式為｛語句，縮略圖｝對，潛在語義空間的維度是2 048維。訓練神經語言模型時，設置Word Embedding維度為512，輸出的語義特征維度為2 048。由于2個數據集的規格不同，需要對其進行分開訓練，先在MS COCO 2014數據集上進行訓練，設置BatchSize為128，學習率為0.001，學習了2個epoch。然后在MS COCO 2014訓練的基礎上再在處理過的MSR-VTT數據集上進行訓練，設置BatchSize為16，學習率為0.001，學習了100個epoch。所有的參數都使用Adam優化器進行優化。

在生成縮略圖階段：首先對視頻每6幀提取一幀作為視頻的輸入，在進行順序聚類時，經過多次實驗將閾值設置為0.85。順序聚類所得的聚類數作為K-means聚類的K值。

4 實驗結果

為了有效地對本文提出的框架進行評估，本文分別從YouTube和優酷網站下載了不同類別的視頻來測試該框架推薦的視頻縮略圖的效果。用于測試的視頻類別主要有：教育、娛樂、電影、游戲與卡通、新聞與政治、生活、體育等。使用擊中率HIT@l［9］作為評價指標，即推薦的縮略圖序列中如果有與描述語句的語義內容相匹配的縮略圖則為擊中，反之如果推薦的縮略圖序列中的所有縮略圖與語句描述之間都不相關的話則為不擊中。本文為了合理地顯示實驗結果，共設置了3個等級：A表示推薦的縮略圖序列中有與語義內容完全相關的縮略圖，稱為完全擊中；B表示推薦的縮略圖序列中有與語義內容部分相關的縮略圖，稱為一般擊中；C表示推薦的縮略圖序列與所給出的語義內容完全不相關，稱為完全不擊中。

本文為每個類別各選取2～4段視頻，每個視頻時長在3 min左右，且都包含了多個場景的切換。針對每段視頻，結合所給的5個描述文本語句，分別進行縮略圖推薦。根據每個描述文本語句從對應的視頻中挑選出關鍵縮略圖作為默認縮略圖，同時返回1～5個視頻幀作為推薦的縮略圖序列供用戶選擇。

本文采用主觀評價的方式來測定方法的有效性，邀請10位了解過視頻縮略圖任務的用戶對本文方法的推薦結果進行了主觀打分評價。即針對每段視頻的每條描述文本語句所推薦的縮略圖序列，結合上述給出的3個評價等級來對推薦的結果進行評價，在實驗測試集上獲得的評價結果如表1所示。從擊中率可以看出，所提方法對生活、電影與娛樂類視頻所推薦的視頻縮略圖有較好的效果，而對游戲與動畫、教育類的視頻效果不是很理想。

圖5給出了部分推薦縮略圖示例，每個示例的第一個視頻幀即是選出的關鍵縮略圖，剩余為推薦的縮略圖序列。其中圖5（a）顯示的是完全擊中的視頻縮略圖（生活類視頻的推薦結果），圖5（b）顯示的是完全沒有擊中的視頻縮略圖（體育類視頻的推薦結果）。從圖5（a）中可以看出，針對每個描述文本語句，可得到1～5幅推薦縮略圖，推薦的縮略圖與給出的語句內容完全相符，而且縮略圖序列具有一定的豐富性，增加了用戶的可選擇性；但從圖5（b）中看出，該方法針對體育類的視頻效果并不是很好，一方面是因為體育類的視頻包含較多的大幅度運動，不能很好地提取和表征其視覺特征；另一方面是所采用的描述文本語句，如果其本身較復雜不易被理解，則會影響所提取的語義特征表達，最終使得本文所描述的視覺語義嵌入模型不能很好的擬合。

表1 不同類別網絡視頻的擊中率Table 1 Hit r ates of web videos in different categories

圖5 本文方法所獲得的推薦縮略圖序列示例Fig.5 Examples of recommended thumbnail sequence obtained by proposed method

此外，由于不是在專門的縮略圖推薦評測視頻集上測試，且訓練集中所使用的｛語句，縮略圖｝對中縮略圖特征表達受限，所以本文方法目前對于通俗簡單易懂的描述文本語句有較好的效果，而對描述復雜理解偏難的語句，并不能較好地推薦出合適的縮略圖序列，因此還具有很大的改進空間。

5 結 論

1）本文針對網絡視頻縮略圖的自動推薦問題，提出一種深度視覺語義嵌入模型和縮略圖推薦框架，實現了將圖片的視覺信息與語句的語義信息嵌入到共同的潛在空間。

2）本文提出的框架能有效地根據給定的描述語句為用戶推薦內容相關且具有視覺代表性的視頻縮略圖序列。20段3 min左右的視頻，100條描述語句，推薦的縮略圖序列完全擊中率為35.0%，完全擊中與一般擊中的總比率為68.3%。

3）本文提出的框架能夠為用戶推薦細節多樣化的縮略圖，推薦的縮略圖語義場景相同但具體細節不同，增加了用戶的可選擇性。

4）對視頻表觀內容有較好描述的文本語句，能夠獲得更好的縮略圖推薦結果；但對視頻中的運動信息表征識別能力偏弱，導致縮略圖推薦結果受影響。

由于沒有專門針對本文任務的數據集，所訓練模型的準確度還有待改進。今后也需要在關鍵幀提取以及語料庫上進行算法調整，以便進一步提高模型的準確度。