視頻幀率上轉換檢測技術綜述

何天琦，蔣興浩,2，孫錟鋒,2

?

視頻幀率上轉換檢測技術綜述

何天琦1，蔣興浩1,2，孫錟鋒1,2

（1. 上海交通大學電子信息與電氣工程學院，上海 200240； 2. 信息內容分析技術國家工程實驗室，上海 200240）

視頻幀率上轉換檢測技術是視頻取證技術的一種。為了系統闡述視頻上轉換檢測領域現狀，合理導向后續研究，對相關技術進行了綜述。首先對相關研究歷史和發展進程進行闡述，總結上轉換概念及技術框架。然后根據檢測技術的目的，對現有算法分類闡述。最后匯總介紹了視頻幀率上轉換檢測領域的主要研究團隊及其研究成果。從算法框架、檢測結果等方面對比現有檢測技術，提出了兩點展望。視頻幀率上轉換作為視頻后處理技術的重要組成部分，目前仍需進一步研究。

視頻篡改取證；幀率上轉換；幀率上轉換檢測；周期性分析；篡改算法分類識別

1 引言

近年來，隨著互聯網飛速發展，人們獲取信息的途徑有了巨大的改變，從文字、書本擴展到了圖像、聲音、圖形、視頻等感覺媒體，而在網絡時代，它們通過網絡傳播、分享，被統稱為數字媒體信息。大部分數字媒體信息從產生到傳播，經歷獲取、處理、存儲、管理、輸出5個部分。隨著數字媒體信息的廣泛傳播，上述每個環節都存在安全風險。

在諸多數字媒體中，圖像以點陣的形式承載了二維空間上的所有信息，在數字媒體早期就成為主要傳播媒介；而視頻的傳輸需要更多的帶寬資源[1]，所以傳播稍稍遲后，隨著技術手段的更新、網絡流量資費的下降，具備三維時空信息的視頻格式得以廣泛傳播。正是由于視頻領域的快速發展，數字媒體篡改的重心也隨之傾斜，當前視頻篡改的技術手段層出不窮，其真實性、可靠性時刻面臨諸多風險，對社會造成了很多不利影響。視頻幀率作為視頻的基礎組成，保證幀率的真實可靠是保證視頻真實可靠的前提，因此，針對視頻幀率的篡改檢測研究[2]尤為重要。

一方面，人們追求更高質量的觀感體驗，視頻幀率越高越好，出現了多種上轉換技術，篡改者利用該技術提升幀率，消除低幀率帶來的停滯感[3]；另一方面，隨著監控視頻成為重要證據，不法分子可以通過上轉換技術消除截斷視頻中畫面的跳躍感，讓檢查者忽視篡改痕跡。因此，針對視頻幀率上轉換技術的檢測迫在眉睫。

研究證明，數字圖像或者視頻進行篡改時，一般作用于非編碼域層面，因此對于壓縮編碼的視頻，幀率上轉換篡改至少會引起2次重新編碼，即雙壓縮[4]效應。為了實現應用場景更廣、能夠區分雙壓縮痕跡和上轉換痕跡的檢測方法，后來的研究人員致力于提取更加明顯的痕跡來增加檢測的頑健性，如幀間相似度的異常、邊緣密度的異常等，根據這些人眼難以捕捉的痕跡，手工提取特征，不斷完善上轉換檢測算法。這些方法的局限性在于僅判斷視頻是否經歷過上轉換，而并沒有對篡改采用的上轉換方法進行進一步劃分。細致的分類可以針對性抵抗篡改攻擊。直到2017年，Ding等[5]提出檢測上轉換篡改的同時，對采用的篡改算法進行分類，實現了進一步的檢測。

針對不同的檢測手段，國內外團隊的研究成果如表1所示。

綜合上述分析，國內外研究團隊針對視頻幀率上轉換檢測技術領域取得了不錯的進展[6]。近些年來，該領域主要研究以國內團隊為主，包括中山大學[7]、湖南大學[5,8-10]、南京信息工程大學[9]、中國礦業大學[10]，國外研究團隊包括韓國國防科學研究所[11]它們通過改進算法準確性、豐富實驗樣本、拓展細粒度檢測，為上轉換檢測領域貢獻了豐富的研究成果和數據。但由于視頻上轉換技術不斷更新，上述團隊未對不同的上轉換算法進行研究，所以還需要進一步完善；同時由于上轉換領域缺乏系統的樣本數據庫，難以全面衡量算法的可靠性和有效性。

表1 國內外團隊研究成果

為了更好地完善上轉換檢測研究，本文涵蓋了對上轉換技術的介紹，匯總了典型的上轉換技術。并且，通過查閱大量文獻對近15年視頻幀率上轉換檢測領域的研究成果進行了匯總總結。

2 上轉換篡改技術簡述

2.1 上轉換概念

在理論研究中，假設未經過上轉換的視頻原始幀率為15幀/秒，當篡改2倍、4倍至幀率為30幀/秒、60幀/秒時，本質上是以2倍速、4倍速來播放，所以，為使新視頻流暢播放，需要通過技術手段增加視頻的幀數，即插幀技術，也稱作幀率上轉換技術。

2.2 上轉換篡改算法框架

視頻幀率上轉換篡改技術難點和關鍵點在于生成插值幀。目前有2類主要的生成算法：基于非運動補償的算法和基于運動補償的算法，它們區分明顯。下文分別對2類算法進行闡述。

2.2.1 基于非運動補償的算法

基于非運動補償的算法[1,12-14]是指采用幀復制或幀平均方式獲得插值幀，如圖1所示，插值幀獲得公式如下。

圖1 基于非運動補償算法圖解

2.2.2 基于運動補償的算法

如圖2所示，基于運動補償的算法考慮幀間運動信息[15~23]，具體包括2個部分：運動估計（ME，motion estimation）以及運動補償插值（MCI，motion compensation interpolation）。運動補償指的是：假定視頻的特定宏塊（互不重疊）內的每個像素有相同位移，根據第1幀的宏塊信息在第幀中找到與之最匹配的匹配塊，兩者之間的位移即是2個宏塊之間的運動向量。接下來進行運動補償插值，在已估計的運動向量基礎上，根據特定的插值方法生成插值幀。由于估計方法和插值方式的多樣性，形成了不同的幀率上采樣算法。基于運動補償的上轉換算法可以實現更加自然的篡改視頻；該算法缺點在于計算復雜度高。上述2類篡改算法均改變了原始視頻的信息，在時空域上會產生篡改痕跡，可作為檢測是否經過上轉換的依據。

2.3 上轉換典型技術

目前，較為典型的基于運動補償方式的幀率上轉換算法有以下幾種，這些算法由不同的運動估計和補償差值方式構成，下面從兩方面進行介紹。

圖2 基于運動補償算法圖解

1) 擴展雙邊運動估計模式（EBME，extended bilateral motion estimation）[24]：該方法采用擴展運動軌跡范圍的雙向估計以提高運動估計部分的準確度，并利用運動向量修正模塊對錯誤的運動向量加以修正、運動平滑模塊對運動向量進行平滑處理，在運動補償部分，采用基于加權的雙向運動補償差值模塊來獲取插值信息，即重疊塊運動補償模式（OBMC, overlapped block motion compensation）[25]，最后獲得插值幀。

2) 自適應重疊塊運動補償模式（AOBMC, adaptive overlapped block motion compensation）[26]：該方法在重疊塊運動補償模式基礎上，根據鄰近運動向量的相關性自適應調整重疊窗口的權重系數，即采用自適應重疊塊運動補償技術獲得效果更好的插值信息。相比傳統的重疊塊運動補償技術，此方法克服了過渡平滑和差分塊的限制。

3) 雙重運動估計模式（DualME, dual motion estimation）[27]：在本方法中，通過調整上一幀與當前幀中單雙向塊的比例，獲得更高準確度的運動估計信息，從而得到高質量的插值信息，在雙重運動估計基礎上，結合動態紋理表征的視頻顯著性模式[28]進一步提升上轉換效果。

4) 多通道混合模式（MCMP, multi-channel mixed pattern）[29]：在運動估計模塊中，首先計算了圖像塊的亮度和色度多通道信息，計算前后向運動向量場，并利用時空域修正模塊對獲得的運動向量進一步修正。最后采用雙權重重疊塊運動補償模塊進行補償，獲得插值幀信息。該方法的優點在于，在保障插值幀質量的同時降低計算復雜度。

5) 選擇方向運動估計模式（DSME, direction select motion estimation）[30]：本文方法優化運動估計模塊來獲得更好的插值幀。通過評估前后向運動向量的可靠性，選擇其中最優的方向產生用于插值幀的運動信息。該方法的平均峰值信噪比提高了5.31 dB，且將插值幀的平均結構相似度降低至0.053。

同時，隨著視頻市場不斷擴大，視頻幀率上轉換領域有了很多效果不錯的商業軟件，如MSU、MVTools2、YUVsoft、Respeedr Motion Perfect等，其中，MSU與YUVosft僅支持整數倍幀率上轉換操作。

3 上轉換篡改檢測算法簡述

3.1 篡改檢測算法匯總

近年來，國內外的上轉換檢測技術主要依據手工提取視頻特征。到目前為止，幀率上轉換檢測領域文獻匯總情況如表2所示。

表2 幀率上轉換檢測領域文獻匯總

可以看出，針對運動補償的檢測算法數量遠超過針對非運動補償的檢測算法數量，這與現有的上轉換算法重點研究提升運動補償效果相吻合。

3.2 篡改檢測算法框架和分類

3.2.1 篡改檢測算法框架

上轉換檢測算法中，正確描述和提取篡改痕跡是檢測算法的難點。算法框架分為3個部分。

1) 視頻預處理。對獲得的篡改視頻的幀數、分辨率等進行預處理。

2) 時空域特征提取及預處理。根據上述對幀率上轉換算法的闡述可知，篡改過程主要是插值幀的構造過程，其信息來源于原始視頻中前后幀信息，該操作不可避免地會在時空域帶來強的相關性，這種相關性即成為篡改檢測的痕跡特征。為去除特征的稀疏性、強化特征數值的差異性，對特征進行預處理。

3) 基于特征的檢測算法。檢測算法分為2種。第一種是周期性檢測[31]：插值幀的某些特征與相鄰原始幀不同，當連續對某段視頻進行插值時，該特征會出現周期性的極大值或者極小值，可以通過判斷特征是否具有周期性來檢測篡改。同時，特征出現極值表明當前幀是插值幀，并通過統計極值周期推斷原始幀率。第二種是基于特征相似性的匹配：由于不同上轉換算法生成的篡改視頻的特征各自不同，因此根據特征信息的匹配度進行檢測。

3.2.2 篡改檢測算法分類

總體來說，視頻幀率上轉換檢測算法根據實現的目標不同可以分成2類。

1) 檢測目標不包含對篡改方式的分類識別。如圖3所示，典型算法主要包括：基于殘差序列分布的檢測算法、基于幀間相似度分布的檢測算法、基于邊緣密度分布的檢測算法、基于平均紋理變化分布的檢測算法及基于運動效應分布的檢測算法。

圖3 第一類檢測算法

2) 檢測目標包含對篡改方式進行分類識別。典型算法包括基于差值信息分布和集成分類器的檢測算法。

下文首先闡述典型篡改檢測算法，然后從樣本選擇和檢測準確率方面進行匯總總結。

3.3 檢測目標不包含篡改方式識別

3.3.1 基于殘差序列的算法

3.3.2 基于幀間相似度分布

為了更清晰地描述篡改痕跡，Bian[7]等將描述相鄰兩幀的結構相似性衡量指數[32]特征應用到上轉換檢測領域，通過檢測視頻結構相似性特征對應的相似性序列的周期性，實驗發現在插值幀處出現相似度尖峰。由于運動緩慢的視頻中可能存在臨近幀相似度值與插值幀相似度相近，造成對尖峰周期識別困難，所以該方法分別對原始視頻相似度和篡改視頻相似度進行分析，得出經驗化參數，作為區分原始幀與插值幀的閾值。同時研究發現，與數字圖像的插值特性[33-38]類似，插值參數（即上轉換倍率）和經過離散傅里葉變換（DFT，discrete Fourier transform）后相似度在頻域上的尖峰之間有如下關系。

其中，1為原始幀率，2為篡改后幀率，f為相似度信息在頻域中峰值坐標；由此可以計算插值參數并推斷原始幀率。

Bian團隊在Bestagini團隊的基礎上全面對各類視頻進行探究，分辨率從176×144到1 920×1 080不等，并且實驗了6種幀率的上轉換視頻，分別為15幀/秒、20幀/秒、24幀/秒、25幀/秒、30幀/秒、60幀/秒，共計15種上轉換組合方式，其中，上轉換視頻作為正樣本有3 000個，原始視頻作為負樣本有1 000個。

該方法首次全面采集了各種內容的視頻樣本，考慮了整數倍率和非整數倍率上轉換，以及含噪樣本，檢測結果的置信度較高。而缺點為僅采用ImTOO[10]單一轉換軟件產生正樣本，且僅采用幀復制方式，算法的檢測范圍單一，針對其他篡改手段的檢測效果沒有合理保障。

3.3.3 基于邊緣密度的算法

2015年，Yao[9]團隊研究發現，幀率上轉換篡改行為會破壞連續幀邊緣密度在時域上的一致性，使插值幀的邊緣密度明顯少于相鄰原始幀，當視頻序列多倍率上轉換時，將引起邊緣密度周期性的低谷，根據上述研究，該團隊提出利用邊緣密度特征來描述篡改痕跡。為獲得每幀的邊緣信息，該方法首先將視頻序列解成連續幀，采用Kirsch邊緣檢測器[39]提取幀的亮度邊緣信息。

圖4 不同邊緣檢測算子效果比對

邊緣密度特征在插值幀處形成低谷是相對于鄰近原始幀而言的，而不同插值幀的邊緣密度特征并不相同，固定的閾值參數不能滿足自動化檢測的要求。因此，引入Kaufman[40]自適應移動均值方法綜合考慮當前低谷和歷史低谷的特征信息，形成自適應閾值曲線，區分插值幀和原始幀。該方法的優點在于不僅能夠檢測采用幀復制、幀平均方式的篡改行為，還能夠有效檢測出基于運動補償方式的篡改行為，其平均檢測準確率可以達到94.5%。

3.3.4 基于平均紋理變化的算法

不同于上述方法，Xia[10]團隊從視頻畫面紋理的變化中發現了篡改痕跡。該團隊分析發現，在基于運動補償的幀率上轉換篡改過程中，運動向量補償模塊中的權重選擇機制本質上是選擇相鄰幀中最相似的圖像塊，該機制類似于圖像去噪應用中的圖像平均機制，均在提高視覺質量的同時消除了高頻成分，因此會在插值幀紋理豐富的區域造成模糊，當采用幀平均紋理差值（ATV，average texture variation）[10]來量化模糊程度時，發現插值幀的平均紋理差值普遍小于原始幀。

具體來說，首先對待檢測的壓縮編碼視頻解壓，獲得幀序列，然后針對幀序列提取亮度信息，并計算每幀的平均紋理差值，從而描繪全部視頻的對應差值曲線。如圖5所示，以Foreman視頻為例，實驗分析發現，原始視頻的平均紋理差值曲線趨勢平滑且不具備周期性，其變化區間僅為［0.022 8，0.026 5］，而上轉換篡改后視頻的曲線具有明顯周期性波動，其中，采用基于運動補償方式獲得的上轉換視頻的差值變化區間最大，為［0.008 4，0.026 5］。

圖5 ATV曲線效果（以Foreman序列為例）

為了估計原始幀率，通過對幀平均紋理差值曲線進行離散傅里葉變換得到頻譜曲線，再采用高通濾波器去除低頻分量，獲得的高頻尖峰坐標即為原始幀率。同樣，該算法通過設計合理的自適應閾值來區分原始幀段和插值幀，從而定位插值幀。

該方法重點考慮了基于運動補償的幀率上轉換篡改行為，當上轉換倍率小于4時，檢測準確率大于93.5％，但當上轉換倍率超過4時，檢測準確率會產生不穩定波動。其優點在于可以從原始幀序列中自動區分上轉換視頻序列，并且有較低的時間復雜度。其缺點在于，當待檢測視頻序列包含快速場景切換時，平均紋理差值的異常會導致插值幀誤判為原始幀，降低了檢測準確率。

3.3.5 基于運動效應的算法

在國內對幀率上轉換領域持續取得研究進展的同時，2017年韓國國防科學研究所的Jung[11]團隊提出了一種新的檢測算法：基于運動軌跡周期性的檢測，他們注意到上轉換插值信息周期性體現在像素塊位置的移動上，而基于運動補償的上轉換篡改視頻的運動向量（如圖6所示）滿足特征要求。

圖6 運動補償中的運動向量

3.4 檢測目標包含篡改方式識別

迄今為止，針對視頻是否經過幀率上轉換篡改問題，最高可實現接近100%的準確率。另外，在幀率上轉換篡改領域，針對基于運動補償方式的研究越來越多，為了更細粒度的檢測篡改，需要對篡改方式進行分類識別。

基于運動補償的上轉換篡改算法由2部分組成：運動估計和運動補償，不同的運動補償算法主要差異在于上述2個部分的不同，其中運動估計包括4類：單向運動估計[25,41]、雙重運動估計[24,26-27]、單雙向運動估計[29-30,42]、多假設運動估計[43]；運動補償主要包括以下5類：直接運動補償[44]、重疊塊運動補償[25]、自適應重疊塊運動補償[26]、多通道混合模式[29]和選擇方向運動估計模式[30]，其中，重疊塊運動補償能有效減輕塊效應，應用廣泛。

由于上述不同運動估計和運動補償方式的不同組合，理論上可以對不同上轉換篡改算法進行分類。該方法中，團隊創新性地對11種不同的基于運動補償的上轉換篡改算法進行分類，采用基于12類集成分類器的誤差糾錯碼[32]將多維分類轉化成66個二進制分類問題，一階馬爾可夫特征對應二進制向量，根據輸出向量與碼字之間的最小漢明距離實現分類。

4 檢測算法對比與總結

4.1 樣本匯總對比

算法樣本匯總如表3所示。

綜上所述，在視頻幀率上轉換檢測領域，樣本分辨率范圍較一致，所選取的原始幀率和上轉換幀率也較一致，但至今沒有標準樣本庫，仍存在多種參數配置不一致的情形，不僅影響了各類算法的檢測準確率，更阻礙了上轉換檢測領域的后續研究。因此，建立一個標準樣本庫顯得尤為迫切。

4.2 算法準確率對比

由于缺乏統一標準的樣本庫，各類檢測算法的檢測準確率無法公正地對比衡量，本文分別對各類方法準確率進行匯總，具體如表4所示。

根據表4，可得如下結論。

1) 針對未壓縮視頻：基于幀間相似度分布的檢測準確率最高，為99%。

2) 針對H.264/AVC壓縮視頻：基于幀間相似度分布的檢測準確率最高，為97%。

3) 針對MPEG-2壓縮視頻：基于差值信息分布的檢測準確率最高，為83.24%。

4) 針對幀復制篡改：基于運動效應分布的檢測準確率最高，為97%。

5) 針對幀平均篡改：基于運動效應分布的檢測準確率最高，為93.2%。

6) 針對運動補償篡改：基于運動效應的檢測準確率最高，為95.2%。

7) 針對分類識別篡改方式：基于差值信息分布的分類準確率最高，為81.27%。

表3 算法樣本匯總

表4 平均檢測準確率列表

表5 優缺點分析?檢測目標不包含篡改方式識別

表6 優缺點分析?檢測目標包含篡改方式識別

4.3 算法優缺點對比

檢測目標不包含篡改方式識別和包含篡改方式識別的優缺點分析分別如表5和表6所示。

總體來說，上述各類篡改檢測算法有各自的適用場景和優缺點；在上轉換檢測領域，未來可以針對識別篡改方式進行深入研究，擴大算法的適用場景、提升分類識別的準確率。

5 結束語

5.1 總結

隨著視頻成為主要的信息傳播媒介，幀率上轉換領域逐漸興起。在引言部分，介紹了幀率上轉換技術的研究發展過程、國內外主要研究團隊及其研究情況。在視頻幀率上轉換概念與分類部分，介紹了上轉換算法的概念，詳細闡述了3類上轉換算法框架與思路，匯總了目前典型的上轉換算法，相較基于非運動補償的上轉換算法，基于運動補償的上轉換算法研究體系更加完善，所以針對后者的檢測算法成為上轉換檢測領域的研究重點。在第4節，根據是否包括對上轉換算法的分類檢測分別對近15年該領域的算法思路展開框架分析、優缺點分析、樣本分析等。

本文創新性有兩點。一方面，本文聚焦視頻幀率上轉換檢測領域，系統綜合全面地分析了該問題出現的背景及現狀。從算法邏輯、檢測范圍、檢測準確率等方面對現有檢測算法進行了深度比較。另一方面，本文作為幀率上轉換檢測領域的綜述性文章，總結概括了前人的研究成果，為后來研究人員知悉該領域現狀提供了巨大的便捷，并且在參考文獻部分，囊括了上轉換領域的絕大部分文章，為后來者節省大量的資料搜集時間。

5.2 展望

雖然幀率上轉換檢測已經取得了相當高的準確率，但由于應用場景的變化多樣，需要的檢測指標也日趨復雜，上轉換檢測領域仍有很多需要分析解決的問題。

1) 到目前為止，全部的檢測算法均依賴手工特征，而手工特征更多地依賴專家經驗，這使上轉換痕跡的提取過高地受專家知識限制，忽略其他的潛在特征。

如今，處理器等硬件設備不斷發展、日趨革新，這使智能的學習上轉換痕跡成為可能。實驗證明神經網絡具備擬合任意復雜函數的特點，可以構造相當復雜的非線性映射，并且深度神經網絡能產生足夠高的假設空間維度，具有強大的信息表征能力，更重要的是，其提取的特征比人工提取的特征具備更優的泛化性能，可以學習深層痕跡信息。將神經網絡與上轉換檢測相結合，不但能夠學習到人類難以發現的信息，還能夠保證檢測的頑健性，因此，如何將神經網絡應用到上轉換篡改痕跡的提取上具有重要意義。

2) 運動補償方式各式各樣，使基于運動補償方式的上轉換算法也各具特點。對于需要獲得原始視頻的人而言，知道篡改者采用的篡改方法會大幅度降低恢復原始視頻的難度，因此，分類識別篡改方式顯得尤為重要。實驗證明，深度學習在圖像識別分類領域有著卓越的表現，對于上轉換篡改方式的分類問題，可以構造篡改痕跡特征圖作為圖像樣本，針對不同上轉換算法，構造的特征圖各不相同，通過對特征信息的深層學習實現更加智能準確的分類結果。由于深度學習是通過對訓練樣本的學習得到分類模型，這意味著需要足夠大的樣本量。對于上轉換算法分類問題，匯集各類篡改方式的視頻，建立專用視頻樣本庫顯得尤為重要，另外，通過視頻解成幀等方法也是擴大樣本量的有效途徑。

[1] GIRONI A, FONTANI M, BIANCHI T. A video forensic technique for detecting frame deletion and insertion[J]. IEEE International Conference on Acoustics, Speech and Signal Processing. 2014:6226-6230.

[2] LUO W, QU Z, PAN F, et al. A survey of passive technology for digital image forensics[J]. Frontiers of Computer Science in China. 2008, 1(2):166–179.

[3] 黃昆侖，白蔚. 視頻幀率上轉換技術綜述[J]. 數字通信世界，2011(5):82-84.HUANG K L, BAI W. Overview of video frame rate up-conversion technology[J]. Digital communication world, 2011(5):82-84.

[4] LUO W, WU M, HUANG J. MPEG recompression detection based on block artifacts[J]. Proceedings of SPIE-The International Society for Optical. 2008, 6819: 68190X -68190X-12.

[5] DING X, YANG G, Li R. Identification of motion-compensated frame rate up-conversion based on residual signal[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2017, PP(99):1-1.

[6] BESTAGINI P, BATTAGLIA S, MILANI S, et al. Detection of temporal interpolation in video sequences[C]// IEEE International Conference on Acoustics, Speech and Signal Processing. 2013:3033-3037.

[7] BIAN S, LUO W, HUANG J. Detecting video frame-rate up-conversion based on periodic properties of inter-frame similarity[J]. Multimedia Tools & Applications, 2014, 72(1):437-451.

[8] 夏明, 楊高波, 黃勤珍. 使用PSNR周期特性檢測視頻幀率上轉偽造[J]. 計算機應用研究, 2016, 33(8): 2409-2412.XIA M, YANG G B, HUANG Q Z. Detecting frame-rate up-conversion forgery in videos using periodicity of PSNR change[J]. Application Research of Computers, 2016, 33(8): 2409-2412.

[9] YAO Y, YANG G, SUN X. Detecting video frame-rate up-conversion based on periodic properties of edge-intensity[J]. Journal of Information Security & Applications, 2016, 26(C):39-50.

[10] XIA M, YANG G, LI L. Detecting video frame rate up-conversion based on frame-level analysis of average texture variation[J]. Multimedia Tools & Applications, 2017, 76(6):8399-8421.

[11] JUNG D J, LEE H K. Frame-rate conversion detection based on periodicity of motion artifact[J]. Multimedia Tools & Applications, 2017(1):1-22.

[12] CHAO J, JIANG X, SUN T. A novel video inter-frame forgery model detection scheme based on optical flow consistency[M]. Digital Forensics and Watermarking. Springer Berlin Heidelberg, 2013:267-281.

[13] WU Y, JIANG X, SUN T. Exposing video inter-frame forgery based on velocity field consistency[C]//IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2014: 2674-2678.

[14] LIU Y, HUANG T. Exposing video inter-frame forgery by Zernike opponent chromaticity moments and coarseness analysis[J]. Multimedia Systems, 2017, 23(2):223-238.

[15] ORCHARD M T, SULLIVAN G J. Overlapped block motion compensation: an estimation-theoretic approach.[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 1994, 3(5):693-9.

[16] KANG S J, CHO K R, KIM Y H. Motion compensated frame rate up-conversion using extended bilateral motion estimation[J]. IEEE Transactions on Consumer Electronics, 2008, 53(4):1759-1767.

[17] CHOI B D, HAN J W, KIM C S. Motion-compensated frame interpolation using bilateral motion estimation and adaptive overlapped block motion compensation[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2007, 17(4):407-416.

[18] KANG S J, YOO S, KIM Y H. Dual motion estimation for frame rate up-conversion[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2011, 20(12):1909-1914.

[19] LI R, GAN Z, CUI Z. Multi-channel mixed-pattern based frame rate up-conversion using spatio-temporal motion vector refinement and dual-weighted overlapped block motion compensation[J]. Journal of Display Technology, 2014, 10(12):1010-1023.

[20] YOO D G, KANG S J, KIM Y H. Direction-select motion estimation for motion-compensated frame rate up-conversion[J]. IEEE/ OSA Journal of Display Technology, 2013, 9(10):840-850.

[21] LIN H Y, TSAI T H. High visual quality particle based frame rate up conversion with acceleration assisted motion trajectory calibration[J]. Journal of Display Technology, 2012, 8(6):341-351.

[22] LIU H, XIONG R, ZHAO D. Multiple hypotheses bayesian frame rate up-conversion by adaptive fusion of motion-compensated interpolations[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2012, 22(8):1188-1198.

[23] 陳偉. 基于運動估計和運動補償的幀率上轉換算法研究[D]. 哈爾濱工業大學, 2016. CHEN W. Research on frame rate up-conversion algorithm based on motion estimation and motion compensation[D]. Harbin Institute of Technology, 2016.

[24] KANG S J, CHO K R, KIM Y H. Motion compensated frame rate up-conversion using extended bilateral motion estimation[J]. IEEE Transactions on Consumer Electronics, 2008, 53(4):1759-1767.

[25] ORCHARD M T, SULLIVAN G J. Overlapped block motion compensation: an estimation-theoretic approach[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 1994, 3(5):693-9.

[26] CHOI B D, HAN J W, Kim C S, et al. Motion-compensated frame interpolation using bilateral motion estimation and adaptive overlapped block motion compensation[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2007, 17(4):407-416.

[27] KANG S J, YOO S, KIM Y H. Dual motion estimation for frame rate up-conversion[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2011, 20(12):1909-1914.

[28] 胡圓圓. 基于視覺顯著性的視頻關鍵幀提取與幀速率上轉換[D]. 南京郵電大學, 2016.HU Y Y. Video key frame extraction and frame rate up conversion based on vision saliency[D]. Nanjing University of Posts and Telecommunications, 2016.

[29] LI R, GAN Z, CUI Z. Multi-channel mixed-pattern based frame rate up-conversion using spatio-temporal motion vector refinement and dual-weighted overlapped block motion compensation[J]. Journal of Display Technology, 2014, 10(12):1010-1023.

[30] YOO D G, KANG S J, KIM Y H. Direction-select motion estimation for motion-compensated frame rate up-conversion[J]. IEEE/ OSA Journal of Display Technology, 2013, 9(10):840-850.

[31] MAHDIAN B, SAIC S. Blind authentication using periodic properties of interpolation[J]. IEEE Transactions on Information Forensics & Security, 2008, 3(3):529-538.

[32] DIETTERICH T G, BAKIRI G. Solving multiclass learning problems via error correcting output codes[J]. Journal of Artificial Intelligence Research, 1995, 2(1):263--286.

[33] POPESCU A C, FARID H. Exposing digital forgeries by detecting traces of resampling[J]. IEEE Transactions on Signal Processing, 2005, 53(2):758-767.

[34] VAZQUEZ-PADIN D, COMESANA P. ML estimation of the resampling factor[C]// IEEE International Workshop on Information Forensics and Security. IEEE, 2012:205-210.

[35] KIRCHNER M. Fast and reliable resampling detection by spectral analysis of fixed linear predictor residue[C]// The Workshop on Multimedia & Security. ACM, 2008:11-20.

[36] HUANG H C, FANG W C. Metadata-based image watermarking for copyright protection[J]. Simulation Modelling Practice & Theory, 2010, 18(4):436-445.

[37] KOBAYASHI M, OKABE T, SATO Y. Detecting forgery from static-scene video based on inconsistency in noise level functions[J]. IEEE Transactions on Information Forensics & Security, 2010, 5(4):883-892.

[38] LIAO D, YANG R, LIU H. Double H.264/AVC compression detection using quantized nonzero AC coefficients[J]. Proceedings of SPIE - The International Society for Optical Engineering, 2011, 7880(2):78800Q-78800Q-10.

[39] TEKALP A M. Digital video processing[M]. Englewood Cliffs, NJ: Prentice Hall; 1995.

[40] KAUFMAN P J. Smarter Trading: Improving Performance in Changing Markets[M]. McGraw-Hill; 1995: p. 138–51.

[41] KIM U S, SUNWOO M H. New frame rate up-conversion algorithms with low computational complexity[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2014, 24(3):384-393.

[42] TSAI T H, Lin H Y. High visual quality particle based frame rate up conversion with acceleration assisted motion trajectory calibration[J]. Journal of Display Technology, 2012, 8(6):341-351.

[43] LIU H, XIONG R, Zhao D. Multiple hypotheses Bayesian frame rate up-conversion by adaptive fusion of motion-compensated interpolations[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2012, 22(8):1188-1198.

[44] DAR Y, BRUCKSTEIN A M. Motion-compensated coding and frame rate up-conversion: models and analysis[J]. IEEE Transactions on Image Processing, 2015, 24(7): 2051-2066.

Review of video frame rate up conversion detection

HE Tianqi1, JIANG Xinghao1, 2, SUN Tanfeng1, 2

1. School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University, Shanghai 200240, China 2. National Engineering Lab on Information Content Analysis Techniques, Shanghai 200240, China

Video frame rate up-conversion detection technology is a kind of video forensics technology. In order to systematically elaborate the research progress in the field of video up-conversion detection and guide the follow-up research of video up-conversion detection algorithms, the main algorithms of up-conversion detection technology are summarized. First of all, elaborate the relevant research history and development process and summarize the up-conversion concept and technical framework. According to the purpose of the detection technology, classify and explain the existing algorithms. Finally, the main research teams in the field and their research results were summarized. From the aspects of algorithm framework and test results, compare the existing detection techniques and propose two prospects. Video frame rate up-conversion is an important part of video post-processing technology, and still need further research.

video forensics, frame rate up conversion, frame rate up conversion detection, periodic analysis, tamper algorithm identification and classification

TP391

A

10.11959/j.issn.2096-109x.2018085

何天琦（1995-），女，安徽池州人，上海交通大學碩士生，主要研究方向為視頻幀率上轉換篡改檢測。

蔣興浩（1976-），男，上海人，上海交通大學教授、博士生導師，主要研究方向為互聯網內容安全、視頻內容智能理解與網絡傳播控制、多媒體篡改檢測分析取證技術、網絡協議內容分析。

孫錟鋒（1975-），男，上海人，上海交通大學副教授，主要研究方向為視頻篡改分析視頻水印技術。

2018-08-07；

2018-09-17

何天倚，htq_2011@163.com