實時超高清電影模式檢測算法及其實現

李潤祥，孫 軍，高志勇，陳 立

（上海交通大學 圖像通信與信息處理上海市重點實驗室，上海 200240）

實時超高清電影模式檢測算法及其實現

李潤祥，孫 軍，高志勇，陳 立

（上海交通大學 圖像通信與信息處理上海市重點實驗室，上海 200240）

為了解決當幀率上變換算法遇見超高清電影模式序列時，由于重復幀導致運動矢量場無法收斂到真實軌跡，設計了一種高效率的電影模式檢測與實現的方法。將視頻圖像進行分塊不規則采樣，對各個子塊進行像素直方圖統計，根據統計結果來進行電影模式處理，最后經過FPGA硬件驗證及RC綜合。實驗結果證明，該算法設計在實時處理50/60 Hz超高清序列大數據流量時僅需很小的存儲器資源，并且可以快捷準確地對電影模式進行實時檢測處理，特別是局部運動的序列檢測。

分塊；不規則采樣；大數據量

近年來，消費者大眾追求高品質視覺享受的市場需求和視頻處理技術快速發展的客觀條件共同促進了超高清電視產業的飛速發展。然而現今傳輸系統帶寬的約束，超高清電視視頻流只能以較低的速率傳輸。與此同時，超高清顯示設備的刷新頻率又有較大的提升，視頻播放幀率低于屏幕刷新率，這一失配直接導致圖像出現停頓、模糊、拖影等現象，造成視覺效果不佳。因此視頻幀率上變換技術必然成為重要的視頻后處理方式，能有效提升顯示視頻的幀率，在高刷新率的顯示屏上提高視頻的主觀質量。

受限于實現復雜度，目前幀率上變換設備多采用基于有限數目運動候選矢量的方法，此類方法的矢量場經過若干幀后趨于收斂[1]。電影在電視里播放時，通常采用3∶2或2∶2重復幀技術，此技術通過添加一定的重復幀使得滿足電視幀率要求。當對這種電影模式進行FRC時，添加的重復幀導致運動矢量場不斷重新歸零，從而無法收斂到真實的運動軌跡。因此需要對視頻流進行實時檢測，以便在發現電影模式信號時及時進行特殊處理。對滿足一定播放幀率的超高清視頻進行實時檢測，首先需要解決的是算法在實現上必須滿足30 Hz/50 Hz/60 Hz超高清視頻流的處理速度；其次必須考慮算法在實現后所耗費的資源大小；最后必須在以上條件下有較高的檢測正確率[2]。

傳統常見的電影模式檢測方法通常包括兩種：第一種比較前后兩幀像素絕對差判定[3]，第二種直方圖統計[4-5]。前者至少預存取兩幀的數據量，再前后進行絕對差值，統計絕對差和與閾值進行比較。這種方式的電影模式檢測準確度高，但存儲量和計算量非常大不適合硬件實現；相反地，直方圖統計方法相對存儲量較小，它把所有數據按照灰度范圍進行直方圖統計計數，有效地減少了存儲數據量，但是由于直方圖統計通常只能反映全局統計信息，其檢測的準確率很低，尤其對于局部運動或小速率運動更是難以檢測出來。因此，尋求一種超高清序列下低復雜度、低存儲資源、高檢測率的電影模式檢測方法非常必要。本文算法設計正是基于這樣的背景下，解決以上問題的最佳實現處理方法。

1 電影模式檢測算法

1.1 算法設計架構

本文采用一種對圖像進行不規則采樣和分塊直方圖統計像素信息的方式，巧妙地達到了既大大減少數據存儲量同時又增強算法的靈敏度的目的。算法流程如圖1所示。

圖1 電影模式檢測算法流程

如圖1所示，電影模式檢測算法包括以下步驟：

1）將序列中的每一幀圖像劃分成多個圖像子塊，每個子塊對應一個直方圖統計；

2）圖像子塊進行不規則采樣，選擇特定像素進行直方圖統計；

3）計算兩幀對應各圖像子塊的直方圖絕對值差和，根據此值判斷是否為重復幀；

4）根據重復幀出現的模式推斷出序列是否為電影模式。

1.2 圖像分塊、不規則采樣算法

圖像概要采樣如圖2所示，分辨率為3 840×2 160。其中黑色代表有效的采樣像素點，對圖像進行分塊直方圖統計，寬、高平均分為6等份共6×6個子塊，圖中方框代表一個子塊，每個子塊的尺寸則為640×360。其中采用圖像分塊技術對算法性能進行分析。

對整幀圖像進行36等分，及做36個獨立的直方圖統計表，每個直方圖統計表只和前后相鄰幀的對應位置的分塊像素值有關聯。這種方式與傳統的全局直方圖統計的優點如圖3所示。

圖2 3 840×2 160圖像概要采樣方式

圖3 分塊直方圖統計

當序列出現小物體局部運動時，如圖3所示分為1、2、3、4子塊直方圖單獨統計，小球從1移動到4，采用分塊直方圖統計的方式進行圖像運動的檢測。相鄰的直方圖統計分塊沒有數據之間的聯系，最終統計各個直方圖數值絕對值差和，會檢測到雙倍小物體像素值顯示前后兩幀圖像之間的誤差。因此，分塊方式能有效檢測出小物體運動的情況。

下面對基于分塊直方圖的不規則采樣方式進行詳細分析，每個子塊的采樣方式如圖4所示。

圖4 640×360子塊概要采樣方式

相鄰的子塊之間采用相同的采樣方式，然而各個子塊內部又再分4塊采樣區，相鄰采樣區的采樣率和采樣方式卻不相同，采用不規則采樣技術對算法性能進行分析。

當對整幅圖像進行如圖4所示大小的子塊進行分塊以后，進一步對子塊進行如圖4所示的不規則采樣，及各個分塊中兩兩相鄰的采樣區進行不規則采樣。這樣的做法與傳統均勻采樣方式有明顯的優勢，非常適用在物體的小范圍運動情形下，如圖5所示。

當前后幀圖像中有物體在子塊內局部運動時，如圖5所示小球晃動，若采用傳統分塊直方圖均勻采樣方式，顯然根據采樣得到的直方圖統計數據幾乎檢測不出運動結果。但是，若采用不規則采樣方式進行檢測，如圖中物體小范圍運動，球體某部分必將跨越采樣率多和采樣率少的區域。由于采樣數據量的不同，最終表現在分塊直方圖統計中的效果便是明顯的差異。因此基于分塊直方圖統計不規則采樣方式的算法能準確地檢測出物體小范圍運動的情況。

圖5 不規則采樣圖

正是由于這種圖像分塊非均勻采樣，使得在采樣量減少的情況下檢測率依然很高。

1.3 算法實現結構資源分析

以下說明電影模式檢測硬件架構及實現過程。

如圖6所示，本文算法電影模式檢測包括控制、存儲器、判斷三大模塊。

1）控制模塊：對視頻流數據進行選擇控制，允許通入的像素進行分塊直方圖統計；根據像素所在的灰度級計算存儲器的訪問地址；并產生相應的讀寫使能及片選信號。

2）存儲器模塊：用于存儲連續兩幀圖像子塊的像素直方圖，以及它們的直方圖差。

3）判斷模塊：用于計算直方圖差總和，并和預定的非零閾值作比較，并產生二值信號；并根據連續的二值模式規律判斷該序列是否為電影模式以及所述電影模式的類型。當連續相互符合的次數達到進入閾值時，判斷進入電影模式；否則跳出電影模式，進入正常的電視模式。

圖6 電影模式檢測算法硬件框圖

現使用60 Hz幀率超高清視頻源，僅對灰度值采樣。分析本文算法實時實現的性能和所占用資源。

由于采用以上不規則采樣方式，并且考慮到設計時鐘頻率控制在穩定區域，可采用在以上采樣方式下再進行均勻間隔3像素采樣，不影響算法效果。

基于上述實現方式，由公式可知，算法根據視頻數據流實際處理有效像素的頻率是

式中：fclk是算法實際需要處理像素的頻率；fvideo為輸入視頻的幀率此處為60 Hz，Width和Height為輸入視頻的分辨率，此處分別為3 840和2 160；α為進入視頻的采樣格式，此處只采樣亮度值故為1；β為對輸入數據的間隔采樣率，此處為1/4。

由式（1）可知處理有效像素的頻率為124.4 MHz。每幀圖像所采樣的有效數據占總量的1/8。若用寄存器全部存取，將依然耗費很大資源。然而相對于寄存器存儲，使用RAM存儲相同數據使用面積僅為1/6。為進一步減少占用資源，設計如圖6所示的RAM存儲器模塊存儲數據，使用2片block RAM做存儲，面積大為減少。不過使用block RAM做存儲后所帶來的問題：單口入單口出的block RAM，每處理一個有效像素首先需要從RAM中讀出對應位置的直方圖統計值，進行加1或減1后再寫入到對應的RAM位置共需要耗費4個時鐘，在原來頻率上擴大4倍。頻率過高將嚴重影響RAM正常的讀取。采取如圖7所示方式，使用有效數據拼接的方法對數據進行處理，可有效地解決時鐘問題，使處理有效像素頻率降為248.8 MHz。

圖7 有效像素拼湊成RAM地址過程

由此可見，此算法在處理超大數據流量時可以使用最少的資源占用最少的面積。

2 設計實現及結果

本文算法選取4K、YUV（只取Y分量）、10 bit格式共50個測試序列，其中包含電影模式和非電影模式，作為實驗輸入序列。考慮算法在實現上的復雜度和可行性，故選取復雜度低的算法進行對比，分別實現基于全局直方圖統計算法[4]、基于前后幀像素（SAD）檢測算法[3]，還有分塊直方圖統計算法[5]的性能比較。

2.1 不同算法的檢測率比較

分析表1，前后幀SAD算法的檢測率最高，由于存儲了至少2幀數據故占用資源也最多且計算量最大。全局直方圖算法跟分塊直方圖算法把像素信息進行分段計數后統計，資源降低，然而對處理小運動物體和小范圍運動物體檢測率太低，都不適合做實時超高清序列檢測。相對比本文的算法設計利用不規則分塊采樣方式，在傳統算法基礎上既減少了總體采樣像素值，同時增強了算法檢測的靈敏度。雖檢測率比前后幀SAD稍有不足，可占用資源最少且復雜度不大，滿足實時超高清序列檢測的要求。

表1 不同算法性能比較

另外閾值的設定與信道傳輸的信噪比有關，通信信道質量越高，信噪比越高，閾值越低，檢測率越高。

2.2 RC綜合及硬件驗證

以下是對本文算法詳細的性能分析：實驗采用cadence公司軟件RC工具在65 nm工藝下，設置時鐘約束為300 MHz，經過綜合后所占用的資源消耗如表2所示。

表2 ISE 14.4綜合布線Utilization Summary結果

如表2所示，綜合后資源共使用561 175 μm2約0.56 mm2面積。由以上報表可知，算法綜合實現后耗費很少資源。由1.3節分析所知，在使用幀率為60 Hz超高清視頻序列作為視頻源，時鐘需求是248.8 MHz。本次實驗時鐘約束設為300 MHz，綜合后Timing Report中Timing slack為1 ns，表示滿足300 MHz時鐘約束，由此可見本文算法實現后完全滿足248.8 MHz時鐘約束。得出以下結論：本文算法在資源和時鐘頻率都滿足要求的情況下，可以高效地實時檢測30 Hz/ 50 Hz/60 Hz超高清電影模式序列。

3 小結

本文采用一種圖像分塊直方圖、不規則采樣檢測算法分析前后兩幀圖像的像素信息，高效地實時檢測出電影模式序列。圖像分塊且不規則采樣的策略保證本算法對局部運動或小運動敏感，準確率高。并且采用2片Single-port RAM來存取信息值，使算法在處理高速視頻流數據時既有很高的成功檢測率且占用最少的邏輯資源。

[1]DE H G，BIEZEN P W A C，HUIJGEN H，et al.True-motion esti?mation with 3-D recursive search block matching[J].IEEE Trans.Circuits and Systems for Video Technology，1993，3（5）：368-379.

[2]陳遠崢.一種應用于實時FRC中的淡入淡出檢測算法[J].電視技術，2014，38（11）：24-27.

[3] 劉強，陳濤.電影模式視頻信號檢測方法:中國，200810306453 [P].2011-01-12.

[4] 克維克，喬利，格莫德.用于檢測電影模式或攝像機模式的方法:中國，200910252679[P].2010-06-23.

[5] KANG S-J，YOO S，KIM Y H.Scene change detection using multiple histogram，for motion-compensated frame rate up conver?sion[J].Journal of Display Technology，2012，8（3）：121-126.

責任編輯：閆雯雯

Algorithm and Implementation of UHDTV Film Mode Detection for Real-time

LI Runxiang,SUN Jun,GAO Zhiyong,CHEN Li
（Image Communication and Network Technology Institute,Shanghai Jiaotong Unversity,Shanghai 200240,China）

In order to solve the problem of motion vector field unable to converge to the real movement trace,as repeated frames, when meet a sequence of UHD film mode in the algorithm of the frame rate conversion,the high efficient way of implementation and design of film mode detection is designed in this paper.The video sequences are divided into many blocks,which are irregular sampling,for each block through building pixels histogram to perform film mode detection,then the film mode function to be triggered according to the film mode detection results.Meanwhile,the verification and implementation are also processed based on FPGA and RC.The results prove that the algorithm of design has very small storage resources,and can accurately verify the film mode,when it process big data,such as 50/60 Hz UHDTV,especially for the sequential of local movement.

blocks;irregular sampling;big data

TN949.198

A

10.16280/j.videoe.2015.08.010

2014-10-15

【本文獻信息】李潤祥，孫軍，高志勇，等.實時超高清電影模式檢測算法及其實現[J].電視技術，2015，39（8）.

國家自然科學基金項目（61133009）