高色彩飽和度視頻序列過渡幀合成仿真優化

楊舒悅，劉維浩

(1.南昌大學，江西南昌330031；2.培材大學，韓國030008)

1 引言

視頻色彩飽和度指的是視頻內色彩的鮮艷程度，在HSV色彩模型的視角下，色彩飽和度的取值范圍在0～100%，飽和度數值越大則表明色彩飽和度的等級越高[1]。視頻序列能夠將有時空聯系的視頻圖像按照一定的順序進行排列組合，在定義了視頻的起始關鍵幀和結束關鍵幀后，兩者之間的幀則定義為過渡幀[2]。隨著多媒體以及網絡技術發展，視頻處理技術已成成為了當今研究的熱點，視頻領域內存在著多種格式的過渡幀，根據視頻序列的需求合成處理過渡幀已經成為了研究難點[3]。為此研究一種高色彩飽和度視頻序列過渡幀合成仿真優化方法，國外在研究過渡幀合成較早，自20世紀80年代開始，如今已經研究的到了多種幀率處理技術，在仿真優化過渡幀合成技術上也獲得了多個分析模型。國內研究視頻序列過渡幀起步較晚，在仿真優化過渡幀的合成還處于起步階段[4]。綜合國內外的研究成果來看，仿真優化高色彩飽和度視頻序列過渡幀合成是很有必要的，為此提出高色彩飽和度視頻序列過渡幀合成仿真優化。

2 高色彩飽和度視頻序列過渡幀合成仿真優化

2.1 獲取高色彩飽和度視頻序列過渡幀

定義視頻內的起始關鍵幀，以視頻內的起始關鍵幀作為研究起點，轉換處理含有色彩飽和度的像素點[5]，轉換處理過程就可表示為

(1)

(2)

上述計算公式中，T表示視頻幀的重復周期參數，其余參數含義不變。隨著過渡幀的不斷推移，為了控制序列質量，在視頻序列的播放刻度下，設定實際的插幀位置，設定的插幀位置如圖1所示。

圖1 設定的過渡幀插幀位置

在圖1所示的插幀位置下，為了將單位幀劃分為不重疊的塊，計算各個幀塊之間的歐式距離，計算公式就可表示為：

(3)

其中，m×n表示單位的幀塊，(dx，dy)表示選定視頻幀的位置，I(m，n)表示選定幀像素的亮度值。根據上述計算公式得到歐氏距離大小，以中間像素數值作為對比，劃定像素亮度數值大于中間像素數值的作為高色彩飽和度視頻序列[6]，整合該部分高色彩飽和度的視頻序列作為處理對象，為了消除相同色彩飽和度的視頻幀中運動矢量的一致性[7]，采用遞歸搜索處理獲得的高色彩飽和度視頻序列，控制其在空間與時間上的一致性，根據視頻序列過渡幀運動矢量的收斂性，控制視頻序列內的物體處于單一的遞歸方向后，將當前視頻序列處理為一個矢量集。將該矢量集作為獲取高色彩飽和度視頻序列過渡幀集合，以該集合作為處理基礎，仿真過渡幀合成過程。

2.2 仿真過渡幀合成過程

仿真過渡幀合成過程時，根據上述得到的過渡幀集合，綜合過渡幀集合的大小，設定一個靈活尺寸的窗口，定義最佳匹配過渡幀間的相對位移量，根據選擇不同的起始幀，設定向前與向后的運動仿真窗口，設定的仿真窗口如圖2所示。

圖2 設定的仿真窗口

在圖2所示的仿真窗口下，定義兩種單一仿真方向涉及的圖像塊數量后，計算相同運動軌跡的參考塊與過渡幀間的交匯位置，計算公式可表示為

(4)

其中，λ表示自適應調節函數，?u表示軌跡邊緣梯度參數，k表示調節參數。以該交匯位置作為仿真窗口與過渡幀合成的開始點，為了控制仿真窗口與過渡幀合成間的匹配[8]，使用全搜索運動估計對過渡幀中所有的點進行搜索，為了降低搜索過程產生的復雜度，設定一個標準像素塊消除過程，搜索幀產生的冗余計算量，消除過程就可表示為

|R-M(x，y)|≤MAD(x，y)

(5)

其中，R表示搜索參數，M(x，y)表示過渡幀的位置，MAD(x，y)表示標準像素塊的位置。消除該部分冗余計算量后，將剩余的搜索幀作為仿真窗口的內插幀，使用MVF處理技術處理內插幀為一個運動的矢量場，濾波處理該矢量場后，使用自適應加權矢量中值濾波算法控制仿真窗口與過渡幀間的精度處于一個固定的數值區間內[9]，采用4×4塊的仿真窗口在該區間內作用，當仿真窗口處理的合成塊處于過渡幀的邊界時，投影處理該過渡幀的運動矢量，投影處理過程如圖3所示。

圖3 投影處理過程

在上圖所示的投影處理下，根據運動矢量在二維坐標系中表現出的正負數值的絕對值，分類處理窗口未處理的過渡幀，當過渡幀的矢量不再發生變化時，則表示仿真窗口完成了對過渡幀合成過程的仿真[10]。在上述過渡仿真過程內設定一個優化參數，增強仿真過程的魯棒性。

2.3 設定合成仿真優化參數

根據上述設定的仿真過渡幀合成過程可知，在仿真窗口處理過程中，窗口的仿真參數會隨著移動過程產生一定的衰減，不同階段的仿真窗口存在一定的偏差，計算該部分產生的偏差，計算公式可表示為

(6)

其中，η表示仿真窗口的二階矩均值，β1表示仿真窗口的移動數值，gt表示衰減參數。根據該偏差參數可知，仿真參數的衰減對過渡幀產生了一定的像素誤差，影響了仿真結果得到的量化指標[11]。為此在仿真參數內設定一個固定的范數，控制產生的像素誤差。以相近的過渡幀作為處理對象，設定真實的仿真中間幀為It，計算該部分損失，計算公式就可表示為

(7)

圖4 設定的感知模擬過程

在圖4所示的感知模擬過程下，將仿真窗口處理過的過渡幀看作為一個池化層，聯合上述計算式(7)，計算得到仿真過程產生的感知損失，計算公式可表示為

(8)

3 實驗

3.1 實驗準備

選取時長為30分鐘的高色彩飽和度視頻，根據各個幀之間的時空相鄰塊之間的位置，連續采樣100幀，采集過程可表示為圖5。

圖5 設定的過渡幀采集過程

在圖5所示的采集過程下，將不同幀之間的過渡作為實驗對象，將10幀作為一個測試組，設定測試組的參數，參數結果如表1所示。

表1 設定的視頻幀參數

以上表所示的視頻幀參數作為實驗對象，分別使用傳統仿真優化方法、文獻[2]中的仿真優化方法以及文中設計的仿真優化方法進行實驗，對比三種仿真優化方法的性能。

3.2 實驗結果及分析

基于上述實驗準備，選擇上表1中50幀的圖像進行處理，定義三種仿真優化方法處理后的視頻序列信噪比可計算得到

(9)

圖6 三種仿真優化方法信噪比結果

由圖6所示的信噪比結果可知，在三種仿真優化方法的控制下，隨著仿真優化幀數不斷地增加，傳統合成優化方法仿真優化的信噪比數值的數值最小，文獻[2]中的仿真優化方法仿真優化后的視頻序列信噪比數值大于傳統仿真優化方法，而文中設計的仿真優化方法，與兩種現有的仿真優化方法相比，實際仿真優化的信噪比數值最大，合成得到的視頻序列圖像質量最強。

保持上述實驗環境不變，以三種仿真優化方法的信噪比數值作為變量，設定其變量區間在10～60dB之間，統計三種仿真優化方法實際編碼處理過渡幀的時間，時間結果如表2所示。

表2 三種仿真優化方法的編碼處理時間

由表2所示的實驗結果可知，設定固定的視頻序列信噪比數值區間后，統計三種仿真優化方法的處理時間，根據表中的時間結果可知，傳統仿真優化方法平均編碼時間在340s左右，所需的編碼時間最長。文獻[2]中的仿真優化方法的平均編碼時間在225s左右，實際編碼時間較短，而文中設計的仿真優化方法所需的平均編碼時間在110s左右，與兩種現有的仿真優化相比，該種仿真優化方法編碼過渡幀所需的時間最短。

在上述實驗環境下，選定實驗準備所有測試組中的視頻幀，使用上述計算式(9)計算視頻幀的信噪比數值，計算各個測試組內過渡幀的比特率，計算公式可表示為

(10)

其中，T表示仿真優化的處理時間，ε表示過渡幀的參數，其余參數含義不變。使用上述計算公式計算三種仿真優化方法的比特率，比特率結果如表3所示。

表3 三種仿真優化方法的比特率結果

由表3所示的實驗結果可知，在相同數量及相同信噪比數值的視頻幀作為實驗對象，三種仿真優化方法表現出了不同大小的比特率結果，根據上表中的數值可知，傳統仿真優化方法得到的比特率數值最小，對應仿真優化過程傳送處理的過渡幀數據量最小，文獻[2]中的仿真優化方法得到的比特率數值較大，對應仿真優化傳送處理過渡幀的數據量也較大，而文中設計的仿真優化方法得到的比特率數值最大，對應傳送處理過渡幀的數據量最大，與兩種現有的仿真優化方法相比，文中設計的仿真優化方法可處理過渡幀數據量最大。綜合上述實驗結果可知，文中設計的仿真優化方法得到的視頻序列過渡幀信噪比數值最大、編碼處理時間最短且得到的比特率數值最大，適合實際在實際處理中使用。

4 結束語

在視頻處理技術不斷的發展下，對高色彩飽和度視頻序列過渡幀合成仿真優化成為了研究熱點，文中提出的仿真優化方法，經實驗研究證明，能夠一定程度地改善現有仿真優化方法的不足，能夠為今后仿真優化視頻序列過渡幀的合成提供一定的研究方向。