上下變換對視頻圖像質量的影響*

楊躍華，孟 放，姜秀華

（中國傳媒大學 信息工程學院，北京 100024）

1 引言

上下變換是實現高標清素材格式轉換的主要方法之一，而這種變換不可避免地會引起圖像質量的下降。目前，常用的圖像質量評價方法可分為主觀評價和客觀評價兩大類：1）主觀評價結果具有較高的可靠性，但該評價體系對環境因素、觀看條件以及觀看人員等要求較嚴格，且試驗的可重復性較差；2）客觀評價算法的測量指標具有客觀性，同時具有操作過程可重復等諸多優點。但客觀評價算法至今仍處于研發階段，其評價結果與人眼視覺感知也還存在一定的差異[1]。

在電視節目制播過程中，有時需要進行一次或多次上下變換來完成對指定素材的處理。對于這種變換所引起的圖像質量下降，筆者提出從圖像信息熵和邊緣能量兩個角度對損傷情況進行客觀評價，并通過試驗測量多次變換下的視頻圖像質量損傷來驗證算法的可靠性。

2 高標清圖像的上下變換

本次試驗所需的素材是通過蘋果非編軟件Final Cut Pro 6及AJA采集卡獲取的。高標清上下變換信號簡易流程圖如圖1所示[2]。

2.1 上變換模式

圖1 上下變換信號簡易流程圖

標清SD上變換到HD主要有3種變換模式[3]（如圖2所示）：1）鑲邊模式中，畫面左右兩邊鑲上了兩條黑邊（見圖2b）；2）信箱模式中，畫面上下兩邊會丟失一部分內容（見圖2c）；3）拉伸模式中，畫面橫向被拉伸，產生變形，但原畫面內容被完整保留（見圖2d）。

2.2 下變換模式

高清HD下變換到SD主要也有3種變換模式[3]（如圖3所示）：1）切邊模式中，畫面左右兩邊丟失一部分內容（見圖3b）；2）信箱模式中，畫面上下兩邊加黑邊，但內容完整，比例正常（見圖3c）；3）壓縮模式中，畫面橫向被壓縮，產生變形，但內容完整（見圖3d）。

2.3 多次變換模式

上下變換過程中所采用的拉伸模式（圖2d）和壓縮模式（圖3d）會造成圖像內容的明顯變形，因此在實際電視節目制播過程中一般很少采用這兩種模式。

在原始素材為高清或標清格式下，兩次變換后，高清經切邊模式下變換再經鑲邊模式上變換（見圖4a）或者標清經鑲邊模式上變換再經切邊模式下變換 （見圖4b）后的圖像對畫面的破壞最小，是筆者所考慮的多次變換模式。圖4中的邊框確定了畫面在變換前后內容基本相似的部分，也是本文第4節算法設計中所定義的“有效區域”。

3 圖像質量客觀評價指標

在進行上下變換處理的過程中，濾波、采樣、顏色空間變換等處理會對圖像質量造成一定的損傷。圖像模糊是高標清上下變換過程中最常見的現象之一，表明圖像邊緣細節減少，丟失了一些圖像內容信息，在客觀指標上可用亮度熵、色度熵及圖像邊緣能量等參數來衡量。

3.1 圖像信息熵

對于一幀圖像，亮度熵和色度熵代表該幀圖像所含亮度、色度的平均信息量。其值越大，說明圖像各亮度級、色度級出現概率相近，圖像亮度、顏色層次豐富。

在計算圖像信息熵時，考慮了亮度熵和色度熵這兩個信息，旨在減少對亮度熵或色度熵單個指標的依賴

式中：p（x）代表亮度值或者色度值為x時出現的概率大小。信息熵定義為

U熵（HU）和V熵（HV）統稱為色度熵。對一幅圖像而言，影響圖像信息熵最大的因素為亮度熵（HL），其集中反映出圖像灰度的豐富程度，即灰度層次越豐富，則圖像的信息熵越大。色度熵反映出圖像顏色的豐富程度，圖像顏色層次越豐富，則圖像的信息熵就越大。U熵、V熵和亮度熵對評價結果的影響并不相同，試驗中以0.25，0.25，0.5分別對其加權得到信息熵。

3.2 圖像邊緣能量

邊緣能量[4]反映了圖像所含細節的多少，是衡量圖像品質優劣的標準之一。在上下變換過程中，會因高頻信息的丟失而造成圖像邊緣模糊、清晰度下降等。通過比較變換前后圖像邊緣能量的差異，可分析上下變換對圖像質量的影響。試驗中，采用Sobel算子提取圖像邊緣信息，圖像及對應的邊緣圖如圖5所示。性，能更好地反映出一幅圖像的特征。熵定義為

對于圖像邊緣的提取，首先定義2個正交方向上的邊緣能量提取模板

式（3）和式（4）分別表示 0°和 90°方向的邊緣能量提取模板。用E1和E2這兩個模板，分別對一幅圖像進行卷積處理，圖像上每點像素對應的邊緣值e（x，y）如

圖像的平均邊緣能量記為E，即

式中：H，W分別代表圖像的寬和高。圖像邊緣能量反映邊緣的豐富程度。圖像質量越好、邊緣越清晰、信息越豐富，則邊緣信號能量值越大；反之，圖像質量較差、邊緣較模糊、所包含的信息少，則其邊緣能量值較小。樹枝序列在經兩次變換后，其邊緣信息減少，如圖5所示。

4 試驗結果及分析

在試驗中選取樹枝（Branch）、花（Flower）兩個高清序列以及樹枝（Branch）、花（Flower）兩個標清序列，原始序列內容如圖6所示。

依據從信息熵和邊緣能量角度對多次變換后的高標清圖像質量損傷進行評價的整體性思路，試驗過程設計如圖7所示。

圖7 試驗流程圖

為保證參數對比的一致性，剔除了圖像的黑邊部分，選取其相同區域（即“有效區域”，如圖4所示的邊框內的畫面部分）進行比較和分析。圖像變換前后信息熵的試驗結果見表1及表2。

表1 高清兩次變換前后信息熵的試驗結果

表2 標清兩次變換前后信息熵的試驗結果

高清序列經兩次變換（切邊_鑲邊）后，Flower序列信息熵的下降程度大，而Branch序列的下降程度小；標清序列經兩次變換（鑲邊_切邊）后，Branch序列信息熵的下降程度大，而Flower序列下降程度小。

試驗結果表明，雖然高標清序列經兩次變換后圖像的信息熵發生了變化，但是變化比較小。在評價高標清圖像上下變換后的質量損傷時，信息熵的測量并不能清晰劃分圖像的損傷程度。

圖像變換前后的圖像邊緣能量試驗數據結果如表3和表4所示。

表3 高清兩次變換前后邊緣能量的試驗結果

表4 標清兩次變換前后邊緣能量的試驗結果

由表3、表4可知，高清圖像經“切邊_鑲邊”模式變換后，Branch序列邊緣能量的下降程度大，達到70.72%，而Flower序列下降程度小，只有29.71%；標清圖像經“鑲邊_切邊”模式變換后，Branch序列邊緣能量的下降程度大，達到27.49%，而Flower序列下降程度小，只有6.70%。

在原始序列中，Branch序列的細節豐富，Flower序列所包含的細節少。試驗結果表明，原始序列細節越豐富，經兩次變換后，邊緣能量下降的程度也就越大，反之，下降的程度就越小，這與人的主觀感知相一致。

5 小結

筆者從圖像信息熵和邊緣能量的角度，對上下變換過程帶來的圖像損傷進行了試驗和分析。結果表明，高標清圖像經多次變換處理之后，其信息熵的損傷效果不太

明顯，而邊緣能量損傷較為明顯。也就是說，圖像邊緣能量比圖像信息熵更適合用來測量上下變換所引起的圖像損傷。如果進一步考慮人眼視覺感知特性，則對于高標清上下變換過程的測量，將會獲得與主觀評價結果更為一致的客觀評價結果，這也是下一步將要開展的工作。

[1] 蒲翠翠，孟放，姜秀華.一種基于人臉區域的圖像質量客觀評價算法[J].電視技術，2008，32（2）：94-96.

[2] 傅靜琴，李顯輝.高清節目制播的挑戰與應對[J].影視制作，2009（5）：48-52.

[3] 楊勇強.對高清上、下變換使用的思考[J].視頻基地，2009（3）：58-61.

[4] 胡曄.圖像邊緣信號能量與MTF的相關研究[J].航天返回與遙感，2005，26（4）：20-24.

楊躍華（1985-），碩士生，主研數字電視技術；

孟 放（1972-），工學博士，副教授，碩士生導師，主要研究方向為視頻圖像質量分析和計算機視覺；

姜秀華（1955-），教授，博導，主要研究方向為數字電視技術、數字視頻信號處理和數字視頻壓縮編碼等。