多媒體通信技術的現(xiàn)狀與待解決問題

張海濤，郭大波

（山西大學商務學院 信息學院，山西 太原 030031）

0 引 言

在計算機行業(yè)里媒體（medium）有兩種含義：其一是指傳播信息的載體，如語言、文字、圖像、視頻、音頻等；其二是指存貯信息的載體，如ROM、RAM、磁帶、磁盤、光盤等，目前，主要的載體有CD－ROM、VCD、網頁等。多媒體是近幾年出現(xiàn)的新生事物，正在飛速發(fā)展和完善之中。我們所提到多媒體技術中的媒體主要是指前者。多媒體技術（Multimedia Technology）是利用計算機對文本（text）、圖形（graphics）、圖像（image）、聲音（sound）、動畫（cartoon）、視頻（video）等多種信息綜合處理，并建立邏輯關系和人機交互作用技術。多媒體技術所涉及的對象是計算機技術的產物，而其它的單純事物，如電影、電視、音響等均不屬于多媒體技術的范疇。它極大地改變了人們獲取信息的傳統(tǒng)方法，符合人們在信息時代的閱讀方式。多媒體技術的發(fā)展改變了計算機的使用領域，使計算機由辦公室、實驗室中的專用品變成了信息社會的普通工具，廣泛應用于工業(yè)生產管理、學校教育、公共信息咨詢、商業(yè)廣告、軍事指揮與訓練，甚至家庭生活與娛樂等領域［1］。

1 多媒體通信技術

多媒體通信（multimedia communication）是多媒體技術與通信技術的有機結合，突破了計算機、通信、電視等傳統(tǒng)產業(yè)間相對獨立發(fā)展的界限，是計算機、通信和電視領域的一次革命。它在計算機的控制下，對多媒體信息進行采集、處理、表示、存儲和傳輸。多媒體通信系統(tǒng)的出現(xiàn)大大縮短了計算機、通信和電視之間的距離，將計算機的交互性、通信的分布性和電視的真實性完美地結合在一起，向人們提供全新的信息服務［2］。多媒體通信的基本框架如圖1所示。

圖1 多媒體通信的基本框架

多媒體通信的流程為：首先將CCD采集的視頻信號或由麥克風采集的聲音信號進行帶限濾波，然后進行 A／D（Analog to Digital）變換，即抽樣、量化、編碼，將模擬信號變換成數字比特流。DSP芯片的輸入是A／D變換后得到的以抽樣形式表示的數字信號，DSP（DM6437）芯片對輸入的數字信號進行某種形式的處理，如數字濾波、壓縮編碼、降噪等。根據不同的應用，處理后的數據就可進行網絡傳輸或存儲［3］。同時，數字信號再經解碼、D／A（Digital to Analog）變換轉換為模擬樣值，之后再進行內插和平滑濾波就可得到連續(xù)的模擬波形，輸出至顯示設備或音響設備。

多媒體通信系統(tǒng)有以下幾個技術難點：

顯示技術：真彩色高分辨率顯示技術、三維技術；

處理技術：壓縮技術包括語音壓縮、圖像壓縮、視頻壓縮；

識別技術：包括語音識別、人臉識別、手語識別；

傳輸技術：流媒體技術P2P技術。

多媒體面臨兩個難題：

第一，信息的獲取，包括過采樣帶來的冗余、數據的傳輸和數據的存儲；

第二，信息的表達，包括準確和豐富兩個方面。

云天化集團是以化肥及現(xiàn)代農業(yè)、玻纖新材料、磷礦采選及磷化工、石油化工、商貿及制造服務、產業(yè)金融6大產業(yè)為重要發(fā)展方向的省屬國有綜合性產業(yè)集團。近年來，集團主動融入和服務國家“一帶一路”倡議，主動對外開放轉型升級，努力發(fā)揮自身優(yōu)勢，實施“國際化運營、本土化經營”，推動企業(yè)不斷邁向高質量發(fā)展。

文中重點討論視頻壓縮技術。

2 視頻壓縮技術

2.1 視頻壓縮原理

信息是事物本原的描述，單位是信息熵。數據是事物（在X系統(tǒng)中）的紀錄，單位是字節(jié)／比特。數據量不等于信息量，數據量大于等于信息量，相差的是冗余。多媒體數據的冗余有視頻冗余和音頻冗余。視頻冗余包括：均勻采樣冗余（絕大多數區(qū)域過采樣）和感知冗余（眼睛對視頻的感知是主觀的）。音頻冗余包括：均勻采樣冗余和感知冗余（耳朵對聲音頻率的感知是非線性的）。

視頻信號的相關性及信息冗余如圖2所示。

圖2 視頻信號的相關性及信息冗余

2.1.1 感知冗余

由于人眼視覺的非均勻性，使得人眼視覺對于某些空間頻率感覺遲鈍，視頻中不同頻率成分的內容對于人眼系統(tǒng)而言，其重要性是不同的，也就是說存在頻域冗余。例如，人眼視覺系統(tǒng)對亮度信號變化的敏感性高于色度信號變化。因此，可以對色度分量進行下采樣，同時可保持主觀視覺質量不變。YUV 4∶2∶0色差格式就是對色度分量在水平和垂直兩個方向進行2∶1的下采樣［4］。另一方面，對信號頻域的各個分量可以采取不同的量化步長，將人眼視覺不敏感的分量去除，而不會引起主觀質量的下降。

2.1.2 空間冗余

空間冗余是指在同一幀畫面中，相鄰的像素間存在空間相關性（spatial correlation），特別是當這些相鄰像素位于同一個視頻對象中時，相關性極強，如圖像的背景區(qū)域。通過幀內預測編碼可以大幅度地去除圖像空間冗余，現(xiàn)代的靜態(tài)圖像壓縮技術大多數都采用了該方法。

2.1.3 時間冗余

通常對視頻序列而言，除非發(fā)生場景切換，否則相鄰幀在時間上都是連續(xù)的。在前后兩幀中往往包含與當前幀相同的背景和對象。只是由于鏡頭的轉動或視頻對象的移動使得空間位置發(fā)生變化，運動越緩慢，位置的變化越小，視頻序列在時域存在極強的時間相關性 （temporal correlation）。

2.2 原始數據對傳輸帶寬的要求

原始數據對傳輸帶寬的要求如圖3所示。

圖3 原始數據對傳輸帶寬的要求

2.3 視頻數據可被壓縮的上限

約束條件：1）按幀（N×M 矩陣，N≥M）處理；2）對元素的表達不做限定。

工具：奇異值分解（Singular Value Decomposition，SVD）。

2.4 壓縮編碼算法的歷史和現(xiàn)狀

視頻壓縮編碼現(xiàn)狀如圖4所示。

圖4 視頻壓縮編碼現(xiàn)狀

從圖中可以看出，隨著視頻分辨率的提高，壓縮倍數也相應地增加。VCD，DVD，HDTV視頻分辨率由低到高，壓縮倍數也由低到高。根據視頻壓縮原理的知識，分辨率越高，帶來的視頻冗余就越多，從而可壓縮的部分也就越多。從圖中還能看出，在同等分辨率下，AVS／H.264壓縮編碼標準比MPEG－1和MPEG－2標準壓縮倍數要高，但是二者距離壓縮的理論上限還有很大一段距離［5］。這對科學工作者來說是非常有理論指導意義的。我們在提高壓縮倍數，改善壓縮質量方面還有很多要做的工作。

視頻壓縮編碼的歷史是一部平衡實時性、硬件實現(xiàn)成本、算法效率的歷史。

PAL：25幀／s＝40ms內必須完成一幀處理。NTSC：30幀／s＝33.3ms內必須完成一幀處理。KLT（Karhunen－Loeve變換的簡稱，是一種正交變換）無法使用，退而求其次，使用小塊DCT（離散余弦變換）變換，加上運動預測以及熵編碼，構造了混合編碼框架。混合編碼框架的視頻編碼系統(tǒng)是將待編碼圖像幀劃分為N×N的塊（主要是16×16和8×8），每一個塊相對獨立地進行處理［6］。其核心思想是利用幀內、幀間預測方法消除視頻序列中的空域和時域冗余，利用變換編碼（如DCT）方法消除頻域冗余，最后利用統(tǒng)計編碼來消除信息熵冗余。

國外對視頻的壓縮研究較為成熟，主要有兩大機構從事這方面的工作：ITU－T下屬的視頻編碼專家組 VCEG（Video Coding Experts Group）和ISO／IEC下屬的運動圖像專家組MPEG（Motion Picture Experts Group）。從1980年以來已經制定了許多針對不同應用的標準。ITU－T主要制定了 H.26X系列標準，如 H.261，H.263，H.263＋，H.263＋＋等［7］，ISO／IEC主要制定了MPEG－X 標準，如 MPEG－1，MPEG－2，MPEG－4等。AVS（由數字音視頻編解碼技術標準工作組開發(fā)）是中國自主制定的音視頻編碼技術標準。AVS工作組成立于2002年6月。經過7次AVS正式工作會議和3次視頻組附加會議，歷經一年半的時間，審議了182個提案，先后采納了41項提案，2003年12月19日AVS視頻部分終于定稿。AVS視頻標準當中具有特征行的核心技術包括：8×8整型變換、量化、幀內預測、1／4精度像素插值、特殊的幀間預測運動補償、二維熵編碼等［8］。

3 結 語

文中先從媒體的概念引出多媒體技術，然后又引出了多媒體通信技術。簡單介紹了多媒體通信的基本框架和面臨的技術難題。然后重點討論了視頻壓縮技術，包括視頻壓縮原理、原始數據對帶寬的要求、視頻數據可被壓縮的理論上限和壓縮編碼算法的歷史和現(xiàn)狀。通過文中研究，表明多媒體通信尚有許多技術難點和理論難題值得研究和克服。近年來隨著物聯(lián)網技術的發(fā)展和推廣，使得多媒體通信又增加了新的內容。多媒體通信的研究領域越來越廣泛，涉及的內容也越來越深刻，多媒體通信的應用前景一片光明。

［1］張曉燕.多媒體通信技術［M］.北京：北京郵電大學出版社，2009.

［2］（德）Ralf Steinmetz，（美）Klara Nahrstedt，安博一.Multimedia Systems［M］.北京：清華大學出版社，2006.

［3］張小鳴.DSP控制器原理及應用［M］.北京：清華大學出版社，2009.

［4］必厚杰.新一代視頻壓縮編碼標準：H.264／AVC［M］.2版.北京：人民郵電出版社，2009.

［5］劉峰.視頻圖像編碼技術及國際標準［M］.北京：北京郵電大學出版社，2005.

［6］張海濤.視頻壓縮編碼研究及應用［D］：［碩士學位論文］.太原：山西大學，2008.

［7］肖志堅.H.264幀間編碼技術的分析與改進［D］：［碩士學位論文］.西安：西安電子科技大學，2005.

［8］唐玲娜.H.264視頻解碼優(yōu)化及 DSP實現(xiàn)［D］：［碩士學位論文］.成都：電子科技大學，2009.