多視點視頻編碼技術的專利分析

張維克，龍玄耀

（國家知識產權局專利局 專利審查協作北京中心，北京 100190）

多視點視頻[1-2]是一種即將出現的交互式多媒體應用，而生成多視點視頻的多視編碼技術在立體電視、立體視頻會議、多視點視頻點播等領域都有著非常廣泛的應用前景。但是，相比于現有的單視點視頻，由于增加了多個數據源設備，多視點視頻毫無疑問存在產生數據量過大的問題，目前，國內外各大廠商、國內外的科研機構、國內外高校都在積極的研發多視點編碼技術，近幾年的專利申請量也在不斷增加，本文對多視點編碼技術的相關專利做了初步的統計，并針對廠商和高校聯合申請的案例進行分析，提出了產研結合的可行性。

1 MVC技術的基本介紹

多視點視頻是指，在場景中放置不同角度的多個視頻采集設備，記錄多個視角的視頻，用戶通過視點選擇觀看更加真實的場景，它是一種有效的3D視頻表示方法，能夠生動地再現場景，提供立體感和交互功能。圖1給出了多視點視頻的典型拍攝場景[3]和序列示例[4]。

但是，多個視點導致采集的數據量過大，因此，為了可以像目前的高清視頻點播一樣能真正地實現產業化應用，也就必然需要使用數據壓縮方法減小數據量，以適應所能提供的帶寬或存儲媒體。

2 專利文獻庫選取及檢索結果的可靠性

統計使用了中國專利全文數據庫CNTXT，之所以選用全文數據庫，是考慮到大多數外國申請并不會在摘要或權利要求中記載例如多視點視頻編碼這樣的描述，而往往會在說明書的背景技術部分或具體的實施方式中，寫明技術方案會應用在多視點視頻編碼中。

采用了關鍵詞“多視點視頻編碼、多視角視頻編碼、多視點編碼、多視視頻編碼、多視編碼、多視角編碼、多視點編碼”進行了“或”操作檢索，之所以采用上述關鍵詞，是因為作者通過初次檢索的大范圍瀏覽以及對網絡上和學術屆對于多視點視頻編碼技術MVC的叫法進行了全方位的考察，收集了領域內所有可能的叫法，而未采用MVC進行檢索的原因是，MVC還可能是其他的專業術語的簡稱。

通過“或”檢索操作，最終得到239篇專利文獻結果，為了使統計結果更為準確，作者通過瀏覽每一篇文獻的具體內容篩選出191篇文獻，其余的48篇都存在邊緣領域或者跨領域的問題，即核心思想并不是關于MVC技術的。

3 統計結果分析

下面我們將針對這191篇文獻進行統計，以得出后續的結論。

3.1 專利申請趨勢

由于2011年的很多專利申請未滿18個月，尚未公開，并且從公開的申請人來看，18件中的17件都是中國申請，因考慮到習慣于晚公開的外國申請，實際數字應遠多于18件。從上述的統計數字不難看到，從2006年開始，多視點視頻編碼技術的專利申請呈現了保持較為穩定的申請數量的趨勢，并且在2007年、2009年都超過了40件。

3.2 各公司戰略

申請量排名前五名分別是湯姆遜公司31件、華為公司20件、清華大學20件、索尼公司16件、三星公司15件、寧波大學15件。

從申請的國別來看，國內申請為92件，約占全部申請的48%，這也一定程度上表明了國內在這一前沿領域的研發關注度，在這92件專利申請中，55件為大學申請。

從專利申請所要解決的技術問題來看，主要涉及如下幾個方面的研究：時間和空間預測結構的設計、視點預測、視點間運動信息的預測、視點間的亮度補償、視點間的顏色補償、虛擬視圖合成預測、自適應參考圖像濾波、高層語法設計等幾個方面。我們重點關注申請量最高的湯姆遜公司的研發動態，結果顯示，湯姆遜的研發重點主要集中在高級語法的設計，同時也涉及了顏色補償、濾波、預測結構的設計等方面。相比于湯姆遜公司的研發重點，國內公司的研究集中在視點預測、視點間運動信息的預測、預測結構的設計、亮度和顏色補償這幾個方面。

高級語法設計是MVC語法和語義的設計，湯姆遜關注語法設計也就是在關注主導編碼形成的協議，這也是編碼形成、傳輸的基礎，我們都知道，編碼效率的提高可能意味著硬件或軟件運算成本的增加，國內申請人尤其是大學申請人關注的編碼方法的改進能否產業化，是值得我們思考的問題。

3.3 專利質量和專利保護意識

權利要求決定了保護范圍，因此，我們使用了獨立權利要求的字數來量化保護范圍的大小，字數越多粗略認定為保護范圍越大，從這個數字的統計我們嘗試了解申請人對某項技術的保護意愿，也從某種程度上反映了專利的質量，這里將“字數在100字以內”的權利要求認定為核心專利，統計結果表明：這191件專利申請中有25件核心專利，其中國外申請20件，以湯姆遜公司的13件為最多，國內的核心專利僅為5件，其中華為公司占了其中的4件。我們還發現，國內的大量申請出現了權利要求字數超過1000字的情況，從保護范圍的角度來說，這樣的權利要求是沒有價值的，也無法合理的保護相應的產品或方法，國內申請人應當重視權利要求的字數在后續保護中的作用，仔細、合理地確定出提交的專利申請的保護范圍，發揮出專利權的最大效用。

其次，根據專利法第二十九條的規定，申請人就相同主題的發明或者實用新型在外國第一次提出專利申請之日起12個月內，又在中國提出申請的，依照該國同中國簽訂的協議或者共同參加的國際條約，或者依照相互承認優先權的原則，可以享有外國優先權。而對于本國申請人來說，只須在本國第一次提出專利申請后又在12個月之內向本國專利局提出專利申請，就可以享受優先權。優先權的12個月可以給予申請人更多的時間來完善和優化專利申請的技術方案，能夠劃定專利審查時對比文件的時間線，改變專利類型，還可以解決不同國家專利申請時間上的協調問題，因此，對是否使用優先權進行統計來比較國內外申請人在利用優先權方面的差別，統計結果表明：62件專利申請享受了優先權權利，其中僅有1件香港應用科技研究院有限公司的申請享受了優先權。從統計結果不難看出，國內申請人還沒有使用優先權這一項針對申請人權利的意識，從專利的審查角度來看，大量的國內專利申請因為沒有優先權日而被審查員使用申請日之前12個月以內的對比文件評述了新穎性或創造性，因此，國內的專利申請人應該嘗試使用針對申請人的權利來保護自己的利益。

4 產研結合的可行性

在這一部分，將對大學和公司的聯合專利申請的研發水平進行分析，通過與單獨的公司申請和大學申請的比較，證明國內公司和大學聯合研發提交專利申請的可行性。

案例一：CN101056398A

華為公司和清華大學的聯合申請，涉及一種視差向量的估計方法，現有的視差估計使用傳統單視點視頻編碼工具進行多視編碼，通常視差矢量的動態范圍比較大，以大小為640×480像素的圖像為例，在立體對中，水平位移在30～50個像素的情況可能會經常出現，有時甚至可達100個像素以上，而運動矢量則不會有如此大的動態范圍，因此，由于視差矢量的動態范圍比較大，若采用傳統單視視頻編碼中的運動估值方法，則需要將搜索范圍設得非常大，而且，無法保證會獲得很好的效果。在此基礎上，本發明專利申請僅對任意兩個視點進行基于塊搜索的視差向量估計，而對于需要編碼的兩個視點，則利用已估計的任意兩個視點的視差向量結合需要編碼的視點與所述任意兩個視點位置的線性關系計算得到需要編碼的兩個視點的視差向量，與傳統的技術相比，該發明專利申請利用線性計算代替塊搜索，減少了計算復雜度，有益于產業應用。該申請目前已進入復審階段，申請人并不認同審查意見，表明了該申請的重要性。并且請求保護的權利要求字數僅為128字，這也說明了聯合申請人獲取較大保護范圍的意愿，從某種程度上也反映了該申請的研發水平。

案例二：CN101483765A

華為公司和清華大學的聯合申請，涉及一種多視編解碼方法，現有技術中，由于攝像機移動前后的圖像可能差別較大，因此，在攝像機移動前后的圖像互為參考時，預測的效果會較差。這種情況下前后內容聯系不緊密的圖像仍使用原始分辨率或尺寸進行編碼也會導致占用較多的比特數，影響編碼效率，并且也會占用比較多的編碼和解碼資源。與傳統的技術相比，該發明專利申請根據獲取圖像的攝像機參數、物體的深度信息及至少兩個視的圖像對至少一個視的圖像進行更新處理，以獲得編碼或解碼過程中期望的輸出圖像。由于使用了深度信息和攝像機參數，兩個視之間圖像內容的相關性能夠較精確獲得。通過上述處理可以使得當前待編碼圖像或待解碼圖像的部分或全部內容使用其它視的圖像進行預測，從而減少當前待編碼圖像的編碼比特數，降低待編解碼圖像的計算負擔，減少了運算成本。該申請已授權，且請求保護的權利要求字數僅為90字，這也說明了聯合申請人獲取較大保護范圍的意愿，從某種程度上反映了申請的研發水平。

案例三：CN 101222638 A

同樣是華為公司和清華大學的聯合申請，涉及一種預測結構的設計方法，要解決的問題是：在參考幀列表的構建過程，通常需要將預測效果較好的圖像排列于參考圖像列表的前面，以便于優先選擇作為當前圖像的參考圖像。但是，目前在多視視頻編碼對應的緩沖區中，還沒有提供一種處理機制可以保證緩沖區中的圖像滿足按照最優預測效果排序的原則。在本發明專利申請中，根據當前圖像和參考圖像的位置關系分別得到空間距離和時間距離，之后，便可以利用兩距離值查表得到對應的參考距離，再對參考幀排序，參考距離越小，在參考幀列表中越靠前，以保證參考效果較佳的參考圖像被優先選用，從而可以有效的提高編碼效率。該申請已授權，請求保護的權利要求字數為119字。

此外，LG公司和延世大學、日本電信電話公司和名古屋大學、韓國電子通信公司和延世大學、三星公司和世宗大學、三星公司和慶熙大學、華為公司和中國科學技術大學，也都先后提交多份關于多視編解碼技術的聯合專利申請，從這些聯合專利申請的質量、保護范圍的大小以及案件的法律狀態來看，都具備了相當的研發水平。不僅利用了高校在學術研究方面的能力，也兼具了技術產業化的視野。而高校的單獨申請往往具備了一定的學術高度，卻脫離了產業，使得專利的本質屬性“保護”無從體現，喪失了專利本身的意義；公司申請則往往過于淺顯，僅僅是一些好的主意和點子，雖然也有一些技術上的改進，但由于缺乏理論支撐，很難涉足上游的高端技術，因此，在中國范圍內，這些新技術公司可以利用大量的學術資源，來共同促進產業能力的提升，使得我們的公司具備上游產業競爭力。

5 結語

從以上的分析可以看出，目前在中國申請的以多視點編碼技術為主題的專利申請呈現出以下特征：

1）處于穩定的發展趨勢。

由于立體電視還沒有普及，并且人們對于立體電視的交互性還沒有概念，目前在中國的有關多視點編碼技術的發明專利申請的申請量并不大，但是隨著立體電視的出現和人們對于交互性的需求，該技術必將受到關注，專利申請量也會增長。

2）各個公司的研發重點不盡相同。

由于各個公司的研發實力、產品針對性以及企業戰略的不同，也形成了不同的研發側重點，研發主要分布于時間和空間預測結構的設計、視點的預測、視點間運動信息的預測、視點間的亮度補償、視點間的顏色補償、虛擬視圖合成預測、自適應參考圖像濾波、高層語法設計等幾個方面。視頻技術的領軍公司湯姆遜更多地關注協議這種語法層面的技術，而國內公司側重于編碼的細節技術。

3）國內外公司專利質量和保護意識的差別。

國外公司更注重權利要求的范圍和對優先權的使用，而國內的公司和高校則相對缺乏這方面的意識。

4）產研結合初見成效。

華為公司聯合高校進行技術研發，并獲得了較大保護范圍的發明專利，值得國內的公司仿效學習。

[1]MPEG Video Subgroup.Introduction to multi-view video coding[R].[S.l.]：MPEG Video Subgroup，2008.

[2]HE Y，OSTERMANN J,TANIMOTO M.Introduction to the special section on multiview video coding[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17（11）：1433-1435.

[3]FRAUNHOFER H I.HNI test material for 3D video[R].[S.l.]：MPEG，2008.

[4]SU Y P，VETRO A，SMOLIC A.A common test conditions for multi-view video coding：JVT-U211[R].[S.l.]：JVT，2006.