立體視頻編碼技術的專利申請分析

蘇玉磊

（國家知識產權局 專利局通信部，北京 100088）

（上接第8期第40頁）

2.5 科研院所的專利分析

表5為中國專利申請中主要科研院所的申請數量分布；表6為國際范圍中主要科研院所的申請數量分布（注：由于VEN數據庫需對中文申請的數據進行后期加工，有些申請尚未入庫，或者有些申請摘要索引缺失，導致VEN中的同族數量減少；國外科研院所的許多技術未進入中國申請，因此同一申請人在VEN數據庫和CPRS?ABS數據庫中的專利申請數量有偏差）。

從表5和6可以看出，中國專利申請中，申請的高校數量多，其中寧波大學和清華大學排名靠前；在VEN數據庫中，韓國的科研院所的申請在所有科研院所中的申請數量領先。總的來看，中國和韓國的科研院所在3D視頻編碼技術的研發方面走在前列；中國的科研院所在中國申請的數量較多，但是在國際范圍內，其申請數量落后于韓國的科研院所。

下面本文對科研院所中代表性的申請人進行分析。

2.5.1 韓國電子通信研究院

韓國電子通信研究院從2002年開始申請3D視頻編碼領域的專利。其在中國的申請集中在2002—2006年。2006—2010年，韓國電子通信研究院申請了11件網格編碼技術的專利。

韓國電子通信研究院的研究方向集中在多視點編碼和網格編碼領域。韓國電子通信研究院與三星公司、慶熙大學、世宗大學、漢陽大學等學校間的關系合作非常緊密，例如在網格編碼技術方面，韓國電子通信研究院和主攻網格編碼技術的漢陽大學合作緊密。韓國電子通信研究院的專利申請多數通過PCT國際申請進入多個國家。

其專利申請的特點在于：

雙目編碼技術：例如，CN03826007A以及CN200480043102A申請使用傳統的MPEG-4 MAC（多重輔助分量，即3D立體視頻附加數據）進行立體視頻編碼；KR20010072603A申請使用MPEG-4對立體或多視點視頻進行編碼。

多視點視頻編碼包括：

1）利用視點間相關性進行編碼。例如，CN200580034894A申請公開了一種基于圖像拼接利用不同視點之間的相關信息進行編碼的方法；KR20080056457A申請涉及保存視差向量以搜索對應的宏塊的預測方法；CN200580047997A申請利用照相機信息進行參考圖像預測編碼。

2）高級語法層次。例如，KR20070002637A申請在NAL單元類型中表示冗余的編碼圖像，使用錯誤彈性編碼方法進行編碼；KR20070106876A申請生成場景二進制格式流以及初始對象描述符IOD。

3）用戶需求方面的立體圖像控制。例如，KR20110033007、KR20100050419A申請控制立體圖像的變化值，自動控制立體圖像的失真，降低用戶不便和模糊；KR20020060987A申請使用解碼緩沖器，縮小左右眼圖像的同步時間，降低解碼復雜度。

近年來，韓國電子通信研究院的研發更集中于立體視頻傳輸系統和網格編碼技術領域。

表5 中國專利申請中科研院所申請分布

表6 國際范圍內科研院所申請分布

有17篇專利申請涉及立體視頻的傳輸，包括2D、3D視頻的兼容傳輸，提供3D附加服務的手段等。例如，CN200480015863A申請基于MPEG-4在因特網上廣播立體視頻數據；CN200480043775A申請公開了一種三維數字多媒體廣播（3DDMB）系統，保持與傳統的DMB系統的兼容；KR2010000085917申請涉及3DTV系統中的附加服務傳輸；CN200780049500A申請支持2D和3D的同時廣播。

網格編碼技術多涉及3D網格數據的量化，例如，KR20100034199A申請通過針對3D網格數據的歸一化向量值進行量化，并進行異或操作，從而進行熵編碼，來實現對3D內容的編碼；KR20080125520A申請在量化連接信息中使用差分脈沖編碼調制DPCM技術進行編碼。此外，還涉及預測編碼的修復，例如，KR20070119316A申請根據標記值可選擇地對預測編碼錯誤進行編碼。

綜合來看，韓國電子通信院的專利申請覆蓋面寬，涉及多視點編碼、立體視頻廣播的傳輸以及網格編碼技術均較多。在多視點編碼技術中，其涉及預測結構以及視點間差異補償技術的優化的專利申請較少。

2.5.2 慶熙大學校產學協力團 （UNIV KYUNGHEE IND COOP）

該院所從2006年開始進入立體編碼領域申請專利，多數專利申請通過國際申請PCT進入其他國家。且該學校有半數的專利申請和三星株式會社以及韓國電子通信研究院共同申請。其編碼技術集中在多視點編碼領域，包括：

1）利用視點間相關性進行編碼。例如，KR20060043338A申請通過預測圖像信息視差來進行多視點視頻編碼；KR20080026315A申請中，如果當前圖像為錨圖像，不對塊應用塊跳過模式編碼當前圖像塊。

2）補償視點間差異進行編碼。例如，KR20080087437A申請基于塊類型和圖像類型對當前塊進行色差補償；KR20060087176A申請公開了一種通過對比修正來補償圖像信息視差的方法；CN200710187021A申請通過去塊濾波方法消除由光照補償和/或色度補償造成的塊效應；KR20080087435A申請用當前圖像上的附加信息對當前塊當前圖像進行修復。

3）多視點編碼和可伸縮編碼的結合。例如，KR20070021299A申請涉及多視點編碼和可伸縮編碼的混合。

該院所的專利申請不涉及高層語法和預測結構的改進，也不涉及網格編碼技術。

2.5.3 寧波大學

寧波大學以蔣剛毅和郁梅為學術帶頭人，研究3DTV、自由視點視頻系統編碼與傳輸。該學校在3D編碼領域的專利申請始于2005年，其主要涉及多視點編碼。

其專利申請的發明點分布包括：

1）利用視點間相關性進行編碼。例如CN201010217600A申請用當前宏塊的已編碼相鄰宏塊的視差矢量或運動矢量來預測當前宏塊的視差矢量或運動矢量；CN200510061144申請也提供了一種視差估計方法。

2）補償視點間差異。例如，CN200710067708A申請公開了一種多視點視頻顏色校正方法；CN200710164498申請中，在多視點圖像的預處理過程中，提高顏色校正的魯棒性和顏色映射的精度；CN200810059283A申請利用背景信息進行顏色校正。

3）去除立體視頻的視覺冗余。例如CN201010184200A和CN201110069318A申請，在人眼比較感興趣的區域采用較小的編碼量化參數，在人眼不太感興趣的區域采用較大的編碼量化參數，從而提高編碼效率。

4）針對深度視頻處理。例如，CN200810063741A申請根據深度圖宏塊的紋理特征將宏塊劃分到邊緣片層或非邊緣片層，分別采用不同的量化參數進行量化；CN200910154138申請根據偏離因子將B幀分為深度連續區域和深度不連續區域，對于連續區域的各個宏塊，編碼器遍歷較少的宏塊編碼模式；CN200910154336A申請設計了宏塊編碼模式搜索的提前終止方法。

5）碼率控制。例如，CN200810163801A申請通過改變量化參數來改變圖像的編碼質量，以適應網絡帶寬的變化；CN201110000937A申請通過建立彩色視頻與深度視頻的碼率分配模型對目標碼率進行分配。

立體視頻的視覺冗余以及碼率控制為寧波大學獨特的研究方向，除此之外，在MVD數據中的深度數據的處理方面寧波大學也申請了較多數量的專利，這些專利申請也反映了該學校在3D視頻編碼領域橫向方面發展的一個科研成果。寧波大學沒有涉及預測結構和高層語法結構的改進，也沒有涉及網格編碼技術。

2.5.4 清華大學

清華大學的孫立峰、戴瓊海、何蕓、丁貴廣作為學術帶頭人，從事立體視頻方面的研究。

具體地，其專利申請涉及：

1）預測結構的改進。例如，CN200710065190A申請提出了一種基于分布式信源編碼的多視點視頻編碼方法，其中將每個視點的視頻序列編碼分為I，P和SW幀3種，I和P用H.264編碼，SW幀作為視點切換幀。

2）利用視點間相關性進行編碼。例如，CN200610070971A申請利用空間物體深度信息和各個攝像頭之間的位置關系精確的計算各個視點之間的視差矢量；CN200710101528A申請限制同一時刻參考圖像的選擇，使得在多視點編碼中實現低延時和并行處理，同時利用不同視點之間的參考；CN201010571683申請基于視間預測對雙目立體視頻進行編碼或者解碼。

3）多視點視頻編碼傳輸。例如，CN201010133712A申請涉及基于P2P的多視點視頻傳輸編碼；CN201010227362A申請涉及基于網絡擁塞程度的視頻傳輸；CN201010227359A申請公開了一種基于圖像視覺質量的視頻傳輸方法；以及CN200910076119A申請涉及一種基于對等覆蓋網絡協作的多視點編碼的傳輸方法。

4）深度視頻處理。例如，CN201010531029申請基于彩色視頻對深度視頻進行上采樣；CN201010222351A申請根據多視點深度圖獲得編碼率失真模型，為編碼參數選擇和碼率分配提供指導。

5）利用H.264解碼器對多視點視頻解碼。CN201010531046、CN201010531043、CN201110027858A申請均涉及了一種符合多視點視頻標準的視頻編碼方法，分別利用H.264編碼器實現多視點視頻的編碼或解碼。

清華大學申請了較多數量的多視點視頻網絡傳輸方面的專利申請，可見多視點視頻網絡傳輸方向為其獨特的研究方向；同寧波大學相仿，也涉及了一些對MVD數據中的深度視頻進行處理的改進；清華大學的專利申請沒有涉及高層語法和網格編碼技術。

2.5.5 小結

從數量上看，2006年以后，韓國和中國的科研院所表現活躍，韓國以韓國電子通信研究院和慶熙大學校產學協力團為代表，中國以寧波大學和清華大學表現最為活躍。

從技術角度看，申請的熱點集中于多視點編碼技術。其中，慶熙大學校產學協力團、寧波大學和清華大學的絕大部分專利申請涉及到多視點編碼技術，這代表著目前國內和國際上3D編碼研究的主要方向。此外，韓國電子通信研究院涉及不少3D視頻廣播的專利申請，也涉及不少網格編碼技術的專利申請，而漢陽大學與韓國電子通信研究院合作緊密，主攻網格編碼技術。與國外的科研院所相比，我國的清華大學、寧波大學的專利申請也各具特色：清華大學偏重于基于多種網絡體系和網絡參數的多視點視頻的網絡傳輸，而寧波大學的創新在于立體視頻的視覺冗余去除以及碼率控制。此外，清華大學和寧波大學均針對MVD數據中的深度視頻的處理提出了若干申請。

分析我國的科研院所在多視點編碼方面專利申請活躍的態勢，其原因在于：2005年ITU-T開展了MVC技術的提案征集工作；這些學校具有長期涉足該領域的科研團隊，并且得到了多項科研基金的支持，在項目上有所傳承；此外，表5中我國的主要科研院所的專利申請數量及內容在一定程度上反映了其課題進展以及研發實力。

另外，韓國之間的公司與高校、高校之間的專利申請合作緊密，表明其研發串聯程度緊密；相比而言，我國的高等院校之間、公司和高校之間聯系不夠緊密。

3 結束語

本文關注立體視頻編碼技術的專利申請。首先，簡單介紹了常用的3D視頻編碼技術。而后，在CPRSABS和VEN專利數據庫中合理地選取涉及3D編碼技術的專利申請樣本，從年度申請數量、申請人總體分析、公司方面專利分析、科研院所專利分析等角度對樣本庫進行多方位分析。

從2000—2010年的年度申請數量看，在中國的專利申請和國際范圍內的專利申請都呈現總體快速穩定增長的態勢，反映出這一領域被關注的熱度。

從申請人總體來看，在中國科研院所和公司為申請主體，而在國際范圍內公司為申請主體；我國申請專利保護的申請人以國內申請人為主，占全部專利的55%；國際范圍內申請人以日本和美國申請最多，其次為歐洲、韓國和中國。

在公司申請中，日本和韓國公司以及湯姆森特許公司申請量居多，中國僅有華為一家在3D編碼技術領域排在前列。在科研院所中，韓國的科研院所的申請量居多，中國的寧波大學和清華大學申請活躍。各家公司、科研院所的專利申請均反映出其前期研發過程中不同于其他公司的策略和特色。

從技術上看，2006年之前申請的專利主要針對雙視點編碼，2006年及以后的專利申請主要面向多視點編碼技術這一目前申請的熱點。此外，3D網格編碼技術的申請量相對要小，三星公司、韓國電子通信研究院和湯姆森特許公司、漢陽大學、IBM、SUN、微軟公司在網格技術領域申請較多。

此外，撰寫本文過程中，參考了大量的涉及各種3D編碼技術的非專利文獻。相對于非專利文獻的百花齊放，專利的增長有限。本文認為，這可能是因為：在應用層面，受限于視頻源以及傳輸、顯示的發展制約，立體編碼技術的應用規模還非常有限，加之立體編碼技術理論已較為成熟，更多的為在壓縮率以及編碼效率上的改進，專利申請動力尚有不足；而學術界的研究人員相對更關心學術層次的問題，其成果多以學術文章或草案形式呈現。

[1]駱凱.三維電視系統編碼、視點變換算法研究及運動補償硬件設計[D].杭州：浙江大學，2009.

[2]ISO/IEC 13818-2 Amendment 3（Multi-View Profile）,MPEG96 N1366[S].1996.

[3]ATTEST.European IST-2001-34396 project[EB/OL].[2011-10-11].http://www.hitech-projects.com/euprojects/attest/index.html

[4]FEHN C.Depth-image-based rendering（DIBR）,compression,and transmission for a new approach on 3D-TV[C]//Stereoscopic displays and virtual Reality Systems XI，2004，SPIE 5201.[S.l.]：SPIE Press，2004：93-104.

[5]安平，張倩，鞠芹，等.用于3DTV的圖像繪制技術[J].電視技術，2010，34（1）：49-51.

[6]MERKLE P，SMOLIC A，MULLER K，et al.Efficient prediction struc?tures for multiview video coding[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17（11）：1461-1473.

[7]霍俊彥，常義林，李明，等.多視點視頻編碼的研究現狀及其展望[J].通信學報，2010，31（5）：113-121.

[8]畢厚杰.新一代視頻壓縮編碼標準——H.264/AVC[M].2版.北京：人民郵電出版社，2009：140-177.

[9]PENG J，KIM C S，KUO C C J.Technologies for 3-D mesh compres?sion:a survey[J].Journal of Visual Communication and Image Repre?sentation，2005，16（6）：688-733.