可視媒體編輯處理技術綜述

祖寶明 謝志峰

摘要：現如今可視媒體應用需求巨大，針對可視媒體資源具有的海量、多源、異構的特點，研究高效智能的可視媒體處理技術成為當務之急。本文重點綜述了可視媒體技術中的編輯處理方面的研究現狀，寄望于解決編輯處理中的結構問題，從而提升可視媒體應用的質量和效率。鑒于人們對可視媒體資源深度開發的迫切需要，本領域的研究對促進影視后期、動畫創作、互動娛樂等數字內容產業的發展，具有重要的研究與應用意義。

關鍵詞：可視媒體;編輯處理;色彩

中圖分類號：TP31 文獻標識碼：A

文章編號：1009-3044（2019）32-0236-03

1概述

當前可視媒體的應用需求非常巨大，但因為可視媒體資源本身所具有的海量、多元等特點使得可視媒體的編輯處理技術具有一定的難度，這是當下急需解決的一個難題?？梢暶襟w編輯處理主要是通過靈活多樣的編輯技術，在顏色、細節、紋理和邊緣等方面改變其固有特征，從而獲得新媒體素材。編輯處理技術的形式多種多樣，主要涉及的編輯內容有媒體風格化處理、畫質增強、色彩轉移、顯著度提取等，但在編輯過程中由于各種因素的影響可能會導致在對比度、環境協調、色彩等方面無法獲得最佳效果。因此，利用結構分解進行高精度的可視媒體編輯處理技術，從而獲得平滑、光照和反射等屬性，進而構建結構感知模型，消除各種缺陷，提升處理質量和效率是本研究的目標。

2國內外研究現狀

可視媒體領域的研究分為結構分解與編輯處理，其中是技術核心，編輯處理則是應用聚焦，兩者相互關聯、協調統一，一方面竭力提升結構分解的精度，另一方面在屬性分離的基礎上努力解決編輯處理中的結構問題?？梢暶襟w的編輯處理的研究符合對可視媒體資源深度開發的迫切需要，有望促進我國數字內容產業的發展，具有重要的研究與應用意義。在編輯處理方面的研究重點，主要包括風格化處理、色調映射、畫質增強、顏色轉移、無縫融合、顯著度提取等。

2.1可視媒體編輯處理

2.1.1風格化處理

風格化處理，又稱非真實感渲染，是計算機技術和繪畫技術相結合的一個研究領域，指利用計算機生成不具有照片般真實感，而是具有手繪風格的圖形技術。其目標不在于圖形的真實性，而主要是表現圖形的藝術特質，模擬藝術作品。目前，很多藝術風格已經被成功的模擬出來，如鉛筆畫、卡通畫、水彩畫、油畫、水墨畫等。如圖1所示，左圖為輸入的圖片集，右圖為風格化后的結果。

目前的風格化方法，從處理方式上可以分為四類：基于筆畫的方法、基于區域的方法嘲、基于樣例的方法和基于圖像處理和濾波器的方法。第一類基于筆畫的方法中又能分為基于筆刷的和基于拼貼的，基于筆刷的方法通常定義不同風格、不同顏色、不同寬度的筆刷，在畫布上進行全局或者局部性的繪制;基于拼貼的方法通常根據不同的風格形式，定義小的貼片，用這些貼片去拼接形成風格化的結果。第二類基于區域的方法通常需要圖像分割作為前提，在分割的局部區域內進行風格繪制。第三類基于樣例的方法通常在樣例中學習顏色和紋理的映射關系，通過風格之間的映射操作來實現風格變換。第四類基于圖像處理和濾波器的方法通常在空間域或梯度域內借助圖像處理操作，結合各種類型的濾波器，對結構、顏色等信息進行風格繪制。

2.1.2色調映射

色調映射是指將高動態范圍（HDR）圖片壓縮為低動態范圍（LDR）圖片的操作。通常，自然場景中的亮度變化在10^-3至10⁵cd/m2之間，而普通的數字顯示器一般是低動態范圍在10²cd/m2左右，色調映射正是要填充它們之間的間隔，使高動態范圍圖片也能在低動態范圍的顯示器上高質量地顯示出來。如圖2所示，左圖為沒有經過映射處理直接顯示的高動態范圍圖片，中間和右圖為經過色調映射處理后形成的不同的顯示效果。

目前的色調映射方面，主要可以分為四類：基于視覺感知的方法、基于梯度操作的方法、基于人工交互的方法和基于圖像質量索引的方法。第一類基于視覺感知的方法具有執行快速，不引入光暈等優點，但是對比度方面顯示效果比較差，可以分為全局和局部兩種處理方式，其中有基于Stevens理論的方法、類似Naka-Rushton方程的方法、考慮時間自適應性的方法、基于局部細節的方法、基于Retinex理論的方法、基于Anchoring理論的方法等。第二類基于梯度操作的方法采用收縮大梯度，保留小細節的思想，和前述的細節分解一致，其中有采用偏微分方程的方法、基于雙邊濾波器的方法、基于梯度域內壓縮因子的方法等。第三類基于人工交互的方法通過用戶選擇亮度空間，借助交互方式生成滿意的映射效果。第四類基于圖像質量索引的方法，通過定義質量索引，自動地調整映射的參數，生成達到一定質量要求的映射結果。

2.1.3畫質增強

畫質增強是一種提升低畫質圖像和視頻到更高畫質的處理操作。由于光學、環境、數模轉換、運動、采樣等原因，很容易產生帶有噪聲、失真、光學變形、運動模糊等問題的圖像，而畫質增強的目標就是要消除這些問題，生成高畫質的結果。針對不同的畫質問題，畫質增強領域涌現出去噪、銳化、去運動模糊、超分辨率等多種技術方法。如圖3所示，左邊兩幅圖片為銳化前后的對比，右邊兩幅圖片為細節增強前后的對比。

目前的畫質增強方面，主要包含以下幾種技術：去噪、銳化、細節增強、對比度增強、去運動模糊、超分辨率等。去噪技術可以抑制噪聲，改善圖像質量，按處理方式可以分為空間域的方法、變換域的方法和基于學習的方法。銳化技術可以補償圖像的輪廓信息，增強邊緣特征，使圖像變得清晰，主要有空間域方法、頻率域方法和梯度域方法。細節增強技術可以利用細節分解提取細節層，增強細節改善圖像質量。對比度增強技術可以調整顯示對比度，從而提升圖像的顯示質量，主要采用對直方圖進行操作的方式實現。去運動模糊技術可以估計運動的模糊核，通過反卷積運算求解出清晰圖像，根據核的變化情況可以分為卷積核變化方法和卷積核不變方法，根據核是否已知又可以分為盲卷和非盲卷兩種方式。超分辨率技術可以將低分辨率的圖像轉換為高分辨率圖像，主要包括基于插值的方法、基于重建的方法和基于學習的方法。

2.1.4顏色轉移

顏色轉移是一種將參考圖像上的顏色風格轉移到源圖像上的處理方法，可以使得源圖像上的顏色特征在視覺上與參考圖像一致。本領域主要關注基于樣例的轉移方式，即給出兩張圖像自動地進行顏色的轉移，無須人工干預。

目前的顏色轉移方面，按照處理區域可以分為兩類：全局顏色轉移和局部顏色轉移。第一類全局顏色轉移方法通常以整張圖像作為處理對象，在圖像間實現自動的轉移操作，主要包括基于均值和方差等統計信息的方法、基于顏色分類的方法、基于直方圖匹配的方法等，這些方法簡單快速，但容易引起顏色和細節問題。后來，研究人員提出了一些優化方法來抑制這些缺陷，包括梯度維持的優化、直方圖重塑的優化、光源感知的優化、基于內容的優化、自學習的優化等等。第二類局部的方法通常都需要依賴人工交互，通過交互指定局部區域，在局部區域之間進行操作，能夠實現更精確的顏色轉移，主要包括基于軟分割的方法、基于交互工具的方法、基于筆畫的方法、用戶可控的方法、可選擇的方法等。這些局部的方法和全局的方法一樣，不可避免的也會遇到相同的顏色和細節問題，影響轉移的效果。

2.1.5無縫融合

無縫融合是指通過高效的交互編輯，在邊界、顏色、光照等方面尋求自適應目標環境的高質量合成。在融合過程中，對象提取、合成處理、環境協調是其關鍵問題，衍生出相關的軟摳取、克隆、協調等多種技術，通過這些技術的運用，最終獲得和環境協調的無縫融合效果。如圖4所示，左圖為源圖像，左二為目標圖像，右二為位置選擇，右圖為無縫融合的結果，可以看出結果與目標環境完美地融合為一體。

目前的無縫融合方面，根據處理流程主要涉及三種關鍵技術：軟摳取技術、克隆技術和特征協調技術。軟摳取技術在用戶簡單交互形成三分圖的基礎上，通過定義透明度來表示前景和背景的線性混合關系，借助顏色采樣和局部傳播方法計算其透明度，特別在邊緣不清晰和半透明的對象提取時，利用透明度計算彌補硬分割的不足，實現高精度的對象提取?？寺〖夹g采用邊界插值算法，將感興趣的對象整合到目標圖像上，保證與目標環境的匹配，根據插值方式可分為基于泊松方程的方法和基于均值坐標的方法，區別于直接的復制粘貼方式，它可以避免復雜的人工交互，強調與目標的環境匹配，消除合成失真現象。特征協調技術主要針對合成時噪聲、紋理等特征不一致的問題，通過特征的轉移和重建，加強合成對象與目標環境的協調統一，它更關注如何簡單快捷地將表面特征進行轉移和匹配，提升合成時的特征一致性。

2.1.6顯著度提取

顯著度提取是在人類視覺注意理論的基礎上，進行視覺顯著度估計，從而能在沒有先驗知識的情況下，實現對感興趣對象的自動提取。顯著性源于視覺的獨特性、不可預測性、稀缺性及奇異性，是由顏色、梯度、邊界等圖像屬性所致，主要有自底向上和自頂向下兩種提取模式。如圖5所示，左圖為示例圖片，中間為顯著度圖，越亮的地方表示顯著度越高，越能引起視覺的關注，右圖為在顯著圖的基礎上實現的對象自動提取。

目前的顯著度提取方面，根據處理對象可以分為：圖像顯著度提取和視頻顯著度提取。在圖像顯著度提取方面，涌現出各種圖像顯著性檢測方法，包括基于中心一周圍差異的方法、基于模糊增長模型的局部對比度方法、基于圖模型的方法、基于頻率譜的方法、基于頻率調諧的方法、基于上下文感知的方法、基于全局對比度的方法等。它們通過局部或全局對比度定義，能夠有效地檢測圖像的顯著性，建立符合人類視覺感受的顯著度圖。在視頻顯著度提取方面，不同于靜態的圖像，視頻中涵蓋了時空信息，在顯著度提取時需要統一考慮，主要包括基于用戶注意力的自動檢測框架、基于時空線索的方法、基于時序譜殘留的方法、基于動態紋理的方法、基于隨機域模型的方法、基于動態對比度的方法等。它們以圖像顯著性檢測方法為基礎，通過結合亮度、顏色、運動等信息，在統一建模的基礎上有效地進行視頻顯著度提取。

3總結與展望

綜上所述，盡管國內外已經在編輯處理方面積累了一定的研究成果，但是編輯處理中的結構問題并沒有獲得根本解決，甚至某些方面的研究仍然處于初步探索階段，要形成成熟的理論和技術，還需要大量更具創新性的工作。有鑒于此，本領域的研究工作主要從編輯處理方面展開，嘗試以高精度的結構分解為基礎，解決編輯處理應用中的結構問題，實現可視媒體資源的高效處理和有效利用?？傊趪鴥韧鈱梢暶襟w智能處理理論與方法日益重視的背景下，研究結構分解與編輯處理等關鍵支撐技術顯得十分必要而迫切，有望打破可視媒體領域內的技術瓶頸，進一步推進我國數字內容產業的快速發展。