一種閉環(huán)自適應的圖像增強方法

［摘 要］圖像增強作為常見顯示處理技術，受各種原因影響，用戶在家庭場景使用時，難以體驗到實驗室調校水準的效果。為解決該問題，文章提出一種閉環(huán)自適應的圖像增強方法，該方法以用戶為中心，充分考慮用戶使用環(huán)境及個人喜好，形成閉環(huán)自適應，可讓用戶在家也能體驗到實驗室調教級別的畫質效果，畫面層次感更好，立體感更深。

［關鍵詞］閉環(huán)自適應；圖像增強；環(huán)境自適應；內容自適應

［中圖分類號］TP391.41 ［文獻標志碼］A ［文章編號］2095–6487（2024）09–0167–03

圖像增強作為常見的顯示處理技術，當前大多為顯示設備單方面的自我行為，且缺乏個性化。出廠前其圖像增強雖能夠達到較好的效果，但到用戶家里，由于所處環(huán)境與試驗室的差異，以及其他原因，用戶很難體驗到最佳調教效果。為了解決該問題，提出一種閉環(huán)自適應的圖像增強方法。

1 閉環(huán)自適應的圖像增強方法

閉環(huán)自適應圖像增強方法是一種充分利用設備本身硬件能力，經用戶許可，使設備廠家在圖像增強上單方面的自我行為，轉變?yōu)橐杂脩魹橹行模浞挚紤]用戶使用環(huán)境及個人喜好的閉環(huán)自適應的圖像增強方法。該方法可使得每個用戶都感受到最佳調教效果，且畫面層次感更好，立體感更深，更接近導演意圖。

該方法包含4 大模塊，即內容分析模塊、設備能力與用戶環(huán)境風格分析模塊、實時分析與調整模塊、用戶指令解析與反饋模塊。其中，內容分析模塊負責輸出與當前顯示內容相關的特征數(shù)據(jù)集1 ；設備能力與用戶環(huán)境風格分析模塊負責輸出與設備能力信息及用戶環(huán)境風格相關的特征數(shù)據(jù)集2 ；實時分析與調整模塊作為核心模塊，負責根據(jù)用戶實時環(huán)境信息及特征數(shù)據(jù)集，實時分析并做出相應調整，同時統(tǒng)籌調度其他3 個模塊；用戶指令解析與反饋模塊，負責用戶與系統(tǒng)的互動與反饋，系統(tǒng)會根據(jù)用戶的反饋信息持續(xù)對調整參數(shù)進行修正，直至用戶反饋已接受當前狀態(tài)或已到達調整極限。閉環(huán)自適應圖像增強方法流程框架如圖1 所示。

1.1 內容分析模塊

內容分析模塊，從顯示內容自帶編碼信息挑選特定信息，同時提取對應的直方圖分布、內容類型，得到特征數(shù)據(jù)集1。

（1）片源輸入到顯示器后，經過系列編解碼處理后，可獲取對應編碼信息，包含最大顯示亮度DMA、最小顯示亮度DMI、最大信號幅度CLL。

（2）片源輸入到顯示器后，信號分析模塊進行分析處理，得到對應直方圖分布。圖2 為此時顯示畫面對應直方圖分布，共32 個數(shù)值，橫坐標為信號區(qū)間，縱坐標為對應統(tǒng)計值數(shù)量。

（3）內容類型，指當前顯示內容的信號類型，如HDR10、HLG 或者SDR。

（4）根據(jù)參數(shù)DMA/DMI/CLL/HIST，輸入內容分析模塊進行系列推導、插值擬合運算（3 次方插值、貝塞爾擬合），核心算法模塊將輸出一個信號控制曲線M1。圖3為信號控制曲線。

根據(jù)DMA/DMI/CLL，得到函數(shù)曲線f1（DMA，DMI，CLL，IN），IN 為信號碼值，取值范圍0～255。具體為：將DMA，DMI，CLL 做數(shù)據(jù)處理得到3 個點的坐標PB1（DMI/DMA，0.001）、PB2（0.5×（CLL+DMA）/DMA，0.8）、PB3（CLL/DMA，0.99）；將PB1、PB2、PB3 作為貝塞爾曲線的控制點， 代入貝塞爾曲線的公式， 即B（t）=PB0×（1–t）3+3×PB1×t×（1–t）2+3×PB2×t2×（1–t）+PB3×t3，t ∈ [0，1]，其中PB0 的坐標為（0，0），t 的間隔為0.003906，可得到256 個點；連線可得分段線性函數(shù)f1。

根據(jù)直方圖分布，生成分段線性函數(shù)f2，共32段，各段的節(jié)點，其橫坐標分別為圖2 所列32 個點的值外加原點0 共33 個，輸出為對應歸一化統(tǒng)計累加值。

上述分段線性函數(shù)曲線f2，經過分段線性函數(shù)f1的映射，同時加入P1/P2 的權重限制，得到新函數(shù)曲線f3（IN）=P1/（P1+P2）×f4（IN）+P2，即信號控制曲線M1。其中，P1、P2 會因1.1 中（3） 提到的“當前顯示內容的信號類型，如HDR10、HLG 或者SDR”而有所不同。f4（IN）=f1[ f2（IN）]。

1.2 設備能力與用戶環(huán)境風格分析模塊

設備能力與用戶環(huán)境風格分析模塊，根據(jù)設備能力信息及用戶環(huán)境風格信息，分析得到相關特征數(shù)據(jù)集2。

（1）獲取顯示器各種光學指標（全屏最大亮度TDP，L10/L20/L50 小窗口最大亮度TDP_L10/TDP_L20/TDP_L50）。

（2）經用戶許可，通過設備攝像頭，獲取用戶環(huán)境布局參數(shù)。提示用戶，將對電視機所處環(huán)境拍攝系列圖片，分析完成后將進行銷毀。用戶許可后，對周圍環(huán)境以5°為步進旋轉，抓取系列圖片。

（3）將獲取信息輸入對應分析模塊進行處理。將參數(shù)TDP_L10/TDP_L20/TDP_L50 輸入查詢模塊二，查詢模塊二中內置11 個3 維表3D_LUT_2（11 行11 列11 層），加后綴i 為3D_LUT_2_i 以作區(qū)分，根據(jù)輸入?yún)?shù)，可查到一條特定參數(shù)曲線TDP_L_LUT。具體查詢方式：將TDP_L10/TDP_L20/TDP_L50 用TDP歸一化，再分別乘11，結果分別對應3D_LUT_2_i3 個維度。每查詢一次， 會得到一個值ai（a1/a2/a3……a11）（取值范圍0～1 023），查詢11 次后得到11 個值，根據(jù)這11 個值，經過線性插值，形成參數(shù)曲線TDP_L_LUT ：f5（13，26，51，77，102，128，153，179，204，230，255，a1，a2……a11）。根據(jù)參數(shù)TDP，將其作為函數(shù)輸出值，反求其輸入值，得到最終的查找值TDP_LUT， 即TDP=TDP_L_LUT（TDP_LUT）。將拍得圖片，輸入到內置圖片轉3D 模塊，生成3D 模型。結合TDP_LUT 和3D 模型，與內置數(shù)據(jù)庫比對，對用戶環(huán)境風格做歸類。以裝修色系、寬敞度、方位及向陽位置4 個維度進行分類。

1.3 實時分析與調整模塊

實時分析與調整模塊，根據(jù)用戶實時環(huán)境信息及特征數(shù)據(jù)集1、特征數(shù)據(jù)集2，實時分析并做出相應調整。

（1）通過設備自帶的環(huán)境光感探頭，實時獲取環(huán)境光感應參數(shù)SEN。系統(tǒng)據(jù)此對設備背光系統(tǒng)進行控制。

（2）經用戶許可，通過設備攝像頭，獲取用戶觀看位置。設備最佳觀看位置為正中間，系統(tǒng)據(jù)此調整設備的畫質參數(shù)，使用戶在各方位都能感受到和正中間一樣效果。

1.4 用戶指令解析與反饋模塊

用戶指令解析與反饋模塊，負責用戶與系統(tǒng)的互動與反饋。系統(tǒng)實時調整后，進入待命狀態(tài)，隨時準備解析用戶的新指令，根據(jù)用戶的反饋繼續(xù)做出正向調整。

（1）調整模塊將根據(jù)設備能力與用戶環(huán)境風格分析模塊、實時分析與調整模塊輸入的信息，對信號控制曲線進行優(yōu)化，由底層響應后呈現(xiàn)給用戶。①設備能力與用戶環(huán)境風格分析模塊輸出：描述設備能力的參數(shù)，TDP、TDP_L_LUT 及TDP_LUT ；用戶環(huán)境風格分析值，裝修色系（DC）、空間寬敞度（SS）、方位（OR）及向陽位置（SP）4 個維度。②調整模塊根據(jù)裝修色系（DC）、空間寬敞度（SS）確定優(yōu)化曲線的控制點定位及個數(shù)。遵循色系越深控制點定位越集中在暗階，空間越寬敞控制點越多的原則。③根據(jù)參數(shù) TDP、TDP_LUT 和方位（OR）及向陽位置（SP），確定優(yōu)化曲線的程度，遵循TDP、TDP_LUT 值越大，優(yōu)化調整幅度越小的原則，表示為a1=f7（TDP，TDP_LUT）；通過方位（OR）及向陽位置（SP）確定電視機所在位置受到外界自然光線的影響程度，受影響越大，則優(yōu)化調整幅度越大，表示為a2=f8（OR，SP）。以a1、a2 加權計算最終優(yōu)化幅度。

（2）根據(jù)參數(shù)SEN，調整模塊，配合圖3，調整背光控制系統(tǒng)，使用戶看到亮度更適宜、對比層次更豐富的畫面效果。主要遵循環(huán)境光越亮，系統(tǒng)背光控制越高原則。

（3）根據(jù)用戶方位信息，調整模塊進一步調整可視角參數(shù)，將最佳視角轉移到用戶位置，使用戶在任一個方位都感受到最佳觀看效果。由于電視機本身的可視角有限，傳統(tǒng)技術上通常只有正對著屏幕才能獲得最佳視角，而通過獲取到用戶的方位后，調試系統(tǒng)的可視角調整參數(shù)，使得系統(tǒng)的最佳視角轉移到用戶當前所在位置，讓用戶可在任一個方位都感受到最佳觀看效果。

（4）經用戶許可，提示用戶對當前顯示效果進行評價，解析用戶的新指令，從不同維度對上述調整做正向調整，直到用戶滿意當前設定或已到達調整極限。例如，用戶發(fā)出“畫面太朦朧”指令，針對該指令相應調整系統(tǒng)對比度及背光控制，通過拉伸畫面層次的同時降低系統(tǒng)漏光得到預期的效果。

2 試驗結果與分析

邀請20 名受試者針對3 種類型各10 個視頻片段進行測試。其中，測試環(huán)境涵蓋了3 種裝修風格的家庭環(huán)境，且每種家庭環(huán)境都測試了4 種照度（暗室、70lx、140lx、210lx），測試角度則分別是與水平屏幕成90°、60°和30°，觀看距離分別為1.5 倍屏幕高度、3 倍屏幕高度。3 種環(huán)境、4 種照度、3 個觀看角度、2 個觀看距離，共有72 種組合，在每個組合下，每個受試者先根據(jù)自己的喜好應用本方法進行調整，調整后，開始對上述的30 個視頻片源進行測試，統(tǒng)計結果見表1。表1 中，以第3 行第1 列的63.9 為例，表示3 個（19～24 歲）的男受試人員，對“宣傳”類型的10 個視頻在72 種組合下進行調整后，最終有63.9%的比例選擇增強后的效果。

試驗結果顯示，不同年齡段不同性別的受試者，雖然選擇比例有差異，但都傾向于增強后的效果，認為應用本方法后，能在一定程度上以自身使用環(huán)境及個人喜好，進行更有效地參數(shù)調整，體驗到畫面層次感更好，立體感更深的畫質體驗。

3 結束語

文章提出一種閉環(huán)自適應的圖像增強方法。通過提取挑選特定編碼信息及內容直方圖分布等信息，結合設備能力信息及用戶環(huán)境風格信息，同時根據(jù)用戶實時環(huán)境信息分析并調整，調整后與用戶互動反饋形成閉環(huán)，最終使用戶體驗到預期效果。該方法以用戶為中心，充分考慮用戶使用環(huán)境及個人喜好，形成閉環(huán)自適應。讓用戶在家也能體驗到試驗室調教級別的畫質效果，畫面層次感更好，立體感更深。

參考文獻

[1] 國家廣播電視產品質量監(jiān)督檢驗中心，TCL 多媒體科技控股有限公司GPC 研發(fā)中心. 數(shù)字電視與平板電視中的色度學[M]. 北京：人民郵電出版社，2010.

[2] 國家廣播電視產品質量監(jiān)督檢驗中心，中國電子科技集團公司第三研究所，天津大學電子信息工程學院. 數(shù)字電視原理與檢測技術[M]. 北京：人民郵電出版社，2011.

[3] ROBERT S，DEVIN W.Algorithms[M]. 北京：人民郵電出版社，2012.

[4] 廖寧放. 高等色度學[M]. 北京：理工大學出版社出版，2020.

[5] 姚啟鉤. 光學教程[M]. 北京：高等教育出版社，2002.