基于視覺顯著性的AMOLED 顯示器多區域功耗優化?

李德光 , 郭 兵 , 張瑞玲 , 馬友忠 , 任禎琴 , 趙旭鴿 , 譚 慶, 李君科

1(洛陽師范學院 信息技術學院,河南 洛陽 471934)

2(四川大學 計算機學院,四川 成都 610065)

3(黔南民族師范學院 計算機與信息學院,貴州 都勻 558000)

ICT(information and communication technology)產業作為全球發展最快的產業之一,統計數據顯示:其能耗已占到了全球總耗電量的10%[1],其碳排放達7 億噸/年,并以每年約4%的速度遞增[2].為推動ICT 產業的綠色低碳環保可持續發展,綠色計算[3-6]已成為眾多國內外研究者的共識.目前,ICT 產業進入以智能移動終端、智能穿戴、虛擬現實、智能機器人及萬物互聯的物聯網技術為代表的新產業時代,使得嵌入式計算逐步成為主流.以典型的嵌入式設備智能移動終端為例,顯示屏的能耗通常占系統總能耗的27%～50%[7-10],雖然單臺設備的功耗不高(平均功耗為0.3W～1W),但截止目前,全球智能手機的持有量已超過23 億部.由于嵌入式設備種類繁多、應用范圍廣、數量巨大,從而其總體耗能十分驚人.特別是對于電池容量受限的智能移動終端、智能可穿戴以及虛擬現實等設備,降低顯示屏功耗、提高設備續航時間、延長使用壽命,已成為功耗優化領域中的一個重要研究課題.

AMOLED 顯示器為嵌入式設備中高耗能組件(表1 為智能終端Galaxy S-I9000 各組件不同工作狀態下的功耗),圖1 為終端Galaxy S-I9000 在不同狀態下以及各測試軟件運行時各組件的功耗分布圖,圖1(a)所示為系統在處于飛行模式并且屏幕關閉系統處于Idle 狀態時的系統功耗為52.4mW,此時系統功耗最低,功耗的來源主要是設備集成電路芯片(SOC)的基本靜態功耗.圖1(b)所示為Android Browser 重復運行20 次,每次采樣周期為100s 的功耗分布情況,其平均功耗值為235.6mW,其中,各組件的功耗分布情況為CPU 功耗占設備總功耗的32.4%,OLED 功耗占設備總功耗的29.8%,Wi-Fi 功耗占設備總功耗的20.2%,SOC 功耗占設備總功耗的17.6%.圖1(c)所示為PPStream 重復運行20 次的平均功耗值為77.2mW,其中,各組件的功耗分布情況為CPU 功耗占設備總功耗的29.9%,OLED 功耗占設備總功耗的33.5%,Wi-Fi 功耗占設備總功耗的18.8%,SOC 功耗占設備總功耗的17.8%.圖1(d)所示為Doodle Jump 重復運行20 次的平均功耗值為170.2mW,其中:CPU 功耗占設備總功耗的32.6%,OLED 功耗占設備總功耗的33.6%,Wi-Fi 功耗占設備總功耗的17.4%,SOC 功耗占設備總功耗的16.4%.從表1 和圖1 可知,OLED 為智能終端中的高耗能組件,其中,在運行視頻軟件和游戲軟件時,由于顯示內容色彩的豐富性,OLED 的功耗明顯增加.

AMOLED(active-matrix organic light-emitting diode)顯示技術[11,12]以其可視角度廣、高色域、電壓低、屏幕薄、響應快、可彎曲甚至可折疊、重量輕、成本低等特點,目前發展迅猛,典型事例如京東方公司中國首條第6 代柔性AMOLED 生產線于今年量產,Apple 公司新發布的IPhone X 及Apple Watch 均配備了多點觸摸AMOLED 屏.OLED 屏幕的驅動方式分為有源驅動(AMOLED)和無源驅動(PMOLED),由于有源驅動可以實現對屏幕中每個像素點進行獨立控制,屏幕的節能效率更高,目前為OLED 的主要驅動方式.本文針對AMOLED顯示屏的功耗優化進行研究.

不同于傳統的LCD(liquid crystal display)顯示技術需要高強度的背光,AMOLED 顯示技術采用非常薄的有機材料涂層和玻璃基板,當有電流通過時,驅動有機材料發光產生不同的顏色.AMOLED 屏幕的每個像素點由紅色、綠色和藍色這3 種類型子像素組成,3 個子像素各自獨立發光構成一個像素點.由于AMOLED 的自身自發光特性,可以分別對每個子像素點的發光進行獨立控制,從而實現在不降低顯示內容視覺效果的同時降低其顯示功耗.所以AMOLED 屏幕的顯示功耗完全由顯示內容所決定,更確切地說,是內容中所有像素點的像素值決定[13,14].當屏幕顯示全黑色時,顯示屏的功耗幾乎為零;當屏幕顯示全白色時,屏幕的功耗處于峰值.由于其自發光特性可以分別對每個子像素點的發光進行獨立控制,從而在不影響顯示內容整體視覺效果的前提下,通過動態調整子像素的像素信息降低屏幕功耗.此時,屏幕功耗優化的關鍵是顯示內容中動態調整區域的選擇與劃分.已有學者假定屏幕的固定區域為調整區域或者對顯示內容整體進行調整.上述方法雖在一定應用場景下適用,但存在明顯的局限性.

如何對顯示內容進行多區域劃分進而動態調整,成為AMOLED屏幕功耗優化的關鍵.由于人類視覺系統并非對屏幕顯示內容所有區域平等地進行處理[15,16],而是通過視覺關注機制篩選出重要區域以進一步的優先解讀,因此,根據人類視覺特性,通過對所顯示內容進行視覺顯著性計算,可以有效地對顯示內容進行多區域劃分進而調整,從而實現既保持顯示內容的“感興趣域”信息的同時降低“非興趣域”的像素信息.由于人類視覺系統的分辨能力有限,無法察覺出處于一定閾值以下的信號內容變化[14,16],從而實現在保證顯示內容整體視覺效果的同時降低顯示功耗.隨著AMOLED 顯示技術在智能移動終端、智能平板、高清數字電視、智能穿戴設備、虛擬現實設備等新型智能移動設備的廣泛應用,降低終端的顯示功耗對降低整個設備的能量消耗起到關鍵作用,對占據ICT 產業超過50%以上份額的嵌入式設備功耗具有重要的現實意義,同時可以延長設備的使用壽命,降低由于消耗電力帶來的二氧化碳排放以及對環境保護起到重要的推動作用.

1 相關工作

目前,針對AMOLED 的功耗優化方法主要有基于上下文感知的亮度調節[17-33]和動態顏色映射[34-42].亮度調節方法實現簡單,但節能顯著時,圖像的視覺效果較差;動態顏色映射不適用于顏色表示特定含義的圖像.計算機視覺感知對人類視覺感知系統的深入研究[15],為AMOLED 功耗優化提供了方向,通過視覺感知,可以有效地獲取顯示內容各區域的視覺關注度,根據其調整實現滿足視覺效果的同時降低功耗.

Dalton[17]最早提出通過網絡攝像頭檢測用戶與當前計算機是否交互,當用戶離開時將顯示屏關掉.該方法雖簡單,但其為顯示設備節能提供了思路.隨后,Intel 和Microsoft 等公司制定了更加有效的屏幕電源管理策略,并將其集成到通用的高級配置與電源接口(ACPI)中.Xie[18]通過案例研究發現:用戶在瀏覽圖片時,經常使用縮放和滾動功能瀏覽圖像中的興趣域.基于該事實,其提出了一種通過分析圖片的瀏覽記錄發現用戶的興趣點及關注點改進軟件性能.該研究基于圖像的興趣點及關注點,為OLED 屏幕功耗優化提供了方向.

Wee[19,20]提出了基于用戶興趣域降低OLED 顯示功耗的方法,其假設當前屏幕中心區域為用戶興趣域,并設定該區域為矩形區域,從興趣域到圖像邊界依次按一定的距離設定一個矩形區域為非興趣域,多個矩形區域共同構成圖像的非興趣域.該算法在實現時較為簡單,但其假設對于圖像興趣域不在中心的圖像是無法適用的.在文獻[20]中,同樣基于用戶的興趣域對應用程序提出了一個簡單的興趣域模型,假定用戶在使用應用程序時,其注意力主要集中在顯示屏幕的頂部和底部,進而對屏幕的其他區域進行優化.同樣,該假設具有局限性,無法滿足不同應用程序的要求.Chen[21]提出:當用戶與屏幕進行交互時,手指覆蓋的區域以及其相鄰區域通常用戶不予關注,此時將手指覆蓋的區域調節至完全黑暗,即將該區域范圍像素點的像素值調至為零,相鄰區域進行部分變暗處理,該方法可以有效將該區域的功耗顯著降低,同時對圖像整體的視覺效果未產生明顯的影響.但該方法未對屏幕的其他區域進行調節,存在進一步的優化空間.

Choubey[14]基于人類視覺感知特點及感知顯示內容,提出選擇性關閉部分像素點的功耗優化方法,其根據人類視覺系統最少可辨視覺閾值,計算當兩個點光源之間的距離小于0.04mm～0.05mm 時,在視覺效果上二者被視作為同一個光源.因此對于高清甚至超清的AMOLED 顯示器,關閉部分像素點以降低顯示功耗.其在實現時只關閉圖像的部分區域,存在進一步優化的空間.Chen[22]提出一種基于圖像空間的節能可視化方案,其核心思路是:通過圖像邊緣檢測算法獲取圖像的興趣域,保留圖像的興趣域的同時抑制非興趣的圖像信息,實現保留圖像整體視覺效果的同時降低顯示功耗.該方法在一定程度上實現了功耗優化,但其未對圖像多區域優化進行深入討論,因此也存在繼續優化的空間.

上述研究[17-22]為降低AMOLED 顯示功耗提供了思路,即:通過視覺感知算法對顯示內容進行感知,而不是通過簡單的假設確定需要優化的區域.由于人類視覺感知系統的篩選機制,人類通常對圖像中重要區域關注度較高,該區域在計算機視覺系統中稱為圖像的“興趣域”;同時,對圖像中非重要區域信息(通常稱為“非興趣域”)關注度較低.目前,對圖像內容感知主要通過圖像顯著區域計算[23],圖像的視覺顯著性信息能夠反映圖像中不同區域對人視覺系統刺激程度,因此,通過視覺感知算法對顯示內容進行感知,根據人們的視覺特性對顯示內容劃分不同的區域,對不同的區域在不影響圖像整體視覺效果的同時進行像素調整,實現降低顯示內容的功耗.目前,顯著區域檢測主要算法[23-29]及其性能分析見表2.圖2 為CS[28]算法顯著區域檢測的3 張測試圖.

Table 2 Performance comparison of different algorithm for salient region detection表2 圖像顯著區域檢測各算法性能指標

從視覺效果上,算法可以有效地檢測出圖像的顯著區域,同時為功耗優化提供圖像的多區域特征圖(multiregion saliency map),根據特征圖對圖像不同的區域計算在滿足視覺效果限制條件下的像素調節閾值.此時,即將AMOLED 屏幕功耗優化問題轉化在滿足視覺效果限制條件下尋找圖像各個區域功耗最小化的問題.由于在計算圖像顯著圖時會帶來一定的計算量,此時需要對算法的復雜度、執行時間以及對視覺效果的影響等因素進行深入研究,因此迫切需要將屏幕功耗優化與圖像視覺感知協同考慮,設計更加快速有效的圖像多區域感知算法,以便最大限度優化功耗,同時減小視覺感知的計算功耗.

Wee[19,20]均采用降低顯示內容非興趣域的亮度實現屏幕功耗優化,但其非興趣域調節系數固定,導致調節后的圖像非興趣域與興趣域區別明顯,對視覺效果有明顯的影響.段林濤[30]以屏幕中心到邊界間隔相同間距設置多個矩形,并賦予不同的亮度調節系數.Betts[31]同樣對屏幕選定區域的像素亮度調節,實現功耗優化.上述方法關于優化區域的選擇存在一定的局限性.Hadizadeh[32]對每個像素點確定一個亮度明顯差異識別閾值JND(just-noticeable-difference threshold),提出了一種自適應性JND 調節模型.該方法對多組圖像驗證,平均可節約14.1%的顯示功耗;但對每個像素點均計算其JND 閾值,產生較大的計算功耗.Hadizadeh 也指出:該方法只支持產生靜態低功耗圖像,無法在視頻播放等實時性應用場景中使用.Lo[33]提出了基于主觀視覺感知的AMOLED亮度調節方法,獲取視頻比特流的運動矢量,并將其轉換為圖像特征圖,以人類視覺特點為限制條件進行亮度調節,實現功耗優化,但未對顯示多區域的優化進行深入討論.

Chuang[34]首先對不同的顏色功耗特點進行研究,提出了在限定條件下搜索顏色功耗最優的醫學等數據功耗最優可視化方案.方案雖可以對醫學等數據可視化提供功耗最優顏色方案,但對于顏色代表特定含義的可視化應用是不適用的.Wang[35]針對順序數據的可視化,提出了在給定視覺感知差異的多目標功耗最優化色彩顯示方案,提出了預先設計配色方案和自動生成的配色方案來對順序數據進行可視化.該方法與Chuang[39]類似.Vallerio[36]首先提出了高能效移動應用界面設計,并以典型的應用界面設計證明高能效的可行性.隨后,Dong[37]針對移動應用軟件界面提出了利用顏色轉換來降低OLED 顯示功耗的方案.首先統計原界面的顏色種類及位圖信息,并根據各顏色的區別度及圖像內容設置限制條件,依據該限制,搜索使得整副圖像功耗最小的顏色空間來替換當前顏色空間,并在文獻[38]中改進瀏覽器搜索引擎,自動將瀏覽網頁的顏色轉換為功耗最小的顏色,有效降低了顯示功耗,延長了待機時間.Li[39]通過對Web 應用程序的結構分析,使用灰暗的顏色來替代原有較明亮的顏色,降低顯示功耗.該方法的思想與文獻[34-38]是一致的,在實現方式上有所區別.但上述方法由于改變了原有圖像的有顏色空間,只適用于圖形用戶界面,不適用于圖像及視頻需要維持原有顏色意義的應用場景.Chen[40]基于隱馬爾可夫模型(HMM)分類器,根據視頻的功耗特點對視頻進行分類,對不同種類的視頻采用顏色映射、飽和度調節及色調調節來降低視頻播放時的顯示功耗.該方法雖降低了顯示功耗,但由于進行分類時產生的計算功耗較大.Jin[41]基于顏色映射提出了功耗與視覺差異平衡指標,并在顏色空間內搜索指標值最優點,旨在尋找視覺效果與功耗最優的平衡點,但在尋找最優平衡點時帶來的計算功耗較大.

Bhojan[42]提出了人類視覺系統(HVS)感知的自適應顏色轉換和變暗方法,在保持視頻的視覺逼真度的同時,為OLED 顯示器創建節能視頻.其提出的顏色空間轉換及變暗方法本質上都是降低各顏色分量的像素值,與本文提出的方法類似,但其未對視頻內容進一步區分.Linares[43]用于Android 應用程序(Gemma)的GUI 能源多目標優化,用于使用多目標優化技術生成調色板.該技術生成優化能耗和對比度的顏色解決方案,同時使用與原始調色板一致的顏色.Asnani[44]提出將藍色的強度降低到盡可能低的水平,從而在保持圖像感知質量的同時降低整體功耗.由于藍色像素分量是最耗電的分量,即它比紅色和綠色分量耗電更多.其提出的方法在一定程度上可以降低圖像的顯示功耗,但需要平衡其他另外顏色分量的比例,對于藍色分量占比較高的圖片優化效果較好,但對于藍色分量占比較少的圖像,優化效果需進一步改進.

亮度調節通過降低像素點的亮度間接減小像素點的像素值,動態顏色映射將圖像原有的顏色空間轉變為其他功耗較低的顏色空間,二者在本質上都是減小像素點的像素值來降低顯示功耗.亮度調節方法實現較為簡單,同時節能效果明顯,但其功耗優化程度直接與圖像的視覺效果有明顯的關系.動態顏色映射通常是將依據原有圖像的顏色空間在滿足能夠描述圖像特征的同時尋找一個功耗最小的顏色空間.該方法功耗優化明顯,但由于該方法將原有圖像的顏色空間進行了顏色空間映射,改變了原有圖像顏色的物理意義,對于只關注描述圖像特征的圖像是適用的,但對于顏色表示特定含義的圖像是不適用的.表3 為各調整方法優缺點對比總結.通過對上述方法的分析,為保證顯示內容原有的顏色物理含義,同時保證圖像的視覺效果,需要提出一個更普適高效的顯示內容像素級動態調節方法,來完成顯示內容視覺效果不受損害的同時,降低其顯示功耗.

Table 3 Comparison of advantages and disadvantages of various methods表3 各調節方法優缺點比較

目前,在AMOLED 低功耗研究取得了一定的研究成果,但針對更加普適高效的AMOLED 功耗優化研究需進一步深入.隨著4G、5G 網絡通信的快速發展,網絡帶寬及數據流量急速增大,智能移動終端、智能穿戴、智能機器人及虛擬現實等智能終端設備更加普及,AMOLED 以其畫質好、更輕薄、可折疊、可柔性顯示、低功耗及抗眼疲勞等特點在嵌入式設備中應用更加廣泛.本文針對屏幕顯示的內容進行圖像感知,提出根據人類視覺特點對圖像進行多區域感知,更準確地獲取當前屏幕的特征區域.根據不同區域的關注度對多區域進行劃分,根據圖像整體視覺效果及功耗優化程度,對不同的區域進行像素級動態調整,以保證最低降低能耗的同時,保證圖像整體視覺效果.

2 AMOLED 功耗模型

功耗建模是計算功耗的基礎,也是評價功耗優化效果的核心量化指標.目前,AMOLED 的功耗建模主要分為兩種——基于硬件功耗測量儀器的功耗統計模型和基于軟件的近似估計功耗模型:第1 種方法主要通過功耗測量儀器測量,或者通過硬件傳感器嵌入到AMOLED 部件的接入電路統計功耗;第2 種方法是通過對AMOLED 建立功耗模型統計功耗.基于硬件的方法測量結果通常比基于軟件估計的更準確,但在測量時需專門的硬件;而基于軟件的近似估計方法通過構建功耗模型對功耗進行計算,操作簡單,通用性強.目前,基于軟件近似估計的功耗建模方法已成為國內外研究者的共識.

在典型的智能移動終端系統中,操作系統及應用軟件運行于主處理器上,圖形處理單元(通常包含圖形加速器及顯示控制器)生成顯示內容的位圖,并將其存儲在幀緩沖區內存中;然后,位圖被發送到顯示器進行顯示.AMOLED 代碼級功耗建模[16,17]通常借助用戶界面使用高級語言實現的特點,通過遍歷用戶界面包含的控件種類及結構分析估算界面功耗;圖像級功耗建模[16]主要通過訪問圖像的局部位圖信息估算當前顯示功耗;像素級功耗建模[16,45,46]主要通過遍歷圖像的全部像素信息計算當前顯示功耗;電路級功耗建模[47]主要獲取薄膜晶體管的載流子遷移率、OLED 發光效率、像素縱橫比等參數進行功耗計算.代碼級功耗建模依賴于對高級編程語言的分析,無法計算自然圖像的功耗;圖像級功耗建模雖計算速度較快,但精確度不夠;電路級功耗建模精確度較高,但通用性不夠;像素級功耗建模通過圖像位圖信息計算顯示功耗,其精確度高、通用性較強,目前為AMOLED 功耗建模的主要方法.

本文采用Dong[16]提出的像素級功耗模型,具體的功耗模型見公式(1)及公式(2):

公式(1)和公式(2)中的f(?),h(?)和k(?)分別表示像素點紅色、綠色和藍色各顏色分量的功耗函數,Ppixel表示單個像素點的功耗,n表示圖像中像素點的總數,C表示OLED 不受像素約束的靜態功耗,Piamge表示整個圖像的功耗.其首先通過測量一個完全黑色的屏幕可以獲取AMOLED 的靜態功耗C,3 個顏色分量的功耗函數可以通過對屏幕填充單一顏色時,逐漸改變顏色強度獲取各自顏色的功耗函數.圖3(a)是3 種顏色分量在μoled-32028-p1 AMOLED 顯示屏上不同顏色強度下的功耗,從圖中可以觀察到:最上方的曲線為藍色顏色分量的屏幕功耗,其功耗明顯高于紅色和綠色顏色分量,下方的兩個曲線為紅色顏色分量和綠色顏色分量的屏幕功耗,其中實心曲線為紅色顏色分量的屏幕功耗,二者屏幕功耗相對較小.從圖3(a)得知,各顏色分量的功耗函數是一個非線性函數.為簡化計算,對3 個非線性函數使用最小二乘法進行曲線擬合,得到顏色分量與功耗之間的線性關系如圖3(b)所示.

3 AMOLED 多區域視覺顯著性計算及像素調節方法

多區域視覺顯著性計算是指通過視覺顯著性算法對內容引起用戶的視覺關注度進行區分,對不同的區域進行不同程度的功耗優化,實現在降低功耗的同時保證視覺效果,該步驟是功耗優化的關鍵.基于視覺關注的AMOLED 顯示內容多區域感知是指根據人類視覺特性,通過視覺感知算法獲取顯示內容的顯著區域.在計算機視覺中,該區域通常也稱為獲取圖像的興趣域.圖像的感興趣域ROI(region of interest)是指圖像中最能引起用戶興趣的、最能表現圖像特征的區域.研究[29]表明:人類視覺系統與生俱來具備處理復雜場景的能力,人類視覺系統可以快速掃描整個場景,并聚焦到最相關的區域,快速準確地濾除次要、冗余的視覺信息,進而快速鎖定重要目標,此即人類視覺關注的篩選機制.通常,在視覺關注早期可以快速鎖定圖像亮度對比度突出的區域,而那些與周邊不同的像素區域將吸引更多的視覺關注.本文正是基于此特性,對顯示內容基于視覺關注度進行劃分不同區域,對顯示內容的不同區域,根據其視覺關注度進行區分,實現顯示內容多區域感知.通過篩選區分,進而進行像素動態調節,從而實現在保證圖像整體視覺效果的同時降低顯示功耗.

對于任意一幅圖像,首先通過視覺顯著性算法獲取圖像的顯著性圖(saliency map),根據顯著圖確定圖像中各像素點的視覺關注度(visual attention),根據圖像各像素的視覺關注度,將圖像進行分割成不同的特征區域.本文基于Itti[29]提出的基于顯著性的快速場景分析視覺注意模型對顯示內容進行多區域劃分,Itti 算法首先對輸入圖像進行線性濾波,在多個特征通道和多尺度的分解,得到各個特征通道的特征圖,最后再對特征圖做融合.為提高圖像顯著圖的準確度及平衡由于運行算法帶來的計算功耗,本文針對Itti 算法進行部分優化,以滿足上述要求,算法流程圖如圖4 所示.

具體優化包含:

(1) 圖像雙邊濾波

在實現時我們發現:線性濾波在降噪時都會有一定的模糊邊緣,對于高頻細節的保護效果并不明顯.因此,本文使用雙邊濾波器對圖像進行濾波處理.雙邊濾波的邊緣保持特性主要是通過在卷積的過程中組合空域函數和值域核函數來實現的,比高斯濾波多了一個高斯方差,從而達到保邊去噪的目的,具有簡單、局部、非迭代的特點,其公式為公式(3):

其中,Ifiltered為輸出圖像,I為輸入圖像,x是當前被過濾像素的坐標,Ω是以像素點x為中心的鄰域窗口,fr是值域核函數,gs是空域核函數.

(2) 顯示內容多區域分割

由于分割的顯著域數量對圖像分割操作及下一步的像素調節操作帶來的功耗有一定的影響,因此,在根據圖像顯著圖進行分割時,需要考慮各區域的顏色分量圖及方向分量圖:對于連續空間,其方向距離小于一定閾值的情況的多區域作為一個顯著域處理;對于非連續空間,并且其方向距離大于一定間隔的情況視為互獨立的區域進而分割.同時,根據Itti 算法生成的圖像顯著性圖,可以定量地評估每個像素的視覺關注度,其值在0 到1 之間:1 代表該區域具有最高的關注度水平,具有相同顯著值的像素點具有相同強度的視覺注意效果.根據像素點的視覺關注度,并參考其顏色分量及方向分量信息,理論上可以將圖像平均劃分為n個子范圍,將各像素點分為n個相應的注意區域.但由于分量數量帶來的附加功耗限制以及實際應用情況的統計數據表明:一幅圖像中,通常引起人類較大關注的區域不超過5 個.同時,在實驗分析中我們發現:對于大多數顯示內容分割區域的取值為3～5 時,此時圖像的功耗優化及帶來的計算功耗可以取得最優的平衡.

(3) 多區域像素動態調整方法

設一副圖像被分割為N個不相交的區域用集合R來表示,R={r1,r2,...,rN}.圖像多區域像素動態調整即轉化為在給定N個區域的空間內,在保證圖像整體視覺效果的限制條件下,求解各區域最大的調節系數,使得最后圖像在滿足質量的前提條件下圖像功耗值最小化的問題,目標函數如公式(4)所示:

其中,xk表示當前屏幕的功耗函數,θ(i)表示某一區域的調節系數.

此時,調節的關鍵是確定各區域最大調節系數.該系數的確定,需要根據當前區域的視覺關注度及調節后的圖像整體視覺效果.設第i區域的視覺關注度為η(i),C(i)為動態調整系數,N為圖像中的區域數量,調節系數的公式為公式(5):

由公式(5)可知,調節系數與當前區域的視覺關注度成反比.即:當前區域如果其關注度高,則其調節的幅度較小;反之,調節幅度較大.此時,調節系數的確定即是求解動態調整系數C(i).

為保證調整區域的視覺效果,我們使用圖像結構相似系數(SSIM)來約束圖像調節的幅度,在計算時,分別計算各區域調整后的結構相似系數.由于各區域的視覺關注度不同,所以人類視覺對各區域所能承受的失真程度不同.設視覺關注度最小區域的SSIM 值為β,則剩余區域的SSIM 取值范圍為β～1.第i個區域的SSIM 的取值為公式(6):

根據公式(5)和公式(6)的限制條件,即可求解目前函數.

但此時未考慮如果兩個相鄰區域調節系數差值較大,則在兩個相鄰區域的連接處則會出現明顯的邊界效應,造成圖像邊緣的不平滑進而影響視覺效果.為消除相鄰區域可能出現的邊界效應,需要對相鄰區域的調節系數進行限制.我們用最小可覺差(just noticeable difference,簡稱JND)來限制相鄰區域在調節過程可能出現的邊界效應,即調節后的兩個區域的差值小于最小可覺差,詳見公式(7):

C(i)與C(j)為任一兩個相鄰區域的動態調整系數,二者差值的絕對值除以二者的平均值,即為相鄰區域的動態調整幅度.d為最小可覺差,該值為一個常數.因此,在求解各區域的動態調整系數時需要同時需要滿足公式(7),以消除可能帶來的相鄰區域邊界效應.具體調節算法如下所示.

4 實驗結果及分析

首先介紹本文采用的實驗環境,接下來對提出的算法進行驗證.為對文中提出的方法進行對比分析,給出對圖像整體使用單一調整系數的算法(WRA 算法),對興趣域使用最小矩形包含同時未對邊界進行處理的算法(RRA 算法),以及本文提出的多區域動態調整算法(MRA 算法).最后給出采用上述3 種算法處理后的兩組圖像及圖像的各關鍵屬性信息,圖像來自于Google 圖像庫(image.google.com).同時,為驗證方法的有效性及普適性,在Google 圖像庫中隨機選取200 張圖像,使用文中的算法處理,對處理后的圖像功耗優化效果進行統計分析.

4.1 實驗環境

為獲得圖像在AMOLED 上的顯示功耗,首先要獲取3 個顏色分量的能耗函數f(?),h(?)和k(?).選取型號為μOLED-32028-P1 AMOLED 作為本文顯示實驗平臺,其分辨率為320×240,色數為65K.采用HOIKI 3334 多功能功率測量儀器測量瞬時功耗和累計功耗,KA3005P 數控直流電源提供穩定可控電壓,實驗各部件關鍵參數見表3.

Table 3 Key parameters of each component in the experiment表3 實驗各部件關鍵參數

對每一個顏色分量測量中,首先用該單一顏色填充整個AMOLED 屏幕,調節顏色強度并記錄當前顏色強度下屏幕功耗,每個強度的測量時間為30s,計算其平均值作為當前強度下的顏色功耗,測量結果如圖3(a)所示.從圖3 得知,各顏色分量的功耗函數是一個非線性函數,為簡化計算,對3 個非線性函數使用最小二乘法進行曲線擬合,得到顏色分量與功耗之間的線性關系如圖3(b)所示.

4.2 實驗結果分析

圖5 所示分別為第1 組圖像的原始圖像、邊緣檢測圖、圖像特征圖、應用WRA 后的圖像、應用RRA 后的圖像、應用MRA 的圖像.

表4 給出了使用3 種算法處理后的圖像功耗信息及圖像結構相似度等關鍵信息.Power 表示圖像在實驗指定屏幕上的瞬時功耗,MSSIM 表示使用算法處理后的圖像整體相似結構參數的平均值(即各區域的結構相似度的平均值)來評價原圖像與輸出圖像在結構上的相似性,Reduce ratio 表示優化后的圖像相比原圖像的功耗優化率.符號“-”表示當前屬性值無變化,表中正值表示圖像屬性值相比原圖的屬性值變化情況.

Table 4 Key attribute information of different images表4 各圖像關鍵屬性信息表

從圖5 和表4 中觀察到,應用3 種算法輸出的圖像比原始圖像都具有更低的功耗.當限定圖像的平均結構相似系數(MSSIM)為0.95 時:對于圖像1,應用WRA 算法圖像功耗降低21.6%,應用RRA 算法圖像功耗降低25.8%,應用MRA 算法圖像功耗降低24.6%;對于圖像2,應用WRA 算法圖像功耗降低17.4%,應用RRA 算法圖像功耗降低19.7%,應用MRA 算法圖像功耗降低18.8%;對于圖像3,應用WRA 算法圖像功耗降低16.5%,應用RRA 算法圖像功耗降低18.2%,應用MRA 算法圖像功耗降低17.4%.對于3 幅圖像,本文提出的MRA 算法平均降低20.2%的功耗,功耗優化效果比較明顯.

對于3 幅圖像,在保持同樣的結構相似度的限制條件下,MRA 算法降低的功耗分別比WRA 算法高出3%,1.4%和1.1%,平均值為1.8%.說明本文提出的算法對降低圖像的功耗效果更顯著.同時,本文提出的MRA 算法在視覺效果上優于WRA.這是由于WRA 算法對圖像整體進行調整,調整系數單一無法凸顯顯著區域的特征.對于RRA 算法,在保持同樣的結構相似度的限制條件下,功耗優化效果略優于本文提出的WRA 算法.這是由于RRA算法使用最小矩形區域包含圖像顯著域,其顯著調整區域小于WRA算法,使得其調整系數大于MRA算法,從而其功耗效果略優于MRA 算法.但由于其未對不同的特征區域的調整系數進行邊界限制,導致在視覺效果上出現明顯的邊界效應.而本文提出的MRA 算法由于對不同的特征區域的調整系數進行了限制,所以其變化趨于更加平緩,更能保持圖像質量,從而滿足較好的視覺效果.

由表4 和圖5 的數據定量分析可以清晰地觀察到,我們提出的MRA 算法比WRA 及RRA 算法的效果更好.這是由于在對圖像進行調節時保存了圖像興趣域的關鍵信息,同時考慮了不同區域的調節系數,在降低功耗的同時,保證圖像整體的視覺效果.

上述3 副圖像中,第1 個圖像的功耗優化最多.這是由于該圖像的顯著區域面積相對較小,其非顯著區域面積較大,而在調節時.非顯著區域的調節系數較大.從而使得圖像的整體功耗優化效果比例較大.對于第3 個圖像,由于其顯著區域面積相對較大,非顯著區域面積相對較小,在功耗優化時,調節系數較大的區域面積較小,使得圖像整體的功耗優化效率相對于第1 個圖像減少.

圖6 所示分別是第2 組圖像的對應處理后的各圖像信息(與第1 組的排列保持一致).

表5 中,各屬性及符號與表4 中的屬性及符號含義相同.

Table 5 Key attribute information of different images表5 各圖像關鍵屬性信息表

從圖6 和表5 中觀察到,應用3 種算法輸出的圖像比原始圖像都具有更低的功耗.當限定圖像的平均結構相似系數(MSSIM)為0.95 時:對于圖像1,應用WRA 算法圖像功耗降低10.2%,應用RRA 算法圖像功耗降低9.6%,應用MRA 算法圖像功耗降低10.4%;對于圖像2,應用WRA 算法圖像功耗降低11.2%,應用RRA 算法圖像功耗降低9.5%,應用MRA算法圖像功耗降低11.7%;對于圖像3,應用WRA算法圖像功耗降低9.5%,應用RRA算法圖像功耗降低8.1%,應用MRA 算法圖像功耗降低9.6%.對于3 幅圖像,本文提出的MRA 算法平均降低10.6%的功耗,有一定的功耗優化效果.

對于第2 組中的3 幅圖像,在保持同樣的結構相似度的限制條件下,MRA 算法降低的功耗分別比WRA 算法高出0.2%,0.5%和0.1%,平均值為0.27%.說明本文提出的算法與MRA 算法對降低圖像的功耗效果基本一致,并無明顯的優勢.這是由于對于第2 組的圖像無明顯的顯著區域,圖像整體各部分無明顯的差別,因此本文算法無法提取圖像的特征區域,因而各區域在視覺關注度方面無明顯區分.所以在對此類圖像時,本文算法將圖像當作一個整體來對待,因而其功耗優化效果與WRA 算法基本無差別.但在實際應用場景中,此類圖像出現的概率較小,因而在大概率應用場景中,圖像通常有一定的顯著區域,因而本文提出的方法具有一定的優勢,接下來通過統計分析進行說明.

為了驗證提出方法的通用性,我們進行了多樣例統計分析,隨機從Google 圖像庫中選取200 張圖像來驗證.對每一張圖像,采取相同的處理步驟:首先記錄其原圖像的功耗信息,而后記錄使用MRA 算法處理后的功耗數據,最后對這200 張處理后的功耗降低率進行統計.圖7 為200 張圖像應用MRA 方法后的功耗優化比例分布圖.

在保證圖像的MSSIM≥0.95 時,從圖中可以觀察到:41%的實驗樣本實現降低功耗為20%～30%,24%的實驗樣本實現降低功耗為30%～40%,只有很少的實驗樣本的功耗降低非常不明顯.這是由于這些圖像的興趣域基本占據整個圖像,同時,該類圖像的各顏色信息表示特定的物理含義,所以基本無法對該類圖像的各像素值進行調整,因而無法進行功耗優化.所有實驗樣本平均降低功耗為18.6%,這證明了提出方法的有效性和通用性.在進行多樣例統計分析中我們發現:當圖像的主色彩是白色或者藍色時,功耗的降低比例是非常明顯的.這是由于在AMOLED 功耗模型中,藍色顏色分量消耗屏幕功耗較高,紅色分量和綠色分量消耗的屏幕功耗相對藍色較小;而對白色色彩可以顯著地降低各顏色分量,因而功耗優化效果較為明顯.而對圖像的主色彩是灰色時,功耗的降低比例不是非常明顯.這是由于該類色彩其各顏色分量的像素值已相對小,在調整各顏色分量像素值時,調整的幅度較小,因而功耗優化略差.同時,對顯著區域明顯且該顯著域的區域大小相對有限時,我們的方法對該類圖像的功耗優化效果較好.

5 總結

本文針對AMOLED 的自發光特性,提出基于多區域內容感知的圖像低功耗優化方法.方法的核心是:通過多區域內容感知算法對顯示內容的重要區域進行提取,在保留圖像重要區域特征的前提下,根據各區域的視覺關注度進行多區域像素調節,從而在實現保證圖像整體視覺效果的同時,最大限度降低圖像顯示功耗.通過實驗驗證表明:提出的方法可以平均節約18.6%的顯示功耗,同時保持較高的圖像視覺質量.文中提出的方法可以較好地降低圖像顯示功耗,同時,該方法也可以用于視頻及其他多媒體應用場景.