謝 強(qiáng)
(棗陽市融媒體中心,湖北 棗陽 441200)
人類的肉眼對(duì)空間中的亮光識(shí)別相對(duì)敏感,尤其在夜間。但在計(jì)算機(jī)系統(tǒng)中圖像處理的DHR動(dòng)態(tài)范圍不會(huì)超過百分百,并且對(duì)于普通的攝像機(jī)來說,識(shí)別能力與人眼相比較弱,更容易在拍攝的過程中出現(xiàn)畫面曝光率過高的現(xiàn)象。視頻后期制作中需要結(jié)合HDR動(dòng)態(tài)光照進(jìn)行效果渲染,為實(shí)際情況下拍攝的畫面進(jìn)行細(xì)節(jié)化處理。在HDR畫面中,可將圖像亮度與現(xiàn)場(chǎng)真實(shí)的亮度以正比的原則進(jìn)行調(diào)節(jié),能夠更好地表現(xiàn)畫面中明暗區(qū)域。對(duì)于畫面色彩較為豐富的后期制作,將結(jié)合RGB通道的合成進(jìn)行調(diào)整。當(dāng)下通常采取HDR映射算法完成色彩調(diào)和,但在控制的過程中RGB調(diào)色通道會(huì)對(duì)畫面中的相鄰色產(chǎn)生影響,進(jìn)而對(duì)最終成像效果的真實(shí)度造成影響。[1]本文將針對(duì)以上問題對(duì)短視頻后期圖像處理中的HDR調(diào)色控制技術(shù)展開研究。
HDR為高動(dòng)態(tài)范圍圖像(High-Dynamic Range),與普通圖像相比可為短視頻后期制作中提供更多的動(dòng)態(tài)范圍及畫面細(xì)節(jié)等功能,同時(shí)也可根據(jù)曝光時(shí)間差異中LDR(Low -Dynamic Range)圖像與相對(duì)應(yīng)細(xì)節(jié)處理過的圖像進(jìn)行合成,最終能夠在HDR圖像中更真實(shí)地表現(xiàn)其真實(shí)效果。在亮度調(diào)整的過程中,物體明暗對(duì)比度的亮度差比值為10:8,肉眼所見范圍在10:5左右。電視機(jī)、攝像機(jī)等設(shè)備的亮度有256種,在拍攝時(shí),可隨著曝光的增多拍幾張圖像,隨著曝光強(qiáng)度的變化導(dǎo)致圖像的亮度也會(huì)跟著變亮,與此同時(shí),圖像中的暗處細(xì)節(jié)也會(huì)隨之變亮。由此可見,若將拍攝的照片進(jìn)行融合,那么就會(huì)出現(xiàn)比256更多的數(shù)量級(jí)情況。多種數(shù)量級(jí)的圖像在電腦中保存后,顯示器的分辨率要求就會(huì)增加,一般顯示屏智能顯示256個(gè)程度的亮度數(shù)量級(jí),再以256個(gè)數(shù)字對(duì)216個(gè)數(shù)量級(jí)信息進(jìn)行模擬,這也是HDR技術(shù)的一種——色調(diào)映射(Tone-Mapping)。[2]這種技術(shù)能夠有效地將圖像展開壓縮合成,最終以驚人的效果出現(xiàn)在屏幕中。
在短視頻后期處理中應(yīng)用HDR技術(shù)進(jìn)行色彩調(diào)節(jié)控制,一般將技術(shù)原理與審美藝術(shù)相結(jié)合。[3]技術(shù)原理是通過對(duì)色彩進(jìn)行調(diào)節(jié)控制,從而彌補(bǔ)實(shí)際場(chǎng)景中鏡頭拍攝與現(xiàn)場(chǎng)之間的缺陷,最終達(dá)到視頻畫面質(zhì)量的相應(yīng)標(biāo)準(zhǔn)。但在實(shí)際拍攝中難免會(huì)受到周邊環(huán)境、天氣、時(shí)間等因素的影響,或在現(xiàn)場(chǎng)的拍攝中鏡頭順序與拍攝內(nèi)容出現(xiàn)不一致的情況。同時(shí)也難免不同機(jī)位的拍攝在光線與色溫上出現(xiàn)很大的差異,這給后期短視頻剪輯工作造成沉重的負(fù)擔(dān),既要考慮畫面的流暢性,也要對(duì)鏡頭切換的處理進(jìn)行嚴(yán)格處理。對(duì)拍攝畫面進(jìn)行色調(diào)修改,可快速處理光線與色彩平衡之間的關(guān)系,在調(diào)色過程中還需對(duì)視頻畫面的整體效果進(jìn)行控制調(diào)節(jié),以確保原始圖像中細(xì)節(jié)處理的真實(shí)性[4],通過對(duì)局部的亮度、不同層次的色調(diào)采取等比修正的方式,能夠有效提升視頻畫面的整體效果。
在后期整體HDR調(diào)色控制中,應(yīng)采取整體到局部的順序進(jìn)行調(diào)整控制。從整體畫面中的明暗區(qū)域展開調(diào)節(jié),為后期色彩校準(zhǔn)穩(wěn)打下基礎(chǔ)。在對(duì)整體畫面色彩進(jìn)行調(diào)節(jié)控制不僅能夠在一定程度中解決畫面曝光度,從而達(dá)到穩(wěn)定色彩平衡的作用,同時(shí)也能適度地調(diào)整,在色彩均衡基礎(chǔ)上增添畫面中的感情色彩。在HDR色彩調(diào)整中可將畫面與拍攝者或拍攝主題的感情色彩相結(jié)合,在其原本效果中增加冷暖色調(diào),以此達(dá)到色彩情緒的效果。
在短視頻后期處理中局部調(diào)色位于整體調(diào)節(jié)之后,指在HDR色彩調(diào)整中對(duì)整個(gè)畫面的局部區(qū)域進(jìn)行色彩控制。在控制前需對(duì)色彩變化的規(guī)律有一定的認(rèn)知,才能夠保障后期色彩調(diào)節(jié)對(duì)短視頻整體的內(nèi)容不造成影響。在對(duì)畫面進(jìn)行局部調(diào)整時(shí),需對(duì)畫面進(jìn)行規(guī)劃,利用剪輯平臺(tái)中的飽和度、對(duì)比度進(jìn)行曲線調(diào)整,完成局部調(diào)色中規(guī)劃區(qū)域的色彩控制工作。[5]在當(dāng)下眾多圖像修改平臺(tái)中大多采取HSL色彩控制開關(guān)對(duì)圖像色調(diào)進(jìn)行調(diào)節(jié),在現(xiàn)場(chǎng)實(shí)際拍攝會(huì)受局部光線變化的影響[6],在色彩調(diào)節(jié)控制中應(yīng)采用更符合畫面色感的控制開關(guān),進(jìn)而對(duì)明暗程度不同的區(qū)域進(jìn)行調(diào)節(jié)。與此同時(shí),在對(duì)畫面中的具體區(qū)域進(jìn)行色彩調(diào)控時(shí),可采取多層色彩疊加的方式完成。通過多種方式對(duì)畫面中的像素參數(shù)展開設(shè)置,能夠更有效地完成畫面局部色彩調(diào)控工作。
通過現(xiàn)場(chǎng)實(shí)驗(yàn)在拍攝實(shí)際的圖像中可以發(fā)現(xiàn),某些特殊場(chǎng)合的畫面和現(xiàn)場(chǎng)實(shí)際的明暗對(duì)比圖像像素間[7],具有非線性的映射關(guān)系。這種非線性映射關(guān)系需要攝像機(jī)滿足相應(yīng)的曲線,這些曲線需要進(jìn)行設(shè)定,對(duì)HDR色調(diào)控制很重要。而通過相應(yīng)的曲線設(shè)定,可以為后期畫面成像應(yīng)用HDR色調(diào)控制提供方便,從而完成對(duì)畫面中各個(gè)像素點(diǎn)在對(duì)應(yīng)通道的輻射值進(jìn)行調(diào)整,這種調(diào)節(jié)公式為:

此公式作為曲線函數(shù),其中InEi是指色彩調(diào)控通道中的像素點(diǎn)在畫面中的輻射數(shù)據(jù);Zij是指在短視頻中第j個(gè)片段中第i個(gè)像素?cái)?shù)值;▲tj指第j段視頻中畫面的曝光時(shí)間。圖像在視頻中所受的曝光程度不同,導(dǎo)致像素點(diǎn)在長(zhǎng)時(shí)或短時(shí)的曝光中能夠呈現(xiàn)不同的表現(xiàn)效果。為確保HDR色彩調(diào)控在畫面中優(yōu)化局部的像素點(diǎn),需要將X視頻較長(zhǎng)的圖像相結(jié)合,才能更好計(jì)算出像素調(diào)節(jié)參考值。因此針對(duì)三角型函數(shù),得出輻射照度數(shù)值的計(jì)算公式:

此公式能夠?qū)Χ桃曨l畫面中的每個(gè)像素點(diǎn)計(jì)算出相對(duì)應(yīng)的輻射照度數(shù)值,并且能夠?yàn)镠DR圖像信息進(jìn)行深度完善,有效完成圖像的HDR色彩調(diào)控工作。
目前大部分顯示設(shè)備的DHR顯示范圍可達(dá)到百分百的比值,能夠通過以上計(jì)算公式獲取HDR調(diào)色工作臺(tái),卻無法在攝影設(shè)備的顯示屏中顯示出。需要根據(jù)色彩映射的條件對(duì)HDR色彩調(diào)控范圍展開等比壓縮,使畫面能夠與對(duì)應(yīng)的DHR色彩調(diào)控顯示設(shè)備相聯(lián)系。在壓縮畫面的范圍時(shí),應(yīng)對(duì)實(shí)際場(chǎng)景中的對(duì)比度、明暗度、色相等特點(diǎn)進(jìn)行修整,對(duì)整個(gè)畫面的色彩映射采取下方公式:

此公式中采取HDR色彩調(diào)控的方式對(duì)畫面的色彩識(shí)別度進(jìn)行壓縮,其中D(E)代指經(jīng)HDR色彩調(diào)控壓縮后畫面的灰度數(shù)值;Dmax代指灰度最大數(shù)值;Dmin代指灰度最小數(shù)值;Emax代指現(xiàn)場(chǎng)實(shí)際光照最大值;代指色差偏移數(shù)值。在一般情況中,可通過手動(dòng)進(jìn)行調(diào)節(jié)的偏移值進(jìn)行反復(fù)驗(yàn)證。所以需要在調(diào)控中節(jié)省時(shí)間才能降低手動(dòng)調(diào)節(jié)產(chǎn)生的誤差,同時(shí)也需要結(jié)合計(jì)算公式對(duì)其偏移的誤差展開自動(dòng)控制。HDR色彩調(diào)節(jié)中RGB通道曲線的變化由下圖1所示。

圖1 HDR調(diào)色畫面RGB三通道響應(yīng)曲線
圖1 中針對(duì)RGB通道中三原色的對(duì)照曲線可獲取到現(xiàn)場(chǎng)明暗度的平均數(shù)值,但也避免不了場(chǎng)景對(duì)比值出現(xiàn)0的狀況。由此可見,在對(duì)數(shù)值進(jìn)行精準(zhǔn)計(jì)算或許無效,但為了避免以上問題的發(fā)生,可選擇最精準(zhǔn)地偏移數(shù)值進(jìn)行調(diào)節(jié),完成HDR色彩控制映射工作。
在HDR色彩調(diào)控的實(shí)際過程中,對(duì)于單個(gè)像素及周圍像素的色相造成影響。在實(shí)際調(diào)控中應(yīng)及時(shí)進(jìn)行修整,需按照以下幾點(diǎn)要求展開:第一,在視頻圖像的色度控制完成后依舊會(huì)存在色彩偏差的問題,并不止畫面中一段或一部分的色彩上,導(dǎo)致當(dāng)畫面出現(xiàn)色彩偏差的現(xiàn)象時(shí),整段視頻的色彩都會(huì)受到影響,所以需要從整體出發(fā)進(jìn)而展開調(diào)整。第二,利用視頻編輯平臺(tái)的功能對(duì)視頻后期進(jìn)行畫面色彩調(diào)整時(shí),需結(jié)合中度灰色展開工作,中度灰色能夠有效彌補(bǔ)色彩偏差的問題。第三,在選擇相應(yīng)的中度灰色時(shí),畫面的色彩調(diào)控需時(shí)刻把握住色彩的感知。圖像中各個(gè)像素的色相在發(fā)生改變的同時(shí)也會(huì)對(duì)肉眼識(shí)別灰度的感受發(fā)生變化[8],所以需利用滴管工具對(duì)畫面中顏色的色值進(jìn)行精準(zhǔn)讀取,最終完善畫面中像素色彩的修整工作。
獲取HDR視頻的方法主要有如下兩種:一種為HDR傳感器,第二種則是將LDR傳感器放置在曝光水平超高的位置,通過公式對(duì)曝光圖像進(jìn)行調(diào)整最后合成HDR圖像。第二種超曝光水平技術(shù)有三種方式。一種是根據(jù)時(shí)間的變化,使每一幀動(dòng)畫在捕捉場(chǎng)景中圖像時(shí),使圖像的曝光率在每一瞬間都有不同的變化。第二種是指?jìng)鞲衅髟诳臻g中對(duì)光的敏感度受到影響,導(dǎo)致圖像中受光不均勻而影響到畫面中像素色彩偏差較大的現(xiàn)象。第三種則是將光線分割到多個(gè)傳感器中,使每個(gè)傳感器都有相對(duì)應(yīng)的曝光參數(shù)。
通過傳感器捕捉HDR在曝光變化中的規(guī)律是最直接的方式。雖然在拍攝時(shí)受現(xiàn)場(chǎng)光線覆蓋范圍的限制,但依然可以通過調(diào)整曝光參數(shù)對(duì)畫面效果進(jìn)行優(yōu)化,進(jìn)而獲得整個(gè)場(chǎng)景的范圍。如圖2所示,3張圖片的曝光時(shí)間分別為持續(xù)曝光幀在1t、2t、3t中不同亮度中的范圍,結(jié)合HDR幀對(duì)整個(gè)場(chǎng)景的明暗范圍,這樣捕捉到的曝光幀與相機(jī)自動(dòng)識(shí)別后對(duì)曝光進(jìn)行適應(yīng)化,接著將像素平均值進(jìn)行結(jié)合成HDR幀。而快速拍照的相機(jī)可以滿足隨著曝光時(shí)間的變化捕捉不同曝光幀數(shù)量。例如一臺(tái)200赫茲的相機(jī)可滿足25幀每秒的視頻成像,每幀可捕捉到8種不同曝光度,并能提供140分貝左右的動(dòng)態(tài)范圍。

圖2 3種時(shí)間變化下的曝光與HDR融合幀
空間曝光往往通過多像素的密度掩膜來實(shí)現(xiàn)。Nayar與Mitsunaga提出4種曝光模式下的掩膜,如圖3所示,以標(biāo)準(zhǔn)圖像傳感器對(duì)同一畫面進(jìn)行單次曝光,按從左至右的順序進(jìn)行捕捉,最后通過掩膜捕捉圖像。對(duì)每個(gè)像素的明暗光線采取不同標(biāo)準(zhǔn)的掩膜,直接放置在傳感器成像元件間的透鏡中,從圖3可確定未通過掩膜捕獲的圖像在整個(gè)場(chǎng)景中也只會(huì)捕獲到部分范圍,而經(jīng)過掩膜成像的畫面能夠在聚合或插值中獲取完整的范圍成像。聚合措施是從圖像中的局部范圍展開調(diào)節(jié),對(duì)局部區(qū)域的光感進(jìn)行大范圍光度捕捉,所以成像中會(huì)出現(xiàn)多個(gè)區(qū)域的曝光,進(jìn)而經(jīng)過多個(gè)曝光融合技術(shù)生成HDR像素,但對(duì)于圖像的清晰度不可保證,因此,為了保證維持原始的分辨率,HDR像素可通過bayer平臺(tái)中顏色模式對(duì)色相相鄰的像素吸取,但在亮度級(jí)別中容易出現(xiàn)混淆的偽影。

圖3 Nayar和Mitsunaga提出的掩膜
利用掩膜的手段能夠有效地獲取HDR圖像范圍中可拾取到的多種光密像素,如圖3能夠獲取85分貝的像素范圍。為降低空間曝光率也可采取另一種方式,一種由多個(gè)光敏元件組成的傳感器像素,這種方式能夠提升HDR模式的動(dòng)態(tài)范圍。
分束器能夠?qū)碜早R頭的光源傳播到眾多成像感應(yīng)器中,進(jìn)而可以獲得視頻中每一幀的曝光圖像,然后結(jié)合曝光融合技術(shù)獲取清晰度更高的HDR視頻畫面。從理論上看來此方法可以捕獲到有質(zhì)感,且沒有明顯運(yùn)動(dòng)幀的晃動(dòng)圖像。但在現(xiàn)場(chǎng)的實(shí)際拍攝中,是否能夠有效錄制到分辨率高的動(dòng)態(tài)圖像取決于傳感器數(shù)量,為了擴(kuò)寬活動(dòng)范圍需要更多的資金支持。除此之外,傳感器在分割光束中靈敏度比普通傳感器更優(yōu)秀。一方面,單幀的DHR視頻生成技術(shù)與多幀HDR視頻生成技術(shù)相比,單幀的計(jì)算過程比多幀HDR視頻計(jì)算更容易,從細(xì)節(jié)捕捉方面看來,多幀的曝光捕獲范圍更為廣泛。單幀技術(shù)生成圖像質(zhì)量落后于多幀技術(shù),而多幀技術(shù)在活動(dòng)拍攝時(shí)容易出現(xiàn)偽影現(xiàn)象,導(dǎo)致后期生成HDR圖像質(zhì)量效果偏弱。另一方面,兩種技術(shù)在拍攝時(shí)容易出現(xiàn)閃爍,單幀技術(shù)在拍攝中未對(duì)每一個(gè)畫面的亮度和時(shí)間產(chǎn)生進(jìn)行嚴(yán)格控制,導(dǎo)致每一幀畫面之間的畫面曝光差距甚遠(yuǎn)。
通過上述技術(shù)不僅改善了成像的曝光率,也獲取了更豐富的RGB色彩空間,在一定程度上減少了圖像過度飽和的現(xiàn)象發(fā)生,為獲取更有表現(xiàn)力的色彩,將采取顏色矯正函數(shù):

公式中CHDR是指代指圖像通過RGB顏色空間的色彩通道進(jìn)行矯正后得到的數(shù)值;CLDR代指原成像在RGB色彩范圍中顏色通道的數(shù)值;S代指原圖的亮度;s'指圖像亮度提升后的合成亮度;a在實(shí)驗(yàn)中參數(shù)設(shè)置為1.25。在色彩函數(shù)糾正中a數(shù)值的變化生成HDR圖像由圖4所示。
通過函數(shù)計(jì)算中a的取值不同,畫面呈現(xiàn)的曝光率也會(huì)隨之變化,在圖4中,可從第二拍照片中紅色蘋果的變化觀察a的取值,當(dāng)a>1時(shí),曝光率隨著a增加,進(jìn)而導(dǎo)致畫面中的局部細(xì)節(jié)成像高亮,同時(shí)畫面中的色彩對(duì)比度也隨著曝光等比增值,此時(shí)a的數(shù)值被設(shè)置為1.25。

圖4
在圖5中,則從原圖的色彩基礎(chǔ)層次中進(jìn)行疊加。(a)表示圖像輸入;(b)表示系數(shù)為0.5時(shí)的效果圖;(c)表示系數(shù)為1.5時(shí)的效果圖 ;(d)表示系數(shù)為3時(shí)的效果圖;(e)為不同程度呈現(xiàn)的效果圖。

圖5
此圖中通過顏色通道進(jìn)行矯正的系數(shù),對(duì)HDR進(jìn)行輸出的效果圖。圖中a列為原圖,b列為矯正系數(shù)為1的效果圖,c列為糾正系數(shù)為1.25的效果圖,d列為糾正系數(shù)為1.5的效果圖,e列為糾正系數(shù)為2的效果圖。
總而言之,文章對(duì)短視頻后期剪輯制作工作中HDR色彩調(diào)節(jié)控制方面進(jìn)行了研究,并在傳統(tǒng)控制技術(shù)的基礎(chǔ)上革新,通過論證、創(chuàng)新與技術(shù)升級(jí),證明技術(shù)具有較高的可行性,在視頻畫面的清晰度中得到了質(zhì)的提升,同時(shí)也帶給觀眾更舒適的體驗(yàn)感。為視頻后期制作中HDR色彩調(diào)節(jié)控制技術(shù)提供了有效的參考數(shù)據(jù)。