機(jī)器學(xué)習(xí)駕馭光影：一鍵增強(qiáng)“人像光效”

羅伯特

職業(yè)的人像攝影師能夠通過(guò)專用設(shè)備（例如外置閃光燈與反光板）和專業(yè)知識(shí)，捕捉恰到好處的光照效果，從而拍攝出令人稱道的照片。為了讓用戶更好地拍出專業(yè)的人像外觀，近期谷歌發(fā)布了人像光效 （Portrait Light），這是專為Pixel手機(jī)和其相冊(cè)應(yīng)用推出的一項(xiàng)新的攝影后期功能，可為人像添加模擬的定向光源，在方向與強(qiáng)度兩方面補(bǔ)充原始照片的光效。

手機(jī)拍攝后，用戶可以根據(jù)自己的喜好調(diào)整人像光效

在Pixel的最新系列相機(jī)中，人像光效會(huì)自動(dòng)對(duì)默認(rèn)模式下的圖片和包含人的夜景照片（無(wú)論只有一人還是一小群人時(shí)）應(yīng)用攝影后期功能。在人像模式照片中，人像光效配合已有的淺景深特效，提供光影，帶來(lái)在攝影棚中才能實(shí)現(xiàn)的效果。由于對(duì)光影的喜好因人而異，因此Pixel 用戶在人像模式下可根據(jù)自己的喜好，在谷歌相冊(cè)中手動(dòng)重新定位和調(diào)整所應(yīng)用光線的亮度。對(duì)于在Pixel 2或后續(xù)型號(hào)上運(yùn)行谷歌相冊(cè)的用戶，這種補(bǔ)光功能也可用于許多先前拍攝的人像照片。

根據(jù)輸入人像估算高動(dòng)態(tài)范圍全向光照輪廓：每張圖片右側(cè)的三個(gè)球體，即漫反射（頂部）、亞光銀（中間）和鏡面（底部）使用估算的照明進(jìn)行渲染，每個(gè)球體都反映環(huán)境照明的顏色、強(qiáng)度和方向

受人像攝影師使用的外置光源的啟發(fā)，人像光效構(gòu)建了一個(gè)在場(chǎng)景中可被重新定位的光源模型，并根據(jù)初始光影方向與強(qiáng)度自動(dòng)進(jìn)行對(duì)照片光影的補(bǔ)充。利用新的機(jī)器學(xué)習(xí)模型來(lái)實(shí)現(xiàn)這一點(diǎn)，每項(xiàng)模型都使用在Light Stage計(jì)算照明系統(tǒng)中捕獲的照片數(shù)據(jù)集進(jìn)行訓(xùn)練。這些模型支持以下兩種新算法：自動(dòng)定向光補(bǔ)充 （Automatic directional light placement）：對(duì)于給定的人像，該算法將合成的定向光放置于場(chǎng)景中，與攝影師在現(xiàn)實(shí)世界中補(bǔ)充外置光源的方式一致。拍攝后合成補(bǔ)光 （Synthetic post-capture relighting）：對(duì)于給定的照明方向和人像，以看起來(lái)真實(shí)且自然的方式添加合成光。

自動(dòng)光源補(bǔ)充

攝影師通常依靠感知線索決定如何使用外置光源增強(qiáng)環(huán)境光照，他們?cè)u(píng)估落在臉上的光照強(qiáng)度和方向，并調(diào)整拍攝對(duì)象的頭部姿勢(shì)以補(bǔ)充光線。為了引導(dǎo)人像光效自動(dòng)放置光源，谷歌開發(fā)了這兩種感知信號(hào)的等效計(jì)算。

首先，訓(xùn)練了一種全新的機(jī)器學(xué)習(xí)模型，根據(jù)輸入的人像估算場(chǎng)景的高動(dòng)態(tài)范圍全向光照輪廓。這種新的光照估算模型將人臉視為光探頭，推斷所有方向的場(chǎng)景中所有光源的方向、相對(duì)強(qiáng)度和顏色，使用MediaPipe Face Mesh估算人像拍攝對(duì)象的頭部姿勢(shì)。

通過(guò)這些線索，可以確定合成光照的源方向。在攝影棚人像攝影中，仰視場(chǎng)景時(shí)，主外置光源或主光位于視線上方約 30°處，與照相機(jī)軸偏離30°至 60°。遵循這個(gè)經(jīng)典人像外觀準(zhǔn)則，增強(qiáng)場(chǎng)景中任何預(yù)先存在的光照方向，同時(shí)力求達(dá)到平衡、巧妙的主光與補(bǔ)光光照比（約 2：1）。

由數(shù)據(jù)驅(qū)動(dòng)的人像補(bǔ)光

圖中的亮點(diǎn)360度旋轉(zhuǎn)，可照亮一個(gè)人面部的各個(gè)角度，用于模擬光照效果

根據(jù)所需的光照方向和人像，接下來(lái)訓(xùn)練一個(gè)新的機(jī)器學(xué)習(xí)模型，以便將定向光源的照明添加到原始照片中。訓(xùn)練模型需要提供數(shù)百萬(wàn)對(duì)帶有和不帶額外光線的人像。在正常情況下拍攝此類數(shù)據(jù)集將是不可能的，因?yàn)樗枰跬昝赖仄ヅ湓诓煌庹諚l件下拍攝的人像。

取而代之的是，通過(guò)使用Light Stage計(jì)算照明系統(tǒng)拍攝 70 個(gè)不同的人來(lái)生成訓(xùn)練數(shù)據(jù)。這種球形照明裝置包括 64個(gè)視角不同的照相機(jī)和 331個(gè)可單獨(dú)編程的 LED光源。拍攝每種光線照射下的每個(gè)個(gè)體（one-light-at-a-time，OLAT），這將生成其反射場(chǎng)或球形環(huán)境的離散部分所照亮的外觀。

來(lái)自反射場(chǎng)的示例圖像，可以實(shí)現(xiàn)全方位的后期補(bǔ)光

反射場(chǎng)編碼拍攝對(duì)象的皮膚、頭發(fā)和衣服的獨(dú)特顏色和反光屬性，即每種材料的光澤或暗淡程度。由于光的疊加原理，這些 OLAT 圖片可以線性疊加在一起，以渲染出逼真的拍攝對(duì)象圖片，就像被攝者出現(xiàn)在任何基于圖片的照明環(huán)境中一樣，并正確地表現(xiàn)出光影的效果。

通過(guò)幾何估算監(jiān)督補(bǔ)光

當(dāng)攝影師在場(chǎng)景中添加額外的光源時(shí)，光源相對(duì)于拍攝對(duì)象的面部幾何形狀的方向?qū)Q定面部每個(gè)部分的亮度。為了對(duì)光源從相對(duì)無(wú)光表面反射的光學(xué)行為建模，首先訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)模型，以根據(jù)輸入的照片估算表面法線，然后應(yīng)用蘭伯特定律計(jì)算所需照明方向的“光可見性圖”。

補(bǔ)光系統(tǒng)根據(jù)輸入人像，估算每個(gè)像素的表面法線，然后將其用于計(jì)算光可見性圖。對(duì)模型進(jìn)行訓(xùn)練以生成低分辨率圖片，在采樣并應(yīng)用于原始圖片時(shí)，移動(dòng)設(shè)備上可以以交互式幀速率運(yùn)行，并且合成圖片的總?cè)萘看笮〔坏?0 MB。

對(duì)于使用雙重曝光控制的用戶，可以在拍攝后應(yīng)用人像光效，以獲得更大的創(chuàng)作靈活性，在光影之間找到適當(dāng)?shù)钠胶狻Ｔ诠雀枵掌瑤?kù)的現(xiàn)有圖片上，針對(duì)面部曝光不足之處嘗試使用人像光效，讓拍攝對(duì)象光彩照人，它特別適合處理單人直面相機(jī)擺姿勢(shì)的圖片。機(jī)器學(xué)習(xí)正在開啟手機(jī)攝像的創(chuàng)意攝影后期光照控制，而人像光效是這一旅程的第一步。