手機(jī)動(dòng)態(tài)影像系統(tǒng)技術(shù)的發(fā)展與應(yīng)用

程 檣 趙 傲

北京電影學(xué)院視聽傳媒學(xué)院,北京 100088

在網(wǎng)絡(luò)媒體全球化的時(shí)代,隨著媒介技術(shù)與手機(jī)影像功能的發(fā)展完善,網(wǎng)絡(luò)上涌現(xiàn)的大量以專業(yè)用戶生產(chǎn)內(nèi)容 (Professional User Generated Content,PUGC)為主要內(nèi)容的手機(jī)動(dòng)態(tài)影像成為一種熱門的文化消費(fèi)產(chǎn)品。大部分網(wǎng)絡(luò)創(chuàng)作者并非影視專業(yè)出身,但他們卻憑借著對(duì)于手機(jī)動(dòng)態(tài)影像技術(shù)發(fā)展的追隨與鉆研、巧妙的內(nèi)容創(chuàng)意、對(duì)生活細(xì)致的觀察和表現(xiàn)以及對(duì)網(wǎng)絡(luò)用戶使用心理精準(zhǔn)的捕捉等優(yōu)勢(shì),在網(wǎng)絡(luò)媒體上掀起了不輸專業(yè)內(nèi)容的流行趨勢(shì)。巴贊曾經(jīng)指出,復(fù)制、記錄和保存現(xiàn)實(shí)的世界是人類與生俱來的心理本能。人類誕生伊始,就有一種“完整電影”神話的情結(jié)。手機(jī)動(dòng)態(tài)影像系統(tǒng)的出現(xiàn)與發(fā)展賦予了普通大眾通過視聽記錄生活以及進(jìn)行藝術(shù)創(chuàng)作的空間與權(quán)利,其具備的自由、經(jīng)濟(jì)、高效、智能等特點(diǎn)將被困在專業(yè)設(shè)備鴻溝中的平民創(chuàng)作者解放了出來,幾乎每一個(gè)擁有智能手機(jī)的用戶都參與到了這一場(chǎng)民間影像爆發(fā)的狂歡之中。因此,本研究將對(duì)手機(jī)動(dòng)態(tài)影像系統(tǒng)技術(shù)的發(fā)展與實(shí)際應(yīng)用及其在攝制和傳播的過程中帶來的新型創(chuàng)作觀念進(jìn)行概述與分析。

1 手機(jī)影像系統(tǒng)的概念與發(fā)展

1.1 初嘗試:硬件拼合時(shí)代

2000年9月,日本移動(dòng)運(yùn)營商與夏普合作推出的夏普J(rèn)-SH04手機(jī)首次內(nèi)置了影像技術(shù),雖然只配備了11萬像素的CCD 攝像頭,在當(dāng)時(shí)也沒有引起較大的關(guān)注,但是J-SH04的誕生標(biāo)志著手機(jī)影像系統(tǒng)的第一次面世。自此,手機(jī)影像的概念進(jìn)入了各大廠家與用戶的視野中,市場(chǎng)對(duì)于手機(jī)拍照功能的熱情開始爆發(fā)。在手機(jī)影像技術(shù)的發(fā)展初期,各大手機(jī)廠商只是在硬件配置上把作為通訊工具的手機(jī)和影像記錄工具的卡片相機(jī)在一個(gè)有限的空間里縫合在了一起。雖然如此,手機(jī)影像技術(shù)在2000到2010 年這段時(shí)間內(nèi)的發(fā)展速度依然是驚人的。2005年,索尼愛立信K750i帶來了自動(dòng)對(duì)焦和家用DV 功能;2006年,三星B600將CCD 像素提高到了1000萬且自帶三倍光學(xué)變焦和五倍數(shù)字變焦,以顛覆的外觀降臨,第一次真正意義上將手機(jī)影像提高到了可以和相機(jī)相提并論的地位;2006年9月,諾基亞N95將蔡司鏡頭 “請(qǐng)”進(jìn)了手機(jī),帶來的諸多拍攝功能成為了一代人的情懷;2008年,iPhone 3G 與App Store面世,整體提高了手機(jī)影像系統(tǒng)硬件與軟件的配合度與執(zhí)行力。可以說,在手機(jī)影像系統(tǒng)發(fā)展的第一個(gè)十年,大部分手機(jī)廠商努力的方向還僅僅停留在如何把更高級(jí)的相機(jī)鏡頭與傳感器內(nèi)置到手機(jī)里,給予用戶前所未有的手機(jī)拍攝體驗(yàn)和伴隨著技術(shù)參數(shù)升級(jí)的新鮮感。但在2010年,iPhone 4的發(fā)布打開了手機(jī)影像系統(tǒng)的新思路。

圖1 三星B600

1.2 深度研發(fā):效果為王時(shí)代

2010年,iPhone 4的像素還只有500萬,在數(shù)據(jù)上甚至低于2006年的三星B600。但在那個(gè)時(shí)候,iPhone 4 卻成為了全球影像質(zhì)量最好的手機(jī)之一,這其中的技術(shù)核心是什么? 針對(duì)這一問題,蘋果前總裁Steve Jobs在發(fā)布會(huì)上給出了答案。Steve Jobs說:“很多廠商熱衷于那些很表象的指標(biāo),涉及到攝像的時(shí)候則是多少百萬的像素。但我們 (Apple公司)則更傾向于問這樣的問題——‘如何才能呈現(xiàn)出更好的影像?’”Steve Jobs意識(shí)到,對(duì)于手機(jī)影像系統(tǒng)來說,如何更充分地捕獲光線給最終成像帶來的影響遠(yuǎn)超于像素指數(shù)的提高。受制于手機(jī)內(nèi)部空間的限制,手機(jī)影像傳感器的感光面積很難做出較大的跨越。因此,iPhone 4拋棄了傳統(tǒng)的像素堆疊設(shè)計(jì)思路,在一眾廠商通過減少像素大小來提高像素的時(shí)候,做到了將300萬像素提高到500萬像素的同時(shí)保留1.75μm 的像素大小,以保證每個(gè)像素的進(jìn)光量保持不變。其次,蘋果引入了高端相機(jī)的背面照明傳感器技術(shù) (Backside illuminated sensor)來繼續(xù)增加傳感器的進(jìn)光量,實(shí)現(xiàn)了在中低照度下依然可以呈現(xiàn)不錯(cuò)質(zhì)量的影像效果。更重要的是,iPhone 4首次引入了720P、30FPS的高清視頻錄制功能,并且搭配了視頻點(diǎn)擊對(duì)焦、內(nèi)置視頻編輯以及一鍵分享等整合化的動(dòng)態(tài)影像技術(shù),真正地開啟了手機(jī)高質(zhì)量動(dòng)態(tài)影像系統(tǒng)攝制與傳播的時(shí)代。

自此,各大手機(jī)廠商不再一味追求純粹的鏡頭與傳感器升級(jí),而是將研發(fā)重心投向了如何針對(duì)手機(jī)影像系統(tǒng)獨(dú)有的特點(diǎn)進(jìn)行優(yōu)化。以三星和索尼為代表的傳統(tǒng)相機(jī)廠商將相機(jī)的核心圖像處理技術(shù)應(yīng)用到了手機(jī)上,并帶來了更大的傳感器。LG Optimums 3D 手機(jī)帶來的雙攝系統(tǒng)為后來的多攝技術(shù)打開了局面。雙焦段甚至更多攝像頭的配合不僅拓寬了手機(jī)攝影的空間,而且為日后更強(qiáng)大的圖像處理算法打下了基礎(chǔ)。手機(jī)影像不斷通過軟硬件的結(jié)合實(shí)現(xiàn)了更無損的變焦、更加準(zhǔn)確的測(cè)光、更加精細(xì)的景深、更加擬真的色彩以及更多的進(jìn)光量等高新技術(shù)。在動(dòng)態(tài)影像范疇,光學(xué)防抖到傳感器防抖甚至內(nèi)置云臺(tái)的技術(shù)進(jìn)化進(jìn)一步解放了用戶的雙手,延時(shí)攝影、240FPS 慢動(dòng)作等模式極大地豐富了手機(jī)攝影的可玩性,專業(yè)創(chuàng)作者也可以借助第三方軟件的開發(fā)來實(shí)現(xiàn)手動(dòng)調(diào)整色溫、光圈、快門等技術(shù)參數(shù),得以保持傳統(tǒng)影像拍攝流程的操作習(xí)慣。可以說,在各大手機(jī)廠商以及軟件公司真正開始針對(duì)手機(jī)影像的獨(dú)特性進(jìn)行因地制宜的努力之時(shí),手機(jī)動(dòng)態(tài)影像終于在一定程度上拉近了與專業(yè)攝影機(jī)之間的距離。

1.3 顛覆突破:計(jì)算攝影時(shí)代

在科技飛速發(fā)展的今天,信息學(xué)與光學(xué)的革命式爆發(fā)帶來了一門顛覆手機(jī)影像系統(tǒng)的新興學(xué)科——計(jì)算攝影學(xué)。計(jì)算攝影是基于傳統(tǒng)數(shù)碼攝影而衍生發(fā)展出來的一種新型數(shù)字成像技術(shù),它能夠經(jīng)過一系列的軟件處理,通過光學(xué)成像、傳感器捕捉、智能化選擇和數(shù)字計(jì)算等技術(shù),將計(jì)算機(jī)視覺、數(shù)字信號(hào)處理、圖形與圖像學(xué)等內(nèi)容進(jìn)行深層次的交叉融合,從數(shù)碼相機(jī)的成像原理上徹底改變傳統(tǒng)相機(jī)的拍攝方式。追溯到1930年一個(gè)夏天的夜晚,美國天文學(xué)家Earl Slipher在一臺(tái)24英寸的克拉克望遠(yuǎn)鏡下發(fā)明了高動(dòng)態(tài)范圍 (HDR)技術(shù)的前身——多幀合成技術(shù),自此打開了人類探索計(jì)算攝影技術(shù)的大門。2013年,Google發(fā)布的Nexus5首次在影像系統(tǒng)中加入了HDR+模式。HDR+是對(duì)傳統(tǒng)HDR 技術(shù)的一次拓展,通過直接拍攝一連串短曝光的照片,并在其中智能選擇質(zhì)量最高的一張作為基準(zhǔn),在拋棄掉幾張低質(zhì)量的圖像后,用其他的圖像來進(jìn)行合成,解決了傳統(tǒng)HDR 在拍攝中長曝光幀的時(shí)候由于畫面元素的不穩(wěn)定造成的照片難以對(duì)齊以及偽像等問題。同時(shí)經(jīng)過算法的降噪處理改善了手機(jī)傳感器由于體積太小造成的信噪比不足的問題。縱覽圖2的兩條圖像處理管線。兩個(gè)管線的輸入都是全傳感器分辨率 (例如1200萬像素)、每秒最多30幀的拜耳原始圖像流。當(dāng)相機(jī)應(yīng)用程序啟動(dòng)時(shí),只有取景器管線 (圖2 第一行)是運(yùn)行的。這條管線將原始圖像轉(zhuǎn)換為低分辨率圖像,以便于在移動(dòng)設(shè)備的屏幕上顯示,可能幀率較低。我們目前的取景器能夠?qū)崿F(xiàn)160萬像素,每秒15-30幀的更新頻率。當(dāng)按下快門時(shí),這條處理管線會(huì)短暫地暫停,在恒定曝光時(shí)捕捉到大量幀,并暫時(shí)儲(chǔ)存,然后激活軟件處理管道(圖2第二行)。這條管道將連續(xù)拍攝的大量幀對(duì)齊合并,生成一個(gè)高位深的中間圖像,然后應(yīng)用顏色與色調(diào)映射,生成一個(gè)全分辨率的8位輸出圖像,并壓縮和儲(chǔ)存。在實(shí)現(xiàn)處理后,這張照片能夠達(dá)到1200萬像素,在移動(dòng)設(shè)備上的處理大概需要4秒。

圖2 Google HDR+完整管線

前Google傳奇工程師Mark Levoy打破了手機(jī)廠商沿用傳統(tǒng)做相機(jī)技術(shù)研發(fā)手機(jī)影像系統(tǒng)的思路,賦予了困在硬件鴻溝里的手機(jī)影像系統(tǒng)重?zé)ㄐ律踔敛粩嗤黄频纳Αoogle公司通過對(duì)堆棧技術(shù)和深度學(xué)習(xí)的刻苦研發(fā),一直到2016年依然憑借著只有一顆攝像頭的Google Pixel在成像質(zhì)量上擊敗了一眾擁有更高級(jí)傳感器以及更多鏡頭的手機(jī),沖上了手機(jī)影像系統(tǒng)排行網(wǎng)站Dxomark 的第一名。2019年,iPhone 11的發(fā)布第一次將計(jì)算影像的概念帶入了大眾視野之中,彼時(shí)的計(jì)算攝影已經(jīng)可以做到在低照度的條件下對(duì)已經(jīng)使用了HDR 堆棧技術(shù)的合成影像進(jìn)行二次計(jì)算,通過AI算法對(duì)拍攝場(chǎng)景以及畫面元素進(jìn)行分析后使用智能補(bǔ)色的方式為用戶提供超越傳感器本身能力上限的高質(zhì)量影像。同年,蘋果公司帶來的深度融合 (Deep F usion)技術(shù)在計(jì)算攝影深度學(xué)習(xí)領(lǐng)域再次取得了突破,全景分割、語義渲染技術(shù)的出現(xiàn)讓手機(jī)影像系統(tǒng)開始像人類的大腦一樣對(duì)拍攝的畫面進(jìn)行分析,天空、靜物、頭發(fā)、眼睛等人類世界的概念走進(jìn)了手機(jī)影像系統(tǒng)之中,手機(jī)針對(duì)于不同區(qū)域進(jìn)行的智能優(yōu)化讓影像變得更加自然細(xì)膩,似乎已經(jīng)不僅僅局限于記錄,而是嘗試去理解人類的創(chuàng)作意圖并努力地實(shí)現(xiàn),呈現(xiàn)了一種從技術(shù)出發(fā)到富有溫度的人文關(guān)懷,進(jìn)一步突破了人們對(duì)于手機(jī)影像技術(shù)的想象。2020年,iPhone 12第一次支持了杜比視界HDR 視頻的拍攝,并且可以達(dá)到10Bit的高動(dòng)態(tài)范圍,這也意味著iPhone可以在視頻錄制的過程中捕捉到多達(dá)7億種色彩。深度學(xué)習(xí)技術(shù)在計(jì)算攝影中的應(yīng)用占比越來越大,且手機(jī)動(dòng)態(tài)影像技術(shù)的邊界還在不斷擴(kuò)張之中。但同時(shí),計(jì)算攝影技術(shù)的發(fā)展也為手機(jī)帶來了巨大的算力挑戰(zhàn)。為了滿足算力的要求,各大手機(jī)廠商在繼續(xù)升級(jí)影像系統(tǒng)軟硬件的同時(shí)開始研發(fā)算力更加強(qiáng)大的芯片,甚至是只針對(duì)于影像處理的圖像信號(hào)處理 (Image Signal Processing,ISP)。Pixel Visual Core、A15、馬里亞納X 等高算力芯片的出現(xiàn)也標(biāo)志著計(jì)算攝影技術(shù)的下一個(gè)核心將從軟件的開發(fā)走向芯片的研制。

2021年,iPhone 13 的面世帶來了手機(jī)動(dòng)態(tài)影像系統(tǒng)計(jì)算攝影跨時(shí)代里程碑式的功能——電影模式(Cinematic Mode)。蘋果公司工程師Johnnie Manzari在發(fā)布會(huì)上詳細(xì)介紹了這一模式的功能與意義,通過神經(jīng)網(wǎng)絡(luò)算法的深度學(xué)習(xí),iPhone 13的動(dòng)態(tài)影像系統(tǒng)已經(jīng)可以實(shí)現(xiàn)自動(dòng)識(shí)別畫面主體并跟隨畫面運(yùn)動(dòng)變換焦點(diǎn)的效果,甚至支持后期調(diào)整焦點(diǎn)與景深。iPhone 13 Pro所具備的大傳感器、三攝配置、強(qiáng)大A15芯片等硬件與計(jì)算攝影技術(shù)的結(jié)合已經(jīng)將手機(jī)動(dòng)態(tài)影像的質(zhì)量提高到在某些場(chǎng)景下與專業(yè)攝影機(jī)難以分辨的位置。在過去,這是難以想象的。計(jì)算攝影時(shí)代的到來拓展了手機(jī)影像系統(tǒng)的邊界,賦予了普通手機(jī)用戶拍攝出更加高質(zhì)量影像的權(quán)利。用戶在拍攝過程中可以更加專注于影像的內(nèi)容與情感,專注于想用鏡頭表達(dá)的故事。計(jì)算攝影已經(jīng)不僅僅是一個(gè)技術(shù)問題,芯片的算力與學(xué)習(xí)能力將麥克盧漢經(jīng)典的那句 “媒介是人體的延伸”再次進(jìn)行了深刻直觀的詮釋。這種思維方式將是未來一段時(shí)間手機(jī)動(dòng)態(tài)影像系統(tǒng)的主流,而且依然存在著巨大的潛力。同時(shí),計(jì)算攝影下強(qiáng)大的芯片算法也是手機(jī)影像系統(tǒng)在傳感器體積等限制下能夠媲美傳統(tǒng)攝影機(jī)的技術(shù)基礎(chǔ)。通過自動(dòng)化的高級(jí)影像處理流程,在規(guī)定相同用戶以及拍攝對(duì)象與環(huán)境的條件下,大大降低了影像創(chuàng)作的操作要求,并且常常能夠展現(xiàn)出超越傳統(tǒng)影像系統(tǒng)的驚喜效果,從而獲得平民影像創(chuàng)作者更多的青睞。

2 技術(shù)賦能下手機(jī)動(dòng)態(tài)影像系統(tǒng)的應(yīng)用

2.1 高清流暢,挑戰(zhàn)視覺極限

隨著鏡頭傳感器以及芯片的不斷進(jìn)步,手機(jī)動(dòng)態(tài)影像系統(tǒng)能夠拍攝的分辨率與幀速率越來越高。4K 視頻在今天已經(jīng)成為了各大手機(jī)品牌的影像標(biāo)配。令人驚訝的是,三星Galaxy S20系列以及小米10系列在驍龍845處理器的加持下,已經(jīng)能夠拍攝高達(dá)8K 分辨率的視頻。雖然大部分手機(jī)通過縮小像素面積提高分辨率的方法依然無法和相機(jī)實(shí)打?qū)嵉拇竺娣e傳感器相提并論,而且存在儲(chǔ)存和續(xù)航等問題,但是考慮到手機(jī)作為載體本身的局限性,這樣的飛躍依然足夠驚喜。分辨率的指數(shù)級(jí)增長意味著手機(jī)動(dòng)態(tài)影像系統(tǒng)捕捉到的畫面能夠呈現(xiàn)出更多的細(xì)節(jié)與紋理,進(jìn)一步還原了影像的真實(shí)。在拍攝動(dòng)物、人物等紋理復(fù)雜的元素時(shí),高分辨率能夠?qū)⒚l(fā)、皮膚質(zhì)感、劃痕等細(xì)節(jié)更精細(xì)地展現(xiàn)出來,在拍攝一定范圍內(nèi)遠(yuǎn)距離主體的時(shí)候,也能通過裁切與放大得到不錯(cuò)的影像質(zhì)量,這也為手機(jī)動(dòng)態(tài)影像創(chuàng)作者提供了拍攝遠(yuǎn)景鏡頭的硬件條件。手機(jī)分辨率的提升真正將手機(jī)影像的精細(xì)程度做到了纖毫畢現(xiàn),同時(shí)也為用戶提供了更多的玩法與可能性,滿足了觀眾不僅看得到而且看得清的審美需求。

除了高分辨率以外,手機(jī)影像系統(tǒng)目前基本上都可以實(shí)現(xiàn)1080P、120FPS的高幀率攝影,手機(jī)內(nèi)自帶的慢動(dòng)作模式更是可以直接記錄1080P、240FPS的超高幀率升格視頻,華為P50 Pro甚至能夠通過自動(dòng)補(bǔ)幀算法實(shí)現(xiàn)1080P、960FPS的超級(jí)慢動(dòng)作視頻。幀率的概念首先源于電影的播放原理。早期默片16～22FPS的幀率,已經(jīng)讓畫面 “活動(dòng)”起來,形成了不錯(cuò)的視覺效果,甚至人類在第一次觀看電影 《火車進(jìn)站》時(shí),已經(jīng)被眼前動(dòng)起來的火車嚇得驚慌失措。后來,電影技術(shù)產(chǎn)業(yè)不斷升級(jí),電影幀率也從標(biāo)準(zhǔn)的24FPS 衍生出了48FPS、60FPS甚至以《比利·林恩的中場(chǎng)戰(zhàn)事》 《雙子殺手》等影片為代表的120FPS 等多種高幀率制式。可以說,高幀率視頻憑借著其影像動(dòng)作前所未有的流暢性為觀眾帶來了更加細(xì)膩豐富的畫面內(nèi)容,形成了一種賞心悅目的新電影美學(xué)。如今,手機(jī)影像系統(tǒng)能夠支持最高120FPS的高清視頻錄制功能意味著用戶們可以用手機(jī)去更加極致地表現(xiàn)各種有大幅度鏡頭運(yùn)動(dòng)或人物動(dòng)作等復(fù)雜調(diào)度的畫面,從而帶給觀眾手機(jī)影像領(lǐng)域前所未有的臨場(chǎng)感與參與性。同時(shí),手機(jī)內(nèi)置的超級(jí)慢動(dòng)作功能也讓用戶能夠用夸張的手法表現(xiàn)一些轉(zhuǎn)瞬即逝的場(chǎng)景或重點(diǎn)表現(xiàn)的動(dòng)作,給觀眾以“時(shí)間凍結(jié)”般的臨場(chǎng)體驗(yàn)。這種對(duì)時(shí)間進(jìn)行“特寫”的拍攝方式本身就是一種獨(dú)特的視覺美學(xué),它通過延展時(shí)間來對(duì)動(dòng)作場(chǎng)面進(jìn)行分解,實(shí)現(xiàn)對(duì)“真實(shí)過程”的 “一種更精確更深刻的描寫”。

2.2 細(xì)膩光色,超越真實(shí)世界

2020年,由廖明毅導(dǎo)演的亞洲首部iPhone長片《怪胎》面世,并且在多個(gè)國際影展競(jìng)賽中斬獲獎(jiǎng)項(xiàng)。在影片中,除了故事本身的趣味性,iPhone作為影像設(shè)備對(duì)于影片美術(shù)大面積采用紅黃藍(lán)綠等高飽和度色彩的表現(xiàn)讓人印象深刻,呈現(xiàn)出了一種奇幻怪誕的浪漫。

杜比視界HDR 與語義渲染等技術(shù)的賦能,給予了手機(jī)影像系統(tǒng)對(duì)于動(dòng)態(tài)范圍與色彩范圍里程碑式的跨越。10Bit的高動(dòng)態(tài)范圍讓手機(jī)能夠在超大反差的環(huán)境下依然有十分出色的細(xì)節(jié)表現(xiàn)。同時(shí),10億級(jí)色彩空間的識(shí)別與還原搭配上以Deep Fusion為代表的影像算法給予了用戶通過手機(jī)動(dòng)態(tài)影像系統(tǒng)展現(xiàn)多彩絢麗畫面的權(quán)利。以iPhone 13 系列為例,蘋果在從相機(jī)到屏幕的影像全流程系統(tǒng)中都采用了DCI-P3的廣色域。這是一種影院級(jí)的色彩范圍,以人類的視覺體驗(yàn)為出發(fā)點(diǎn),能夠在高飽和的場(chǎng)景下還原出更加具有視覺沖擊力的影像。同時(shí),杜比視界HDR 的加入將iPhone 13系列的錄制以及顯示亮度提高到了1200尼特,三攝的最大光圈也進(jìn)化到了F1.8。這意味著,iPhone 13系列可以在低照度的環(huán)境下還原出甚至連人眼都無法看清的畫面細(xì)節(jié),同時(shí)又可以在高反差的環(huán)境下保留高光和陰影的超多畫面細(xì)節(jié),并在手機(jī)屏幕上出色地展現(xiàn)出來。如果用戶在拍攝的時(shí)候,有意識(shí)地營造大光比和高對(duì)比,杜比視界就可以最高程度地釋放它的“功力”,呈現(xiàn)出一種超強(qiáng)的沉浸感和真實(shí)感。同時(shí),iPhone 13系列首次加入了攝影風(fēng)格功能,用戶可以在拍攝的時(shí)候進(jìn)行選擇和調(diào)整,并且獲得實(shí)時(shí)渲染的監(jiān)看畫面,獲得了更加豐富的色彩選擇與玩法。

圖3 iPhone電影 《怪胎》

2.3 多攝合作,拓展場(chǎng)景空間

2011年,LG 推出了世界上第一臺(tái)后置雙攝像頭的智能手機(jī)LG P925,通過兩顆500萬像素的鏡頭,實(shí)現(xiàn)了裸眼3D 影像的技術(shù)。自此,HTC、酷派、榮耀等手機(jī)品牌也加入其中。直到2016年,蘋果推出的iPhone 7 Plus搭載了28mm 與66mm 兩 顆攝像頭,并可以通過軟硬件的配合做到2倍光學(xué)變焦與10倍數(shù)碼變焦。除此以外,雙攝的配合實(shí)現(xiàn)了手機(jī)影像系統(tǒng)對(duì)于場(chǎng)景位深的分析,結(jié)合機(jī)器學(xué)習(xí)算法可以做到虛擬景深的效果,為之后的 “電影模式”打下了基礎(chǔ)。如今,三攝、四攝甚至五攝的配置在手機(jī)市場(chǎng)上已經(jīng)見怪不怪了。多焦段鏡頭的搭配不僅拓展了用戶在拍攝時(shí)與場(chǎng)景及畫面主體之間的空間關(guān)系,在有限的空間里給予了用戶更豐富的拍攝選擇,以更合適的焦距更加準(zhǔn)確地用影像傳達(dá)情感,而且相比較于傳統(tǒng)影像拍攝需要頻繁更換鏡頭的流程而言,極大地提高了效率。2020年,蘋果使用配有三攝系統(tǒng)的iPhone 11 Pro拍攝了春節(jié)賀歲片《女兒》。這也是iPhone首部未外接任何鏡頭,只使用手機(jī)原生鏡頭模組拍攝完成的短片。這意味著蘋果公司的三攝系統(tǒng)已經(jīng)基本可以涵蓋從超廣角到長焦的使用需求,并且每顆鏡頭都能實(shí)現(xiàn)優(yōu)秀的成像表現(xiàn)。在影片中,大量車內(nèi)鏡頭的出現(xiàn)意味著iPhone 11 Pro的超廣角鏡頭可以在如此狹小的空間里大放異彩。后視鏡、手套箱、引擎蓋、輪轂等都可以用來放置iPhone 11 Pro,從而輕松高效地捕捉到一些新穎有趣的畫面,對(duì)于傳統(tǒng)攝影機(jī)來說,這是非常難以實(shí)現(xiàn)的。此外,iPhone 13 Pro所配置的超廣角鏡頭第一次開發(fā)了微距攝影功能,最近對(duì)焦距離可以達(dá)到2cm,為影像創(chuàng)作再次提供了前所未有的視角和效果,手機(jī)影像系統(tǒng)也終于可以拍攝到未經(jīng)裁切的超大特寫畫面。在2021 年的賀歲短片《卷土重來》中,我們通過花絮可以看到創(chuàng)作團(tuán)隊(duì)將手機(jī)固定在任意的位置,憑借著從13mm 到77mm高達(dá)6倍光學(xué)變焦的鏡頭組合,實(shí)現(xiàn)了超豐富的景別與構(gòu)圖。而其中幾個(gè)微距大特寫鏡頭對(duì)于模型車輪、沙地以及鐵鍋底部等復(fù)雜紋理主體的細(xì)節(jié)表現(xiàn)也十分優(yōu)秀。除此之外,潛望式長焦、彩色黑白鏡頭搭配以及傳感器五軸防抖等高新技術(shù)的出現(xiàn)保持著對(duì)手機(jī)影像系統(tǒng)的爆發(fā)式賦能,算法+豐富焦段的鏡頭已經(jīng)可以讓手機(jī)動(dòng)態(tài)影像系統(tǒng)實(shí)現(xiàn) “指哪打哪”的拍攝效果。華為Mate 20系列更是史無前例地開發(fā)了類似于天文攝影的超級(jí)月亮功能,雖然在人工智能算法邏輯上還存在著不小的爭議,但已然可以看出手機(jī)影像工程師們對(duì)于追求極致所表現(xiàn)出的野心與努力。同時(shí),哈蘇、蔡司、萊卡等知名相機(jī)品牌的跨界合作與研發(fā)也為手機(jī)影像的未來進(jìn)一步創(chuàng)造了無限可能。

2.4 算法賦能,營造電影擬像

細(xì)膩的焦外景深在過去是使用大傳感器以及大光圈鏡頭專業(yè)攝影機(jī)的專屬。充分的進(jìn)光量與折射率制造的淺景深似乎成為一個(gè)畫面是否具備 “電影感”的衡量標(biāo)準(zhǔn)。由于機(jī)內(nèi)空間的限制,手機(jī)動(dòng)態(tài)影像系統(tǒng)僅依靠著光學(xué)原理很難實(shí)現(xiàn)細(xì)膩柔順的淺景深畫面。即使是在影像硬件系統(tǒng)上做到了極致,擁有1英寸大CMOS的Sony Xperia Pro-I所得到的光學(xué)成像畫面依然無法和入門級(jí)的專業(yè)微單一較高下。在短時(shí)間內(nèi)很難繼續(xù)擴(kuò)張手機(jī)傳感器大小的現(xiàn)實(shí)情況下,蘋果公司再次提出了令人驚喜的新思路。在2021年9月的蘋果發(fā)布會(huì)上,iPhone 13帶著全新的“電影模式”高調(diào)亮相。這個(gè)通過強(qiáng)大的A15芯片算法做到虛擬景深、自動(dòng)變換焦點(diǎn)甚至后期改變焦點(diǎn)的全新拍攝功能第一次把手機(jī)動(dòng)態(tài)影像和電影畫面之間的距離變得這么近。通過全景語義分割,iPhone 13能夠清楚地識(shí)別出畫面里復(fù)雜的元素,進(jìn)而做出精準(zhǔn)的焦點(diǎn)與景深計(jì)算。在焦內(nèi)人物轉(zhuǎn)頭或者看向它處的時(shí)候,電影模式甚至可以自動(dòng)將虛擬焦點(diǎn)變換到合適的畫面對(duì)象上,展現(xiàn)出了計(jì)算攝影超強(qiáng)的深度學(xué)習(xí)和智能優(yōu)化能力。在發(fā)布會(huì)的樣片《誰是真兇》中,創(chuàng)作者刻意拍攝了連續(xù)幾個(gè)前后景人物互動(dòng)的鏡頭,旨在表現(xiàn)電影模式準(zhǔn)確、流暢、仿生的自動(dòng)變焦點(diǎn)功能,令人嘆為觀止。電影模式的出現(xiàn)意味著普通用戶在不需要深入學(xué)習(xí)拍攝技能的條件下依然可以輕松地用電影的質(zhì)感記錄下身邊的日常畫面,更加專業(yè)的創(chuàng)作者甚至可以通過焦點(diǎn)的變化來進(jìn)行鏡頭語言的敘事,以用戶為中心,讓手機(jī)動(dòng)態(tài)影像系統(tǒng)實(shí)現(xiàn)從記錄到創(chuàng)作的飛躍。誠然目前的電影模式依然存在比如焦點(diǎn)邊緣模糊與只支持1080P、30FPS等問題。但計(jì)算攝影對(duì)于手機(jī)動(dòng)態(tài)影像功能的顛覆和拓展在一定程度上給予了用戶比使用專業(yè)相機(jī)還要靈活的自由度。通過關(guān)鍵幀后期改變焦點(diǎn)的功能在以往的任何動(dòng)態(tài)影像流程中都未曾出現(xiàn)過,其劃時(shí)代的意義不言而喻。

此外,例如Filmic Pro、Protake、索尼電影大師等動(dòng)態(tài)影像軟件的輔助給予了專業(yè)視頻創(chuàng)作者熟悉的操控感。通過軟件,用戶可以自由調(diào)整色溫、快門、焦段、感光度甚至畫幅比等一系列參數(shù),從而創(chuàng)作出具有溫度和人文思考的影像。在這樣一個(gè)小小的手機(jī)里,各大品牌已經(jīng)用軟硬件配合的方式來盡可能滿足絕大部分用戶的個(gè)性化需求,計(jì)算攝影在未來勢(shì)必會(huì)成為手機(jī)影像系統(tǒng)向?qū)I(yè)相機(jī)發(fā)起挑戰(zhàn)的一把利刃。在這個(gè)時(shí)代,拍大片,真的可以只是動(dòng)一下手指而已。

圖4 電影模式后期調(diào)整焦點(diǎn)

3 結(jié)語

隨著動(dòng)態(tài)影像軟硬件技術(shù)的不斷發(fā)展以及網(wǎng)絡(luò)媒介技術(shù)的飛速升級(jí),手機(jī)在今天已經(jīng)成為最重要的也是最普遍的影像系統(tǒng)之一。二十年前,軍備競(jìng)賽般的硬件堆疊將手機(jī)影像系統(tǒng)帶到了技術(shù)研發(fā)的主流位置。近十年來,AI算法、深度學(xué)習(xí)、自動(dòng)優(yōu)化等計(jì)算攝影功能又將手機(jī)影像的思路進(jìn)一步拓寬,一定程度上彌補(bǔ)了手機(jī)影像系統(tǒng)體積小的先天劣勢(shì),甚至在某些場(chǎng)景會(huì)得到令人驚喜的表現(xiàn)。二十年來,手機(jī)影像系統(tǒng)技術(shù)的戰(zhàn)火從硬件燒到軟件,未來會(huì)有怎樣的顛覆也難以揣測(cè)。但無論如何,手機(jī)影像系統(tǒng)的核心思想依然是為大眾簡化影像創(chuàng)作的流程,并提供高質(zhì)量的視聽表現(xiàn),讓每個(gè)手機(jī)用戶都能夠擁有通過視聽表達(dá)情感的權(quán)利,營造一場(chǎng)去中心化的民間影像狂歡。

同時(shí),手機(jī)動(dòng)態(tài)影像系統(tǒng)目前依然存在較多問題,比如Pro Res編碼的傳輸速度太慢、文件太大導(dǎo)致難以儲(chǔ)存;8K 與杜比視界HDR 等高新技術(shù)格式視頻上傳網(wǎng)絡(luò)時(shí)各種各樣的轉(zhuǎn)碼壓縮對(duì)于原始視頻質(zhì)量會(huì)產(chǎn)生損耗且部分平臺(tái)或設(shè)備不支持播放;計(jì)算攝影技術(shù)在錄制動(dòng)態(tài)影像的時(shí)候無法使用4K高幀率的格式。但是,手機(jī)作為非純粹的影像生產(chǎn)工具,能夠在有限的條件下達(dá)到今天這樣的效果,已經(jīng)足以稱為攝影界的奇跡。并且,各大手機(jī)品牌的影像工程師們依然保持著對(duì)于技術(shù)研發(fā)的熱情和對(duì)于極致體驗(yàn)的追求,在未來勢(shì)必會(huì)為手機(jī)影像系統(tǒng)繼續(xù)帶來驚人的升級(jí)進(jìn)化。手機(jī)影像系統(tǒng)改變了世界的創(chuàng)意生產(chǎn)習(xí)慣,消解了視聽創(chuàng)作的中心權(quán)利。通過技術(shù)之維不斷突破著藝術(shù)創(chuàng)作的邊界,無限拓寬人們的想象空間實(shí)現(xiàn)藝術(shù)共創(chuàng)。在這個(gè)時(shí)代,手機(jī)影像系統(tǒng)沒有拋棄任何一個(gè)想要記錄與表達(dá)的平民百姓,同時(shí)也為有一定基礎(chǔ)的專業(yè)用戶提供了可玩性與操作空間。《高飛鳥》《失心病狂》《橘色》《怪胎》《波瀾萬丈》等用手機(jī)拍攝的電影成功向我們展示了這樣一個(gè)小小的影像系統(tǒng)蘊(yùn)含的巨大潛力。未來,我們繼續(xù)保持期待。