作為影像生產裝置的智能手機

宗呈

手機的智能化

回顧智能手機商品化發展的過程，它之所以能成為影像的生產裝置，在其早期發展階段大體上經過了三個轉折點。奠定基礎的第一點是手機的智能化，以1992美國IBM公司在拉斯維加斯COMDEX（計算機賣家展銷會）上發布的世界上第一臺智能手機的原型機Sweetspot為標志。到1995年經反復改進后量產時取名Simon Personal Communicator（西蒙個人通信器），它是一臺源自PDA（Personal Digital Assistant，直譯為個人數字助理），即掌上電腦，以單色液晶觸摸屏操控，具有大量應用程序如日程安排、日歷、世界時鐘、地址簿、電子記事本等，又加入了接聽撥打電話、收發傳真和郵件功能甚至還可以支持第三方應用程序的智能手機。它的出現是90年代計算機與通信技術的一次融合的產物，使人機與人人交互合二為一。

手機的攝像頭與觸摸顯示屏

第二個轉折點發生在手機與攝像頭的合體。依據CNN網站1999年5月18日的報道和日本京瓷（Kyocera）公司2003年刊印的該公司可持續發展報告顯示，1999年5月，京瓷公司率先面向日本市場推出了VP-210手機。該手機是世界首款自帶攝像頭與彩色屏幕，可在通話中以每秒2幀的速率實時接收與傳輸影像以實現視頻電話的手機。而且，它還具有拍照的功能。其攝像頭和CCD傳感器能夠拍攝11萬像素的照片并在機內最多存儲20張。這些照片還可以通過互聯網的郵件服務發送給電腦或者接收郵件中的照片存儲到手機里。值得注意的是，這第一款視頻手機的攝像頭位于手機撥號按鍵和屏幕的一面，即只適合通話時自拍，這意味著如果拍攝者要使用這個前置的攝像頭向外拍攝，他將無法通過屏幕看到他所要拍攝的對象。這點顯然是受益于20世紀中期可視電話技術與20世紀八十年代視頻壓縮算法如DCT（離散余弦變換，一個數學概念，最早被廣泛用于視頻壓縮算法中）。由于手機攝像頭閹割了相機上的光圈、對焦環和快門的設計，VP-210的靜態照片拍攝功能與其稱之為拍照還不如說是在其處理器和CCD傳感器的能力范圍內截取一幀，其光圈值、快門速度和對焦位置都無法由拍攝者設定而是由預置的程序自動控制，這表明了手機生成的影像自誕生起就具有自拍、自觀和捕捉動態視頻的特性。直到2000年，日本夏普公司推出了帶有后置攝像頭的J-SH04，手機才終于有了接近數碼相機向外看的拍攝體驗。諷刺的是，即使離智能手機的發明已過去五年，由于不具備智能手機的操作系統，無法支持原廠或第三方應用程序，無論是VP-210還是J-SH04均不算是智能手機。最后一個轉折點在2002年，隨著內置攝像頭和塞班操作系統（Symbian）的智能手機諾基亞7650的發布，攝像頭與智能手機才完成合體，奠定了智能手機逐漸成為影像生產的主要裝置之一。

今日的手機之所以需要前后多攝像頭，主要是由于平板觸摸屏交互界面的設計。除了IBM開創性的Sweetspot和Simon采用平板式觸控屏設計外，早期的智能手機如諾基亞1996年發布的9000 Communicator（也有人質疑其為智能手機，因為它只是把掌上電腦與手機連在了一起，并不是共用一個操作系統），高通（Qualcomm）1998年發布的pdQ-800和愛立信（Ericsson）R380等機型都采用了可開合折疊式設計，內部掌上電腦，外部實體撥號按鍵用來撥打電話。類似三星SCH-X590這類安裝在轉動軸上的可旋轉攝像頭設計雖然巧妙，但隨著特種玻璃、電容式液晶屏和多點觸控技術和手機操作系統等軟硬件的發展，2007年橫空出世的蘋果iPhone，以其電容式觸控屏和原生的iOS操作系統設計已經可以媲美，甚至在效率、多功能性、緊湊度、耐用性等方面上超越了實體按鍵，這使得開合折疊設計失去了存在的意義。取消了實體撥號按鍵后，智能手機可以設計得更輕薄，安裝更大尺寸的顯示屏以提供更好的交互體驗，這也可以算是IBM Simon開創性設計的一次繼承與發展。iPhone在市場取得的空前成功奠定了此后幾乎所有智能手機均采用平板觸摸屏交互界面的設計和蘋果公司的iPhone在智能手機市場霸主的地位。由于人手的生理結構與使用習慣，智能手機的觸控顯示屏默認的設計都是豎屏顯示以便于單手握持、操控與接聽。而且豎屏顯示符合人臉或人體的比例，使以自拍人臉和人體為拍攝主體的用戶在手機相對較小的屏幕上最大化人臉的顯示面積，在相關短視頻應用程序的推波助瀾下生產了大量豎屏的動態影像。這對傳統的動態影像展映特別是電視和電影的屏幕標準提出了新的挑戰。傳統電視和電影的橫向顯示基于模仿人眼雙目視域，而智能手機由于體積小并內置了重力感應傳感器來感應手機的位置從而在應用程序的參與下自適應改變視頻的顯示方向，無論是橫向還是豎向的視屏都能最大化利用顯示屏獲得最佳的觀看體驗，這對于體積較大的電視特別是電影的屏幕來說卻很難辦到。

顯示屏對于智能手機來說既是拍攝數字影像的取景器也是拍攝完成后回放時的觀片器，更是好比一塊《白雪公主》中皇后的魔鏡。相比光學取景器，它在早年雖有幾毫秒的延遲，但它再現了類似大畫幅相機的對焦毛玻璃那樣清楚但卻正置的物像。隨著顯示屏技術的發展，顯示屏從單色走向多色，從全彩色LCD、LED走向OLED。顯示屏的分辨率、亮度、對比度、刷新率、響應時間，色域范圍和色深等參數提升，使得其觀看體驗越來越接近人類肉眼感知的極限，蘋果公司甚至使用“視網膜（Retina）”來命名其電子產品的屏幕。這種轉變得益于電視錄像、計算機與數碼相機等相關媒介的發展，照片的觀看不再只能通過印相、背照或投影，取景框內的影像正是傳感器上像素點在液晶屏上的再現。加色法、自發光的照片成為了可能也預示了靜態影像與動態影像之間的界限逐漸消失。這種轉變已不是傳統黑白照片走向彩色照片那樣的化學配方感光的間接轉化，而是走向光電直譯的物理方法，雖然其光電直譯仍受到CMOS傳感器拜爾陣列先天缺陷的制約而無法完全采樣被攝體的紅綠藍三色光。同時，由于智能手機用于影像拍攝的應用程序具有許多預設的效果選擇，顯示屏可以實時顯示經芯片處理的傳感器采樣的影像像素。例如，各大智能手機廠商都會在其影像拍攝的應用程序中加入各種預設的風格濾鏡，當拍攝者選擇了某濾鏡后，顯示屏上就能實時顯示應用該濾鏡后的效果。美顏相機的應用軟件甚至還可以實時放大被攝者的眼睛，縮小臉部，拉長腿部，增白增粉被攝者的肌膚，并且這種改變不但能被拍攝保存為靜態的照片，還可以保持動態實時生成的狀態。這也推波助瀾了視頻直播的廣泛應用，堪稱數字信息時代的魔鏡，滿足了萬千愛美的拍攝者即使不化妝、不整容和整形，也能夠在影像中塑造自我美麗形象的愿望，并間接引發了大眾審美的模式化和程序化的危機。值得一提的一個影像藝術案例是以化妝自拍著稱的美國攝影藝術家辛迪·舍曼（Cindy Sherman），她從2017年起在Instagram（智能手機圖片社交應用程序）上發布經過手機特效相機應用程序完成的自拍照，照片中她的樣貌扭曲變形，極端夸張，有些甚至用了臉部摳像與其他照片合成。可以說她充分利用了智能手機的魔鏡（程序和屏幕）完成了其自拍照的數字化形，也挑戰了傳統逼真、審美的自拍照和畫廊、美術館之類的藝術展示空間。

此外，在拍攝完回看時，智能手機可以立即對所攝影像進行處理，并具有在互聯網上備份和發布的能力。這種能力本應是電腦才具備的，但智能手機的出現不但整合了影像生產的前期和后期流程，而且還由于其小巧便攜性，成為了可時刻伴隨左右的人的延伸，像一個機器視覺器官一樣如實地留下客體的影像備份用以喚醒人類主體曾經的記憶和生命體驗，并且這份主體的記憶和生命體驗還能通過互聯網分享而引發其他有相似體驗者的共鳴而形成集體記憶。這種影像的生產流程效率很高，復制精確，傳播迅速，對新聞報道和自媒體的發展有著革命性的意義，但也極大地受顯示屏本身所影響。如果一臺智能手機的顯示屏顏色不準，就會引發所有的影像生產環節的鏈式反應。并且在分享端，不同顯示屏上看到的影像可能色彩完全不一樣，即使該影像的數據本身是絲毫不差地被復制的。數字影像丟失了其物質性卻又被再現數字影像的物質所影響。智能手機的顯示屏也成為一個連接個體視覺經驗與數字信息網絡的節點。節點與節點通過應用程序中的賬號相互連接成類似人體的神經網絡，互相快速傳遞電信號，形成數字信息網絡的基本組織結構。在這個結構中，作為個體的經驗（部分記憶）的影像可以被存儲、被共享和被實時或后期修改，真實與虛假之間的界限變得真假難辨。像線性剪輯系統被非線性剪輯取代一樣，線性歷史觀也逐漸被“非線性”或多重線性的歷史觀取代。以控制論的觀點看，人類社會可以通過每個智能手機用戶的觸摸顯示屏和程序形成一個信息反饋的閉合回路，這在應對像新冠病毒一樣全人類的危機時顯得尤為重要。自2019年以來，通過智能手機所發布的影像，武漢、中國乃至世界各國的疫情得以成為人類的集體記憶，其中摻雜著真實與虛假、個體與集體、經濟與科技，意識形態和政治斗爭等等問題。智能手機程序使用攝像頭掃一掃健康碼、行程碼成為了中國疫情防疫管控和流行病學溯源的有力工具。智能手機成為了隔離期間人與人交流的主要通信方式，視頻會議和視頻授課成為全世界范圍內的一種常態。

由于無需使用可開合折疊式設計一樣的轉動軸，因而如三星2002發布的SCH-X590類似的可旋轉攝像頭設計也就沒了用武之地。前后多攝像頭的設計雖然增加了成本，但在滿足自觀與外看的基礎上，提供給用戶更接近可換鏡頭相機系統的影像畫質和視角體驗又保證了其緊湊和耐用性。以智能手機代表的蘋果公司為例，其2019年下旬發布的后置三攝像頭的設計iPhone 11 Pro與美國Bell & Howell公司在1929年發布的世界首款三鏡頭最緊湊的16mm膠片的電影機Filmo 70C布局極其相似。Bell & Howell的Filmo 70系列機型以其緊湊、結構簡單、堅固耐用和操作方便在新聞報道、軍隊戰爭和業余愛好者中得以廣泛使用，也影響了后世的Arriflex和Bolex等經典電影機的設計。只不過由于緊湊性的考慮，蘋果公司并未采用Filmo 70C那樣的可換鏡頭的旋轉塔式三鏡頭布局。這種鏡頭布局結合蘋果公司的拍攝軟件，把三個遞增焦段的光學定焦鏡頭與數字放大結合起來，使得iPhone在保證輕薄小巧、不損失太多畫質的基礎上有了變焦鏡頭的使用體驗。

手機引領的計算攝影

智能手機的攝像頭與傳感器相比相機，在物理尺寸上天生就具有更大的限制。截止到本文撰寫之時，市售的智能手機如夏普AQUOS R6和索尼Xperia PRO-I主攝像頭CMOS感光元件尺寸都不超過1英寸（拍攝時由于鏡頭像場限制實際有效拍攝面積更小），最大光圈不超過f/1.5，相對于數碼相機較小的感光元件主要會導致四個方面的問題：第一個問題在于弱光情況下噪點的增加（或者曝光時間的延長）。目前智能手機針對第一種問題的解決方案主要是通過算法、增大感光元件尺寸和加入鏡頭防抖的硬件。其中比較有代表性的如華為的超級夜景模式，谷歌pixel手機上的“Night Sight”，蘋果的夜間模式等算法。同時，蘋果、華為、谷歌等廠家均在提高其智能手機的感光元件尺寸與優化其鏡頭防抖的軟硬件，這些軟硬件的合力使得手機在弱光下手持也能拍攝接近數碼相機的照片。第二個問題在于較低的動態范圍。較小的CMOS傳感器面積和較高的像素會導致單個像素的面積減小，這使得每個像素所能接收的光子量少了從而影響了照片的動態范圍。各智能手機廠家對該問題的解決方案主要通過HDR技術，在拍攝者拍攝一張照片時在程序后臺替用戶拍攝多張不同曝光的照片，堆棧運算，合成出一張高動態范圍的照片。第三個問題是難以實現淺景深效果。較小的感光元件尺寸直接導致了攝像頭所拍攝的照片景深效果在大多數直出的情況下很接近于相機小光圈大景深的效果。但隨著3D感知技術的開發應用，這個問題已得到基本解決。從早期的雙目立體視覺技術發展到現在較主流的結構光和飛行時間（Time of Flight）技術，蘋果公司更是在飛行時間技術基礎上開發出其特有的LiDAR激光雷達掃描技術來測算照片像素的深度（ Light Detection and Ranging， 一種通過激光掃描來檢查地貌的遙感技術。該技術還被蘋果用來提升智能手機弱光下對焦的速度和精度），再結合機器學習真實鏡頭的景深虛化數據，在其智能手機中央處理器集成的神經網絡引擎支持下運行卷積神經網絡的圖像分割算法，甚至可以在攝像頭以最大光圈拍完一張照片后，再后期調整出在不同光圈下的景深虛化效果。最后一個問題是智能手機所拍攝的照片同像素下畫質比數碼相機拍攝的畫質差，蘋果給出的解決方案是深度融合（Deep Fusion）。這項技術在蘋果公司的演示效果上有些類似賓得在K1數碼相機上首創的像素偏移（Pixel Shift），但原理不同。按蘋果公司全球市場高級副總裁Phil Schiller的原話 “在拍攝者按下‘快門’前，蘋果的手機就已經拍攝了四張短曝光、四張次短曝光照片，當按下 ‘快門’時拍下一張長時間曝光的照片，然后神經引擎分析這些照片中采集到的像素，挑選出每張照片中最佳的像素點，重新合成出一張更清晰、低噪點的照片。” 然而，這項技術的激活由蘋果公司的光線識別算法的控制（iOS15.2.1系統中被稱為“場景檢測”：使用智能識別圖像，自動改善各種場景的照片），拍攝者卻無法控制它的激活。當拍攝對象光比大時激活的是HDR，弱光下激活的是夜間模式，而深度融合處于二者之間的情況下才能被激活。這些案例從側面說明了，為了使廣大用戶使用方便，作為影像生產裝置的智能手機是一種高度自動化的裝置，為了克服天生硬件尺寸限制帶來的種種問題需要大量基于軟件層面的輔助計算，可以說它本質上是一種用數學來模擬光學的計算攝影，比數碼相機的數字化程度更高，甚至在未來有希望去除鏡頭的一次影像生產裝置的革命。拍攝者只需構圖取景后按下“快門”就可以得到一張原來需要一定攝影技術才能拍出的照片，這也是蘋果、谷歌、華為等眾多智能手機設計者所希望與用戶建立起的一種信任關系，使得智能手機作為一種影像裝置處于一種被程序化、自動化所控制的“暗箱”的狀態之中。智能手機使用戶不再需要考慮太多攝影的技術操作，也因此失去了對影像生成過程的自由控制。巴西哲學家、媒體理論家威廉·弗魯塞爾（Vilém Flusser）在《攝影哲學》中對自動性的批判，提醒人們不要習慣于自動化、程序化的攝影裝置，要與之博弈來獲取自由，“通過裝置來獲得某種東西，而且把并非出于其程序下的東西放進影像中”。對于影像藝術創作來說，在技術迭代迅速、影像裝置和應用年年出新的當下，這點尤其值得引起重視。

1964年，加拿大傳播學者馬歇爾·麥克盧漢（Marshall McLuuhan）在《理解媒介》媒介中首次提出的核心論題“媒介即信息”，智能手機即是信息，也是制造信息的媒介。通過對智能手機的媒介考古這一分析和呈現該媒介的方法，影像作為智能手機在數字信息時代所能生產傳播的最具影響力的信息，具備了可以獨立于語言文字邏輯之外更直接和更具吸引力的一種獨特現象的研究。在媒介高度自動化和程序化，技術被壟斷加密的背景下，在消費與生產、發明與再發明、設計與使用，以及熵與逆熵的博弈中，影像藝術創作或許可以從逆向工程和開源的角度，從媒介技術與形式出發，思考創作的內容，以此來應對影像藝術創作僅成為內容生產的危機。