淺談手機雙攝像頭技術(shù)

徐仁東

（富智康(南京）通訊有限公司,江蘇南京，210000）

0 引言

手機雙攝頭指的不是前置后置雙攝像頭，雙攝手機是指一個智能手機背面或者正面上有兩個并排（橫排或者豎排）的攝像頭。當(dāng)前手機雙攝通過不同的組合可以實現(xiàn)背景虛化功能，提升夜景模式拍攝圖片的質(zhì)量，實現(xiàn)光學(xué)變焦［1］，以及三維重建等應(yīng)用。

1 常見的幾種雙攝搭配

■1.1 彩色攝像頭（RGB）+彩色攝像頭（RGB）

主要用于計算景深，實現(xiàn)背景虛化和重對焦。單反相機讓人為之著迷的一點便是通過調(diào)整不同光圈值，拍出如夢似換的背景虛化效果。我們知道，單反相機通過增大鏡頭光圈可以縮小拍照時的合焦范圍。

■1.2 彩色相機(RGB) + 黑白相機(Mono)

提高夜景模式拍攝圖片的質(zhì)量主要有三種辦法：曝光時間延長、感光度ISO提高、光圈F增大。曝光的時間延長會帶來抖動的問題，于是手機廠商與camera模組廠設(shè)計了光學(xué)防抖；感光度ISO提高，同時也會帶了更多的噪點，影響了畫面清晰度，手機體積很小，厚度很小的限制下，也不能把傳感器尺寸繼續(xù)加大；手機光圈是固定值，在設(shè)計階段已經(jīng)確定，無法調(diào)整。廠商的算法工程師們，進行創(chuàng)新，想要借助黑白世界的強大力量。

■1.3 廣角鏡頭（Wide）+長焦鏡頭（Tele）

主要用于實現(xiàn)光學(xué)變焦。在拍照時手機圖像處理器會通過廣角和長焦鏡頭組合搭配和融合算法來實現(xiàn)平滑的變焦，長焦鏡頭擁有高像素的特點彌補廣角鏡頭因變焦或畸變而損失的部分細節(jié)圖像信息，實現(xiàn)了優(yōu)于單攝像頭很多的圖像變焦效果和圖片成像質(zhì)量。

■1.4 彩色相機（RGB）+深度相機（Depth）

主要用于三維重建當(dāng)中深度攝像頭使用的最多是TOF相機。TOF通過給對應(yīng)場景中的目標(biāo)發(fā)送光脈沖，然后反射回來，通過探測光脈沖的往返時間來計算物體距離獲得具體物體的深度信息。

2 手機雙攝的關(guān)鍵技術(shù)

■2.1 背景虛化

單反相機吸引了很多攝影愛好者，其中讓人為之著迷的一點便是通過調(diào)整不同數(shù)值的光圈值，拍出夢境般的背景虛化效果。正如我們知道，單反相機通過機械的增大鏡頭光圈可以縮小拍照時的合焦范圍。光圈實際上是一直打開的，當(dāng)你按下快門時，光圈的大小會自動收縮至你在相機上設(shè)定的數(shù)值大小。我們在拍照時經(jīng)常聽到說開大光圈和小光圈。我們以應(yīng)用在35mm相機的50mm焦距人像鏡頭為例，最大光圈可以做到F1.4，此時相機的進光量最大，最小光圈為F22，此時相機的進光量最小。大光圈代表著光圈的f值最小，小光圈的f值最大，光圈的大小調(diào)節(jié)和設(shè)置的f值的大小是相反的，大光圈是小數(shù)值，小光圈是大數(shù)值。我們在單反相機或者手機上調(diào)節(jié)時，將相機模式設(shè)置成手動模式。圖1是人像進光量與光圈F示意圖。光圈越大，背景越模糊，光圈越小，背景越清晰。

圖1 人像進光量與光圈F示意圖

為了模擬這種虛化效果，雙攝手機利用人眼三角定位原理來計算被攝物體距離攝像頭的距離Z。如圖2所示。

圖2 人眼三角定位原理示意圖

得到需要拍照場景中每一個像素點距離相機感光sensor的遠近后，通過虛化算法保留對焦平面內(nèi)人像或景物的清晰度，將其余部分根據(jù)其相對于手機攝像頭遠近距離進行不同等級的模糊處理，就可以模擬出光圈虛化效果。

■2.2 光學(xué)變焦

光學(xué)變焦是用兩個攝像頭配合組成，這兩個攝像頭擁有不同的可視角（FOV），兩個攝像頭看到的角度不同，會導(dǎo)致取景的范圍不同。如果用戶需要更廣視角的圖片信息，就可以使用視角大的攝像頭拍照，取得廣角效果。當(dāng)用戶需要拍攝遠點的圖像信息，則需要用長焦攝像頭，雖然視角小，但是分辨率高，可以獲得長焦效果。光學(xué)變焦鏡頭通常是由多組獨立的凸/凹透鏡組成的，有的透鏡是固定的，有的是可以沿光軸前后滑動的。復(fù)雜的變焦鏡頭可以包含多達三十多個獨立的透鏡以及多個移動部件。變焦的功能主要通過改變無焦變焦系統(tǒng)來實現(xiàn)，它由多個固定的和可移動的透鏡組合而成，但是并不進行聚焦，它通過改變光束穿過透鏡的位置來達到變焦的目的。

現(xiàn)在絕大多手機對于變焦（或者說遠距離拍攝）的需求，很多都是通過嚴(yán)重壓縮圖像畫質(zhì)的數(shù)字變焦。在這種市場大環(huán)境下，廠商在接到用戶對手機拍照功能的主要訴求后。提出了這種光學(xué)變焦方案。但是如前面描述的，變焦鏡頭結(jié)構(gòu)復(fù)雜，非常依賴于各種光學(xué)透鏡的復(fù)雜組合，因此想用單攝像頭就實現(xiàn)光學(xué)變焦功能，對于廠商手機攝像頭的模組厚度、復(fù)雜度以及整體外觀設(shè)計，都帶來了很大的挑戰(zhàn)。限于手機機身厚度，想做出不伸出機身外的變焦攝像頭幾乎不可能。如果單鏡頭既然不行，有的廠商嘗試用兩個鏡頭來實現(xiàn)。

雙攝像頭技術(shù)的理論基礎(chǔ)，就是把原本需要縱向分布的空間光學(xué)體系，在橫向空間里相對寬裕的機身平面里鋪開。現(xiàn)在手機厚度已經(jīng)越來越薄，有的薄到7mm，甚至向更薄發(fā)展，但是橫向看機背面上與屏幕平行平面的空間是足夠的。講白了，就是比起把鏡頭做得不突出機身，在機背面上多放幾個鏡頭明顯要更容易做到。

目前camera模組廠商和變焦相關(guān)算法提供商的研發(fā)和測試，這種廣角+長焦的雙攝像頭組合的變焦方案已經(jīng)被業(yè)界廠商接納。一個廣角鏡頭和一個長焦鏡頭的搭配，在用戶拍照后，系統(tǒng)會獲得兩個鏡頭的不同圖片，通過算法，會將鏡頭獲取的圖片，消除切換差異，并且融合兩種圖片，實現(xiàn)相對平滑的變焦功能。因為長焦鏡頭擁有很高的像素，能保證廣角鏡頭因變焦或畸變而丟失的圖像RAW信息遠遠低于單攝像頭用數(shù)字變焦實現(xiàn)的假變焦，進而大幅提升手機的變焦功能的性能。這種組合方式已經(jīng)驗證會得到非常好的光學(xué)變焦體驗。

■2.3 夜景模式增強

很多手機都有夜景模式，如果用單攝實現(xiàn)這個功能，通常是用類似于HDR或者多幀的方式來實現(xiàn)，具體講就是夜景模式下，取連續(xù)的5-7幀圖像，進行圖像融合，從而為了達到細節(jié)更加豐富的目的。但是這種方法有弊端，由于黑暗處物體的進光量有限，即使多次疊加，效果仍然有限。那么為了帶來更好的用戶體驗，廠商使用雙攝技術(shù)來實現(xiàn)彌補這個功能的不足。做夜景模式增強就是攝像頭一個用RGBG的拜耳陣列標(biāo)準(zhǔn)攝像頭，另外一個去掉RGBG 濾波片只保留Y方向的黑白攝像頭。標(biāo)準(zhǔn)拜耳陣列的用來獲得物體的色彩信息，而Mono攝像頭專門用來獲取進光量，用來判斷被拍攝物體的亮度信息。然后將兩個圖片獲得的信息通過算法融合起來，就會使原本的照片新增更好的亮度。

■2.4 深度相機

深度相機是一種可以直接獲取場景中物體與攝像機之間的物理距離的相機。手機中新增的深度相機一般就是TOF。TOF的原理與3D激光傳感器基本相同。不同的是三維激光傳感器是逐點掃描，而TOF相機可以同時獲得一張完整圖像的深度信息。

本文介紹了一種高度簡化的測距原理［2］。照明光源通常采用方波脈沖調(diào)制，因為數(shù)字電路比較容易實現(xiàn)。深度相機的每個像素由一個光敏單元（如光電二極管）組成，可以將入射光信號轉(zhuǎn)換成電流信號。光敏單元與多個高頻轉(zhuǎn)換開關(guān)相連，可將電流導(dǎo)入不同可以儲存電荷的電容器中。

相機上的控制單元先打開光源，然后關(guān)閉光源，發(fā)出一個光脈沖信號。同時，控制單元打開和關(guān)閉芯片上的每個像素點電子快門。用這種方式將光脈沖產(chǎn)生的電荷S0存儲在傳感器上。

然后，控制單元再次打開和關(guān)閉光源。這次快門稍后打開，即在光源關(guān)閉時。產(chǎn)生的電荷S1也存儲在傳感器上。因為一個光脈沖的持續(xù)時間很短，這個過程會重復(fù)數(shù)千次，直到達到曝光時間為止。然后讀取傳感器中的值，并根據(jù)這些值計算實際距離。

計光速為c，tp為光脈沖的持續(xù)時間，S0為先前快門收集的電荷，S1為延遲快門收集的電荷，則距離d可通過以下公式計算：

最小可測量距離是，在較早的快門周期期間S0中收集了完整的電荷，而在延遲快門周期期S1中完全沒有收集到電荷，即S1＝0。代入公式計算，可以得到最小可測量距離d=0。最大的可測量的距離是所有的電荷都集中在S1中，而不是在S0中。然后，由公式得出d=0.5×c×tp。因此，最大可測距離由光脈沖寬度決定的。例如，tp=50ns，代入上式，得到最大的測量距離d=7.5m。

深度相機的應(yīng)用主要包括以下幾個方面：

(1)手勢識別。TOF深度相機可以將人臉、身體、手臂和手指從背景中分離出來，分割可信度高，不受自然光變化的影響。同時，它可以實時處理，在智能交互領(lǐng)域有著廣泛的應(yīng)用前景。華為Mate30、Mate40系列的隔空操作功能，就是這個技術(shù)進入消費電子產(chǎn)品領(lǐng)域的最好代表。

(2)近乎真實的AR游戲體驗。由于二維圖像中包含了實時的深度信息，AR游戲的用戶體驗更加真實。例如，一只虛擬出來的貓可以通過實時的空間深度感知空間的相對位置。到了桌子的邊緣，會很自然跳到地上，這在以往的AR游戲中是很難實現(xiàn)的。

(3)三維空間的測量。由于深度信息可以實時獲取，三維空間測量的實現(xiàn)是自然的。比如在室內(nèi)裝飾領(lǐng)域，各種虛擬家具可以方便地放置在真實尺寸的真實環(huán)境中，用戶可以用手機在室內(nèi)體驗到360°的家居真實效果，這無疑是一個激動人心的應(yīng)用場景。

(4)三維掃描/重建。例如，如果你看到一個你非常喜歡的雕塑，你可以用手機上的彩色相機和深度相機掃描一周。結(jié)合相應(yīng)的算法，可以生成雕塑的三維模型數(shù)據(jù)，并使用3D打印機輕松打印出三維雕塑副本。

3 結(jié)語

手機雙攝技術(shù)已經(jīng)得到了市場的充分的認可，硬件的條件已經(jīng)具備。未來基于雙攝像頭技術(shù)的更多應(yīng)用，會給我們的生活帶來各種變化。當(dāng)然手機廠商也會在手機上添加更多的攝像頭，普通用戶的攝像體驗會越來越好，笨重的單反也會離我們越來越遠。