無鏡頭相機結合神經網絡，能否產生更清晰的圖像？

李錚

數碼相機通常需要鏡頭將入射光聚焦在圖像傳感器上，雖然技術不斷改進，允許更緊湊的相機系統，但它們仍然受到物理的限制。鏡頭只能這么小，鏡頭和傳感器之間的距離這么短。鑒于此，“無鏡頭”相機的概念被設計出來，沒有光學設計的物理限制，無鏡頭相機可以做到小很多。東京工業大學的山口正弘教授說：“沒有鏡頭的限制，無鏡頭相機可以做到超微型，超出我們想象的應用范疇。”

無鏡頭相機本身的想法并不新鮮，2013年的單像素無鏡頭相機曾經曇花一現。無鏡頭相機，包括一個圖像傳感器和傳感器前面用于編碼信息的薄掩模（mask簡稱掩模，是光刻工藝不可缺少的部件。掩模上承載有設計圖形，光線透過它，把設計圖形透射在光刻膠上），在應用場景中，需要數字計算來產生詳細的圖像。

通過了解光如何與圖像傳感器前面的薄掩模相互作用，算法可以解碼光信息并重建聚焦場景。然而，解碼過程極其復雜。除了需要大量時間之外，生成良好的圖像質量還需要完美的機身物理設計。

研究人員還開發了一種依賴于深度學習的重建方法，使用卷積神經網絡 （CNN） 的現有深度學習方法。CNN 根據相鄰的“局部”像素處理圖像，將光學的信息轉換為像素上的重疊“全局”信息傳感器，稱為“多路復用”。

這項新研究依賴于新穎的機器學習算法，稱為Vision Transformer（ViT） ，該算法的新穎之處在于具有重疊“patchify”模塊的多級轉換器塊結構，能夠有效地學習圖像特征。

顧名思義，無鏡頭相機完全省略了傳統的光學鏡頭。相反，它只包括一個傳感器和一個掩模。相機無法將光聚焦在圖像傳感器上，因此必須使用編碼模式，在掩模和圖像傳感器相互作用下重建圖像

無鏡頭相機，包括一個圖像傳感器和一個2.5毫米的距離傳感器，在二氧化硅板上使用鉻沉積制成的，孔徑為40μm×40μm

如右圖，第一行是用于測試所提出的無鏡頭相機的真實場景。在這一行中，最左邊的兩列是液晶顯示器上顯示的目標，而最右邊的兩列是三維空間中的真實對象。第二行顯示了無鏡頭相機捕捉到的圖案。第三行是這里信息最多的，因為它描述了使用建議的重建技術的結果。第四行顯示了使用基于模型的方法的結果，該方法傳統上用于無鏡頭相機。第五行也是最后一行依賴于卷積神經網絡，看起來在全局圖像重建方面還存在局限性。