基于擴(kuò)散體的無透鏡成像系統(tǒng)及其分辨率分析

摘 要：無鏡頭成像是一種以計(jì)算取代鏡頭的新興成像技術(shù)，有望在低成本便攜式物聯(lián)網(wǎng)視覺終端系統(tǒng)中獲得廣泛應(yīng)用。針對(duì)擴(kuò)散體無鏡頭系統(tǒng)成像性能評(píng)估工作不足的問題，搭建了基于擴(kuò)散體的無鏡頭成像系統(tǒng)，探究了該系統(tǒng)成像模型，使用直接測(cè)量法測(cè)量了不同條件下該系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)，分析其自相關(guān)函數(shù)的半高全寬和空間頻率響應(yīng)，評(píng)估該系統(tǒng)的成像性能和分辨率。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)SFR測(cè)量值約為0.030 cycles/pixel，重構(gòu)圖像的峰值信噪比（PSNR）超過12 dB，成像性能良好。

關(guān)鍵詞：物聯(lián)網(wǎng)；無鏡頭成像；點(diǎn)擴(kuò)散函數(shù)；直接測(cè)量法；擴(kuò)散體；分辨率

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2025）02-00-03

0 引 言

在過去的幾個(gè)世紀(jì)，透鏡的出現(xiàn)大大推動(dòng)了成像技術(shù)的發(fā)展，然而，可穿戴設(shè)備、植入式設(shè)備、機(jī)器人、物聯(lián)網(wǎng)、虛擬/增強(qiáng)現(xiàn)實(shí)和人機(jī)交互正在推動(dòng)相機(jī)向著小型化發(fā)展，但透鏡的使用增加了這些設(shè)備的重量和成本。

無鏡頭成像設(shè)備中不配置透鏡，而是在場(chǎng)景和圖像傳感器之間放置光學(xué)調(diào)制器，場(chǎng)景光經(jīng)過光學(xué)調(diào)制器調(diào)制后，圖像傳感器采集圖像數(shù)據(jù)，然后使用特定的算法進(jìn)行圖像重建[1]。

擴(kuò)散體無鏡頭成像系統(tǒng)的性能可以通過在單點(diǎn)光源照射時(shí)的響應(yīng)來表征[2]。這種響應(yīng)稱為點(diǎn)擴(kuò)散函數(shù)（Point Spread Function， PSF）。系統(tǒng)PSF可以被用來評(píng)估成像系統(tǒng)的圖像質(zhì)量，通過分析PSF的特征，可以了解成像系統(tǒng)的分辨率、模糊度、畸變程度等性能指標(biāo)。

在實(shí)際系統(tǒng)成像過程中，由于光學(xué)衍射效應(yīng)、外界噪聲等因素的干擾，理論計(jì)算得到的點(diǎn)擴(kuò)散函數(shù)與實(shí)際系統(tǒng)的輸出響應(yīng)不符。因此，通常需要根據(jù)實(shí)際系統(tǒng)中的輸出響應(yīng)對(duì)成像模型中的點(diǎn)擴(kuò)散函數(shù)進(jìn)行調(diào)整，以獲得較好的成像結(jié)果，從實(shí)際系統(tǒng)中獲得輸出響應(yīng)的過程，也稱為點(diǎn)擴(kuò)散函數(shù)的測(cè)量。現(xiàn)如今測(cè)量PSF的方法大致可以分為3類：使用自然場(chǎng)景圖像的盲PSF估計(jì)[3-5]、使用校準(zhǔn)模式的非盲PSF估計(jì)[6-8]和使用點(diǎn)狀源直接測(cè)量PSF[9-12]。文獻(xiàn)[5]假設(shè)檢測(cè)到的模糊邊緣是模糊之前的階躍邊緣，并且使用一對(duì)預(yù)測(cè)圖像和模糊圖像來估計(jì)PSF。文獻(xiàn)[3]提出了另一種基于邊緣的方法，該方法使用潛在清晰圖像邊緣的先驗(yàn)補(bǔ)丁來估計(jì)PSF。非盲PSF估計(jì)方法使用校準(zhǔn)圖案作為輸入圖像來估計(jì)PSF[6-8]。文獻(xiàn)[5]使用具有最大后驗(yàn)技術(shù)的貝葉斯框架來估計(jì)PSF。文獻(xiàn)[7]設(shè)計(jì)了一種每個(gè)塊中都有源泉的棋盤測(cè)試圖，然后通過解決最小二乘問題來估計(jì)PSF。文獻(xiàn)[8]使用隨機(jī)噪聲目標(biāo)來估計(jì)PSF。非盲PSF估計(jì)技術(shù)通常假設(shè)空間不變PSF，因此不適合空間可變PSF圖像系統(tǒng)。PSF直接測(cè)量方法通常使用點(diǎn)狀源和特定光學(xué)儀器來獲取PSF[9-12]，這種方法可以克服測(cè)量空間變化PSF的弱點(diǎn)。文獻(xiàn)[12]使用液晶顯示器（LCD）生成點(diǎn)陣圖案來測(cè)量不同相機(jī)區(qū)域的PSF。文獻(xiàn)[9]提出了一種采用準(zhǔn)直氦氖激光器作為放置在無窮遠(yuǎn)處的點(diǎn)光源進(jìn)行高信噪比PSF測(cè)量的方法。文獻(xiàn)[11]使用虛擬點(diǎn)狀源實(shí)現(xiàn)了子像素PSF的測(cè)量。直接測(cè)量法更為方便快速，同時(shí)更能反映成像模型與實(shí)際系統(tǒng)之間的誤差。

本文設(shè)計(jì)了一種基于FPGA硬件平臺(tái)的擴(kuò)散體無鏡頭相機(jī)，并且對(duì)該系統(tǒng)的PSF進(jìn)行了測(cè)試評(píng)估，進(jìn)而分析了該系統(tǒng)的成像性能和分辨率。

1 擴(kuò)散體無鏡頭成像系統(tǒng)架構(gòu)

擴(kuò)散體的無鏡頭成像系統(tǒng)由一個(gè)光學(xué)傳感器、一個(gè)擴(kuò)散體和計(jì)算單元組成[13]。本文使用的擴(kuò)散體是一個(gè)較薄的透明相位板，視場(chǎng)中非相干點(diǎn)光源透過該擴(kuò)散體在傳感器上生成偽隨機(jī)焦散圖案h作為PSF，將焦散圖案存儲(chǔ)到FPGA內(nèi)存中后，使用傳感器采集場(chǎng)景圖像獲得測(cè)量數(shù)據(jù)l，利用焦散圖案和場(chǎng)景圖像數(shù)據(jù)在FPGA中完成圖像重構(gòu)。系統(tǒng)架構(gòu)如圖1所示。

本文將場(chǎng)景建模為具有不同顏色和強(qiáng)度的點(diǎn)光源的集合。假設(shè)所有場(chǎng)景中所有點(diǎn)彼此獨(dú)立，傳感器測(cè)量值l可以描述為：

（1）

式中：h表示系統(tǒng)PSF；r表示場(chǎng)景；（m， n）表示傳感器坐標(biāo)；“*”表示2D離散線性卷積。可以使用解決以下形式正則化優(yōu)化問題的方法來恢復(fù)圖像：

（2）

式中：Ψ表示稀疏變換；τ表示調(diào)整稀疏級(jí)別的調(diào)整參數(shù)。該優(yōu)化問題可以使用交替方向乘子法（Alternating Direction Method of Multipliers， ADMM）解決。

2 擴(kuò)散體無鏡頭成像模型

一個(gè)點(diǎn)光源發(fā)出多條從不同角度入射的子光束，每條子光束透過擴(kuò)散體在傳感器上形成完整焦散圖案的一部分，各條子光束形成的焦散圖案彼此不同，并且不重疊。所以，完整的焦散圖案包含了每條光束的角度信息。同時(shí)，擴(kuò)散體對(duì)點(diǎn)光源的響應(yīng)是橫向位移不變的，這意味著平行于擴(kuò)散體平面的平面中，每個(gè)點(diǎn)光源產(chǎn)生唯一的焦散圖案。因此光線的位置信息也可以被編碼進(jìn)焦散圖案中，換言之，視場(chǎng)中所有光線都可以被唯一編碼，從而實(shí)現(xiàn)無透鏡光場(chǎng)成像。

只考慮場(chǎng)景中的一個(gè)點(diǎn)時(shí)，就可以定義該位置為在時(shí)間間隔Δt內(nèi)對(duì)光強(qiáng)的積分：

（3）

式中：I（m， n）表示擴(kuò)散體平面（m， n）位置接收到的光強(qiáng)；u（m， n）表示點(diǎn)P的光線在時(shí)間t到達(dá)（m， n）的光強(qiáng)。然后，這些光線通過擴(kuò)散體透射模式T照射在傳感器上，傳感器捕獲的測(cè)量值為：

（4）

傳感器捕獲場(chǎng)景中的光可以分解為兩個(gè)過程：首先點(diǎn)P的場(chǎng)景光透過空間采樣平面照射在擴(kuò)散體上，然后經(jīng)過擴(kuò)散體調(diào)制照射在傳感器上。擴(kuò)散體成像模型如圖2所示。

在第一個(gè)過程中，根據(jù)薄透鏡定律，空間中點(diǎn)

Pi， j=[x， y， z]T∈R3通過采樣平面的變換進(jìn)入到焦點(diǎn)

P'=[x'， y'， z']T∈R3的位置：

（5）

式中：F為采樣平面的焦距。根據(jù)相似三角形原理，P'在擴(kuò)散體平面上的投影Pb為：

（6）

用pillbox函數(shù)近似擴(kuò)散體平面上的模糊，則模糊半徑為：

（7）

該過程PSF被定義為：

（8）

（9）

在第二個(gè)過程中，擴(kuò)散體的PSF被定義為：

（10）

當(dāng)擴(kuò)散體平行于傳感器平面放置，且擴(kuò)散角θ很小（sinθ≈θ）時(shí)，得到：

（11）

式中：α為光場(chǎng)角。接下來，可以得到PSF的半徑：

（12）

式中：為圖像的放大倍數(shù)。

該擴(kuò)散體無鏡頭成像系統(tǒng)的PSF被定義為上述兩個(gè)PSF的乘積：

（13）

傳感器在像素（x， y）位置捕獲的光照強(qiáng)度為：

（14）

式中：r（P）為空間中各個(gè)點(diǎn)光源P的集合。

3 實(shí)驗(yàn)與仿真

3.1 實(shí)驗(yàn)裝置及實(shí)驗(yàn)步驟

本實(shí)驗(yàn)使用LCD屏幕顯示的點(diǎn)充當(dāng)點(diǎn)光源，利用擴(kuò)散體、黑色孔徑板和除掉鏡頭的OV5640圖像傳感器獲取點(diǎn)光源的焦散圖案。其中孔徑板為外寬2 cm、內(nèi)寬0.2 cm的黑色正方形紙板，圖像傳感器的有效像素個(gè)數(shù)為2 592×1 944，像素尺寸為1.4×1.4，傳感器尺寸為4 mm。實(shí)驗(yàn)裝置如圖3所示。

本實(shí)驗(yàn)旨在探尋該系統(tǒng)成像性能以及點(diǎn)光源與傳感器距離對(duì)PSF的影響，具體實(shí)驗(yàn)步驟如下：

（1）將LCD屏幕同軸放置在傳感器前，使屏幕與傳感器的距離D=10 cm，在屏幕上顯示S=100 pixel的點(diǎn)光源；

（2）捕獲傳感器上顯示的焦散圖案，保存在計(jì)算機(jī)上；

（3）捕獲場(chǎng)景圖像經(jīng)過擴(kuò)散體采集的原始數(shù)據(jù)；

（4）使用ADMM算法重構(gòu)點(diǎn)光源圖像；

（5）使用MATLAB計(jì)算點(diǎn)光源和重構(gòu)點(diǎn)光源的自相關(guān)系數(shù)和重構(gòu)圖像的SFR；

（6）改變LCD屏幕與傳感器距離，重復(fù)上述步驟。

3.2 實(shí)驗(yàn)結(jié)果及分析

首先測(cè)試系統(tǒng)重構(gòu)點(diǎn)光源的能力。使用的點(diǎn)光源大小為100 pixel，距離為5 cm時(shí)，采集的圖像如圖4所示。其可以作為無鏡頭系統(tǒng)中的點(diǎn)擴(kuò)散函數(shù)h，也可以作為傳感器測(cè)量值l。

利用采集到的PSF作為測(cè)量值l，使用ADMM算法重構(gòu)點(diǎn)光源圖像，點(diǎn)光源與重構(gòu)點(diǎn)光源如圖5所示。

計(jì)算距離為5 cm時(shí)，重構(gòu)點(diǎn)光源與原圖像的PSNR為13.287 1。利用原點(diǎn)光源圖像和重構(gòu)點(diǎn)光源圖像自相關(guān)函數(shù)計(jì)算可知，其半高全寬為172 pixel，重構(gòu)點(diǎn)光源的SFR測(cè)量值為0.035 cycles/pixel。

對(duì)距離為2 cm、3 cm、4 cm、5 cm、6 cm、10 cm的點(diǎn)光源按上述步驟進(jìn)行測(cè)量，測(cè)試距離與成像性能見表1。

實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)在近距離條件下有著較為良好的成像性能，系統(tǒng)半高全寬約為170 pixel，SFR約為0.030 cycles/pixel，成像PSNR超過12 dB。

4 結(jié) 語

本文探究了基于擴(kuò)散體的無鏡頭成像系統(tǒng)的成像模型，搭建了成像系統(tǒng)平臺(tái)，測(cè)試了不同條件下系統(tǒng)點(diǎn)擴(kuò)散函數(shù)的成像性能，評(píng)估了擴(kuò)散體無鏡頭成像系統(tǒng)的分辨率大小。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)點(diǎn)擴(kuò)散函數(shù)采集距離為4 cm時(shí)成像性能最佳，PSNR接近14 dB，系統(tǒng)SFR測(cè)量值在0.030 cycles/pixel左右，有著良好的成像效果。但是該系統(tǒng)成像性能還有很大提升空間，可以在本文基礎(chǔ)上加入圖像信號(hào)處理系統(tǒng)，對(duì)采集的PSF信號(hào)做優(yōu)化處理，再進(jìn)行圖像重構(gòu)，以達(dá)到更好的成像效果。

參考文獻(xiàn)

[1] BOOMINATHAN V， ROBINSON J T， WALLER L， et al. Recent advances in lensless imaging [J]. Optica， 2022， 9（1）： 1-16.

[2] JIANG H Z， LIU Y C， LI X D， et al. Point spread function measurement based on single-pixel imaging [J]. IEEE photonics journal， 2018， 10（6）： 1-15.

[3] SUN L B， CHO S H， WANG J， et al. Edge-based blur kernel estimation using patch priors [C]// IEEE International Conference on Computational Photography. Cambridge， MA， USA： IEEE， 2013： 1-8.

[4] CHO T S， PARIS S， HORN B K， et al. Blur kernel estimation using the radon transform [C]// IEEE Conference on Computer Vision and Pattern Recognition. Colorado Springs， CO， USA： IEEE， 2011： 241-248.

[5] JOSHI N， SZELISKI R， KRIEGMAN D J. PSF estimation using sharp edge prediction [C]// IEEE Conference on Computer Vision and Pattern Recognition. Anchorage， AK， USA： IEEE， 2008： 1-8.

[6] MOSLEH A， GREEN P， ONZON E， et al. Camera intrinsic blur kernel estimation： a reliable framework [C]// IEEE Conference on Computer Vision and Pattern Recognition. Boston， MA， USA： IEEE， 2015： 4961-4968.

[7] KEE E， PARIS S， CHEN S， et al. Modeling and removing spatially-varying optical blur [C]// IEEE International Conference on Computational Photography. Pittsburgh， PA： IEEE， 2011： 1-8.

[8] BRAUERS J， SEILER C， AACH T. Direct PSF estimation using a random noise target [J]. Proceedings of SPIE， 2010， 7537（75370B）.

[9] DU H， VOSS K J. Effects of point-spread function on calibration and radiometric accuracy of CCD camera [J]. Applied optics， 2004， 43（3）： 665-670.

[10] LEHR J， SIBARITA J B， CHASSERY J M. Image restoration in X-ray microscopy： PSF determination and biological applications [J]. IEEE transactions on image processing， 1998， 7（2）： 258-263.

[11] JEMEC J， PERNU S F， LIKAR B， et al. 2D sub-pixel point spread function measurement using a virtual point-like source [J]. International journal of computer vision， 2017， 121（3）： 391-402.

[12] NAVAS-MOYA F A， NIEVES J L， VALERO E M， et al. Measurement of the optical transfer function using a white-dot pattern presented on a liquid-crystal display [J]. Journal of the European optical society rapid publications， 2013， 8（13029）.

[13] CAI Z W， CHEN J W， GIANCARLO P， et al. Lensless light-field imaging through diffuser encoding [J]. Light： science amp; applications， 2020， 9（5）： 1392-1400.

作者簡(jiǎn)介：劉明昊（1998—），男，廣東深圳人，碩士，研究方向?yàn)橛?jì)算成像。

收稿日期：2024-01-18 修回日期：2024-03-06