基于數字微鏡器件的快速超分辨晶格結構光照明顯微研究*

楊浩智 聶夢嬌 馬光鵬 曹慧群 林丹櫻 屈軍樂 于斌?

1) (深圳大學物理與光電工程學院,光電子器件與系統教育部/廣東省重點實驗室,深圳 518060)

2) (深圳大學化學與環境工程學院,深圳 518060)

超分辨結構光照明顯微成像技術(super-resolution structured illumination microscopy,SR-SIM)具有時間分辨率高、光漂白和光毒性低和對熒光探針的要求少等優點,適用于活細胞的長時程超分辨成像.采用二維晶格結構光作為照明光,可以實現更快的成像速度和更低的光毒性,但同時也增加了系統的復雜性.為了解決此問題,本文提出了一種基于數字微鏡器件的快速超分辨晶格結構光照明顯微成像方法(digital micromirror device-based lattice SIM,DMD-Lattice-SIM),通過同步分時觸發DMD 和sCMOS 相機的方式實現二維正交晶格結構光的產生,且只需要采集5 幅相移原始圖像即可重構出超分辨圖像,相比于傳統SR-SIM需要9 幅相移原始圖像的方法,圖像采集時間減少了約44.4%.同時,在基于空域和頻域聯合的SIM 重構算法(joint space and frequency reconstruction method-SIM,JSFR-SIM)的基礎上,本文還發展了用于Lattice-SIM 的JSFR 超分辨圖像重構方法(Lattice-JSFR-SIM),先在頻域對原始圖像進行預濾波處理;然后,在空域對濾波后的圖像進行超分辨重構處理.與傳統頻域圖像重構處理對比,該方法在512 ×512 像素數的成像視場下重構時間減少了約55.6%,對于實現活細胞實時超分辨成像具有重要意義和應用價值.

1 引言

近年來,超分辨顯微成像技術(super-resolution microscopy,SRM)快速發展,達到了納米量級的空間分辨率,在生命科學、生物醫學等領域獲得了廣泛的應用.目前,典型的SRM 主要包括受激輻射損耗(stimulated emission depletion,STED)顯微成像技術、單分子定位顯微成像技術(single molecule localization microscopy,SMLM)和超分辨結構光照明顯微成像技術(super-resolution structured illumination microscopy,SR-SIM)等.STED 采用點掃描的成像方式,通過一束激光激發熒光分子,另一束環形空心損耗光抑制熒光發射,從而縮小點擴散函數實現超分辨,其橫向分辨率可以實現50 nm 以內,并且不需要后期圖像處理,但需要特定的熒光標記和高功率的損耗光,不適合活細胞樣品的長時間觀察.SMLM 通過稀疏激發熒光分子,并對每個熒光分子的位置進行擬合定位,通過重復數千次甚至數萬次這個過程實現樣品的超分辨重構,成像速度慢,不適合活細胞樣品成像.SR-SIM 通過在樣品面產生一系列的結構光照明圖案,把樣品處于衍射極限外的高頻信息編碼到衍射極限內;然后,通過算法后處理將高頻信息解調出來并移動到真實位置,從而實現超分辨成像.由于照明圖案的空間頻率也受到顯微物鏡衍射極限的影響,因此,相比寬場顯微,SR-SIM 的理論橫向分辨率最多只能提升一倍,結合優化算法等,分辨率可進一步提高.總之,SR-SIM 具有時間分辨率高、光漂白和光毒性低,以及對熒光探針的要求少等優點,適用于活細胞的長時程超分辨成像.

傳統SR-SIM 通常需要采集3 個不同方向和相位的至少9 幅結構光照明圖像,基于頻域Wiener解卷積架構以實現超分辨圖像重建[1],且超分辨圖像重建質量依賴于對結構光照明參數如頻率、相位的精確估計,否則會產生明顯的圖像偽影.多幀成像特性和頻域去卷積重建涉及復雜耗時的照明結構光參數精確估計制約了SR-SIM 的原始圖像采集速度與超分辨圖像重建效率,是其應用于活細胞實時成像時所面臨的主要挑戰.為了進一步提高SR-SIM 的成像速度,研究人員發展了多種形式的結構光照明及超分辨圖像重構方法[2].為避免機械驅動光柵帶來的不穩定性和速度慢,利用空間光調制器[3](spatial light modulator,SLM)或數字微鏡器件[4-6](digital micromirror device,DMD)產生數字光柵,提高了結構光照明的切換速度,進而提高了SR-SIM 成像速度.研究人員在照明模板上進行一些改進,如表1 所列.Mudry等[7]提出的blind-SIM 使用隨機散斑照明,在沒有照明模式的先驗前提下即可計算超分辨圖像.Heintzmann[8]提出使用二維圖案照明用于飽和圖案激發顯微技術(saturated patterned excitation microscopy,SPEM),在保持高時間分辨率的同時,實現比傳統SPEM 更高的空間分辨率.蔡司公司利用二維光柵生成晶格照明,并通過解卷積算法實現了60 nm的空間分辨率[9].Zheng等[10]提出大視場Lattice-SIM,利用二維光柵產生結構光,使用SLM 實現結構光的相移,并且通過控制光的偏振,避免兩個正交方向上光束的干涉,只需采集五張原始圖像即可重構出超分辨圖像.然而,為了產生Lattice-SIM所需要的結構光,需要同時使用物理光柵和SLM,并且需要在光路中加入特定的偏振片,增加了系統的復雜性.除了在照明模板上進行改進,研究人員在重構算法上也取得一些重要進展,如表2 所列.Huang等[11]利用生物結構的連續性作為先驗知識,有效地減少了SIM 重構過程中產生的偽影.在此基礎上,進一步將生物結構的稀疏性[12]也納入先驗知識范疇,在高幀速的情況下達到約60 nm的空間分辨率.Wen等[13]使用點擴散函數改造方法優化頻譜,無需進行復雜的參數調整.上述幾種方法都是在頻域進行重構,不可避免地涉及多次傅里葉變換和傅里葉逆變換,增加算法復雜度,圖像處理速度相對較慢.為了進一步提升SIM 圖像的處理速度,Tu等[14]和Dan等[15]分別提出兩種直接在空域進行處理的超分辨重構算法,超分辨重構速度分別比傳統在頻域中快約5.4 倍和7 倍.Wang等[16,17]提出聯合空域和頻域重構的算法(joint space and frequency reconstruction,JSFR-SIM),先在頻域濾波,然后在空域重構,獲得光學切片的超分辨圖像.Wen等[18]提出先在空域重構,然后在頻域優化頻譜,速度比Wiener-SIM 快約2 倍,并且能夠在沒有照明模式的先驗知識的情況下,也能抑制偽影的產生.然而,目前還沒有針對Lattice-SIM 的空域重構算法.

表1 不同照明圖案的SIM 對比Table 1. Comparison of SIM with different illumination patterns.

表2 不同重構算法的SIM 對比Table 2. Comparison of reconstruction algorithms.

為了簡化Lattice-SIM 的成像裝置,同時縮短原始圖像的采集時間和算法后處理時間,進一步提升SR-SIM 的時間分辨率,實現實時超分辨顯微成像,本文提出了一種基于DMD 的快速晶格結構光照明顯微成像方法(DMD-based lattice SIM,DMDLattice-SIM),該方法采用高速DMD 和相機同步分時觸發來實現二維晶格照明,只需采集5 幅原始圖像;同時,在JSFR-SIM 的基礎上,發展了Lattice-JSFR-SIM 超分辨圖像快速重構方法,并進行了理論推理、仿真和實驗驗證.通過固定細胞微管成像實驗,驗證了系統的分辨率和算法的可行性;通過活細胞線粒體動態超分辨成像實驗,進一步驗證了該系統實時成像能力.

2 DMD-Lattice-SIM 系統與方法

2.1 系統設計與搭建

圖1 為DMD-Lattice-SIM 的系統光路示意圖.一臺波長為532 nm 的激光器(Sapphire 532-200CW CDRH,相干,美國)發出的一束激光經過由透鏡L1 (f=10 mm)和透鏡L2 (f=150 mm)組成的擴束系統擴束15 倍后,經反射鏡M 反射后照射在DMD (DLP 6500FLQ,微鏡數為1920×1080,微鏡尺寸為7.56 μm×7.56 μm,德州儀器,美國)上,通過控制微鏡的“on”和“off”狀態調控入射光場分布以產生特定的照明光柵;入射光束經處于“on”狀態的微反射鏡反射后進入由透鏡L3 (f=250 mm)和透鏡L4 (f=250 mm)組成的4f濾波系統,在4f系統的頻譜面放置濾波掩模板,僅讓±1 級衍射通過,然后,在透鏡L4 的像方焦面處形成正弦光柵;最終,正弦光柵經過透鏡L5 (f=300 mm)、二向色鏡DM 和物鏡(60×,NA=1.49,尼康,日本)縮小90 倍成像在樣品面.樣品產生的熒光被同一個物鏡收集,經過管鏡TL (f=200 mm)成像在科學級互補金屬氧化物半導體(sCMOS)相機(ORCA-Fusion BT,像素數為2304 ×2304,像素尺寸為6.5 μm×6.5 μm,濱松,日本)上.其中,DM 的作用是使激光反射進入物鏡,同時使樣品的熒光信號透射進入相機.

圖1 DMD-Lattice-SIM 系統光路示意圖Fig.1.Schematic diagram of DMD-Lattice-SIM system.

2.2 二維晶格結構光的產生

二維晶格結構光可以看作是兩個正交的一維光柵的非相干疊加,一維光柵可以通過DMD 加載相應的模板然后濾波得到,使用Labview 通過數據采集卡(NI,USB-6363)控制DMD 和相機同步分時觸發,實現兩個光柵的非相干疊加,產生晶格結構光.圖2(a)為數據采集卡輸出的信號,利用DMD快速切換的特性,可以在相機一次曝光的時間內,DMD 依次加載兩個正交方向的一維光柵,相機連續收集如圖2(b)和圖2(c)所示的兩個方向的光柵激發的熒光信號,最終得到圖2(d)的熒光圖像.由于兩個方向的光柵是分時觸發的,這種方法可避免兩個光柵之間的干涉串擾,不需要考慮激發光偏振方向的影響,并且DMD 加載二進制圖片的切換速度高達9500 Hz,不會影響相機最終的采集速度.

圖2 產生晶格結構光照明的原理示意圖(a) 數據采集卡的控制信號;(b) DMD 加載第一張模板時相機采集的模擬數據;(c) DMD加載第二張模板時相機采集的模擬數據;(d) 相機在一次曝光時間內采集的模擬數據;(e)—(g) 圖(b)—(d)的傅里葉頻譜Fig.2.Schematic diagram of the principle of generating lattice structured illumination: (a) Control signal of the data acquisition board;(b) analog data collected by the camera when the DMD loads the first template;(c) analog data collected by the camera when the DMD loads the second template;(d) analog data collected by the camera within one exposure time;(e)-(g) frequency spectra of panel (b)-(d).

2.3 超分辨圖像重構方法

傳統SR-SIM 重構算法通過測量計算照明結構光頻率、相位等照明參數,然后把原始圖像進行傅里葉變換轉換到頻域,求解線性方程組得到樣品的低頻信息和高頻信息,再把每個分量信息移動到其真實的位置上,相加后轉化為空域得到超分辨圖像.JSFR-SIM 利用照明參數構造參數矩陣,先在頻域進行濾波,抑制離焦背景,然后在空域中把濾波后的圖像與對應的參數矩陣進行點乘,相加后即可得到超分辨圖像.本文所使用的超分辨重構算法是在JSFR-SIM 的基礎上,提出Lattice-JSFR-SIM,用二維正交光柵照明代替一維光柵條紋照明,對參數矩陣進行修改,具體原理如下.

在SIM 中采用二維光柵照明,照明光場的強度分布可以表示為

其中r是二維空間的位置矢量;I0是均值照明強度;m1和m2,ω1和ω2,φ1,i和φ2,i分別是兩個正交條紋的調制度、頻率矢量和初相位;i表示第i張照明模板.樣品受到二維光柵的照明激發出熒光,由于光學顯微成像系統具有低通濾波的特性,sCMOS相機檢測到的熒光信號強度分布可以表示為

其中O(r) 表示樣品熒光分布,H(r) 表示顯微系統的點擴散函數,?表示卷積運算.與JSFR-SIM 類似,假設存在c1(r),c2(r),c3(r),c4(r),c5(r),使得下式對于任何O(r)和H(r) 恒成立,則系統的有效點擴散函數可以通過將寬場點擴散函數乘以調制函數2+cos(ω1r)+cos(ω2r) 得到:

把(1)式和(2)式代入(3)式,并利用卷積公式分別得到下列兩個式子:

由于(4)式和(5)式相等,通過比較得出下列關系:

根據三角函數公式對上述式子左右兩邊進行展開,得到:

由于三角函數具有正交性,并且ω1和ω2是正交的頻率矢量,上述式子對于任意r′恒成立,則(7)式中常數項、cosω1r′、sinω1r′、cosω2r′和sinω2r′的系數分別相等,滿足下列方程組:

寫成矩陣運算的形式:

由于照明光的頻率、相位、調制度均可以通過計算得到,只要選擇適當的φ1,i和φ2,i,使得矩陣M可逆,則可以通過下列式子得到ci(r),再通過(3)式得到超分辨重構圖像.

DMD 加載不同的光柵圖片,可以實現不同的相位變化.采用φ1,i ∈{0,π/2,π,π,π} ,φ2,i ∈{0,0,0,π/2,π}的兩個方向條紋的相移量組合,根據(1)式和(2)式可以得到寬場圖像的熒光信號強度分布為

Lattice-JSFR-SIM 的重構過程如圖3 所示.其重構過程如下: 首先,根據原始圖像計算出照明晶格的頻率、相位和調制度;其次,根據(10)式得到系數矩陣ci(r) ;然后,將原始圖像轉換到頻域進行濾波、再轉換到空域與系數矩陣進行點乘、疊加等操作;最終得到超分辨圖像.

圖3 Lattice-JSFR-SIM 重構過程Fig.3.Lattice-JSFR-SIM reconstruction process.

3 實驗結果與討論

3.1 數值仿真實驗

首先,使用模擬數據驗證算法的可行性.生成一個1000 ×1000 像素數的星狀測試圖像,像素大小為10 nm ×10 nm,如圖4(a)所示.模擬的熒光發射波長為600 nm,物鏡的數值孔徑NA為1.49,由阿貝衍射極限公式計算可知,寬場圖像分辨率rWF=≈201 nm .使用±45°兩個正交方向的正弦光柵作為照明晶格,光柵周期dG為300 nm,根據理論公式可以得到超分辨圖像分辨率為rSIM=120 nm .為進行對比,使用傳統正弦條紋作為照明光源,條紋方向與上述晶格方向相同,分別為45°和-45°,相位為φ ∈{0,2π/3,4π/3},使用開源算法fairSIM[19]進行重構.圖4(b)是衍射受限的寬場圖像,圖4(c)是條紋照明fairSIM 重構圖像,圖4(d)是晶格照明Lattice-SIM 重構圖像,圖4(e)是晶格照明Lattice-JSFR-SIM 重構圖像.圖4(f)所示為曲線所截取的切面強度分布對比.從圖4 可以看到,Lattice-JSFRSIM 處理后的圖像能夠分辨相鄰約145 nm 的條紋,與理論計算的結果接近,并且與開源算法fairSIM處理的結果接近.

圖4 模擬數據重構結果(a) 真實圖像;(b) 寬場圖像;(c) fairSIM 超分辨重構圖像;(d) Lattice-SIM 超分辨重構圖像;(e) Lattice-JSFR-SIM 超分辨重構圖像;(f) 圖(b)—(e)中曲線的切面強度分布Fig.4.Reconstructed results of the simulated data: (a) Ground truth;(b) wide-field image;(c) fairSIM super-resolution reconstructed image;(d) Lattice-SIM super-resolution reconstructed image;(e) Lattice-JSFR-SIM super-resolution reconstructed image;(f) intensity distribution of the profile in panel (b)-(e).

接下來,對算法運行速度進行統計分析.在對樣品進行長時間觀測記錄時,每個照明周期對應的照明參數(如頻率、相位等)可以認為是相同的.因此,在統計算法運行速度時,無需考慮計算照明參數的時間,只需計算超分辨重構所需的時間.使用的電腦配置如下: Intel(R) Core(TM) i5-10500 CPU@3.10 GHz,DDR4 2133 MHz 16 GB,NVIDIA Ge-Force GTX 1050Ti,Netac NVMe SSD 512 GB,Windows 10 專業版,MATLAB R2021a.每個算法分別重復運行5000 次,記錄每次運行超分辨處理的代碼所需的時間,得到平均值和標準差.結果如表3 所列.在處理前,先對圖像進行插值縮小一倍像素大小,以滿足分辨率要求.采集時間根據相機對應尺寸下最快幀速與采集張數的乘積得到,傳統頻域算法是Zheng等[10]提供的開源算法.從結果可以看出,空域重構算法的速度是傳統頻域算法的2 倍多,結合使用GPU 重構,可以進一步地降低重構時間.空域重構算法通過避免多次傅里葉變換和傅里葉逆變換的操作,極大地減少了重構時間.同時,采用晶格照明只需采集5 幅原始圖像,不僅減少了采集時間,而且圖像數量的減少也會相應地縮短了重構時間.

表3 算法運行速度對比Table 3. Comparison of algorithm running speed.

3.2 固定細胞微管樣品的超分辨成像

在前期的研究工作中,本課題組[20]合成了一種用于超分辨成像的InP/ZnSe/Zns 量子點,利用該量子點標記非洲綠猴腎細胞(BSC-1)微管樣品,進行了系統的分辨率標定,以驗證所搭建的Lattice-JSFR-SIM 系統的超分辨成像能力.使用5 個不同的晶格模板進行照明,并采用上述方法對采集到的圖像進行超分辨重構.結果如圖5 所示,其中圖5(a)是寬場圖像,圖5(b)是超分辨重構圖像,圖5(c)和圖5(d)分別是圖5(a)和圖5(b)中所選區域的放大圖,圖5(g)是劃線區域的切面強度分布對比.由圖5 可以看出,經過超分辨重構后的圖像能夠區分寬場圖像無法區分的微管,并且具有更高的信噪比.進一步利用自適應去相關分辨率估計方法[21]計算了寬場圖像和超分辨重構圖像的分辨率,如圖5(e)和圖5(f)所示,得到的圖像分辨率分別是317 nm 和135 nm.

圖5 固定細胞微管實驗結果(a) 寬場圖像;(b) 超分辨圖像;(c) 圖(a)中所選區域的放大;(d) 圖(b)中所選區域的放大圖;(e) 圖(a)的去相關分辨率估計;(f) 圖(b)的去相關分辨率估計;(g) 圖(c)和圖(d)中劃線位置的切面強度分布Fig.5.Experimental results of fixed cell microtubules: (a) Wide-field image;(b) super-resolution image;(c) magnification of the selected area in panel (a);(d) magnification of the selected area in panel (b);(e) corresponding decorrelation analysis of panel (a),C.c.,cross-correlation;(f) corresponding decorrelation analysis of panel (b);(g) intensity distribution of the profile at the line position in panel (c) and (d).

3.3 活細胞線粒體樣品的動態超分辨成像

為了驗證該系統的快速成像能力,使用Mito-TrackerTMOrange CMTMRos標記BSC-1活細胞線粒體樣品進行動態成像.相機的采集頻率為100 Hz,DMD 的切換頻率為200 Hz,利用Labview控制相機和DMD 實現連續同步分時采集.結果如圖6 所示,圖6(a)是連續采集數據中第一張寬場圖像,圖6(b)是對應的超分辨重構圖像.利用自適應去相關分辨率估計方法計算寬場圖像和超分辨重構圖像的分辨率,如圖6(c)和圖6(d)所示,得到的圖像分辨率分別是373 nm 和138 nm.圖6(e)是圖6(b)中所選區域的放大圖,該采集時序以0.5 s 為間隔進行展示.在該序列中,可以清晰地看到箭頭所指的線粒體的動態過程: 在第1 s 時線粒體分裂成兩段,在第3 s 時融合成一段,在4.5 s 時又分裂成兩段.為了更清晰觀察線粒體的動態過程,把該動態過程以0.05 s 為間隔,從第3.5 s 開始進行展示,如圖6(f)所示,該時序可以更清楚地看到線粒體的分裂過程,充分說明了所提出的系統具備快速成像的能力,對監測活細胞動態變化具有重要意義.

圖6 BSC-1 活細胞線粒體動態實驗結果(a) 寬場圖像;(b) 超分辨圖像;(c) 圖(a)的去相關分辨率估計;(d) 圖(b)的去相關分辨率估計;(e) 圖(b)中所選區域放大圖,時間間隔為0.5 s;(f) 圖(b)中所選區域放大圖,時間間隔為0.05 sFig.6.Experimental results of BSC-1 live cell mitochondria dynamics: (a) Wide-field image;(b) super-resolution image;(c) corresponding decorrelation analysis of panel (a);(d) corresponding decorrelation analysis of panel (b);(e) magnification of the selected area in panel (b) with a time interval of 0.5 s;(f) magnification of the selected area in panel (b) with a time interval of 0.05 s.

4 結論

本文提出和搭建了基于DMD 的超分辨晶格結構光照明顯微成像系統,通過DMD 和相機同步分時觸發的方式生成晶格結構光照明,僅需5 張原始圖像即可重構出超分辨圖像,簡化了系統,提升了采集速度.同時,該系統采用了聯合空域和頻域的重構方法,進一步提高了重構速度.最后,通過在該系統上進行微管和活細胞線粒體實驗,驗證了該方法具備超分辨實時成像的能力,為進一步實現超分辨實時成像打下基礎.本文所提出的方法可以幫助研究人員更好地在實驗過程中尋找感興趣區域,并提供實時的反饋信息,使得研究人員能夠及時調整實驗條件、干預過程或觸發特定事件,對于實驗控制和優化非常有用.在本文工作的基礎上,還可以結合高保真SIM 重建算法[13,17]把有效點擴散函數設計成理想形式,進一步優化頻譜以減少重建偽影,提升成像質量.