全自動推掃式高光譜顯微成像系統設計與研究

唐凌宇，葛明鋒，董文飛

（1.長春理工大學 機電工程學院，吉林 長春 130022；2.中國科學院 蘇州生物醫學工程技術研究所，江蘇 蘇州 215163）

1 引言

光學診斷技術通常包含光學成像診斷技術和光譜診斷技術。前者用于獲取樣本形態信息，如病理組學分析、細胞成像分析等；后者主要對生物組織的單點獲取一定范圍的光譜信息，如熒光光譜診斷分析、拉曼光譜診斷分析等。光譜成像技術是二者的結合，能夠同時獲取生物樣本的形態信息和光譜信息，從而實現對生物樣本更為全面的分析。

隨著光譜成像技術的發展，光學診斷技術在顯微領域的應用也越來越廣泛。Sorg Brian S.等[1]利用液晶可調諧濾光片分光的高光譜顯微成像系統對人體微血管腫瘤的氧運輸進行研究，根據對血紅蛋白飽和度的測量和熒光蛋白的表達區分腫瘤區域，系統光譜范圍為400～720 nm，光譜分辨率為10 nm。Liu Kunxing[2]等人使用基于液晶可調諧濾光片的高光譜顯微成像系統實現了對DAPI染色的肝癌細胞核的檢測，系統光譜分辨率約為7 nm，40倍物鏡下成像區域約為330 μm×330 μm。Eady M[3]等人基于采用聲光可調諧高光譜顯微成像系統實現了沙門氏菌的快速檢測，系統光譜分辨率達到4 nm。Jiansheng Wang[4]等人也使用聲光可調諧的高光譜顯微成像系統實現肝癌不同分期定量分析，也為肝癌早期診斷提供可能。肖功海等[5]設計基于棱鏡-光柵-棱鏡分光的顯微高光譜成像系統，光譜范圍為400～800 nm，光譜分辨率優于5 nm，40倍物鏡下的空間分辨率約為1 μm。基于上述系統，李慶利[6]等人從圖譜角度對正常大鼠和糖尿病大鼠視網膜組織切片進行了研究。Samuel Ortega等[7-8]同樣利用棱鏡-光柵-棱鏡分光設計了用于自動檢測人腦腫瘤組織的高光譜顯微成像系統，系統光譜范圍在400～1000 nm，光譜分辨率為2.8 nm，實現了10倍物鏡下空間分辨率為2.2 μm的成像，結合監督分類算法，利用光譜信息可以區分腦部健康組織和腫瘤組織，特異性高達92%。此外，Pu Hongbin[9]等人也認為高光譜顯微成像技術在食品工業中對微生物和殘留物的檢測方面具有很大的潛力。

上述高光譜顯微成像系統中，主要分為凝視型、推掃型兩種分光方式。前者采用液晶可調諧或聲光可調諧濾光片分光，系統設計簡單，應用較廣，但是存在光譜分辨率低且不均勻、光譜范圍受材料限制、難以實現較寬范圍覆蓋以及不同譜段存在空間像差、無法對運動目標成像等缺點。后者一般采用光柵或者棱鏡分光方式，同時獲得樣本圖譜，光譜分辨率高且采樣均勻，但是只能獲取一維空間信息，難以自動對焦[10]，無法實現大樣本成像，這一缺陷限制了推掃式高光譜顯微成像系統的應用。本文將棱鏡-光柵分光技術、顯微成像技術和自動對焦技術相結合，研制出基于棱鏡-光柵分光的全自動推掃式高光譜顯微成像系統，可以實現大樣本全自動高光譜成像，將進一步促進光譜技術在生物醫學領域中應用。

2 推掃式高光譜顯微成像系統的設計

2.1 推掃式高光譜顯微成像系統的原理

全自動推掃式高光譜顯微成像系統原理如圖1所示，由高功率LED、視場光闌、聚光鏡組成的科勒照明系統實現對生物樣本的照明，經過高倍顯微物鏡成像到分光系統狹縫處，經分光模塊后，沿垂直狹縫方向實現光譜色散，沿水平方向保留空間信息，最后成像到高靈敏探測器上，經過光電轉化獲取生物樣本的一維空間信息和光譜信息。當載物臺沿著垂直狹縫方向推掃時，可以獲取生物樣本另一維的空間信息，得到包含生物樣本的二維空間信息和光譜信息的數據立方體。推掃式高光譜成像中，采用光柵或者棱鏡作為分光模塊，但是光柵分光模塊結構復雜，如常見的offner成像光譜儀[11]物方與像方在同一側，不利于與顯微鏡集成。直視形的棱鏡-光柵-棱鏡分光模塊適合與顯微鏡集成，但是該模塊采用的是體相位全息光柵，且兩端均為棱鏡，裝調難度大，目前芬蘭Specim能夠提供商品化產品，國內如南京天文光學技術研究所等單位[12]也具備一定設計能力。本系統中采用棱鏡-光柵模塊進行分光，由于光柵一端是開放的，可以采用表面浮雕型透射光柵，降低了儀器的裝調難度和制作成本。

圖1 推掃式高光譜顯微成像系統示意圖Fig.1 Schematic diagram of push-broom hyperspectral microscopic imaging system

2.2 參數設計

為滿足大多數生物樣本光譜檢測需求，光譜范圍選取為420～800 nm。照明模塊采用科勒照明系統，使得照明均勻且無眩光。物鏡選取40倍放大物鏡，NA值為0.6，取光譜中間值610 nm，計算得到物方空間分辨率為0.62 μm。經顯微成像后，圖1狹縫處像方空間分辨率為24.8 μm。分光模塊采用課題組自主研發的棱鏡-光柵模塊，原理如圖2所示，光柵刻線數為300 gr/mm，棱鏡頂角為13.09°，光譜色散率為76.9 nm/mm。該模塊采用消譜線彎曲算法進行優化設計，整體為近直視結構，具有優良的成像及光譜特性。棱鏡-光柵分光模塊前后的準直鏡與會聚鏡為對稱結構，所構建的系統放大倍率為1∶1，二者焦距均為42.3 mm，F數為2.4。探測器選用高靈敏sCMOS相機，像元大小為6.5 μm，空間維像元數量為2048 pixel，考慮到要與狹縫處像方空間分辨率匹配，采用4 pixel×4 pixel合并，等效單像元尺寸為26 μm，空間維長度13.3 mm，故狹縫尺寸設計為寬26 μm，長13.3 mm。

圖2 棱鏡-光柵分光原理圖Fig.2 Prism grating spectroscopic schematic diagram

根據上述參數計算出的系統空間分辨率為0.65 μm，光譜采樣率為2 nm。二維電動運動平臺的定位精度需要優于空間分辨率，根據推掃式高光譜成像系統的工作原理，為了獲得準確的高光譜圖像，必須對二維運動平臺的推掃速度進行精確控制。系統的空間采樣率與顯微物鏡的放大倍數、探測器的像元尺寸以及采樣速率有關。假設探測器像元尺寸為d×d，顯微物鏡放大倍率為M，探測器采樣幀速率為F，則平臺運動速度為

2.3 整機系統

根據2.2中參數進行設計，推掃式高光譜顯微成像系統如圖3所示。系統光路選用尼康倒置顯微鏡Eclipse Ti2-U；二維運動平臺選用海德星的二維電動載物臺HDS-MS.XY 8060，最小步進可達0.05 μm，重復定位精度可達到0.5 μm；電動對焦系統采用步進電機PS3H122R，可以實現±0.3 μm重復性，最小步進0.05 μm；分光成像模塊采用課題組自行研發的棱鏡-光柵分光模塊，通過C口與顯微鏡右側成像通道連接；探測器選擇鑫圖光電的背照式sCMOS科學相機Dhyana 400BSI，像元大小為6.5 μm，像元數量為2048 pixel×2048 pixel。

圖3 整機照片Fig.3 Photos of the whole machine

3 系統性能測試

系統集成后需要對其進行性能測試，主要是光譜定標和空間分辨率的測試。

3.1 光譜定標

光譜定標通過HORIBA公司的IHR550單色儀，將其光源耦合進高光譜顯微成像系統的照明光路，采用高分辨掃描光譜定標法進行定標[13-14]，其步進波長設為0.2 nm。將各波段的數據進行高斯擬合后，獲取各波段中心波長及光譜分辨率，結果如圖4所示，光譜采樣率為2.06 nm，光譜分辨率均值優于3.5 nm。

圖4 光譜定標結果Fig.4 Results of spectral calibration

3.2 空間分辨率的測試

空間分辨率測試通過對Edmund Optics的分辨率板USAF 1951 1X進行推掃成像實現。分辨率板組別編號從?2到9，元素編號從1到6，其中第9組，第1～3號的線對信息分別為512、575、645線對/mm。系統初步調焦后，沿Z軸以2 μm步進進行推掃成像，采集多幅圖像，通過拉普拉斯清晰度評價函數評判選擇最清晰圖像，其第233波段，中心波長為608.3 nm的推掃圖像如圖5所示。選取第9組，第2號和3號處的圖像數據，經過歸一化處理后，結果如圖6所示。根據空間分辨率定義，系統能夠分辨第9組第2號線對，無法分辨第9組第3號線對。根據線對信息，經計算可知系統空間分辨率優于0.87 μm，接近理論設計值。

圖5 分辨率板推掃圖像Fig.5 Push-broom image of the resolution testing board

圖6 空間分辨率測試結果Fig.6 Results of spatial resolution test

4 自動對焦成像

顯微成像系統中，景深由波和場的幾何光學深度之和得出，即：

其中，D是景深；λ是照明光的波長；n是玻片與前透鏡間介質的折射率（空氣為1.000）；M是物鏡放大倍率，NA為物鏡的數值孔徑；e為可分辨的最小距離，一般取14 μm。系統中采用尼康S Plan Flour ELWD 40X/0.60顯微物鏡，經計算景深為2.1 μm。

推掃式高光譜顯微成像系統中樣本和二維平臺會存在不平整情況，大視場推掃過程中很容易出現離焦，影響成像質量，自動對焦是獲取大視場顯微成像的關鍵技術。自動對焦主要包括被動對焦和主動對焦，前者在對焦過程中，通過圖像清晰度評價函數尋找最佳對焦位置；后者通過主動光源等輔助裝置，利用反射回探測器的光線判斷離焦方向和離焦程度，從而驅動運動系統完成自動對焦。本文以HE染色的乳腺癌病理切片為研究對象，結合兩種自動對焦方法，使用搭建的系統獲取乳腺癌病理切片的大視場高光譜顯微圖像，并對兩種對焦方法性能進行比較。

4.1 被動對焦成像

采用被動對焦方式實現大視場成像，在目標區域均勻選擇多個采樣點，每個采樣點在Z軸方向上不同位置進行成像，根據清晰度評價函數和爬山算法，尋找成像最清晰的對焦位置，根據這些點的對焦位置擬合出對焦平面。推掃成像過程中根據位置和對焦平面，自動調整Z軸，實現自動對焦。

4.1.1 對焦位置判斷

高光譜顯微成像系統直接獲取的單幀圖像包含一維光譜信息和一維空間信息，由于光譜維信息的干擾，無法采用常規的評價函數進行清晰度評價。根據圖像特點僅采用空間維拉普拉斯評價函數進行清晰度評價，即

選定成像區域后，取X軸右移0 μm、912 μm、1700 μm、2500 μm的4個采樣點進行對焦位置判斷。對每個位置進行粗對焦后選取對焦范圍，Z軸方向以1 μm步進，尋找精確對焦位置。采用式（3）的評價結果，如圖7（彩圖見期刊電子版）所示，對焦位置如表1所示，可以看出由于僅有一維空間信息，算法魯棒性較弱，容易出現虛假對焦位置。

圖7 基于單幀圖像清晰度評價曲線Fig.7 Definition evaluation curves based on a singleframe image

表1 單幀圖像和推掃圖像清晰度評價的對焦位置Tab.1 Focus positions for clarity evaluation based on the single-frame image and the push-broom image

為了能更準確地尋找對焦位置，利用二維空間信息進行清晰度評價，同樣選取X軸右移0 μm、912 μm、1700 μm、2500 μm的4個采樣點進行對焦位置判斷，進行粗對焦后選取對焦范圍，每個Z軸位置推掃65 μm（100 pixel）。選取第233波段，中心波長為608.3 nm的二維圖像，采用拉普拉斯清晰度評價函數進行評價，結果如圖8(彩圖見期刊電子版)所示，對焦位置同樣如表1所示。由圖8和表1可以看出，清晰度評價曲線具有明顯的單峰性，可以精準判斷對焦位置。

圖8 基于推掃圖像的清晰度評價曲線Fig.8 Definition evaluation curves based on the pushbroom image

將基于單幀圖像和基于推掃圖像的清晰度評價方法獲取的清晰對焦位置進行對比，可以得出以下結論：

（1）基于單幀圖像清晰度評價無法很好地尋找對焦位置；

（2）在2500 μm的范圍內，生物樣本對焦位置變化超過10 μm，超出成像系統的景深，證明了大視場成像中自動對焦的必要性。

4.1.2 對焦平面建立與自動推掃成像

被動對焦的聚焦策略是選擇合適的插值方法在采樣點上擬合出對焦平面，當推掃成像時，根據運動位置和擬合的對焦平面，配合對焦電機運動，實現自動對焦。考慮到對焦位置平滑性，所以系統中采用成熟的樣條插值，4.1.1中4個采樣點的對焦位置插值結果如圖9所示。

圖9 X軸4個采樣點對焦位置插值結果Fig.9 Interpolation results of focusing positions of four sampling points on the X-axis

為實現大視場自動掃描成像，選取樣本X軸0 μm、912 μm、1700 μm、2500 μm，Y軸0 μm、912 μm、1700 μm、2500 μm，共16個采樣點，經過對各采樣點推掃圖像的清晰度評價，獲取了采樣點的對焦位置，如表2所示，通過進行樣條插值，獲取二維對焦平面，如圖10所示。

圖10 二維平面插值結果Fig.10 Interpolation results on a two-dimensional plane

表2 Z值數據Tab.2 Z value data Z/μm

4.1.3 大視場自動推掃成像

為獲取乳腺癌病理切片大視場數據，成像范圍設置為3250 μm×3250 μm，推掃路徑如圖11所示，在X軸方向推掃3250 μm，采集單幅510 pixel×5000 pixel圖像數據，將二維運動平臺右移325 μm，保證X方向存在10 pixel重疊，重復推掃10幅圖像。推掃過程中根據位置和擬合對焦平面，實時自動對焦。將采集的10幅高光譜顯微圖像進行拼接，獲取5000 pixel×5000 pixel的高光譜病理圖像，其中第233波段的圖像去除條紋噪聲后的結果如圖12所示。

圖11 推掃路線Fig.11 Push-broom route

圖12 基于被動對焦的大視場推掃成像Fig.12 Push-broom imaging with a large field of view based on passive focusing

4.2 主動對焦

主動式對焦是在顯微鏡的物鏡和鏡筒之間安裝主動對焦光路，原理如圖13所示。主動對焦模塊由近紅外激光光源、光闌、分光鏡、可調準直鏡以及二向色鏡組成，近紅外激光光源發射近紅外激光，視場受光闌限制，經準直透鏡后充滿物鏡，經物鏡聚焦到樣本，樣本反射回物鏡、準直鏡，最后聚焦到線傳感器上，根據激光在傳感器上檢測到的位置，能夠檢測樣本與物鏡的離焦量。通過對可調準直透鏡進行前后調節，調整激光在樣品Z軸上聚焦的點，進而改變激光面與成像面之間的距離。其中近紅外激光光源波長選擇800 nm以上，配合800 nm以上波長反射的二向色鏡，以在自動對焦過程中不影響顯微鏡正常工作。

圖13 主動對焦原理示意圖Fig.13 Schematic diagram of active focusing principle

系統采用Prior Scientific的PureFocus850模塊實現自動對焦，對焦結果通過線探測器兩側離焦量的關系進行判斷，當兩者之差與兩者之和的比值小于0.2時，說明焦面準確。運動過程中，自動對焦模塊會根據離焦量實時調整Z軸，保證樣本始終處在清晰對焦的位置上。

利用主動對焦模塊進行自動對焦前，通過設置激光信號，找到最清晰對準平面，然后開啟主動對焦功能。選取4.1.1中同一樣本區域，在X軸方向從0 μm到2500 μm，每隔500 μm記錄對焦位置，將推掃圖像清晰度評價對焦位置進行樣條插值，對比結果如表3所示。二者平均誤差為0.1 μm，表明被動對焦與主動對焦結果一致性較好，也說明樣條插值用于對焦平面建立的可行性。

表3 主動對焦推掃圖像的對焦位置Tab.3 Focus position based on active focus push-broom image

與被動對焦成像區域設置一致，采用主動對焦方式進行推掃成像，推掃路徑與圖11一致。同樣將采集的10幅高光譜顯微圖像進行拼接，獲取5000 pixel×5000 pixel的高光譜病理圖像，其中第233波段的圖像去除條紋噪聲后的結果如圖14所示。

圖14 基于主動對焦的大視場推掃成像Fig.14 Push-broom imaging with a large field of view based on active focusing

4.3 對比分析

通過分析被動對焦和主動對焦成像實驗結果，認為二者均可以用于高光譜顯微成像系統中。下面將從結構復雜度、成像清晰度以及成像速度3個方面進行對比分析。

對于儀器結構復雜度，被動對焦無需增加額外的硬件，而主動對焦需要增加主動對焦光路，儀器結構更加復雜。被動對焦技術優于主動對焦技術。

從成像清晰度角度分析，在成像區域相同時，被動對焦與主動對焦得到的圖像清晰度評價值分別為6.3584×109、6.3590×109，結果說明主動對焦技術略優于被動對焦技術。

主動對焦和被動對焦成像速度的差異主要在于建立對焦平面所需的時間長短。被動對焦中針對選取的點在Z軸方向連續推掃成像，單點用時90 s，16個點合計用時1440 s。主動對焦主要是進行尋找激光面與成像面的位置和調整圖像到最清晰，實驗中實際分別用時55 s和12 s，合計67 s。大視場推掃成像時間二者接近，單幅推掃均用時125 s，通道切換時被動對焦用時3 s，主動對焦用時7 s（通道切換后需要用時4 s完成離焦到正焦的狀態調整），合計用時被動對焦1277 s，主動對焦1313 s。完成大視場推掃成像，二者分別用時2717 s和1380 s，除去推掃成像時間，二者實際對焦時間分別為1467 s和130 s，主動對焦速度顯著優于被動對焦。

綜上所述，主動對焦成像技術增加了對焦光路，結構復雜，但是顯著提高了對焦速度，同時也一定程度上提升了成像清晰度，更適合推掃式高光譜顯微成像系統。

5 結論

本文通過將棱鏡-光柵分光技術、顯微成像技術以及自動對焦技術相結合，設計了一套全自動推掃式高光譜顯微成像系統，空間分辨率優于0.87 μm，光譜范圍為420～800 nm，光譜分辨率均值優于3.5 nm。以經過HE染色的乳腺癌病理切片為研究對象，通過被動對焦和主動對焦兩種方法均實現了40倍物鏡下3.25 mm×3.25 mm區域內清晰成像。通過對兩種方法進行比較，認為兩者均能滿足大視場成像要求，但主動對焦通過檢測光路輔助能夠實現更快速且清晰的成像，更適合推掃式高光譜顯微成像系統。本文研發的系統將更加方便地把光譜技術引入顯微成像領域，有利于促進光譜技術在生物醫學等領域中的應用。