基于深度學習的顯微離焦圖像法顆粒深度測量

徐日辛，周騖，張翔云

（1 上海理工大學能源與動力工程學院，上海 200093；2 上海市動力工程多相流動與傳熱重點實驗室，上海 200093）

微通道在材料、生物化學、化工等領域應用廣泛，如脫氧核糖核酸（DNA）分析[1]、化工材料合成[2]和微尺度反應器研究[3-4]等。這些微流設備的設計需以充分了解其流動特性為前提，即一般采用粒子成像測速技術（PIV） 或粒子追蹤測速技術（PTV）等手段對其中流場進行可視化測量[5]。對于復雜流體系統而言，三維速度的測量必不可少，而其難點在于示蹤粒子的深度定位。

單個示蹤粒子深度信息的獲取手段包括雙目視覺[6]、數字全息[7]、光場[8-10]、離焦[11]等，其中離焦法通過識別成像的不同離焦程度確定深度位置，尤其適合景深較小的顯微成像系統。Pentland[11]提出通過將一幅離焦模糊的圖像建模為一張清晰圖像與退化函數卷積的結果，退化模型被認為滿足高斯分布，則退化模型的標準差可以用來表征離焦模糊程度，從而建立與深度位置的對應關系，被稱為離焦深度測量（depth from defocus，DFD）。本文作者課題組[12-13]提出了基于單鏡頭雙相機系統的深度測量方法，解決了離焦二義性問題，但所采用設備的顆粒測量下限約為20μm，且相關圖像處理方法難以應用于前后離焦不對稱的顯微成像系統。Barnkob等[14]提出了一種基于一組校準圖像和歸一化互相關函數的常規離焦顆粒跟蹤（general defocus particle tracking，GDPT）方法來跟蹤微通道系統中示蹤粒子的三維運動，但正如其所述，其局限在于由于像差導致圖像傳感器不同區域對同一顆粒的成像效果不同，使得準確的校準過程非常復雜。Newby 等[15]基于卷積神經網絡（convolutional neural networks，CNN）對顯微粒子進行識別，獲取顆粒二維位置，但缺乏對深度位置進行研究。

受上述研究的啟發，本文采用幾何光學原理分析了顯微離焦成像的特點，針對單幅顯微離焦的顆粒圖像提出基于深度學習的顆粒深度位置識別方法。首先建立顆粒深度位置測量的預測模型，使用光線追蹤的方法生成顆粒的顯微離焦仿真圖片，用仿真圖片驗證了預測模型的準確性；其后搭建了顯微離焦深度測量試驗臺，獲取實際顆粒的顯微離焦圖片并進行模型訓練和預測。

1 基于深度學習的顯微離焦成像顆粒深度測量原理

1.1 顯微離焦成像的特點

光學成像時，不同距離下物體的成像清晰度是不同的，或者從像方角度而言，物體位置固定時，成像面位置不同時，成像清晰度是不同的。成像面離清晰成像平面越遠，物體的成像越模糊，稱為離焦模糊。理想透鏡成像時，從同一物點P發出的光線匯聚到同一個像點P'，如圖1所示；顯微鏡物鏡普遍使用球面透鏡，與理想透鏡成像不同的是，其近軸光線和遠軸光線不能匯聚在同一點，造成其前后離焦不對稱，且沒有明顯的焦平面[16]。但該模糊依然與離焦距離有直接的對應關系，且因為其前后離焦不對稱而不存在離焦二義性的問題，則可以利用此離焦模糊信息通過深度學習的方法來預測顆粒深度位置。

圖1 顯微成像原理和前后離焦圖像

1.2 深度學習模型

CNN 是一種具有局部連接、權值共享以及池化特性的深層前饋神經網絡[17]，一般由卷積層、池化層和全連接層交叉堆疊而成（全連接層為頂層）。這三個特性使得卷積神經網絡具有一定程度上的平移、縮放和旋轉不變性，可以提取到自然圖像中的局部不變特征，并且參數相比全連接前饋神經網絡要少很多，易于訓練。卷積層的輸出叫作特征圖，是由前一層與卷積核卷積之后再通過激活函數映射得到；常用的激活函數有ReLU 函數、Sigmoid 函數等。卷積層后的池化層能夠減少參數數量并降低網絡的計算復雜度，例如平均池化的輸出是矩陣鄰域內所有值的平均。CNN 的輸出層通常為Softmax 函數，它的輸出是范圍為0～1 的K維概率分布向量，向量中的值代表某一類分類得到的分值。CNN訓練的基本過程[18]是將帶有標簽的圖片讀入CNN 后，通過最優化算法（通常用梯度下降算法[19]），不斷調整網絡的權重以使得損失函數達到最小。

本文深度預測使用的Inception V3[20]是由Google公司開發的一款CNN 模型，其特點是用密集成分來近似最優的局部稀疏結，經過卷積→池化層→卷積→局部稀疏結→池化層→回歸分類，共42 層網絡，得到能預測顯微離焦顆粒的深度位置的模型。其具體網絡結構見表1。

表1 Inception V3模型的網絡結構[20]

本文的圖像處理流程，即圖片的訓練及預測流程如圖2所示。采用已標注顆粒深度位置的不同顆粒粒徑的訓練集圖片（訓練過程中內測試集占比為10%），對Inception V3網絡結構的相關參數進行訓練，獲得顆粒深度測量模型，再利用該模型對仿真或實驗獲得的顆粒圖像進行深度位置預測。

圖2 圖像處理流程

2 顯微離焦仿真圖像的深度預測

2.1 仿真圖片的生成

本文在Rossi 等[21]編寫的開源程序MicroSIG 的基礎上進行顯微離焦仿真圖像的生成。MicroSIG的原理是運用三維射線追蹤方法，模擬無限薄的雙凸球面透鏡，使用斯涅爾定律對光線進行偏轉。其生成單顆粒離焦圖像時，通過設置顆粒粒徑、光學放大倍率和縱深距離等參數獲得不同離焦程度圖像。

本文所使用的主要仿真參數與下文搭建的實驗系統中的相應參數一致，即物鏡放大倍率為20、數值孔徑為0.4，相機像元大小為3.45μm、圖像大小為299×299。針對1～10μm 十種不同粒徑，在-50～50μm 深度范圍間隔1μm 生成相應的顯微離焦仿真圖像，共1000張，部分圖片如圖3所示。可看出顆粒模糊程度隨著顆粒深度的變化而變化，且顆粒在深度位置為-10μm 的前后離焦特征不具有對稱性，也體現了顯微離焦清晰成像面并不是對應理論焦平面（z=0）的特點[21]。

圖3 部分顯微離焦仿真圖像

2.2 基于仿真圖片的模型訓練與預測

選取1000張仿真圖片中的950張用于模型的訓練，剩余50 張用于預測分析。訓練過程中，選取ReLU 作為激活函數，學習率設置為0.01，動量因子0.9，權重衰減值為0.0005。由圖3可知，較小顆粒（1～3μm）在離焦程度較大時，圖像中幾乎辨別不出顆粒。為了方便比較不同粒徑的深度預測結果，所以在成像比較好的深度范圍內選取。因此選取了-33μm、-23μm、-13μm、-3μm、7μm 共5個深度、10個粒徑的顆粒圖像進行預測，表2為訓練及預測過程中使用的參數。

表2 仿真圖片深度學習參數

本文以微通道中顆粒深度為測量對象，因此采用預測值與真實值之差和微通道高度的比值作為判定相對誤差的依據，如式(1)所示。

式中，δ為相對誤差；WP為深度預測值；WR為深度真實值；H為微通道高度。

經過以上配置環境的訓練及預測，預測結果及誤差如圖4 所示。從圖4(b)可知，預測的顆粒深度位置相對于高度為100μm的微通道，當粒徑為1～3μm 時，其相對誤差小于±13%；粒徑為4～10μm時，相對誤差小于±5%。

圖4 顯微離焦仿真圖像深度預測結果

3 實際顯微離焦圖像的深度預測

使用MicroSIG 進行顯微離焦圖像的光學仿真，難免進行了一些理論近似和理想假設，如假定透鏡為無限薄球面透鏡，而現實中不可能存在這樣的透鏡。這就使得使用光學仿真圖像訓練得到的預測模型不能直接應用于實際顯微離焦圖像的顆粒深度預測，必須對實際的顯微離焦圖像進行訓練，以得到可應用于實際測量的深度預測模型。

為此搭建了一套顯微成像實驗系統，如圖5所示，主要由顯微鏡（上海光學儀器廠XSP-9CE，Olympus 物鏡）、石英微通道、相機（XIMEAMC031MG）和步進電機（Thorlabs MTS50MZ8）組成。將微通道固定在步進電機上并置于顯微鏡測量區內，向其注入濃度較稀的聚苯乙烯微球標準顆粒。待顆粒靜置在微通道中后，將顯微鏡對焦于標準顆粒的位置記為深度0點。控制步進電機以1μm為步長從深度為-50μm處豎直向上運動至50μm深度位置處，相應地，標準顆粒從顯微鏡的前離焦位置移動至后離焦位置。與此同時，使用步進電機的運動信號作為相機的觸發信號，每當步進電機運動到設定位置，相機便自動捕獲一張圖像，這樣便獲得了不同離焦位置下的標準顆粒顯微圖像序列。試驗系統的詳細參數見表3。

表3 離焦成像系統參數

圖5 實驗系統

實驗采用的聚苯乙烯顆粒為標稱直徑2.6μm和5μm的兩種標準顆粒混合物。如圖6所示，顆粒在不同深度位置時（下圖從左往右），顆粒由模糊逐漸變清晰，且顆粒中間有亮斑，當達到一定離焦程度時，顆粒中心的亮斑開始消失，然后隨著離焦程度增大，顆粒變得越來越模糊，可以明顯看出其前后離焦明顯不一致。

圖6 顯微離焦實驗部分圖像

獲取不同粒徑顆粒在不同離焦程度下的圖像后，再根據第1.2 節所述的訓練及預測流程，選取300 張2.6μm 和200 張5μm 顆粒在不同深度位置的圖像用于模型訓練，然后對另外一組2.6μm和5μm顆粒圖像選取成像較好的深度位置（-20～20μm）分別進行深度范圍預測。由圖7(b)實驗結果可以看出，2.6μm 顆粒的相對誤差在±15%以內，5μm 顆粒的相對誤差小于±5%。

圖7 實際顯微離焦圖像深度預測結果

4 結論

本文利用顯微鏡下顆粒離焦成像的不對稱性，將Inception V3 網絡模型應用于顯微離焦成像法顆粒深度測量，使用不同粒徑及離焦程度的顆粒圖片對模型進行訓練，從而實現對顆粒深度位置的預測。

首先采用顯微離焦仿真圖片對深度測量模型進行訓練和預測，結果顯示，1～3μm 顆粒的預測相對誤差小于±13%，4～10μm 顆粒的相對誤差在±5%以內。然后將該方法應用于在實際微通道中顆粒的深度位置測量，2.6μm顆粒深度測量的相對誤不大于±15%，5μm顆粒的小于±5%。

上述研究表明，對于景深約3μm的顯微系統，基于深度學習的離焦成像法可以對其景深十幾倍甚至幾十倍范圍內的顆粒深度位置進行估計，與PIV或PTV方面相結合可用于微通道內速度場測量。