基于雙攝像機瞳孔距離定位研究

林浩輝，彭建中，吳南壽，曾興暉，李曉雯，唐艷紅，鐘俊平

（佛山科學技術學院 物理與光電工程學院，廣東 佛山 528200）

0 引言

瞳孔定位在醫學方面上應用廣泛，在眼底檢測方面，通過觀察眼底視網膜、視盤形態可以對老年黃斑變性、青光眼、糖尿病視網膜病變等疾病進行診斷和早期治療的作用[1,2]。在醫學臨床上常用光學相干斷層掃描儀（OCT）獲得眼底視網膜圖片，OCT眼科儀器的探測范圍在2mm～3mm左右，在獲得眼底視網膜圖片的過程中，需要將OCT眼科儀器對準瞳孔中心，使得探測光進入眼睛，并且移動到OCT眼科儀器的探測范圍內，才可以采集到眼底圖像[3,4]。在為被檢測者進行檢測時，有手動對準和自動對準兩種瞳孔對準方式，手動對準對需要操作者與被測者進行配合，并且需要醫院人員有較高的操作水平；自動對準是通過圖像處理算法計算出瞳孔當前位置，并驅動電機移動圖像采集裝置到適合位置，對準瞳孔中心進行眼底圖像采集。目前比較流行的眼科自動化輔助儀器多為二維移動方向的裝置，用于眼睛生物參數測量上[5]，并沒有三維移動方向上的需求；還有關于無人看守的眼底篩查儀器的自動化裝置，大部分只有二維方向上對準瞳孔功能，并不能自動定位到最適合眼底篩查儀器采集圖像的位置[6]。因此，一種基于計算機的測距技術對于眼底檢測設備有著重要意義。

目前比較流行測距定位算法在國內外已有深入研究[7-9]，有單目視覺測距和雙目視覺測距，如董峰等[10]采取攝像機標定方法，實現雙目視覺對放療過程中的精確定位，該方法對于放療位置定位準確，但是卻不適用于瞳孔測距；李賢輝等[11]將單目視覺應用到瞳孔定位中，實現了對人臉圖像中瞳孔與到攝像機鏡頭間的距離探測，但精確度上還有待提高。

鑒于此，提出一種基于雙攝像相機瞳孔測距定位方法，在紅外LED（中心波長850nm）照射下對人眼無刺激與損傷，有著使瞳孔與背景的區分度大，能清晰地呈現瞳孔特征等優點。以先驗知識得知OCT眼科儀器最佳拍攝位置作為目標位置，再采集到圖像進行圖片預處理操作，快速識別瞳孔中心并且將瞳孔與背景分離，求得圖像采集裝置的距離與目標位置的偏差，并通過電機使得圖像采集裝置達到設定位置，該方法適用于OCT眼科儀器的輔助裝置上，可有效提高輔助裝置的準確性、快速性，并且滿足OCT眼科儀器對輔助裝置實時性的要求。

1 瞳孔距離定位原理的理論

雙攝像機視覺測量是采用兩臺攝像相機從不同角度采集圖像，基于透鏡成像的原理[12]，利用位于空間中的點在兩臺攝像相機成像平面上的透視成像點坐標。采用雙目攝像機透鏡成像原理建立系統模型如圖1所示，將兩個相同規格的攝像機對稱固定在位移平臺上，O1，O2為左、右透鏡光心，O1P和O2P為左、右相機的光軸，P為兩相機光軸的交點，左、右相機與水平線的夾角均為θ。兩透鏡光心的距離即基線距離為2b，過P點作PC垂直于基線，可得C為基線的中點，即O1C的長度為b。以左相機為例，Q為基線的中線上的任意一點，左光軸與像平面交于O11，Q在像平面分別對應的點為Q11，過Q分別作QF垂直于左相機光軸。

圖1 雙目攝像機透鏡成像原理系統模型Fig.1 Binocular camera lens imaging principle system model

若設P點為目標位置，Q點將要對P點進行定位，則設Q1O11為△x，PQ為△z，把Q點設為三維空間中的物點，Q1點則是Q投影在成像平面上的像點，則物距u和像距v分別為FO1和O1O11，根據相似三角形原理易得三角形O1QF相似于Q1O11O1，由角度變換關系可得∠PQF的值也為θ，則QF的長度即為Δzcosθ，物距u=O1P+PF=b/cosθ+Δzsinθ。根據透鏡成像公式1/u+1/v=1/f得：

根據三角關系得：

當Δx1=Δx2=0時，則Q點運動到P點，即兩光軸相交處，Q點到達目標位置。

2 雙目視覺瞳孔測距定位系統的組成

基于雙目視覺瞳孔測距定位裝置由CCD相機、位移平臺、步進電機和托頭架組成。其中，將兩個攝像頭光軸與水平線以夾角θ=35°進行擺放，被測試者的頭部被托頭架托載，減少頭部的晃動，以便于圖像采集。位移平臺承載著雙目相機，步進電機根據系統的指令帶動位移平臺進行前后方向上的移動，流程圖如圖2所示。

在近紅外LED（中心波長850nm）光照環境下，可以清晰地分辨瞳孔與虹膜的邊緣，兩臺攝像機從不同的角度采集圖片，由于在采集瞳孔圖片的過程中存在著反射光斑，并且眼瞼、睫毛方面會對瞳孔進行部分遮蓋，還有由于拍攝角度問題，瞳孔的形狀近似于橢圓，這些因素都會影響到瞳孔中心位置的定位。首先，要對采集的圖片進行預處理，先進行中值濾波對圖片進行去噪，能有效地保留后續處理所需的信息；由于采集的圖像中，瞳孔灰度值低于人臉其他部位，采取閾值分割可以有效地將瞳孔與人類其他部位進行區分，然后對圖像進行圖像二值化處理，篩選出瞳孔輪廓；對瞳孔進行面積計算，設定閾值將背景與小面積的光斑移除；再利用canny邊緣檢測算法[13]進行邊緣細化，最后利用最小二乘法橢圓擬合輪廓，并將橢圓中心作為瞳孔中心；將雙目相機的中軸線對準瞳孔，設置偏移量k=Δxl-Δxr，設Δxl為左圖像圓心橫坐標xl與圖像中心點橫坐標的差值，Δxr為右圖像圓心橫坐標xr與圖像中心點橫坐標的差值，由于雙目相機左右對稱，則當偏移量k不滿足設定時，步進電機帶動位移平臺進行前后方向的移動，判定當k與預設值的差值在誤差允許范圍內時，步進電機停止工作。

圖2 系統流程圖Fig.2 System flow chart

2.1 圖像預處理

2.1.1 噪聲處理

圖像在采集過程中容易受到不同噪聲的影響，如機械噪聲、光學噪聲等，這里選用中值濾波對采集的瞳孔圖像進行噪聲去除，因為中值濾波在去除大部分正態分布的噪聲的同時可以較好地保留邊緣結構，這里選用9×9的濾波模板。

2.1.2 閾值分割

通常情況下，人眼瞳孔部分的像素值會比臉部其他部分的低，根據人眼瞳孔這一特點，使用自適應閾值分割的方法[14]。由于背景像素值與人臉瞳孔像素值差距較大，在閾值分割后消除大部分背景。此時圖像上會剩余多個輪廓，根據瞳孔的幾個特性，設定篩選條件，進而篩選出瞳孔區域，由于相機是以一定角度對瞳孔進行圖像采集，瞳孔呈現在圖像上為橢圓形，長寬比在1.2～1.5之間，在雙目相機有效拍攝距離內，當距采集裝置與眼睛距離不同時，輪廓大小也會隨著距離的變化而變化，經過采集多張不同距離的眼睛瞳孔圖像，統計得出瞳孔輪廓像素點大概在5000～11000范圍內，設定此面積范圍可提升提取瞳孔輪廓的準確性，同時將剩余的輪廓排除，并且可以減少由于睫毛與眼睛相近造成的陰影相連影響，處理效果如圖3（b）所示。

2.1.3 邊緣檢測

將瞳孔輪廓提取出來后，需要對瞳孔輪廓進行邊緣檢測，從而減少數據量，并且瞳孔輪廓的邊緣檢測的結果會直接影響后續瞳孔坐標的準確性，進而影響測距定位的精確度，使用Canny算子進行瞳孔輪廓的邊緣檢測，Canny算子的特點在于對瞳孔輪廓進行高斯平滑處理，使用了非最大抑制來對抑制多邊響應輪廓的影響，雙閾值可以有效減少邊緣的漏檢，處理效果圖如圖3（c）所示。

2.1.4 邊緣擬合

提取出的瞳孔輪廓邊緣為不規則圖形，為了保持準確性及快速性，選擇最小二乘橢圓法[15]擬合法將橢圓中心點求出并且獲得瞳孔邊緣。平面坐標系中，橢圓的一般表示方程為：

上述參數，(x,y)為像素點的坐標，A,B,C,D,E,F為二次曲線參數，其中還需滿足二次曲線才可以判定為橢圓。

從瞳孔輪廓邊緣任意選取6個像素點的坐標代入式（5）中，進而求出上述5個參數，算出關于橢圓的二次曲線方程，擬合出橢圓的輪廓，通過對橢圓中心坐標與輪廓邊緣的方差，選取方差最小的瞳孔輪廓邊緣作為最終的瞳孔輪廓，其相對應的中心點即為瞳孔中心點，效果如圖3（d）所示。

2.2 瞳孔距離定位

本方法只針對當瞳孔位于兩攝像機基線的中線上的情況下，在此情況下探索瞳孔到基線的距離，拍攝將左右圖像瞳孔中心點重合位置設為標準點，本裝置采集圖像大小為640×480通過圖像預處理后，求得左圖像瞳孔中心點與右圖像瞳孔中心點如圖4所示，得到左右瞳孔中心的坐標，由式（3）和式（4）可得出偏移量Δx，通過偏移量轉換為步進電機電信號，從而控制位移平臺達到預設定位點。則電機轉動參數的表達式為：

圖3 圖像預處理圖Fig.3 Image preprocessing diagram

3 實驗結果及分析

為了驗證距離瞳孔定位系統的可行性，進行重復誤差測試。對雙目系統準確性驗證，選取kingcent的KS2A418低照度夜視攝像頭作為雙目攝像機。實驗環境在CPU為i5-9700，內存為16GB的硬件環境下，使用visual 2017和C#的軟件環境下運行。

3.1 瞳孔中心定位結果

使用在紅外燈照環境下對10位同學采集圖片進行距離瞳孔中心定位測試，圖5(a)為左偏且上偏的初始位置的圖像，當瞳孔中心點移動到左圖像中心點時，如圖5(b)所示。圖5(c)為距離18mm時的圖片，當左圖片瞳孔中心與右圖片瞳孔中心點重合時，如圖5(d)所示，此時瞳孔距離眼底篩查設備距離范圍在14mm～15mm的范圍內，圖5(e)為初始位置右偏且上偏的初始位置圖像，圖5(f)是在電機移動后到達做圖像中心的圖像，圖5(g)為距離18mm時的圖像，圖5(h)的圖片是滿足OCT眼底篩查儀器的最佳圖片采集距離。綜上所述，本方法可以在任意隨機初始位置情況下均能到達OCT眼底篩查儀器采集圖片最為清晰的位置。

圖4 瞳孔中心圖Fig.4 The center of the pupil

圖5 工作過程圖Fig.5 Working process diagram

3.2 重復誤差測量

對10位同學進行重復誤差測試，重復誤差測量數據見表1。由精度測量數據表可以看出，在大多數情況下，本文瞳距定位方法的定位方差波動在0.4以內，偶爾有較大的波動，可能是被測試者的坐姿發生改變，或者其他特殊因素導致的。總體情況較為樂觀，該方法的可行性較高。

4 結論

以瞳孔作為研究對象，在紅外LED（中心波長850nm）光照環境下對瞳孔進行距離定位研究，利用紅外燈環境可以使得瞳孔與背景之間的像素值產生明顯差距的特性，以找到瞳孔大致位置，之后采用最小二乘橢圓擬合法擬合出瞳孔邊緣，求得瞳孔圖像中心點，最后根據透鏡原理進行目標位置進行定位，搭配步進電機，實現瞳孔的距離中心定位與圖像采集中心點快速對準，并且該系統的精確度基本達到±2mm以內，有較高的精度，并且滿足了眼底篩查設備的輔助裝置實時性的要求，實現全自動化眼睛距離定位功能，能作為眼底篩查設備的輔助裝置，在后續研究中會進一步提高距離定位精度以及魯棒性。

表1 重復誤差測量數據表Table 1 Repeated error measurement data table