多聚焦圖像離焦模糊區域的SIFT 特征提取

夏曉華，趙 倩，向華濤，秦緒芳，岳鵬舉

（長安大學 工程機械學院，陜西 西安 710064）

1 引言

多聚焦圖像是指聚焦于同一場景不同深度范圍的多幅圖像，其特點是圖像中的場景由于系統景深限制，只能在某一深度范圍內成像清晰，超過該深度范圍則成像模糊。利用多聚焦圖像通過焦點堆疊和清晰度評價能擴大景深范圍和實現場景深度估計，因此多聚焦圖像在圖像融合［1-3］和三維重建［4-6］等領域中均有應用。

特征提取是多聚焦圖像配準、融合和三維重建的基礎和前提，它要求特征提取方法不僅能提取圖像聚焦清晰區域的特征，還能提取離焦模糊區域的特征，因此對特征提取方法提出了更高的要求。尺度不變特征變換（Scale-Invariant Feature Transform,SIFT）算法利用圖像的梯度強度信息實現特征點的檢測和描述，提取的特征在圖像旋轉、亮度變化和尺度縮放中具有不變性，是一種穩定的局部特征，在圖像特征提取領域中應用廣泛。然而，SIFT 算法對模糊和邊緣平滑的圖像難以準確提取特征，因此將其應用于多聚焦圖像時存在提取的特征點數量較少以及圖像特征點易集中于某一區域的問題，在圖像聚焦清晰區域特征提取效果好，提取的特征數量較多，但在離焦模糊區域特征提取效果差，提取特征時具有不確定性。目前文獻鮮有涉及圖像離焦模糊區域特征的提取算法，僅有Liu Yu［7］提出了在多聚焦圖像中使用密集SIFT 描述子［8］來解決離焦模糊區域特征提取困難的問題，直接在每個像素點提取局部特征描述子用于圖像融合。此外，Sekeroglu Kazim［9］和丁國紳［10］分別改進了SIFT算法，提高了SIFT 算法的特征提取數量，對離焦模糊區域特征提取有促進作用。然而，這些算法雖提取特征數量較常規SIFT 算法明顯增多，但圖像特征點仍主要集中在圖像聚焦清晰區域，在離焦模糊區域特征數量匱乏甚至缺失，使得多聚焦圖像間存在局部、少量的公共特征，導致圖像特征匹配效果差，嚴重影響后續圖像融合和三維重建質量。為此，本文提出了多聚焦圖像離焦模糊區域的SIFT 特征提取方法。該方法首先利用常規SIFT 特征提取方法提取多聚焦圖像聚焦清晰區域的特征，再利用光流跟蹤提取對應離焦模糊區域的特征，避免了在離焦模糊區域直接提取特征的不確定性，彌補了現有SIFT 特征提取方法的不足。

2 SIFT 特征提取原理及其不確定性

2.1 SIFT 特征提取原理

SIFT 算法對光照、旋轉、仿射以及尺度的變化都具有良好的穩定性，是圖像處理領域中最著名的提取方法之一。SIFT 特征提取步驟如下：

首先，需要構建圖像多尺度高斯金字塔。一個圖像的尺度空間L(x，y，σ)定義為變化尺度的高斯函數G(x，y，σ)與原圖像I(x，y)的卷積，如式（1）和式（2）所示：

其中：“*”表示卷積，m，n表示高斯模板的維度，(x，y)表示圖像的像素位置，σ為高斯核。

將原始圖像不斷下采樣得到多組大小不同的圖像，然后在每組圖像中使用不同的高斯卷積核不斷下采樣，得到多層大小相同的圖像，相當于每組圖像都含有多層圖像。

其次，需要精確定位關鍵點。根據高斯金字塔建立高斯差分金字塔。去除首尾兩層圖像，將剩下每層圖像的各像素點與其相鄰的上下兩層18 個像素點以及同層的8 個相鄰像素點進行比較，若該點在此27 個像素點中是極大值或極小值，則認為該點是候選關鍵點。

候選關鍵點是離散空間的極值點，需要通過插值的方法對關鍵點精確定位。根據泰勒函數性質，對尺度空間函數進行泰勒展開，其表達式如式（3）所示：

對式（3）進行求導并令導數為零可得極值點位置：

將X0'帶入式（3）可得插值結果：

若D(X0')大于設定的閾值則被保留，否則被剔除。最后計算主曲率的值，刪除曲率閾值范圍之外的極值點以降低邊緣效應。

最后，需要計算唯一描述關鍵點的描述子，其可以區分兩個不同的關鍵點。SIFT 算法依據當前關鍵點所在圖像的高斯尺度確定鄰域半徑，鄰域內的像素梯度值和對應的方向如式（6）和式（7）所示：

統計每個方向上的梯度值，將梯度值之和最大的方向作為關鍵點的主方向，將坐標軸旋轉至關鍵點的主方向上，以確保描述符的旋轉不變性。然后，在關鍵點的4×4 鄰域內，每個鄰域作為一個種子點，將其梯度平均劃分為8 個方向，統計每個方向區間內的梯度值之和，最終形成128維的梯度向量，作為特征點的描述子。

2.2 特征提取的不確定性

如圖1 所示的成像系統，當物點P處于聚焦狀態時，感光元件位于聚焦平面上，物點P的像為理想像點P'；當物點P處于離焦狀態時，感光元件偏離聚焦平面，物點P的像是一直徑為δ的彌散圓。圖像聚焦區域中的特征點是清晰的，其坐標位置是確定的；圖像離焦區域中的特征點是模糊的，其坐標位置在彌散圓范圍內是不確定的。

圖1 離焦成像示意圖Fig.1 Defocused imaging diagram

此外，當物點P處于離焦狀態時，其附近近似深度的物點也處于離焦狀態，這些物點的彌散圓在P的成像位置產生疊加，進一步增加了圖像離焦模糊區域特征提取的不確定性。

因此，在圖像離焦模糊區域直接提取特征的坐標，并不一定是物點的實際成像位置，利用這些特征進行圖像匹配，容易造成較大的匹配誤差。

3 基于光流法的特征提取原理

在圖像離焦模糊區域直接提取特征存在較大的不確定性，難以保證特征提取的準確性，但對于多聚焦圖像而言，一幅圖像的聚焦清晰區域對應其他圖像的離焦模糊區域，通過將一幅圖像聚焦清晰區域的特征映射至其他圖像上，可以獲得其他圖像離焦模糊區域的特征。在該思路的基礎上，本文提出利用光流跟蹤建立多聚焦圖像聚焦清晰區域與對應離焦模糊區域的映射關系。

光流跟蹤建立在亮度恒定、小位移假設基礎上，盡管彌散圓分散了物點的亮度，但彌散圓間的疊加效應仍能使像素點的實際亮度與對應聚焦狀態時的亮度基本一致，多聚焦圖像之間的像素移動多為小位移，基于金字塔的光流跟蹤也能解決多聚焦圖像大位移像素移動問題，因此多聚焦圖像滿足光流跟蹤的假設條件。此外，多聚焦圖像相鄰像素具有相似的徑向運動，因此多聚焦圖像也滿足空間一致性。

由亮度恒定和小位移假設可知，兩幅多聚焦圖像的對應特征應滿足：

其中：G(x，y，t) 表示在t時刻采 集的圖像在(x，y)坐標位置處的灰度值，兩幅多聚焦圖像對應特征的坐標差為(dx，dy)，dt表示拍攝兩幅多聚焦圖像的間隔時間。

對式（8）進行一階泰勒級數展開得：

其中：Gt'dt=dG表示兩幅多聚焦圖像在(x，y)處的灰度變化量，G'x，G'y表示圖像在x，y方向上的梯度。式（9）可進一步化簡為：

式（10）有兩個未知數dx和dy，根據一個像素點不能對方程進行求解?；诳臻g一致性假設，利用鄰域內的像素信息建立方程組：

記I和J為兩幅多聚焦圖像，I圖像在(u，v)坐標處的像素點與J圖像上對應點的坐標差為d=[dxdy]T，在以(u，v)為中心，寬度為Wx、高度為Wy的鄰域內，定義損失函數：

損失函數最小值所對應的dx、dy即是所求值。對損失函數求導得：

對GJ(x+dx，y+dy)進行一階泰勒級數展開，忽略高階項，帶入式（13）得：

其中，φ(x，y)=GI(x，y)-GJ(x，y)。

因此，采用SIFT 特征提取方法提取多聚焦圖像中每幅圖像聚焦清晰區域中的特征，然后利用式（15）將其映射至其他圖像中對應的離焦模糊區域上，實現離焦模糊區域SIFT 特征提取。

若多聚焦圖像間存在大位移，采用圖像金字塔進行處理，將金字塔底層的大位移轉化為金字塔頂層的小位移。假定金字塔的層數為n，令金字塔頂層的初始光流I1=0，記第k(1 ≤k≤n-1)層的初始光流為Ik，利用式（15）計算第k層的光流dk，則第k層的最終光流為Fk=(Ik+dk)，第(k+1)層的初始光流為Ik+1=2Fk。以此類推，則多聚焦圖像的最終光流為(In+dn)。

4 實驗及結果分析

在實際應用中，通常采用移動鏡頭、移動成像系統或移動被拍攝物體的方式采集多聚焦圖像［2，11］，這種多聚焦圖像是未配準的，實驗時難以對其特征提取的精度進行評估。在圖像融合領域，會利用光場相機獲得的已配準多聚焦圖像對圖像融合算法進行評估，從而避免圖像配準對圖像融合算法的影響。在配準的多聚焦圖像中，對應特征點的坐標是相同的，因此可以利用匹配特征點的歐氏距離評價特征提取的準確性。本實驗中，首先利用多聚焦圖像融合領域常用的配準圖像驗證本文提出方法的有效性，然后利用實際采集的未配準多聚焦圖像進一步檢驗本文方法的特征提取效果。

4.1 配準圖像驗證實驗

如圖2 所示，實驗選用了6 組代表性的配準多聚焦圖像，其中第1 組圖像、第2 組圖像和第3組圖像［12-14］的背景分別位于視野左側、右側和中間，每組圖像中的左圖聚焦于背景，右圖聚焦于前景；第4 組圖像、第5 組圖像和第6 組圖像是由光場相機拍攝獲取的多聚焦圖像，其背景分別位于視野左側、左側和右側，每組圖像中的左圖聚焦于前景，右圖聚焦于背景。考慮到SURF（Speeded Up Robust Features）和ORB（Oriented FAST and Rotated BRIEF）是針對SIFT 存在的不足進行改進的算法［15-16］，將SIFT，SURF，ORB和基于DAISY 描述子的SIFT 與本文方法在相同的條件下進行特征提取與匹配，提取的特征用圓點標記，匹配的特征用直線連接，結果如圖3 所示。圖3（a）～圖3（e）分別為SIFT，SURF，ORB和基于DAISY 描述子的SIFT 和本文方法的特征提取與匹配結果。由于5 種特征提取算法閾值代表的含義不相同，為方便對比，設定6 組多聚焦圖像提取特征數量均為300，以便在提取相同特征數量條件下對實驗結果進行比較。本文方法在提取特征的同時實現了特征的匹配，常規方法特征提取后須通過圖像匹配方法進行特征匹配，實驗采用暴力匹配和隨機抽樣一致（RANSAC）算法進行匹配。

圖2 實驗用配準多聚焦圖像Fig.2 Registered multi-focus images for experiments

圖3 常規方法與本文方法特征提取與匹配效果對比Fig.3 Comparison of feature extraction and matching effect between conventional and proposed methods

由 圖3（a）～圖3（d）可 知，SIFT，SURF，ORB 和基于DAISY 描述子的SIFT 特征提取方法在離焦模糊區域提取的特征數量很少甚至缺失，圖3（a）中第2 組圖像右圖、圖3（b）中第2 組圖像右圖、圖3（c）中第1 組圖像左圖、圖3（c）中第2組圖像右圖、圖3（c）中第4 組圖像左圖、圖3（d）中第2 組圖像右圖、圖3（d）中第6 組圖像左圖的離焦模糊區域僅有1～5 個特征，圖3（c）中第2 組圖像左圖、圖3（c）中第3 組圖像左圖、圖3（c）中第6 組圖像左圖的離焦模糊區域缺失特征。在離焦模糊區域提取的特征數量不足，會導致多聚焦圖像能匹配的特征少，這是圖3（a）～圖3（d）中特征匹配數量少的主要原因。此外，圖3（a）～圖3（d）中出現了許多能匹配但未匹配成功的特征點對，例如圖3（a）第2 組圖像、圖3（b）第2 組圖像、圖3（b）第3 組圖像、圖3（b）第6 組圖像、圖3（d）第2 組圖像中圈出的部分特征未實現匹配，這是由于對應特征在聚焦清晰區域和離焦模糊區域的描述子差異較大，使得SIFT，SURF，ORB和基于DAISY 描述子 的SIFT［17］在多聚 焦圖像中即使提取到了對應的特征也難以實現匹配。對應特征在聚焦清晰區域和離焦模糊區域的描述子差異較大，也會造成特征誤匹配，如圖3（d）中的第2 組圖像所示。

對比圖3（a）～圖3（d）和圖3（e）可知，在具有相同特征數量的條件下，本文方法匹配的特征數量明顯高于SIFT，SURF，ORB 和基于DAISY描述子的SIFT 算法。本文方法特征匹配點數量多主要是因為在離焦模糊區域特征提取數量多，具有良好的特征提取效果，并且其匹配的特征未出現如圖3（d）中第2 組圖像的誤匹配，說明本文方法在離焦模糊區域具有良好的特征提取性能。

為驗證上述觀察結果的準確性，統計了上述實驗中本文方法與4 種對比方法的特征匹配數量，結果如表1 所示。由于實驗圖像為已配準的多聚焦圖像，用匹配特征的平均歐式距離表示特征提取誤差，計算結果如表2 所示。

表1 本文方法與4 種對比方法特征匹配數量對比Tab.1 Comparison of feature matching quantity between the proposed method and the four comparison methods（pair）

表2 本文方法與4 種對比方法的特征提取誤差對比Tab.2 Comparison of feature extraction errors between the proposed method and the four comparison methods （pixel）

由表1 可知，本文方法的特征匹配數量均高于其他4 種對比方法，并且提取的特征均正確完成匹配，說明本文方法在離焦模糊區域提取特征效果好，特征點提取不會受到圖像模糊的影響，在離焦模糊區域的特征提取能力優于其他4 種方法。由于本文方法在離焦模糊區域提取的特征來自于對應聚焦清晰區域提取的特征，因此離焦模糊區域特征提取效果主要取決于特征提取方法在聚焦清晰區域的提取效果，與特征類型和圖像內容有關，受離焦模糊影響較小。

由表2 可知，常規方法的特征提取誤差比本文方法的特征提取誤差大。不考慮誤匹配出現的異常值，常規方法的誤差在0.21～1.71 pixels之間波動，誤差數值大，波動范圍廣，說明離焦模糊增加了圖像特征提取的不確定性。表2 顯示本文方法特征提取的誤差在0.03～0.39 pixels之間波動，其數值比常規方法的誤差小，波動范圍也小，說明本文方法能有效減少離焦模糊造成的不確定性，能實現圖像離焦模糊區域特征準確提取。

因此，本文方法在有效特征提取數量和精度上均優于4 種對比方法，能顯著改善多聚焦圖像離焦模糊區域的特征提取效果。

4.2 未配準圖像驗證實驗

為進一步驗證本文方法的有效性，對移動鏡頭方式拍攝的兩組典型的未配準多聚焦圖像進行特征提取和匹配實驗，圖4 為實驗圖像，實驗結果如圖5 所示，圖5（a）～圖5（e）為本文方法與4種對比方法在相同特征數量條件下的特征提取和匹配結果。在實驗圖像中，圖4 中第1 組圖像和第3 組圖像為近景拍攝的多聚焦圖像，離焦模糊區域與聚焦清晰區域的清晰度相差較小，圖4中第2 組圖像和第4 組圖像為較遠距離拍攝的多聚焦圖像，離焦模糊區域與聚焦清晰區域的清晰度相差較大。兩組多聚焦圖像設定的特征提取數量與配準實驗保持一致，均為300 個。與4.1節配準圖像驗證實驗一樣，常規方法采用暴力匹配和RANSAC（Random Sample Consensus）算法進行匹配。

圖4 實驗用未配準多聚焦圖像Fig.4 Unregistered multi-focus images for experiments

圖5 中的實驗結果與圖3 的實驗結果基本一致。由圖5（a）～圖5（d）可知，4 種對比方法提取的特征大部分位于聚焦清晰區域，少量分布于離焦模糊區域，甚至在圖4（c）左右兩圖的離焦模糊區域幾乎提取不到任何特征，這說明4種對比方法在圖像聚焦清晰區域的特征提取能力強，在離焦模糊區域的特征提取能力弱，離焦模糊區域少量的特征不足以和對應的聚焦清晰區域大量特征進行匹配，再加上離焦模糊對特征描述子的影響，使得同一特征在聚焦清晰區域和離焦模糊區域的描述子差異較大，導致大部分特征被浪費掉，最終匹配的特征數量遠小于提取的特征數量。與之相反，圖5（e）中本文方法提取的特征不受離焦模糊影響，在圖像聚焦清晰區域和離焦模糊區域均能表現出良好的特征提取能力，特征提取后即實現了特征匹配，因此匹配的特征數量明顯高于常規方法匹配的特征數量。

本節采用未配準的多聚焦圖像進行實驗，不能利用4.1 節配準圖像用的歐式距離評價特征提取的準確性，考慮到在多聚焦圖像中，場景每處位置對應的聚焦清晰區域和離焦模糊區域分布在不同的圖像中，特征匹配建立了聚焦清晰區域與離焦模糊區域的特征對應關系，在沒有出現誤匹配的前提下，特征匹配數量多說明在離焦模糊區域提取的特征數量多，并能與對應的聚焦清晰區域中的特征實現匹配，說明所使用的特征提取方法在離焦模糊區域具有良好的特征提取能力和特征提取準確性，因此特征匹配數量能夠綜合反映特征提取方法在離焦模糊區域中的特征提取效果。由于圖5 中的特征匹配結果未出現誤匹配現象，采用特征匹配數量對特征提取方法進行評價，結果如表3 所示。由表3 可知，本文方法在多聚焦圖像中的特征匹配數量明顯高于4 種對比方法，說明本文方法在離焦模糊區域具有良好的特征提取能力和特征提取準確性，驗證了本文方法的有效性。

表3 本文方法與對比方法匹配特征數量對比Tab.3 Comparison of number of matching features between proposed method and comparison methods（pair）

5 結論

離焦模糊會使特征提取存在不確定性，即在圖像離焦模糊區域直接提取的特征坐標，并不一定是物點的實際成像位置，利用這些特征進行圖像匹配，容易造成較大的匹配誤差。

本文提出了一種多聚焦圖像離焦模糊區域的SIFT 特征提取方法，該方法首先提取多聚焦圖像聚焦清晰區域的SIFT 特征，再利用光流跟蹤提取對應離焦模糊區域的SIFT 特征，避免了在離焦模糊區域上直接提取SIFT 特征的不確定性，其有效特征提取數量和提取精度優于常規方法，顯著改善了多聚焦圖像離焦模糊區域的特征提取效果。

本文提出的方法能顯著改善離焦模糊對SIFT 特征提取的影響，但其特征分布受到圖像內容的影響，SIFT 特征容易集中在圖像的某一區域內，下一步將研究特征分布均勻、不易受圖像內容影響的SIFT 特征提取方法。