基于IA- FAIF 的紋樣提取與匹配方法研究

馬曉敏 馮子金 楊 燁 尚慧慧 董 免

(西安工程大學電子信息學院,陜西 西安710048)

清代龍袍是皇家織繡技藝和服飾藝術水平的最高體現,受到中國紡織史、服飾史學術界和文物界的高度關注。清代龍袍的形制在入關前就已經固定下來,但是根據等級和場合的差異,紋樣卻富于變化,而且龍袍紋樣類型和風格演變具有鮮明的時代特征。因此,龍袍紋樣的識別對探索、研究清代龍袍產生的時代背景、制作方法以及斷代分析十分重要。

傳世的清代龍袍實物較多,通過人工方式識別龍袍紋樣的效率很低。因此,圖像處理技術被廣泛應用于紋樣識別過程中,紋樣識別的關鍵是尋找圖像中的有效特征,特征提取與匹配的準確率與快速性直接影響識別的效果。近些年,國內外學者提出了諸多特征提取與匹配的方法,例如:2015 年,丁笑君等采用SIFT(Scale Invariant Feature Transformation)算法獲取畬族服裝紋樣關鍵點,得到不同類別服裝的關鍵點設計區域與排列順序[1]；2017 年,曹霞等通過SURF(Speed Up Robust Features)算法對服飾花邊紋理進行匹配[2]；2018 年,路凱等將提取的SIFT 關鍵點特征轉換為視覺單詞,實現不同類別纖維的鑒別[3]；但是,SIFT 算法和SURF 算法在復雜紋樣的特征提取與匹配過程中耗時較大。2019 年,韓敏等采用AKAZE(Accelerated-KAZE)算法提取特征點,通過二進制描述子FREAK(Fast retina keypoint)進行特征描述,實現了圖像在光照、尺度及旋轉變化下精確匹配,并且特征描述過程的耗時較SIFT 算法和SURF 算法有明顯縮短[4]。

清代龍袍紋樣構圖復雜、元素形態多樣并且伴隨著大量的重復和疊加；加之拍攝角度和距離不同,導致圖像紋樣存較大的視角差異。上述特征提取與匹配算法雖然對尺度、旋轉和光照變化有一定的魯棒性,但是難以解決大視角變化下的復雜紋樣提取與匹配。針對這一問題,國內外學者們也進行了相關研究,典型成果有:2015 年,Zhao 等采用仿射不變多尺度自卷積變換提取仿射不變特征,并利用主成分分析法對特征描述子進行降維[5]。2020 年,Moyou 等將特征點投影到格拉斯曼流行中以實現特征點不同子空間劃分,通過拉普拉斯- 貝爾特拉米算子計算特征點的仿射不變坐標,從而實現大視角變化下的特征提取與匹配[6]。上述方法提取的仿射不變特征對視角變化具有很好的魯棒性,但算法復雜度較高、實時性較差。因此,在大視角變化下,快速且準確地清代龍袍紋樣提取與匹配仍是一個研究熱點和難點。本文提出了基于改進AKAZE-FREAK 仿射不變特征(Improved AKAZE-FREAK Affine Invariant Freature, IA-FAIF)的清代龍袍紋樣提取與匹配方法,本方法對大視角變化下的紋樣提取具有準確率高和快速性好的優點。

1 紋樣特征提取與匹配原理框圖

本文提出的基于IA-FAIF 的清代龍袍紋樣提取與匹配整體分為四個步驟,如圖1 所示:

圖1 紋樣提取與匹配實現過程框架

分別是視角變化的模擬、AKAZE 特征檢測、FREAK 特征描述、匹配。圖1 中,首先以一組RGB 圖像作為輸入,經過視角變化模擬得到一系列仿射不變圖像；然后經過AKAZE 特征檢測、FREAK 特征描述、漢明初始匹配和精確匹配得到對應點的匹配結果(圖中直線表示匹配點的連線)。接下來,對本文方法的原理進行詳細說明。

2 視角變化的模擬

在拍攝龍袍紋樣圖像時,不同的角度和距離會引起圖像的視角變化,這種視角變化可以通過仿射變換來進行模擬。將圖像u 中的某一特征點坐標記為(x,y),視角變化后的坐標記為(ax+by+e,cx+dy+f)。則這一坐標變化過程對應的仿射變換模型可描述為:

式中,(x1,y1)為視角變換后的坐標,仿射變換矩陣A=[a b；c d]是一個正定矩陣,矩陣T=[e；f]是平移矩陣。可將仿射變換矩陣A 進一步分解為:

式中,參數t 為相機光軸相對于被拍攝對象平面的傾斜程度,且能描述實際拍攝位置。θ 為被拍攝對象平面的法線與相機光軸之間的夾角(即緯度角),φ 為被拍攝對象平面與相機光軸映射平面之間的夾角(即經度角,φ∈[0,180°)),λ 為相機的變焦倍數,ψ 為相機繞光軸旋轉的角度。可以看出,經度角φ 和緯度角θ 是模擬視角變化的兩個關鍵參數。在此,通過對參數t 的采樣得到對應的經度角φ 和緯度角θ,具體策略如下:

2.2 經度角φ 通過一組采樣數據0,b/t,… ,kb/t(kb/t＜180°)獲得,一個參數t 對應多個經度角φ。為了保證采樣精度和復雜度之間的平衡,選取b=72°。

根據該策略可得到一系列的(φ,θ),將該值代入仿射變換模型(2)中可得到對應于輸入圖像的視角變化模擬圖像。

3 AKAZE 特征檢測

在模擬后的圖像中進行AKAZE 算法下的特征檢測,AKAZE 算法采用各向異性的非線性濾波來構造尺度空間,該算法顧及到圖像局部紋理結構與細節的清晰度,通過不同程度的平滑來保留更多的邊緣和細節特征,提高特征定位精度；利用加速顯式擴散求解非線性擴散濾波解,進而提升計算速度,提高算法的實時性。該算法的實現可劃分為:(1)構建非線性尺度空間；(2)特征點定位,具體描述如下:

3.1 構建非線性尺度空間

非線性濾波原理可通過如下非線性偏微分方程來描述:

式中,L 為圖像亮度矩陣,▽為梯度算子,div 為散度函數,(x,y)為圖像坐標,c(x,y,t)是擴散傳導函數。當c(x,y,t)的值為1 時,非線性尺度空間就轉換為線性尺度空間；當c(x,y,t)為梯度的函數時,表示各向異性擴散。傳導函數的表達式如下:

式中,▽Lσ是原圖像L 經過高斯平滑濾波(濾波尺度參數為σ)后的梯度圖像。g 可以根據不同的處理需求進行定義。假如把圖像亮度在不同尺度上的變化過程看作能量在不同時間上的擴散, 那么濾波尺度參數σ 就是流動時間t。流動時間越長,能量消耗越多、剩余越少；類似的, 濾波尺度參數σ 的值越大, 圖像的表示形式就越簡單。基于這一原理,非線性尺度空間的構建過程如下:

(1)對每一幅模擬后的圖像重復降采樣,生成O 組圖像；

(2)對每組圖像根據不同的濾波參數生成S 層尺度圖像。假設O 和S 分別由參數o 和s 標識,則o 和s 與濾波尺度參數的映射關系如下:

式中,σ0為尺度初始值、M=O×S 為整個尺度空間的濾波圖像數量。由于非線性擴散濾波模型作用在時間序列上,因此需要將像素為單位的濾波尺度參數σi轉換至時間為單位的尺度參數ti:

式中,I 為單位矩陣；A(Li)為圖像L 在維度i 上的傳導矩陣。

由上述一系列非線性尺度空間的濾波圖像構成金字塔狀的非線性尺度空間。

3.2 特征點定位

在構建的尺度空間中,將每一個像素點和當前層及相鄰兩層周圍共26 個像素點進行比較,計算不同尺度歸一化后的Hessian 值,若為極大值則為特征點。Hessian 值的計算如下:

式中,σ 為尺度參數σi的整數值,Lxx、Lyy分別是輸入圖像進行濾波后的二階微分,Lxy是二階交叉微分。在檢測到特征點后,采用二階泰勒展開精確定位特征點的位置,如下:

式中,x 為特征點的位置坐標,特征點的亞像素級精確坐標為x:

4 FREAK 特征描述與匹配

FREAK 算法采用類似視網膜細胞分布的圓形網格采樣模式,通過采樣點對的強度比較構建二進制描述子。這種圓形網格采樣模式具有采樣點少和分布固定的優點,因此該描述子構建過程的快速性具有明顯優勢。FREAK 算法的實現可劃分為:(1)采樣模式的構建；(2)特征點主方向的確定；(3)FREAK 描述子的構建,具體描述如下:

4.1 采樣模式的構建

以檢測到的AKAZE 特征點為中心建立圓形網格采樣模式,圓形區域類似于視網膜結構中的感受域,不同感受域的重疊部分可以提供更充分的信息,從而使FREAK 描述子具有更強的獨特性。采樣點均勻分布在以特征點為圓心的同心圓上,由于該采樣模式共有七層同心圓,因此共有6×7+1 個采樣點,而且越靠近中心位置采樣點的密度越高。

4.2 特征點主方向的確定

為了降低噪聲的影響,對采樣模式中的像素點進行高斯模糊處理,高斯函數的標準差取值為圓圈的半徑,然后由對稱分布的采樣點計算局部梯度累加和,從而獲得特征點的主方向。具體實現如下:

假設G 是對稱分布的采樣點對集合,則局部梯度O 的可由式(1)計算得到:

式中,M為采樣點對的數量,Prio(i=1,2)為采樣點的位置坐標,I(PriO)為采樣點的灰度值,||Rr1O-Rr2O||為采樣點之間的距離。那么,特征點的主方向θ 可由式(12)計算得到:

4.3 FREAK 描述子的構建

首先,將采樣區域旋轉至特征點主方向,以保證FREAK 描述子的旋轉不變性；然后,通過采樣點對的灰度比較構建描述子F,構建公式如下:

式中,Pa為一對添加了方向信息的采樣點,N 為FREAK 描述子的維度,T(Pa)為構建二進制描述子的準則:

式中,I(Pr1a)為Pa中第一個采樣點經過高斯平滑后的灰度值。FREAK 采樣點雖然只有43 個,但采樣點對的數量可能達到幾千個；而且,對于圖像匹配而言,細節信息對匹配效果的影響較小。因此,只用保留差異性最大的維度。通過貪婪法對冗余信息進行剔除,最終得到512 維的FREAK 描述子。

4.4 匹配

由于FREAK 描述子是由二進制字符串組成,因此在初始匹配階段采用漢明距離度量描述子之間的相似性。對于等長的字符串,漢明距離定義為將一個字符串變為另一個字符串需要替換的字符個數,因此計算過程簡單且能夠顯著提升算法的匹配效率。為了進一步提高匹配的準確率,在精確匹配階段采用隨機抽樣一致性算法,剔除誤匹配。

5 實驗研究

利用大量清代龍袍圖像的實驗結果表明,該方法能兼顧特征檢測與匹配環節的快速性、同時具有強抗視角變化能力,實現視角變化高達85 度時正確匹配率不低于90%,特征檢測平均耗時為0.315ms,特征描述平均耗時為0.207ms,特征匹配平均耗時為0.189ms。圖2 是清代龍袍紋樣圖像存在模糊、光照變化且視角變化高達85 度時,本文基于IA-FAIF 算法的紋樣提取與匹配結果。

圖2 紋樣提取與匹配結果

6 結論

龍袍紋樣的識別對探索、研究清代龍袍產生的時代背景、制作方法以及斷代分析十分重要。然而,龍袍紋樣構圖復雜、元素形態多樣并且伴隨著大量的重復和疊加；加之拍攝角度和距離不同,往往導致圖像紋樣存較大的視角差異。因此,本文在各種復雜因素綜合影響下,通過建立視角變化模擬、仿射不變特征檢測與特征描述,對龍袍紋樣實現了快速、準確地提取與匹配,對紋樣識別具有重要意義,在下一步的研究中將對視角變化的模擬次數進行自適應調節以達到更好的實時性。