基于BAG—OF—FEATURES算法的三維表面紋理光照方向估計

董軍宇　楊占賓

【摘要】本文設計出基于Bag-of-features算法針對紋理陰影特征進行分類訓練，然后通過基于Haar特征的Active Basis模型對測試紋理與已知光照方向的訓練集紋理進行匹配，從而確定測試紋理光照方向tilt角度（光源向量在平面坐標系x-y平面上的投影與x軸的正向夾角）的判斷方法。

【關鍵字】三維表面紋理，光照方向，Bag-of-featu res，SIFT，Active Basis

【中圖分類號】TP391.41 【文獻標識碼】A 【文章編號】1672-5158（201 3）04-0421-01

一、引言

三維表面紋理表面結構通常蘊含更為豐富的物體表面信息，凹凸不平的紋理表面使得物體對光照反映出迥然不同的反射特性，不同的光照條件乃至光照方向的改變都使得物體表面呈現出多種不同的形態。在計算機視覺和感知領域中，三維表面紋理的這種特性也使得對三維表面紋理所處光照條件以及光照方向的估計判斷具有重要的實際意義。

二、Bag-of-features模型

Bag-of-features算法的思想和步驟可以簡要描述如下：（1）檢測圖像中包含的圖像塊并生成指定的描述算子。檢測圖像塊的方法有很多，一般可以分為隨機采樣法，密集采樣法和基于特征點的塊提取方法。基于特征點的圖提取算法常用的有DoG（Difference nfGanssian）、LoG（Laplacian of Ganssian）、Harris-Laplace等。常用的特征描述算子有sIFr，GLOH等，本文將采用SIFT作為特征描述符；（2）在描述子空間內進行聚類，以聚類質心的集合形成每幅圖像所對應的碼書；（3）對每一幅圖像，建立特征點的頻度向量直方圖，對該向量根據需要進行歸一化或加權操作。

我們采用K-means聚類方法對圖像中每個被SIFT特征描述符所表示的圖像塊組成的集合進行聚類以后，提取每個類聚的中心作為碼字，這些碼字的集合就可以被稱為一幅圖像所對應的碼書。為了分類方便，我們通常需要將所得的碼書進行格式轉換（例如，將碼書轉換為頻率直方圖或者加權頻率直方圖）；并且為了適應分類器使得分類結果更加穩定還要做進一步的歸一化操作。碼書本身的大小對于圖像描述的穩定性也有一定的影響。如果碼書向量維度過大，也就意味這聚類中心比較多，對圖像的描述更加細致，從而導致碼書計算的復雜度相對較高且更容易受到圖像本身質量（比如噪聲）的影響；如果碼書向量維度過小，則容易漏掉圖像所含的信息，不足以完整描述圖像特征。所以碼書的計算方法以及大小的選擇應該同時考慮到算法效率以及圖像本身的情況。

可應用于Bag-of-features算法的分類方法大致可分為以下兩類：一種是生成模型，包括樸素貝葉斯分類其（NaYve Bayes）、分級貝葉斯模型（Hierarchical Bayesian），分級貝葉斯模型又包括PLSA（Probabilisticlatent semantic analysis，基于概率的潛在語義分析）和LDA（LinearDiscfiminant Analysis，線性判別分析）等；另一種是判決模型，一般包括SVM（Support Vector Machine，支持向量機），AdaBoost以及最近鄰法（Nearest neighbor）等。在實驗過程中，我們采用SVM作為Bag-of-features算法的分類器。

三、基于Haar特征的Active Basi s模型簡介

原始的Active Basis雖然能夠很好的提取物體邊緣特征，但是由于Gabor濾波器設計本身的計算復雜度就比較高，所有算法的整體時間效率因此降低。Junyu Dong et al.在此建模方法的基礎上進一步做了改進以適用于紋理圖像的邊緣特征提取，他們采用計算效率較高且實現簡單的Haar特征作為邊緣提取特征代替Gabor濾波。為了方便計算Haar特征矩形的特征值，Junyu Dong et al.還提出了使用多角度積分圖索引的方法提高計算速度，并且優化其特征邊緣，提出一種新的Haar特征變形一

Active Haar。

模型的訓練過程包含以下三個步驟：

（一）對于每一幅紋理圖像，從圖像左上角開始濾波，分別計算每個base的Haar響應；

（二）從濾波結果中中提取Haar響應值最大的，作為第一個備選base，計算從左上角重新開始，繼續濾波（由于Active base允許沿法向量方向變換其位置，并可自由旋轉一定角度，因此，當第一個base被選中后，與相關的active base將被重置，以避免在后續的建模過程中重復選中）；

（三）重復步驟（2），直到算法選擇了算法指定數量的base，結束。

四、實驗過程及結果

我們首先通過Bag-of-features算法構建數據庫中可以唯一描述紋理特性的碼書和圖像塊頻率直方圖；然后依據此直方圖向量集通過SVM分類算法對已知光照方向的訓練集紋理進行分類，同時對測試集紋理預測其在訓練集中所屬分類；匹配成功的紋理將通過基于Haar特征的Active Basis進行紋理光照信息提取，構造測試紋理和與其對應的訓練集同類紋理的base直方圖；最后通過base直方圖匹配確定測試紋理圖像的光照方向。

本實驗所涉及的紋理數據均來自Photex數據庫。根據我們所獲得的實驗結果顯示，本方法在測試紋理所屬分類在訓練集中一定存在時能夠獲得很好的結果，總的光照方向估計準確率達到87.4%。在實驗二中，我們取15組紋理中的同一幅紋理在不同光照下產生的一組紋理作為測試集，其他14組紋理作為訓練集。在與實驗一相同的實驗條件下，計算其光照方向估計的準確率達到70.25%。

五、總結與展望

本文提出的方法不僅有效提高了三維表面紋理光照方向判斷的準確率，而且針對判斷失誤的情形，尤其是當測試紋理所屬分類不在訓練集中出現時，仍然可以得到較高的估計準確率，為日后針對此問題的研究提供判斷依據和研究資料。同時，實驗證明采用SIFT特征作為圖像塊描述符的Bag-of-features算法能夠有效描述三維表面紋理所包含的邊緣信息以及較粗糙紋理的大塊陰影信息。從而與基于Haar特征的Active Basis相結合提高判斷準確度。

雖然本文所使用的方法，通過精確訓練帶光照訓練集紋理，達到較高的光照估計準確度，但是仍然依靠于具有豐富分類信息的訓練集。在保證訓練集紋理種類健全的基礎上能夠得到更高的估計精度。除此之外，良好的訓練算法和紋理特征能夠有效提高其運算速度和估計準確率。因此未來應加大對三維表面紋理光照方向相關的內在特征的研究，推導出更好的更高效的訓練分類方法。最好的方法是不依靠訓練即可推導出其光照方向角度。而對于估計失敗的紋理特例分析也將為未來的研究提供重要的實踐支持。