基于淺層特征的印刷品分揀識別系統①

謝成亮,王鴻亮,何薇薇,趙 杰,王 帥

1(中國科學院 沈陽計算技術研究所,沈陽 110168)

2(中國科學院大學 計算機與控制學院,北京 101408)

3(陸軍炮兵防空兵學院 士官學校,沈陽 110161)

4(山東省科學院 情報研究所,濟南 250014)

隨著計算機視覺技術的飛速發展,工業領域對具有識別功能的視覺識別系統的需求不斷增加.圖像檢索技術作為視覺識別系統的核心技術,近年來成為了人們研究的熱點.

在印刷品分揀的過程中,傳統的方法是工人根據印刷品的內容進行分揀,但這樣會消耗大量的人力資源;而需要識別的印刷品80%左右是相同的,即僅需根據印刷品20%左右的內容對印刷品進行分揀,可以采用圖像檢索技術實現印刷品的分揀.為了減少人力成本的投入,同時提高印刷品分揀的效率,需要實現一種用于印刷品自動分揀的視覺識別系統.

基于內容的圖像檢索方法所需提取的特征主要包括兩種: 深層特征和淺層特征.深層特征主要是通過神經網絡和全鏈接層提取,對于一類物體具有廣泛的代表性,但是對設備的要求高.淺層特征是基于領域知識通過固定的算法提取特征[1],適用于對精準特定目標的識別,硬件上相對容易實現.對于圖像相似度判斷,可采用PSNR峰值信噪比方法[2],一種全參考的圖像質量評價指標,其感知結果會受到許多因素的影響而產生變化;直方圖方法[3],將圖像轉換成直方圖進行比較,會受到亮度光照條件的影響;SIFT方法,提取圖像的局部特征,其對旋轉,尺度縮放,亮度變化保持不變性,對視角變化,仿射變化,噪聲也保持一定的穩定性.

考慮到系統對識別穩定性的要求和成本問題,針對淺層特征,采用基于SIFT算法的識別技術,設計和實現了應用于印刷品分揀的視覺識別系統.下面,將會從系統架構,關鍵算法和功能實現等方面進行介紹.

1 系統架構

該系統主要由工業攝像頭,工控主機,顯示設備和執行設備組成.系統架構框圖如圖1所示.工業攝像頭主要用來采集印刷品圖像,并傳入到工控主機中進行處理;工控主機是整個系統的處理核心,主要實現了兩個功能,樣本的檢測識別和在線學習.針對樣本檢測,工控主機對從攝像頭輸入的視頻,按幀提取圖像并做大小和灰度處理,然后提取圖像特征與存儲的樣本進行匹配,最后將識別結果和處理信息分別傳入到顯示設備和執行設備;針對在線學習,工控主機讀取輸入樣本和樣本描述信息,然后對樣本圖進行特征提取,最后存儲到系統的樣本數據庫中.顯示設備主要用來進行人機交互.執行設備就是根據工控主機傳出的信息對相應的印刷品進行操作.

2 淺層特征識別算法

針對印刷品識別過程中容易出現亮度變化,印刷品旋轉和尺度縮放等問題,本系統選擇了SIFT算法作為本系統的核心算法.SIFT算法由David Lowe在1999年提出,在2004年加以完善[4,5].下面,將介紹一下本系統的關鍵算法.

SIFT特征匹配主要包括兩部分: 第一部分是SIFT特征的提取和描述特征的特征向量的生成;第二部分是SIFT特征向量的匹配.

圖1 系統架構框圖

2.1 特征提取與描述生成

特征提取與描述特征向量的生成一般包括以下幾步:

1)構建尺度空間,檢測極值點,獲取尺度不變性.SIFT算法是在不同的尺度空間上查找關鍵點,而尺度空間的獲取需要使用高斯模糊來實現,Lindeberg[6]等人已證明高斯卷積核是實現尺度變換的唯一變換核,并且是唯一的線性核.尺度空間理論的基本思想是在圖像信息處理模型中引入一個被視為尺度的參數,通過連續變化尺度參數獲得多尺度下的尺度空間表示序列,對這些序列進行尺度空間主輪廓的提取,并以該主輪廓作為一種特征向量,實現邊緣,角點檢測和不同分辨率上的特征提取等.尺度空間可表示為:

其中,*表示卷積運算,

其中,m,n表示高斯模板的維度(由(6σ+1)×(6σ+1)確定),(x,y)代表圖像的像素位置.σ是尺度空間因子,值越小表示圖像被平滑的越少,相應的尺度也就越小.大尺度對應于圖像的概貌特征,小尺度對應于圖像的細節特征.尺度空間在實現時使用高斯金字塔表示,高斯金字塔的構建分兩部分: 首先,對圖像做不同尺度的高斯模糊;其次,對圖像做降采樣(隔點采樣).Lowe[4]使用高效的高斯差分算子代替拉普拉斯算子進行極值檢測,如下:

在實際計算時,使用高斯金字塔每組中相鄰上下兩層圖像相減得到高斯差分圖像.在空間極值點檢測(關鍵點的初步探查)中,關鍵點是由DOG空間的局部極值點組成的,關鍵點的初步探查是通過同一組內各DOG相鄰兩層圖像之間比較完成的.

2)特征點過濾并精確定位.通過擬合三位二次函數來精確確定關鍵點的位置和尺度,同時去除低對比度的關鍵點和不穩定的邊緣響應點,以增強匹配穩定性,提高抗噪能力.

3)為特征點分配方向值.為使描述符具有旋轉不變性,需要利用圖像的局部特征為每一個關鍵點分配一個基準方向.使用圖像梯度的方法求取局部結構的穩定方向.對于在DOG金字塔中檢測出的關鍵點,采集其所在高斯金字塔圖像3σ鄰域窗口內像素的梯度和方向分布特征.梯度的模值和方向如下:

其中,L為關鍵點所在的尺度空間值,梯度的模值m(x,y)按σ=1.5σ_oct的高斯分布加成,按尺度采樣的3 σ原則,鄰域窗口的半徑為3 ×1.5σ_oct.在完成關鍵點的梯度計算后,使用直方圖統計鄰域內像素的梯度和方向,方向直方圖的峰值則代表了該特征點處鄰域梯度的方向,以直方圖中最大值作為該關鍵點的主方向.為增強匹配的魯棒性,只保留峰值大于主方向峰值80%的方向作為該關鍵點的輔方向.因此,對于同一梯度值的多個峰值的關鍵點位置,在相同位置和尺度將會有多個關鍵點被創建但方向不同.僅有15%的關鍵點被賦予多個方向,但可以明顯提高關鍵點匹配的穩定性.

4)生成特征描述子,通過以上操作,對于每一個關鍵點,擁有三個信息: 位置,尺度以及方向.接下來就是為每個關鍵點建立一個描述符,用一組向量將這個關鍵點描述出來,使其不隨各種變化而變化,比如光照變化,視角變化等.這個描述子不但包括關鍵點,也包括關鍵點周圍對其貢獻的的像素點,并且描述符應該有較高的獨特性,以便于提高特征點正確匹配的概率[7-9].

2.2 特征匹配

當圖像的SIFT特征向量生成以后,就可以采用關鍵點特征向量的歐式距離來作為圖像中關鍵點的相似性判定度量.取一張圖像的某個關鍵點,通過遍歷找到另一種圖像中的距離最近的兩個關鍵點.在這兩個關鍵點中,如果最近距離除以次近距離小于某個閾值,則判定為一對匹配點.

為了進一步提高匹配精度,我們需要對特征匹配過程中產生的一些誤匹配進行消除.消除誤匹配主要采用隨機樣本一致性(RANSAC)方法.RANSAC可以從一組包含”局外點”的數據中,通過迭代的方式訓練最優的參數模型,不符合最優參數模型的被定義為”局外點”.消除誤匹配的原理是采用RANSAC算法尋找一個最佳單應矩陣H,矩陣大小是3 ×3.RANSAC的目的是找到最優參數矩陣使得滿足該矩陣的數據點個數最多,通常令h33=1來歸一化矩陣.RANSAC算法從匹配數據集中隨機抽出4個樣本并保證這4個樣本之間不共線,計算出單應性矩陣,然后利用這個模型測試所有數據,并計算滿足這個模型數據點的個數與投影誤差(即代價函數),若此模型為最優模型,則對應的代價函數最小.RANSAC消除誤匹配點可分為三部分: 根據matches將特征點對齊,將坐標轉換為float類型;使用求基礎矩陣的方法findFundamentalMat()得到RansacStatus;最后,根據RansacStatus來刪除誤匹配點,即對應RansacStatus的值為0的點[10-13].

3 檢測識別和在線學習

3.1 檢測識別

本系統主要實現了兩個功能,對攝像頭獲取的印刷品圖像進行檢測識別和在線增加系統識別種類的學習功能.實現檢測識別功能的兩個關鍵步驟是小型樣本圖像數據庫的建立和對輸入圖像進行實時檢測.

對輸入圖像的檢測,一般的方法是,在系統運行過程中,對輸入圖像和選取的樣本圖像進行特征提取,然后采用遍歷的方式,將輸入圖像和樣本依次進行相似度檢測,判斷輸入圖像屬于哪個樣本圖像代表的類型,最后依據檢測的結果輸出結論,如圖2(a)所示.但是,在系統實際運行時,如果系統同時對輸入圖像和樣本圖像進行特征提取,再進行相似度檢測,會產生非常大的運算量,對系統實時性產生很大的影響.為了提升系統執行的速度,我們可以做出優化的地方有兩點,第一是減少系統在特征提取時的運算量;第二是減少系統在進行相似度檢測時輸入圖像和樣本圖像比較的次數.針對第二點,樣本圖像是以集合的形式存儲,不存在順序性,所以在進行圖像相似度檢測時只能采用循環遍歷的形式.針對第一點,樣本圖像是事先提供的,具有相對的不變性.因此,可以提前對要進行檢測的圖像樣本提取特征,然后保存下來,如圖2(b)所示.當系統運行需要用到樣本特征進行相似度檢測時,在讀取到內存,同提取的輸入圖像的特征進行檢測.由于提前提取了樣本圖像的特征,在進行樣本和輸入圖像相似度檢測時,只需要提取輸入圖像的特征和已提取特征的樣本進行相似度比較,從而避免了對樣本特征的重復提取,大大減少了CPU的運算量,給系統的實時性帶來了很大的提升.

圖2 識別流程圖

為了存儲提前提取的樣本圖像的特征和描述信息,需要建立一個小型的樣本數據庫.由于針對的樣本類型有限,因此可以不用選擇使用已有的數據庫,只需自己實現一個具有存儲數據功能的小型數據庫即可.在創建小型數據庫中需要存儲的信息主要包括: 樣本圖像,樣本圖像特征,樣本圖像特征描述以及對樣本信息的描述.對于樣本信息對應問題的解決方法是,以文件名為紐帶將每個樣本的圖像,特征,特征描述以及樣本信息關聯起來.小型數據庫建立主要包括兩步,1)在系統中創建一個文件夾,命名為sampledb,作為本數據庫的根文件.然后在該文件下分別創建四個文件夾,用來存儲樣本的各個信息,并根據所存的信息為文件命名.2)根據提供的樣本圖像,分別對它們提取特征,特征描述并生成樣本的描述信息,存儲在相應的文件夾下.圖像特征和特征描述采用xml文件存儲,實現xml文件的讀和寫采用的是OpenCV提供的兩個方法:

FileStorage fs("name.xml",FileStorage::READ);

FileStorage fs("name.xml",FileStorage::WRITE);

樣本信息采用txt文件存儲.接著將這些信息統一命名,然后存儲在各自對應的文件夾下.當系統需要獲取相應的樣本圖像信息時,只要在系統中寫定相應的路徑,然后遍歷獲取對應文件名的文件,讀取該文件中的信息即可.最后,需要在根文件夾下創建一個txt文件,用于存儲數據庫中的樣本的總體信息,該信息主要用于實現本系統的在線學習功能.

在系統開始執行后,從數據庫中將每個樣本的特征信息都入到內存中.接著從攝像頭輸入的視頻中按照一定的時間間隔獲取視頻的幀,保存到Mat類型的變量中,對獲取的圖像進行大小和灰度處理,使輸入的圖像成為固定大小的灰度圖像,調用SIFT算法提取圖像特征并生成圖像特征描述.接著利用獲取的輸入圖像的特征及描述與讀入的樣本分別進行相似度檢測,判斷獲取的圖像與哪一類的樣本相匹配.相似度檢測的實現,在判斷兩種圖像是否匹配時,首先以輸入圖像的特征描述為基礎與樣本圖像的特征相匹配,接著進行消除誤匹配的操作,得到消除誤匹配后兩張圖像的特征點的個數,通過驗證當特征點匹配的個數大于樣本圖像的特征點的個數的40%時,便可以判斷兩種圖像是匹配的.針對特殊情況,當出現多個滿足上述驗證過程的樣本時,根據消除誤匹配后特征點依舊匹配的個數進行排序,選取個數最大的樣本匹配.如果依舊無法判斷,那么視這種情況為輸入圖像沒有匹配的樣本.現在,便完成了輸入圖像類型的判斷,然后從樣本數據庫中調出相應的樣本信息提交給系統即可.如此,便實現了系統進行檢測識別的功能.

3.2 在線學習

對于本系統實現的在線學習功能,首先要與機器學習中的學習做出區別.在機器學習中,學習的含義是從數據中學得模型的過程,這個過程通常執行某個學習算法來完成,學習過程就是為了找出或逼近關于數據的某種潛在的規律[14].在本系統中,學習的含義是可以向系統中添加新的樣本圖像,使得系統具備識別與輸入樣本圖像相匹配的圖像的功能.本系統實現的學習功能本質上是,設計出一個人機交互的界面,通過此界面操作者可以向系統的樣本數據庫中添加新的樣本,使得系統增加識別的類型.

系統學習功能的實現,是通過在系統主界面上添加一部分,在該部分上可以選擇需要加入的樣本圖像和添加對樣本信息的描述,操作人員可以通過該部分添加新的樣本和其信息的描述,確認后系統可以自動調用SIFT算法對樣本圖像進行特征提取,然后存儲到樣本數據庫中,文件命名的方式則是根據數據庫根文件夾下存放的樣本的整體信息文件確定,從而使樣本具有唯一性.如此,系統便實現了在線學習的功能.

4 實驗分析

4.1 系統搭建

本系統硬件包括: 工業攝像頭、工控主機和顯示設備,如圖3所示.在軟件方面,工控主機安裝的是windows系統.本系統采用的開發環境是vs2010+MFC+openCV,系統開發完成后直接發布到工控主機上.

圖3 實驗階段系統的硬件圖

4.2 性能測試

本系統主要關注的實驗數據有兩部分: 系統在檢測識別的時間效率和準確率.系統的時間消耗主要體現在輸入圖像的特征提取及描述生成的時間消耗,以及輸入圖像與樣本匹配的時間消耗.通過對上述兩點的改進和優化,本系統基本滿足印刷品識別中對系統實時性的要求,具體的實驗數據如表1所示.針對檢測識別的準確率,我們通過比較各種圖像相似度比較方法,最終選擇了效果很好的SIFT算法,同時在識別的過程中加入了消除誤匹配方法.通過大量實驗對圖像匹配標準的調整,本系統對環境光照變化、輸入圖像的旋轉變化的魯棒性基本滿足實驗對環境和輸入的要求,圖4是系統識別方法在輸入圖像正常、發生旋轉和光照變化情況下的匹配效果.

對于系統在檢測識別的準確率驗證,選取10個樣本,在相同的光照條件、不同的旋轉角度下,對多種不同類型的印刷品進行識別驗證.通過大量實驗,得出系統在檢測識別的準確率達到98%,滿足印刷品識別中對準確率的要求.

表1 系統單張輸入圖像檢測識別消耗時間

4.3 原型系統實現

通過研究與開發,最終實現了本系統.系統基于MFC的開發基本上滿足了與操作人員交互的功能.操作人員可以通過顯示設備操作整個系統、檢測系統的運行情況以及可以向系統的樣本數據庫中添加或刪除所要識別的樣本類型.系統的效果圖如圖5所示.

圖5 系統成果展示

5 總結

為解決印刷品自動分揀的識別問題,本系統采用SIFT算法,提出并實現了基于XML格式淺層特征保存的在線學習和基于線性表檢索的圖像檢測方法.使用OpenCV庫、MFC框架,在VS2010平臺上設計并實現了對印刷品檢測識別和在線學習功能.通過發布在工控主機上進行實驗驗證,系統實現了對印刷品的實時檢測,并取得了很好的效果.本系統的實現將會在很大程度上節約人力,提高印刷品分揀的效率.