一種基于卷積神經網絡的紙幣臟污識別方法

孫偉忠，馬 躍，尹震宇，谷 艾，徐福龍

1(中國科學院大學，北京 100049) 2(遼寧科技大學 計算機與軟件工程學院，遼寧 鞍山 114051) 3(中國科學院 沈陽計算技術研究所，沈陽 110168)

1 概 述

隨著我國國民經濟的突飛猛進，紙幣作為商品流通的一種媒介流通量與日俱增.缺損與臟污紙幣的比例也隨著流通時間的增長變得越來越大，這使人民生活的便利以及商品交易都會受到不同程度的影響.因此，當紙幣達到一定程度的污損時，銀行往往會對其進行回收并且集中銷毀.銀行等金融機構往往采用紙幣清分機等金融設備通過圖像處理、模式識別等技術對紙幣進行面值、真偽、冠字號碼等識別[1].

國內外學者也針對紙幣特征的識別進行了一定程度的研究.張玉欣等人[2]提出一種基于D-S證據理論和支持向量機相結合的多特征融合紙幣真偽識別方法,解決了單一特征紙幣真偽識別存在的低正確率和低穩定性問題.張航[3]利用卷積神經網絡針對紙幣序列號學習進行了研究.Khashman等人[4]基于神經網絡研究開發出了識別紙幣發行國家的系統.基于使用單個或多個傳感器獲取紙幣圖像的方法，這些方法可以分為兩類：使用整個鈔票圖像的方法和在鈔票圖像上使用特定感興趣區域(ROI)的方法，用于鈔票適合度的分類.在Sun和Li[14]提出的方法中，他們認為不同等級的新舊紙幣具有不同的灰色直方圖.因此，他們使用紙幣圖像直方圖的特征作為特征，使用直方圖對齊的動態時間扭曲(DTW)，以及用于對紙幣新舊進行分類的支持向量機(SVM).

然而，無論是國內還是國外，卻鮮有學者進行紙幣臟污識別的研究[5]，具體原因如下：

首先，紙幣的臟污是一個相對主觀的概念，不同的人對臟污程度的理解不同，而紙幣的臟污特征也是一個相對復雜的指標，金融行業內缺少共同認可的評價標準.

其次，金融設備對紙幣的清點速度相對較快，因此對數據的采集速度、機器運算的速度以及圖像識別算法都有很高的要求.

最后，想要統一紙幣識別結果的穩定性和一致性，以及要符合人眼的視覺規律及人類的主觀認同是非常困難的事情.如何合理的解決上述問題，成為了相關人員研究的重點.

紙幣的臟污特征，可以通過光學特征、硬度、重量、粗糙度等方面表現出來.在上述特征中，光學特征能夠最直觀的反應出紙幣的臟污特征[6]，因此，紙幣清分機等金融設備通常使用光學圖像傳感器采集紙幣的光學特性來完成紙幣的識別.荷蘭央行在紙幣的臟污識別方面進行了大量的研究[7，8].他們的研究表明紙幣的臟污主要來源于人的手指接觸后的污漬殘留，這種污漬主要體現為黃色或褐色，在深藍色或靛藍色光譜下不同臟污等級的紙幣區別最大.Kwon[9]使用了可見光反射圖像和紅外光透射圖像進行了紙幣臟污識別，他認為可見光反射圖像和紅外光透射圖像對于紙幣的臟污分類有很大的影響.

綜上，本文使用接觸式線性傳感器(CIS)[15]采集紙幣在紅光、綠光、藍光、紅外光下的雙面反射圖像，同時也采集了紙幣在綠光透射和紅外光透射下的紙幣圖像.

2 關鍵技術

2.1 整體設計

整體設計方案的流程圖如圖1所示，紙幣被投入后，它的圖像被捕獲并且進行預處理.通過CIS采集紙幣在紅光、綠光、藍光、紅外光下的雙面反射圖像，同時也采集了紙幣在綠光透射和紅外光透射下的紙幣圖像.采集到的圖像從背景中分割并且調整大小以實現相同尺寸的像素，因為輸入到CNN的圖像尺寸應該是一樣大小.將紙幣的尺寸標準化圖像送入到與訓練的CNN中，最后輸出缺失曲線.

圖1 基于卷積神經網絡的紙幣臟污識別處理方法

2.2 紙幣圖像的預處理

圖2為本文采集到的紙幣在每種光源下的紙幣圖像:(a)紅光反射正面圖像；(b)紅光反射反面圖像；(c)綠光反射正面圖像；(d)綠光反射反面圖像；(e)藍光反射正面圖像；(f)藍光反射反面圖像；(g)紅外光反射正面圖像；(h)紅外光反射反面圖像；(i)綠光透射圖像；(j)紅外光透射圖像.其中，每幅圖像的分辨率為768×448像素.在采集圖像之前需要準備紙幣，并且通過人工方式對紙幣進行分類.本文把紙幣分為五類，分別是：很新、干凈、正常、較臟、臟污嚴重，然后通過CIS圖像傳感器分別對這五類紙幣進行圖像采集，形成每張紙幣的圖像樣本作為我們后續研究的基礎數據.

圖2 不同光照下的十幅紙幣圖像

通過CIS獲得每張紙幣在不同光照條件下的10幅原始圖像，如圖2所示.原始圖像采集完成后，如何提取紙幣的數據是一個關鍵問題.首先，需要把原始圖像中的紙幣圖像與背景分離.提取紙幣圖像通?？梢允褂肏uogh直線檢測算法[10]或角點檢測算法[11].本文采用的方法是先從上向下等間隔的通過直線掃描的方式對圖像進行檢測.當檢測到圖像梯度發生較大變化時，記錄該點的位置.從上向下掃描結束后，會得到所有上邊界檢測點的位置.為了避免紙幣邊緣存在缺失會對紙幣的輪廓提取產生影響，需要去除掉差異較大的像素點，同時還需要去除掉未檢測到紙幣邊界的點.最后對剩余的點進行最小二乘法直線擬合，這樣就會得到紙幣圖像的上邊緣直線方程.使用相同的方法，我們也可以得到紙幣圖像的下邊緣直線方程.把上下邊緣的兩條直線方程相加，就會得到經過紙幣中心點并且平行于紙幣上下邊緣的直線方程.再等間隔的取平行于這條直線的一些直線，分別對圖像的左右方向進行檢測，就會得到左右直線的檢測點.同樣經過濾波和最小二乘法直線擬合就會得到紙幣圖像的左右直線方程.把左右邊緣的兩條直線方程相加，就會得到經過紙幣中心并且平行于紙幣左右邊緣的直線方程.

表1 我們采用的CNN結構(單位：像素)

Table 1 Structure of CNN used in our proposed method(unit:pixel)

圖層類型內核大小過濾器數量特征圖大小輸入層圖片56×32×6卷積層C1卷積層5×5×63252×28×32Sigmoid層均值池化2×2×32126×14×32C2卷積層3×3×324824×12×48Sigmoid層均值池化2×2×48112×6×48C3卷積層3×3×484810×4×48Sigmoid層均值池化2×2×4815×2×48全連接層F1全連接層256Sigmoid層F2全連接層256Sigmoid層F3全連接層5Softmax層

2.3 基于卷積神經網絡的紙幣臟污識別

圖3為我們采用的卷積神經網絡結構.其中，輸入層是上面提到綠光反射正面圖像、綠光反射反面圖像、藍光反射正面圖像、藍光反射反面圖像、綠光透射圖像和紅外光透射圖像這6幅圖像.輸入層之后采用的是一個具有三層結構的卷積層，分別是C1、C2和C3.每個結構包括一個卷積層、一個激活函數和一個池化層.

圖3 本文采用的卷積神經網絡架構

在訓練模型時，在卷積層和全連接層選用Sigmod激活函數和Relu激活函數進行對比.從缺失曲線能夠看出Sigmod激活函數在訓練達到一定量時，確實存在飽和現象并導致收斂速度慢.當改用Relu激活函數訓練網絡時，發現模型不能收斂，懷疑是神經元都死掉了.在訓練模式時并沒有使用改進得Relu激活函數，因此最終選擇Sigmod作為卷積層和全連接層的激活函數.卷積層的激活函數我們采用的是經典的Sigmoid函數，公式(1)是Sigmoid函數的表達式.池化層我們采用的是均值池化，它的作用是去掉圖像中不用的特征從而達到降維的目的.卷積層之后使用的是一個具有三層結構的全連接層，分別是F1、F2和F3.每個結構包括一個全連接層和一個激活函數.其中F1和F2使用的激活函數還是Sigmoid函數，而F3使用的激活函數是指數歸一化函數Softmax，公式(2)是softmax函數的表達式，它的作用是增強網絡輸出的最大值，抑制網絡輸出較小的值.表一是我們采用的卷積神經網絡結構的詳細信息.

(1)

(2)

3 實驗結果

以紅光反射圖像為例，圖4是使用本文的方法對紙幣的邊緣檢測示意圖和檢測到的結果示意圖,其中：(a)正面檢測方法示意圖；(b)反面檢測方法示意圖；(c)正面檢測結果示意圖；(d)反面檢測結果示意圖.

圖4 紙幣邊緣檢測圖像

檢測到紙幣圖像的邊緣后，要對紙幣進行旋轉和歸一化處理.我們采用旋轉矩陣的方法[12]對圖像進行旋轉.為了避免紙幣邊緣對紙幣臟污識別結果的影響，去除旋轉后紙幣圖像的四個邊緣部分.然后用線性歸一化的方法對圖像進行歸一化[13]，把圖像歸一化到每副圖像的分辨率為56×32像素.圖5是對圖一所示的圖像經過邊緣檢測、圖像旋轉和歸一化后得到的紙幣圖像結果.通過這種方法，我們可以得到任意一張紙幣圖像歸一化后的10幅圖像.

圖5 圖1中10幅紙幣圖像經過旋轉和歸一化后的結果

在把圖像輸入到卷積神經網絡之前，需要對10幅圖像進行篩選，選擇紙幣在哪種光源照射下所采集的紙幣圖像對紙幣的臟污等級影響較大，哪種影響小.剔除影響小的紙幣圖像，既可以減少卷積神經網絡輸入層的維數，也可以避免其對輸出結果產生不穩定的影響.本文方法是把訓練樣本中的每一張紙幣的10幅圖像進行旋轉和歸一化處理，然后分別對5類紙幣圖像進行計算.以很新這一類為例，我們把很新這一類里的所有紅光反射正面圖像的取平均，會得到一幅紅光反射正面圖像的平均值圖像.其它9幅圖像按照相同的方法同樣可以得到相應的平均值圖像.這樣在很新這個類里，可以得到10幅平均值圖像.使用相同的方法依次對其它四類進行計算，最終我們可以獲得50副平均值圖像.然后對這50副圖像分別進行垂直投影，就會得到相應的垂直投影曲線.圖6是把5類中相同方向、相同光源的曲線進行對比.從圖4中可以看出(a)正面紅光反射、(b)反面紅光反射、(c)正面紅外光反射、(d)反面紅外光反射，這4種曲線圖中五類臟污紙幣的曲線相互摻雜在一起，根本無法區分這五類.而(e)正面綠光反射、(f)反面綠光反射、(g)正面藍光反射、(h)反面藍光反射這幾幅圖像能夠明顯的區分出五類臟污紙幣，同時也會發現藍光反射區分會更容易一些.(i)綠光透射和(j)紅外光透射不能很好地區分舊和很舊，但是對于區分其它幾類，效果也非常明顯.因此我們最終選擇綠光反射正面圖像、綠光反射反面圖像、藍光反射正面圖像、藍光反射反面圖像、綠光透射圖像和紅外光透射圖像作為卷積神經網絡的輸入.

圖6 五類平均值對比

本文采用MSE最小平方誤差作為損失函數，訓練后的缺失度曲線如圖7所示.

4 結束語

本文針對如何精準的識別紙幣的臟污設計了一種基于卷積神經網絡的識別方法，使用接觸式圖像傳感器采集紙幣在紅光、綠光、藍光、紅外光下的雙面反射圖像，同時也采集紙幣在綠光透射和紅外光透射下的圖像.通過使用圖像處理的方法把紙幣圖像提取出來，然后分析不同臟污等級的紙幣在各種光源照射下所形成的圖像，最終決定把哪種光源的紙幣圖像輸入到卷積神經網絡.我們把已經分類好的訓練樣本和測試樣本通過上述方式處理，會得到紙幣圖像的訓練樣本和測試樣本.使用訓練樣本對我們設計的卷積神經網絡進行訓練，就會得到我們所需要的紙幣臟污識別分類器.然后使用測試樣本在這個分類器上進行測試，會得到我們訓練的分類器的識別效果.測試結果表明我們所設計的卷積神經網絡分類器對于識別紙幣臟污的準確性非常高.然而，由于采用的算法比較復雜，在實際生產中，實時性無法保障.因此，在作者日后的工作中，將重點放在提升算法的準確率和實時性方面.

圖7 訓練后的缺失曲線