基于卷積神經網絡的標識牌識別技術①

董正通,王 濤,趙偵鈞,耿子賀

（山東建筑大學 信息與電氣工程學院,濟南 250101）

2011年德國提出“工業4.0計劃”,“工業4.0”是指以智能制造為主導的第4次工業革命,旨在實現智能工廠、智能生產、智能物流,從而實現智能制造.這和中國制造2025的主題思想是一致的,都是推動制造業向智能化方向轉型.現如今工業生產已經基本實現自動化,要想實現自動化到智能化的過度,需要尋找一種新的方案來彌補自動化生產中的不足.隨著大數據時代的來臨,人臉識別技術、車牌識別技術、語音識別、智能停車場等一系列智能產品應用走進人們的生活.人工智能可以實現在某些方面替代人的作用,應用于工業生產中將會在解放勞動力同時提高生產效率,是推動工業生產走向智能化的第一大助力.標識識別技術作為人工智能的一種,同樣在工業生產中占據了重要的作用,現如今比較火熱的瓶蓋封裝檢測、汽車智能生產都和標識識別技術密切相關.但是在一些傳統的工業生產中,標識識別技術還難以應用,如墻材生產線、水泥粉磨生產線等.其主要原因就是生產環境惡劣,噪聲復雜多變,標識識別技術難以推廣.本次研究以卷積神經網絡CNN[1-7]為核心,通過對算法的改進和多種算法結合,尋找一種能夠在高噪聲環境下對標識精準識別的方法.

與其它標識識別技術研究內容不一樣,高噪聲環境下,首先要考慮的是對標識牌的精準提取問題,精準提取的前提是能夠準確定位到標識牌的邊緣,這就需要用到邊緣檢測算法[8-10],目前比較流行的邊緣檢測算法大部分是在基于檢測算子來實現的,其中效果比較好的邊緣檢測算子有Sobel算子[11]、Prewitt算子、Roberts算子、Canny算子[12,13].Canny邊緣檢測算子在抑制多邊緣響應和邊緣精細度上具有較好的效果,但是在高噪聲環境下,Canny邊緣檢測算子還是難以滿足對邊緣精準提取的需求,文中對Canny邊緣檢測算法加以研究改進,使其能夠在高噪聲環境下實現對標識邊緣得定位,提取標識得邊緣信息,進而實現對標識牌得精準提取,構建標識牌數據集,為卷積神經網絡得訓練做準備.

1 標識數據采集

1.1 標識牌設定

墻材生產中工作環境是比較惡劣的,灰塵濃度較大,噪聲干擾較多.標識牌鑲嵌在窯車壁的下方,要隨同窯車進入燒坯窯,燒坯窯上層溫度最高可達到1300 ℃,下層最高溫度可達到400 ℃,考慮其高溫特性的影響,標識牌經過灼燒后顏色會發生改變,如果單純的利用顏色的特性來做識別的話很難實現,另外在標識牌的材質上要選用耐高溫的鋼材質.針對標識牌的顏色多變的特性,利用鏤空的圓孔的二進制排列來代替純數字標識,圓孔的特征值較為明顯,不易被灰塵遮擋,鏤空的圓孔凹凸感強烈,光照時產生的色差明顯,在高噪聲的工業環境下便于識別.標識牌上最多可以刻8個圓孔,圓孔依照二進制進行排列,能夠對28=256輛標識物標記,其排列結構如圖1,標識牌長10 cm,寬5 cm,圓孔直徑大小為1.5 cm,圓孔之間的間隔為1 cm.

圖1 標識牌結構圖

1.2 數據采集

首先需要采集大量的標識數據做數據集,通過對數據集訓練來構造訓練模型.數據采集的核心部分是對標識牌提取,這就需要用到邊緣檢測算法Canny,邊緣檢測算法可以通過提取標識牌的邊緣信息,來確定標識牌的大小和具體所在位置,為標識牌的精準提取做準備.傳統的Canny邊緣檢測算法在對邊緣提取時容易造成邊緣缺失,導致提取精度不夠,無法對標識牌精準提取.這主要是由于Canny邊緣檢測算法中高斯降噪[8]部分導致的,高斯降噪在去除高斯噪聲的同時會降低圖片的邊緣信息,導致邊緣信息缺失.因此需要對Canny中的高斯降噪部分進行改進,在保留降噪功能的同時能保留邊緣信息.

高斯降噪主要通過構建高斯卷積核與圖像進行卷積運算,利用權重因素對高斯噪聲加以模糊處理,使圖像變得平滑.分別取含有邊緣和未含有邊緣信息的像素矩陣,如圖2所示.

圖2 像素矩陣

從圖2中可以看出含有邊緣得像素矩陣第1列和第2列以及第3列像素值差異較大,未含有邊緣信息得像素值差異較少.高斯降噪中,中心點像素值由其余8個像素點加權平均得到,未含有邊緣信息的像素矩陣與權重進行卷積運算后,中心像素值變化不大,含有邊緣信息的像素矩陣則與其相反,這樣會將差異較大的邊緣像素值模糊掉.

從圖3中可以看出包含邊緣信息的中心像素值變化較大,由145變為126,未包含邊緣信息的像素值基本不變,該過程是造成邊緣信息缺失的主要因素,因此需要對高斯模糊算法進一步優化,降低其降噪過程中對邊緣的模糊程度.

圖3 卷積運算后像素值變化

這里選用雙邊濾波[14]來代替高斯模糊算法,雙邊濾波能夠在平滑圖像去噪的同時可以很好地保留邊緣信息,這主要是由于它的濾波器核由空間域核和值域核生成,空間域核是由每個像素的位置對應的歐式距離決定的模板權值,公式如下:

其中,i,j代表的是坐標矩陣y（i,j）中的坐標點,定義為q（i,j）,k,l為坐標矩陣y（i,j）中的中心坐標點,定義為p（i,j）,對應高斯函數的標準差,屬于上面講解的高斯核函數,從式（2）中可知,是計算臨近點q到中心點p的臨近程度,因此空間域核是用來衡量空間臨近的程度.

值域核表示圖像中像素的差值決定的模板權值,公式如下:

其中,f（i,j）對應坐標點y（i,j）的像素值,f（k,l）為y（i,j）中心坐標點對應的像素值,為高斯函數的標準差,值域核的范圍在[0,1]之間.

將式（1）和式（2）相乘就可以得到雙邊濾波器的模板權值,如式（3）所示.

進一步化簡可以得到雙邊濾波器的數據,如式（4）所示.

從式（4）可知,雙邊濾波是結合了高斯濾波和-截尾均值濾波器的一些特點,綜合了值域和空間域上的差別,高斯濾波器只是利用了像素間的歐式距離來分配權重,其使用的模板系數隨著距離中心像素的距離增加而減少; 截尾均值濾波器利用局域內像素灰度值間的差,去除最大值和最小值后再進行均值化,實現對圖像降噪的功能.

式（1）中,空間域求的是n× n（n為空間域核的大小）局域內的坐標點（p）到中心坐標點（q）的距離,距離的遠近用來衡量像素之間的關聯度,而值域計算的是m× m（m為值域核的大小）局域內周邊像素值和中心像素值的近似程度,在圖像上直觀的理解就是,當圖像處于沒有邊緣信息的平坦區域,局域內像素值差值較小,值域趨近于1,這時候就相當于對該部分進行高斯濾波,在非邊界區域相當于進行高斯濾波,反之,局域內像素值差值較大,對應的值域趨近于0,導致趨近于0,當前像素收到的影響變小,保留圖像的邊緣細節信息,達到對圖像降噪的同時,保留圖像邊緣信息的效果.

原始圖像中由于攝像頭采集圖片時光照的影響,采集的圖片會含有高斯噪聲點,需要用高斯濾波去除掉,圖4為降噪之前和高斯降噪之后的對比,降噪之后高斯噪聲點消失,圖像邊緣變得模糊.圖5進行邊雙邊濾波降噪之后,噪聲消失,圖像邊緣清晰,有利于邊緣算子對圖像邊緣的提取.

圖4 高斯降噪

圖5 雙邊濾波降噪

Canny邊緣檢測算法主要由4部分組成:① 對圖像進行高斯降噪; ② 選用Sobel算子計算梯度幅值和方向; ③ 根據幅值對圖像進行非極大值抑制; ④ 用雙閾值算法檢測和鏈接邊緣.本文中將 ① 中的高斯降噪算法由雙邊濾波算法代替,在降噪的基礎上增強邊緣信息,圖6分別展示了高斯降噪和雙邊的邊緣提取效果,圖7展示了標識牌的提取效果,能夠對標識牌實現精準提取.

圖6 邊緣提取

圖7 標識牌提取

從提取效果來看,改進之后可以對標識牌精準提取,符合提取要求.

2 模型訓練

本文利用橢圓擬合算法和卷積神經網絡相結合.標識牌是由圓孔的二進制排列實現的,以第285個標識牌為例,只有當識別結果與標簽285對應,且橢圓擬合得出的圓孔個數和實際標識牌圓孔個數相一致時,才判定識別結果正確,這樣會一定程度上降低識別錯誤率.

2.1 CNN卷積神經網絡

通過改進的Canny算法對標識牌進行采集,共提取到8000組數據用于訓練,模型選用在圖像識別方向應用較好的卷積神經網絡,其結構特征圖如圖8所示.

圖8 CNN網絡結構圖

隱含層包含卷積層,池化層和全連接層.

假設輸入為G,隱含層只含有卷積層,則輸出可以用式（6）來表示.G和y（i,j）為卷積層輸入和輸出,w為權重,b為偏置,e為卷積輸出對應的通道數,Ll為輸入尺寸,f、s和p分別對應卷積核大小、卷積步長和填充,這樣可以通過參數Ll、s得到下一卷積層的輸入尺寸Ll+1.卷積層個數為2,卷積核大小為3×3,通道數e為3,步長為1,假設輸入G=（G1,…,Gn,…,GN）,個數為N個,隱含層輸出y=（y1,…,yn,…,yq）,隱含層神經元個數為q個,輸出層Z=（Z1,…,Zn,…,ZN）,個數為N個,可以進一步簡化得到式（6）.

在卷積層中每個神經元連接數據窗的權重是固定的,每個神經元只關注一個特性.神經元就是圖像處理中的濾波器,比如邊緣檢測專用的Sobel濾波器,即卷積層的每個濾波器都會有自己所關注一個圖像特征,比如垂直邊緣,水平邊緣,顏色,紋理等等,這些所有神經元加起來就好比就是整張圖像的特征提取器集合,通常這些特征是以非線性的關系進行組合,為了增加表達的復雜性,把線性關系轉化為非線性關系,卷積層添加激勵函數 ReLU（Rectified Linear Unit）,把卷積層輸出結果做非線性映射,一定程度上避免了梯度消失和梯度飽和的問題.其表達形式如式（7）.

其中,Z為輸入,A為輸出,f為激勵函數,則輸出可以由式（8）得到.

另外在卷積層后,一般需要加入池化層主和全連接層,池化層可以在保留主要特征的前提下,減少參數的運算量.常見的池化方式有兩種,均值池化和極大值池化.本文采用均值池化的方法,池化公式如下所示.

其中,p為預指定參數,均值池化時p=1,其余參數和卷積層的相同,均值池化會模糊掉邊緣的特征值,為了保留邊緣特征值,這里采用極大值池化的方式.全連接層主要把訓練參數鋪展開來,對提取的特征進行非線性組合,在這里加入dropout,以一定的概率舍棄神經元,可以避免訓練中存在的一定的偶然性,使訓練得到更好的效果.模型訓練的整體結構圖如圖9所示.

圖9 CNN模型結構圖

該模型訓練結構由5部分組成,分別包括1個輸入層、3個卷積層、3個池化層、2個全連接層、1個輸出層組成,忽略梯度爆炸和梯度消失等問題,層數越多,網絡感受野越廣,提取的特征值信息越多,有利于提高識別準確率,但是層數的加深會造成運算數量的增多,在實時性要求比較高的墻材生產線中難以滿足要求,實際的測試過程中,既要考慮圖像識別的準確性,又要考慮識別時的實時性,該研究是在基于樹莓派平臺上實現的,運行效率較低,過多的運算量會造成運行堵塞,太深的模型難以運行.

根據整體訓練過程可以分為5部分:① 權重初始化; ② 確定輸入向量和輸出值; ③ 根據權重和輸入向量值求出隱含層和輸出層各單元的輸出; ④ 計算輸出和實際值之間的偏量; ⑤根據偏量值判斷訓練結果是否滿足要求,滿足要求則輸出訓練模型,訓練結束,不滿足則重復執行②以后的步驟,直到滿足要求,輸出訓練模型.詳細流程步驟,如圖10所示.

圖10 CNN訓練流程

2.2 橢圓擬合

已知橢圓方程可以由式（10）表示.

其中,a,b,c,d,e,f為常數項,令A=[a,b,c,d,e,f]T,X=[x2,xy,y2,x,y],于是式（11）可以改寫為AX=1,這樣橢圓擬合[15,16]得最優化問題可表示為式（11）.

其中,D為數據樣本集合n×6,6表示維度,對應6個常數系數,n表示樣本數,C為矩陣常數矩陣.根據拉格朗日乘子法,引入拉格朗日因數β,得到以下兩個等式.

令S=DTD,那么上述方程可以改寫為:

求解式（10）的特征值和特征向量（βi,θi）,那么同樣地（βi,gθi）也是式（14）的特征解,其中,g是任意的實數,根據方程ATCA=1,可以很容易地找到一個g,使得g2θiTCθi=1,即:

最后令ɑi=giθi,取g>0時對應的特征向量θ,即可作為橢圓擬合曲線的特征解,另外可以通過設定橢圓長短軸的比例值,對想要的橢圓進行擬合,排除干擾性橢圓.橢圓擬合示例圖如圖11.

圖11 標識牌橢圓擬合效果圖

2.3 橢圓擬合和CNN相結合

該識別系統是在基于輕量級嵌入式設備樹莓派上運行的,運行內存有限,加深訓練模型會導致運行內存不夠用,難以形成可靠的識別系統.為了滿足實時性和可靠性的要求,進一步結合模型,采用橢圓擬合和卷積神經網絡相結合的原理來提高準確率,整體模型訓練結構圖如圖12所示.通過圓孔個數和CNN識別結果的對比,來判斷識別結果,增強模型的分類能力.

圖12 整體模型構建流程圖

3 訓練結果

首先選用1萬組數據集對CNN模型進行測試,測試結果如圖13所示,從圖13中可以看出準確率上升波動較大,損失函數直線下降后趨于穩定,不符合一般的訓練規律,考慮產生了過擬合,調整學習率并增大數據集到4萬組,另外增大dropout率,舍棄掉無用的特征信息,再次利用數據集進行訓練,訓練結果如圖14所示.

圖13 單獨CNN訓練結果（1萬組數據集）

圖14 單獨CNN訓練結果（4萬組數據集）

改變數據集和dropout率之后,正確率上升趨于穩定,損失函數下降符合一般規律,這表明模型訓練過程滿足要求,但是識別正確率較低,趨于0.8左右,增大識別準確率雖然可以通過加深訓練模型的方法來提高,但是加深訓練模型的同時必然會加大訓練參數的運算量,難以實現再輕量級嵌入式設備上運行,因此采用橢圓擬合和CNN相結合的思路來提高識別率,訓練結果如圖15所示,識別流程圖如圖16所示.準確率與單獨的CNN相比有顯著的提高,穩定在0.96左右,滿足模型訓練要求.

圖15 橢圓擬合和CNN相結合訓練結果

圖16 識別流程圖

4 總結

本文采用橢圓擬合和CNN相結合的思路,提高了對標識牌的識別準確率,CNN和橢圓擬合算法相結合,標識識別率從0.8提高至0.96左右,能夠實現對標識牌的精準識別.在標識牌提取上,對Canny邊緣檢測算法中的高斯模糊算法進一步改進,使其在對圖像降噪的同時能夠保留邊緣信息,便于對標識牌的精準提取.雖然本文實現了對標識牌的精準識別,但是在實時性上還待進一步改進,改進的高斯模糊算法在運行速度上要低于傳統的高斯模糊算法,并且橢圓擬合算法只適合帶有圓孔的標識牌,在通用性上較弱,還待進一步完善.