利用SegNet的非標準DM碼的區域提取

胡 鋇，趙江銘，張小琛，高建設

（鄭州大學機械工程學院，河南 鄭州 450001）

1 引言

目前，使用DM二維碼來進行無人駕駛小車（AGV）的導航定位技術已經被人們所應用[1]，但局限于目前已有的二維碼定位方法精度較低，二維碼內部信息資源浪費等問題，無法達到實際應用要求，因此導航方式多采用激光、超聲波、雷達等多種方式的混合導航[2]。其中，二維碼導航多處于從屬地位。因此，在導航識別中采用一種自主研發的新編碼規則生成的非標準DM碼，解決了有效利用DM 碼內部信息內容、減少冗余信息、高效利用條碼內部位置資源的問題。相對于其他類型的二維碼來說，非標準DM碼具有成本低廉，使用方便，且可與內容信息相融合的特性，如能提高識別精度，必然可以大大減少導航系統的成本。非標二維碼雖然有上述優點，但相較于QR碼定位較為困難。針對這種情況，2012年，文獻[3]提出了一種基于Gabor濾波和BP神經網絡的DM碼區域提取方法。雖然該方法大大提高了準確率，但實現過程過于繁瑣。首先需要用不同尺度不同方向的Gabor濾波器對圖像進行機械能濾波提取其紋理特征，其次需要進行特征變換，使所得特征具有尺度和旋轉不變性；然后利用BP神經網絡按照簽署特征對像素進行分類，經過形態學后，才能對條碼區域進行處理。2016年，浙江大學提出了一種基于卷積神經網絡的二維碼定位算法[4]。該方法首先將一個完整的含有二維碼的圖片分塊成若干個區域，然后分別對其進行訓練識別；利用卷積神經網絡作為一個二分類器，對可能為二維碼的區域輸出為正類，對非二維碼的背景區域輸出為負類；最后再對二維碼區域的圖片進行整合，以將其還原成一個完整的二維碼圖片。該方法過程繁瑣，需要時間冗長，且易產生誤差。

為解決上述問題，提出了利用SegNet網絡對二維碼區域進行提取的方法，完成了含有目標對象的圖片的語義分割。所謂語義分割，就是指機器自動從圖像中分割出對象區域，并實現其內容識別[5]。相較于以往所提區域提取方法，該法更為簡潔。首先不需對圖片進行紋理分析或者特征變換，可直接實現定位；其次該法不需經歷將完整的含有二維碼的圖片先拆分再進行合成的繁雜冗長過程，降低了合成過程中的誤差，大大提高了識別效率、識別準確性及魯棒性。

2 SegNet神經網絡原理

SegNet 網絡可以避免計算卷積以及重復存儲像素塊等問題，相比于傳統的用作圖像分割的CNN卷積神經網絡，SegNet更具效率。

早在2016 年，SegNet 網絡被Badrinarayanan 首次作為一種新型的深度卷積神經網絡結構所提出，該網絡與傳統神經網絡有一定的相似性，其訓練方式都是通過端到端來對像素集進行分類；其不同的部分在于SegNet網絡是由編碼層和解碼層共同組成。其中，編碼層的功能主要是用來提取圖像特征，利用池化操作使得圖像尺寸持續縮小，在池化操作時，編碼器也會存儲池化操作后的位置信息，并對所有進行卷積操作后的輸出數據進行歸一操作，最后使用激活函數來進行激活操作。解碼層即是利用上采樣將編碼層縮小后的圖片還原成原圖片大小的一個步驟。在解碼的過程中，不斷的從編碼器中釋放出所存儲的位置信息，通過編碼器所存儲的最大池指數來對圖像進行不斷的補全，從而完成上采樣操作。因為SegNet網絡具有較多的層數，所以它能夠更為準確的對圖像進行特征提取。SegNet網絡通過加入編碼層和在解碼層中釋放出利用已經存儲過的最大池指數的方法存儲的特征信息，與此同時，SegNet網絡也大大提高了訓練的準確率通過減少訓練每層卷積層的規范化和激活操作的時間。

SegNet網絡結構，如圖1所示。其中，Input表示的是輸入圖片，Output表示的是輸出圖像，其中每個顏色代表不一樣的分類類別。語義分割的主要意義就在于不僅表現出圖片中的物體是什么，還告知人們這個物體處于圖片中哪個位置。由圖1 可知SegNet網絡結構是一個對稱的網絡，由中間的池化層與上采樣層作為分割線，左半部分是通過卷積來提取圖片信息的高維特征，并通過池化使其變小，這個過程在SegNet訓練中被稱為Encoder（編碼層）。右半部分是反卷積與上采樣，反卷積的作用是使圖像分類后特征能夠得到復原，上采樣的作用則是使圖像變大，這個過程在SegNet中被叫作Decoder（解碼層）。最后再通過Softmax函數，輸出不同分類的最大值。

圖1 SegNet網絡結構圖Fig.1 SegNet Network Structure Diagram

3 實驗過程

為驗證新型的DM碼定位算法的有效性，實現不同環境中的DM碼準確定位，展開了二維碼識別實驗，實驗的具體流程，如圖2所示。

圖2 實驗流程圖Fig.2 Flow Chart of Experiment

3.1 實驗用原始圖像收集

為準確體現出這里的算法對不同環境的適應性，建立了一個相對健壯的DM碼的圖片數據集。

數據集基本涵蓋以下幾種情況的DM碼：

（1）存在純DM碼的圖片；

（2）存在DM碼分布位置不同，大小各異的圖片；

（3）存在分辨率大小不盡相同的圖片；

（4）存在DM碼的有較為復雜背景干擾的圖片；

（5）存在亮度不均衡或者模糊的圖片；

（6）存在同時包含二維碼與一維碼共存的圖片。

圖片數據集是通過分辨率為（1280×1024）、型號為acA1200-60gc的basler工業相機進行人工拍攝完成。一共收集了5000張圖片，其中4000 張圖片作為訓練樣本，1000 張圖片作為測試樣本。通過盡可能的保證DM碼所處圖片環境的復雜性和DM碼本身的多樣性，確保了本次數據集的健壯性。自建數據集部分數據，如圖3所示。

圖3 部分圖片數據集Fig.3 Partial Picture Data Set

3.2 圖像預處理

這里所用基于導航用非標準二維碼的圖像處理主要是為了過濾掉不必要的干擾信息，得到工業應用所需要的二維碼所在位置的區域塊。工業相機會因二維碼本身是由黑白塊組成以及拍攝過程中的光照不均、對比度不高、有較大的噪聲等原因而形成偏差，特別是在工業應用中，這種情況非常頻繁，且易導致嚴重后果。因此，在實際應用中多采用預處理的方法來降低以上因素對圖像識別的干擾。

在處理圖像信息過程中，采用了數據化方法，即先將數據集中的圖片尺寸統一為（400×400），再進行特征標準化。基本步驟為：（1）計算圖像均值；（2）計算標準差；（3）對輸出的圖像數據進行歸一化操作，以將圖片數據轉換成均值為0，方差為1的新圖像數據。

采用該法既可以對輸入數據起到規范作用，又可有效提高網絡的訓練效率以及準確率。

3.3 建立Segnet網絡訓練標簽

SegNet網絡訓練標簽，如圖4所示。本次訓練中采用Adam作為優化參數，以及高斯分布的方式設置神經網絡的初始權重。

圖4 Segnet網絡訓練標簽Fig.4 Segnet Network Label Map

訓練中使用的損失函數為L（X，Y），如式（1）所示。

式中：X—預測值；Y—參考值；S（X，Y）—兩個模型之間的相似程度；S（X，Y）—如式（2）所示。

式中：k—平滑值。

因為有一些圖片里未包含神經區域，因此可能會有空圖的現象，需要對函數加入平滑值k來進行修正。

3.4 網絡搭建

神經網絡的構建是神經網絡訓練中最重要的一步。一個好的神經網絡的構建可以提取含有更多語意信息的圖像特征，對于最終的預測有著重要的意義。SegNet網絡搭建，如圖5所示。

SegNet神經網絡主要是作為一個二分類器。在不考慮輸入層和輸出層的情況下，所涉神經網絡具有八層結構，上面4層為編碼層，用于SegNet的編碼過程中，用same卷積來提取特征；下面4層表示解碼層，在解碼過程中，卷積仍采用的是same卷積，但與一般解碼過程不同的是，這里的same卷積是為了使上采樣變大的圖像信息更為豐富，從而可以通過機器學習，在解碼過程中獲取在池化過程中丟失的信息，這個卷積也被稱為反卷積。該法可有效實現缺失的內容的填充，與一般卷積和CNN中的卷積的基本作用都相同。

觀察圖5網絡架構圖可知，每個卷積層后都會加上一個bn層，bn層后面是ReLU激活層。ReLU是由傳統激活函數sigmoid改進得來，能很好地解決梯度消失的問題。在以往的實驗研究中發現，網絡的激活層越多其圖像語義分割的效果越好。

圖5 網絡架構圖Fig.5 Network Architecture Diagram

3.5 網絡訓練

整個算法都是基于MATLAB2018a版本開發，所有實驗的開發和測試環境均為64位下操作系統，基于x64的處理器，Intel（R）Core（TM）i5-7500 CPU@3.40GHz，8G內存。在本次試驗的訓練中，樣本圖片為4000張，測試圖片為1000張，采用隨機梯度下降法（SGDM），訓練100回合，初始學習率為0.001，動量采用0.9，L2正則系數為0.0005。訓練過程，如圖6所示。

圖6 SegNet網絡訓練過程圖Fig.6 Segnet Network Training Process Diagram

3.6 網絡測試

基于SegNet 神經網絡識別結果的DM 碼的預定位過程和SegNet神經網絡對整張圖片的識別結果，如圖7、圖8所示。從分類結果可以看出，該法已取得了很好的分類效果。

圖7 實驗效果圖Fig.7 Experiment

圖8 實驗效果圖Fig.8 Experiment

3.7 二維碼信息的提取以及結果分析

本次測試了1000張圖片，其中，僅有5張圖片由于光照以及角度等問題導致提取信息不準確，其余圖片提取信息均準確無誤。詳細信息提取過程，如圖9所示。對得到的包含二維碼的區域進行形態學開閉運算等一系列處理，可以很準確的提取二維碼所包含的信息。訓練好的SegNet神經網絡對于整個測試集的二維碼區域提取準確率達到98%，二維碼識別率達到99.5%，可以用成功滿足工業應用需求。

圖9 二維碼信息提取過程圖Fig.9 Result Analysis Process Chart

4 結語

提出了一種基于SegNet神經網絡的DM碼定位算法，其優點有：（1）定位算法的適應性和魯棒性強；（2）能夠精確穩定的定位出DM碼區域；（3）能夠識別的DM碼范圍廣，且方法簡單易實現。該算法的核心是通過SegNet神經網絡來區分DM碼區域和非DM碼區域。針對該SegNet神經網絡建立了一個包含4000張訓練圖和1000張測試圖的數據集，然后對其進行算法訓練實驗。實驗結果表明，對二維碼的識別精度高達95.5%，能夠有效的降低工業導航中識別的成本。