基于憶阻神經網絡的車輛標志識別技術研究

羅運鑫 佘 堃 于 鑰 李 洋

1(電子科技大學信息與軟件工程學院 成都 610054) 2(廳市共建智能終端四川省重點實驗室(電子科技大學宜賓研究院) 四川宜賓 644002)

1971年，Chua教授[1]根據電路理論的完備性和對稱性預言憶阻器的存在，它是除電阻、電容和電感外的第4類基本電子元器件.憶阻器作為天然的電子突觸，是模擬人腦和神經系統的最佳選擇，在未來是新型人工神經網絡的首選器件.憶阻器和神經網絡的有效結合將大大改變人工智能領域，這不僅對神經網絡硬件化的研究和人工智能領域的發展有著重要的意義，也將在違章停車、假套車牌檢測、違章車輛逃逸等應用領域有重要意義.在物聯網時代萬物互聯，車聯網作為其產物之一為消費者提供了便利的出行方式，但在智能交通信息安全方面也存在各種風險[2].不安全的用戶行為和各種信息安全威脅共同組成了車聯網中的車輛安全問題[3].

本文基于憶阻器的特性構建憶阻交叉陣列，用于灰度圖像的存儲，采用的全新數字圖像預處理算法實現數據增強操作.對于VLR-40數據集，憶阻神經網絡準確率可達97.35%，比MobileNetV2準確率高0.3%，網絡模型的泛化性能得到了提高，能有效地對抗真實場景中的噪聲，具有較高的準確率，在智能交通信息安全中具有巨大的現實意義.

1 相關研究及進展

1.1 車輛標志識別的發展及研究現狀

車輛標志識別的關鍵技術在于特征提取和分類器的選擇，特征和分類器的好壞直接決定車輛標志的識別準確率，而且圖像背景復雜度、圖像噪聲程度、光照強度和圖像畸變等因素都會影響車輛標志的識別.

車輛標志識別作為智能交通系統(intelligent transportation system, ITS)的核心技術之一，有助于準確地辨別車輛身份，為假套牌車的調查提供可靠證據.國內外研究人員一直嘗試著各種方法對車輛標志進行識別，也取得一定的研究成果.早期的車輛標志識別方法主要以研究特征提取為主，采用支持向量機(support vector machines, SVM)用于分類.傳統的模板匹配方法[4]不僅耗時，而且對模板較為敏感，當圖像出現畸變或旋轉時，該方法識別率較差.2004年，羅彬等人[5]提出基于邊緣直方圖的快速汽車標志識別方法，然而該方法的計算量較大，識別率一般；文獻[6]提出基于尺度不變特征變換(SIFT)的車輛標志識別方法，該方法對畸變圖像不敏感，識別率高于模板匹配方法，但這種方法相對耗時；文獻[7]提出基于BP神經網絡的車輛標志識別方法，該方法是利用主成分分析法(principal components analysis, PCA)對車輛標志的訓練樣本進行數據降維，再通過BP神經網絡進行車輛標志識別，方法簡單有效.

相對于傳統的神經網絡，深度學習讓網絡自主學習特征，解放繁瑣的人工選取特征的步驟.2015年， Ren等人[8]使用Faster-RCNN(faster-region convolutional neural network)實現目標檢測和識別；2018年， Huang等人[9]提出一種帶有2個不同卷積神經網絡(VGG-16(visual geometry group-16)和ResNet-50)的Faster-RCNN模型，用于車輛標志的定位及識別，該方法對復雜外界環境中采集的含有車輛標志的圖像有很好的魯棒性，平均準確率達到94.33%；2019年，Zhao等人[10]先用帶有Sobel邊緣檢測的平滑窗口進行車輛標志定位，然后基于SIFT特征和最近鄰分類器進行識別，雖然圖像的分辨率較低且光照情況不一，但識別率也達到85%左右；2020年，Zhang等人[11]改善YOLOv2網絡并進行車輛標志的檢測，識別效果相對原來的YOLOv2網絡也有提高.

1.2 憶阻器研究現狀

人類大腦是一個復雜的神經網絡系統，有大約1011～1012個神經元，突觸是神經網絡系統的重要組成部分，具有連接神經元和信息傳遞功能.

憶阻器作為天然的突觸材料，它的阻值會隨著外加信號的變化而變化，這與生物學中的神經突觸原理相似，能模擬神經系統中的突觸連接強度和傳遞效率.憶阻器作為神經元之間的突觸概念示意圖如圖1所示.

圖1 憶阻器作為神經元之間的突觸概念示意圖

2011年，HP實驗室的Snider團隊[12]首次將憶阻器與突觸聯系起來，研究如何用憶阻器模擬突觸的記憶功能；2010年，Jo等人[13]前后依次采用1個憶阻器和2個憶阻器模擬神經網絡中突觸的行為特性；2011年，Kim等人[14]分別用5個和4個憶阻器搭建類似橋的突觸電路，前者電路可以實現突觸權重，僅用1個憶阻器進行權值計算，另外4個憶阻器進行符號設置，后者電路不需要符號設置即可獲得正、0和負突觸權值；2012年，Kim等人[15]又提出一種基于憶阻橋突觸設計的多層神經網絡結構；2015年，西南大學Duan等人[16]提出用2個憶阻器和2個電阻的改進憶阻橋突觸電路，簡化了權重處理，但不適合集成；2018年，Yang等人[17]實現憶阻橋突觸模擬生物突觸的興奮和抑制，并利用神經憶阻突觸陣列設計細胞神經網絡電路，以加速神經網絡運算[18]；同年，基于憶阻突觸特性，王麗丹等人[19]結合神經元晶體管，設計新型的憶阻神經網絡，實現聯想記憶功能；2019年，Hu等人[20]提出基于憶阻突觸的Hopfield神經網絡，并詳細研究其聯想記憶的召回時間；2020年，Wang等人[21]采用憶阻交叉陣列表示神經元之間的突觸權值，提出基于憶阻器的連續Hopfield神經網絡用于圖像恢復.

上述一系列研究表明憶阻器具有突觸特性，可以與神經網絡結合，為目前神經網絡發展面臨的問題提供了新的方向，也為尋找新的神經網絡結構提供了無限可能.

1.3 憶阻神經網絡發展及研究現狀

1943年，人工神經網絡興起，McCulloch和Pitts[22]提出首個用建模描述大腦信息處理過程的M-P神經元模型.2013年，Hebb[23]提出突觸是聯系可變的假設，促進了神經網絡學習算法的研究.直到1958年Rosenblat[24]提出首個比較完整的人工神經網絡-感知機模型，首次把神經網絡的研究應用在實際工程中，從此相關的人工神經網絡研究進入熱潮.

傳統集成電路缺乏集成度高和支持多連接的突觸結構，采用人工神經網絡模擬人腦進行智能學習很難完全實現，只能集中在較小規模的神經元和突觸電路上.憶阻器的發現給人工神經網絡帶來曙光，它的內部離子遷移十分類似于神經突觸里的神經遞質擴散過程，利用憶阻器模擬神經網絡中的突觸成為一大趨勢[13]，神經形態學電路和系統研究迎來新高潮.

2007年，Snider等人[25]提出一種憶阻突觸神經網絡模型，并嘗試解決網絡的容錯能力和自組織神經系統問題；2011年，Querlioz等人[26]設計一種憶阻神經網絡系統，并給出一些該憶阻CNN系統在醫學應用領域的測試數據；同年，Kim等人[14]采用憶阻橋作為神經網絡的突觸，并搭建CNN自動機網絡應用于圖像處理；文獻[27]結合遺傳基因算法，將幾種不同類型的憶阻器模型應用于自適應連接的神經網絡結構，從軟硬件上解決路徑導航優化問題，充分驗證憶阻神經網絡的使用價值；2015年，電子科技大學Liu教授團隊[28]在硬件電路上實現可重構憶阻Hopfield神經網絡的聯想記憶功能;西南大學Duan團隊[29]也研究了憶阻Hopfield神經網絡在聯想記憶和數字識別方面的應用;2019年，Parastesh等人[30]提出一種基于憶阻器的雙曲型Hopfield神經網絡，并研究其網絡的穩定性狀態;文獻[31]提出具有記憶性的深度卷積神經網絡，這種網絡不僅減少憶阻器的數量，在識別率方面也高于一些其他網絡;2020年，Wu等人[32]提出一種全硬件執行的憶阻卷積神經網絡，應用于數字識別，其識別率超過96%，這一結果有望為深度神經網絡和邊緣計算提供一個可行的解決方案.

2 基于憶阻神經網絡的車輛標志識別

2.1 憶阻交叉陣列存儲灰度圖像

憶阻器是一種可以連續輸出的器件，理論上擁有無數個阻值狀態，可以記憶圖像的灰度值.按照線性映射關系，如果1個憶阻器的阻值對應1張圖像的1個像素值，那么1個大小為224×224的憶阻交叉陣列結構就可以存儲1張尺寸為224×224的圖像.

憶阻交叉陣列存儲灰度圖像的步驟如下：

1) 設置憶阻器的阻值等級，分別對應灰度圖像的256級灰度.如圖2所示，當給憶阻器2端施加1個幅值為1 V的正弦信號時，憶阻值會隨著輸入信號的變化而變化，當輸入信號逐漸增大至最大值時，憶阻值逐漸變小，最終呈現最小值狀態Ron，當輸入信號逐漸減小至最小值時，憶阻值逐漸變大，最終呈現最大值狀態Roff.按照實驗需求，將電壓值在0～1之間的憶阻值劃分為256級，實現憶阻器的阻值等級劃分，此時憶阻值最大，對應圖像像素值最小，憶阻值最小，對應圖像像素值最大.

圖2 惠普憶阻器模型特性曲線

2) 大小為224×224的憶阻交叉陣列結構讀取尺寸為224×224的灰度圖像.首先將尺寸為224×224灰度圖像像素值歸一化至0～1之間，將2維像素矩陣轉為1維像素向量，然后令1維像素向量值為電壓信號幅值，實現灰度圖像到幅度不同寬度相同的電壓信號轉變，最后灰度圖像以幅度不同寬度相同的電壓信號傳入大小為224×224的憶阻交叉陣列結構，完成讀取尺寸為224×224的灰度圖像.

3) 憶阻交叉陣列存儲灰度圖像.按照線性映射關系，輸入的灰度圖像每個像素值為憶阻交叉陣列中每個交叉點處憶阻器的輸入電壓信號，采用離線學習中的權重寫入方式，最終灰度圖像的每個像素值以憶阻值的形式存儲至憶阻交叉陣列.

2.2 憶阻神經網絡結構設計

如表1所示，憶阻神經網絡對數據集主要有3步處理：

第1步.預處理.本文利用憶阻器的存儲特性，構建存儲圖像的憶阻交叉陣列結構，并提出一種全新的數字圖像預處理算法.首先將經典3×3均值濾波卷積核分離成9個1×1卷積核，并對憶阻交叉陣列中每個交叉點處的憶阻值進行初始化；然后將輸入圖像進行9次移位操作，得到9張圖像，緊接著9張圖像分別和9個1×1卷積核執行卷積操作，得到9個新圖像；按照線性映射關系，圖像的每個像素值對應憶阻交叉陣列中每個交叉點處憶阻器的輸入電壓信號，隨后將9個新圖像依次傳入到憶阻交叉陣列中，以調整每個憶阻器的阻值狀態；最終預處理后的圖像像素值以憶阻值的形式存儲在憶阻交叉陣列中，完成圖像預處理與存儲操作.

第2步.特征提取.預處理后的圖像存儲在憶阻交叉陣列中：首先將憶阻交叉陣列中每個交叉點處的憶阻值映射為圖像對應點處的像素值；然后將預處理后的圖像傳入標準卷積層，此時輸出特征圖尺寸減半；緊接著特征圖依次傳入17層瓶頸層作進一步處理.每層瓶頸層內部：首先采用1×1逐點卷積對輸入特征圖進行升維，豐富特征數量，使其通道數變為原來的6倍；隨后通過深度可分離卷積進行特征提取；最后采用1×1逐點卷積對特征圖作降維，除了第1層瓶頸層內部不對輸入特征圖進行升維，其他瓶頸層內部都對輸入特征圖進行升維，并使得其通道數變為原來的6倍.其中，當s=2時，輸出特征圖尺寸減半；當s=1時，輸出特征圖尺寸保持不變.

第3步.分類識別.首先將第2步處理后輸入特征圖采用1×1逐點卷積層進行升維，然后經過全局平均池化層進行降采樣，最終經過全連接層和Softmax層完成分類識別.

表1 憶阻神經網絡結構

2.3 憶阻神經網絡學習算法

憶阻器具有存儲特性，本實驗采用50 176個壓控憶阻器構建大小為224×224的憶阻交叉陣列結構，該結構可以存儲尺寸為224×224的灰度圖像.

壓控憶阻器模型參數設置如表2所示.其中：U表示平均離子漂移率；D表示二氧化鈦薄膜的厚度；W0表示摻雜層的厚度；Ron表示憶阻器阻值的最小值；Roff表示憶阻器阻值的最大值；p表示窗函數的控制參數；dt表示憶阻器在狀態更新時的步長大小.

表2 壓控憶阻器模型的參數值

壓控憶阻器模型中采用Joglekar函數作為窗函數，然而在實際應用中該模型會出現邊界效應，即當摻雜層和無摻雜層之間的界限達到憶阻器的邊界后，沒有外部激勵可以再改變憶阻器的狀態，它將永遠保持在某個極限狀態而無法恢復，Joglekar窗函數如式(1)：

f(x)=1-(2x-1)2p.

(1)

憶阻交叉陣列中每個交叉點處的憶阻器狀態調整規則如算法1所示.為了解決邊界效應帶來的影響，在憶阻器狀態調整時添加第5步操作，即在狀態調整時憶阻器產生微小波動.當輸入電壓信號為0時，憶阻值會因為微小的狀態波動阻值持續增大，直到憶阻值達到最大值狀態時保持不變.此時正好對應憶阻器輸入電壓信號為最小值時，憶阻值為最大值，符合憶阻交叉陣列存儲灰度圖像的規則，如圖3所示:

圖3 憶阻值狀態的變化

在預處理過程中，基于卷積核可分離的思想，首先將經典3×3均值濾波卷積核分離成9個1×1卷積核，并對憶阻交叉陣列中每個交叉點處的憶阻值進行初始化，其中經典3×3均值濾波卷積核如圖4所示；然后對輸入的224×224灰度圖像依次進行3次水平移位和3次垂直移位，得到9張圖像，緊接著9張圖像分別和9個1×1卷積核進行卷積操作，得到9個新的圖像；按照線性映射關系，將224×224灰度圖像的每一個像素值映射為憶阻交叉陣列中每一個交叉點處憶阻器的輸入電壓信號，隨后將9個新的圖像以電壓信號的形式依次傳入到憶阻交叉陣列中，以調整憶阻器的阻值狀態；最后憶阻交叉陣列中每一個交叉點處的憶阻器狀態調整結束，完成圖像預處理操作.此時預處理后的圖像像素值以憶阻值的形式存儲在憶阻交叉陣列中，按照線性映射關系，224×224灰度圖像為預處理后的輸出.

圖4 均值濾波卷積核

算法1.憶阻交叉陣列中每一個交叉點處的憶阻器狀態調整規則.

輸入：224×224灰度圖像；

輸出：預處理后的224×224灰度圖像；

初始值：

① forii<3;

② forjj<3;

③V=img[ii:224+ii,jj:224+jj]×

k[ii][jj]；

④I←V/M;

⑤dw←0.1×(W0-W)；

⑦W←(W+dw)×dt;

⑨jj←jj+1;

⑩ end for

2.4 新數據集

為了更好地模擬在真實場景中采集的數據集，基于VLR-40數據集，本節重新制作了4類含有不同噪聲的新數據集，其中3類包含了26種不同噪聲程度的椒鹽噪聲、高斯噪聲、椒鹽和高斯混合噪聲，且噪聲程度分別為0.05，0.13，0.15，0.17，0.23，0.25，0.27，0.33，0.35，0.37，0.43，0.45，0.47，0.53，0.55，0.57，0.60，0.63，0.65，0.67，0.70，0.73，0.75，0.80，0.85，0.90.另一類包含自定義模糊、均值模糊和中值模糊.部分新數據集如圖5所示，不同噪聲程度的Abarth圖像如圖6所示.

圖5 部分新數據集

圖6 不同噪聲程度的Abarth圖像

3 實驗與結果分析

本文共做了2大對比實驗：一是用含噪聲的測試集去測試含有同等噪聲程度訓練集訓練的網絡；二是用含噪聲測試集去測試無噪聲訓練集訓練的網絡.在2大實驗中，令采用均值濾波的網絡模型為Mea_NN，采用中值濾波的網絡模型為Med_NN，采用高斯濾波1的網絡模型為G1_NN，采用高斯濾波2的網絡模型為G2_NN，采用新算法濾波的網絡模型為憶阻神經網絡，無濾波處理的網絡模型為MobileNetV2.

3.1 實驗1

對于VLR-40數據集，不同網絡模型的準確率如表3所示，實驗結果表明：采用新算法的憶阻神經網絡模型準確率明顯優于采用均值濾波、中值濾波、高斯濾波1和高斯濾波2的網絡模型，準確率可以達到97.35%.因為原數據集中含有的噪聲較少，所以在沒有濾波器進行去噪處理時，無濾波處理的網絡也具有較好的準確率，準確率可以達到97.05%.當使用中值濾波、高斯濾波1和高斯濾波2時，濾波處理過程給網絡引入部分噪聲，導致網絡模型的準確率略微下降.相對于采用均值濾波的網絡模型，新算法基本不會給網絡引入噪聲，能達到輕微去噪功能，所以采用新算法的憶阻神經網絡準確率略高于采用均值濾波和無濾波處理的網絡模型，即憶阻神經網絡性能最好.其中：高斯濾波1的卷積核如圖7所示；高斯濾波2是多維高斯濾波器，此時高斯核的標準偏差參數sigma=4.

圖7 高斯濾波1卷積核

分別選取0.25，0.55，0.85這3種噪聲程度的新數據集用于網絡性能測試.對含椒鹽噪聲的新數據集，不同網絡模型的準確率如表4所示；對含高斯噪聲的新數據集，不同網絡模型的準確率如表5所示；對含混合噪聲的新數據集，不同網絡模型的準確率如表6所示；對含模糊噪聲的新數據集，不同網絡模型的準確率如表7所示.

表3 不同網絡模型的準確率(VLR-40數據集)

表4 對含椒鹽噪聲新數據集不同網絡模型的準確率

表5 對含高斯噪聲新數據集不同網絡模型的準確率

表6 對含混合噪聲新數據集不同網絡模型的準確率

表7 對含模糊噪聲新數據集不同網絡模型的準確率

對含有不同類型和不同噪聲程度的新數據集，本文提出的全新數字圖像預處理算法能在一定程度上抑制圖像中含有的噪聲，具有數據增強的效果.相對于采用均值濾波、中值濾波和2種高斯濾波的網絡，采用新算法進行數據增強的憶阻神經網絡，整體性能處于較高水平，且對各種新數據集都具有較高的準確率.

3.2 實驗2

在已有的訓練集上，網絡一般通過平移、旋轉、反轉和縮放比例等方式進行數據增強，以提高網絡模型的泛化性能.由于數據集VLR-40具有一定的挑戰性，所以本實驗并未采用常規的數據增強操作，而采用不同濾波操作對數據集進行預處理，以達到數據增強功能.

實驗2是在實驗1的基礎上，對憶阻神經網絡性能作的進一步探究.首先采用數據集VLR-40作為無噪聲訓練集去訓練網絡，實驗結果如圖8所示，然后保存網絡模型參數值，最后用含噪聲的4類新數據集去測試無噪聲訓練集訓練的網絡模型.

圖8 憶阻神經網絡性能測試

無噪聲訓練集訓練的不同網絡模型對含模糊噪聲新數據集的準確率如表8所示；無噪聲訓練集訓練的不同網絡模型對含椒鹽噪聲新數據集的準確率如圖9所示；無噪聲訓練集訓練的不同網絡模型對含高斯噪聲新數據集的準確率如圖10所示；無噪聲訓練集訓練的不同網絡模型對含混合噪聲新數據集的準確率如圖11所示.

表8 對含模糊噪聲新數據集不同網絡模型的準確率

圖9 對含椒鹽噪聲新數據集不同網絡模型的準確率

圖10 對含高斯噪聲新數據集不同網絡模型的準確率

圖11 對含混合噪聲新數據集不同網絡模型的準確率

實驗2結果表明：對于無噪聲數據集VLR-40，本實驗采用全新數字圖像預處理算法對其進行數據增強操作，實驗結果顯示新算法對噪聲具有很強的濾除功能，采用新算法的憶阻神經網絡識別率高于采用其他濾波處理的網絡，識別率可以達到97.35%，間接地增加了模型的泛化性能；當用含噪聲的測試集去測試用無噪聲訓練集訓練的網絡時，憶阻神經網絡顯現出巨大的優勢，可以降低噪聲對模型識別率的影響，有效地對抗真實場景中的噪聲，對車輛標志的識別具有很大的現實意義.

4 車輛標志識別技術與智能交通信息安全

隨著經濟社會的快速發展，人們生活水平逐漸提高.中國作為世界第一大汽車生產國和最大的新車消費市場，全國汽車總量逐年遞增.然而，套牌車和無牌車大量出現，頻繁發生的違法行為導致交通管理部門追查交通違法的難度變得越來越大，因此僅僅依靠車牌作為車輛唯一的識別標志已不合時宜.

套牌車俗稱克隆車.這種車是參照真牌車的型號和顏色，將號碼相同的假牌套在同樣型號和顏色的車上，其中有很多是報廢后偷運出來的舊車翻新的.使用偽造、變造的機動車號牌，使用其他車輛的機動車號牌，使用欺騙、賄賂手段取得機動車號牌的機動車均可以稱為套牌車.套牌車在智能交通信息安全中存在以下危害：

1) 脫離國家公安機關的管控.由于車輛沒有合法的牌照，這些車輛的信息公安機關也無法獲得，車輛出現事故、肇事逃逸、違章行駛等違法行為時，增加了公安機關的偵破難度.

2) 害人害己的行為.大部分套牌車在質量上都會有大大小小的問題，而且套牌車經常會出現違章行駛，這都會增加出現交通事故的概率，套牌車也無法購買合法保險，損失無力承擔的情況下 ，很多人會選擇逃逸.

3) 逃避稅費.套牌車無需辦理合法手續，而辦理合法手續產生的合理稅費也無從繳納，對國家稅收造成大量流失.

4) 欺詐保險公司.很多套牌車出現事故后，會騙取保險公司保金，危害保險公司的合法利益.

5) 危害真實車主的利益.套牌車出現事故、違章行駛和其他違法行為之后，會對真實車主造成巨大損失，雖然大部分可以通過申訴避免損失，還是有一部分車主會蒙受不白之冤.

車輛標志識別作為ITS的核心技術漸漸受到重視，也在打擊違法犯罪行為中起到非常重要的輔助作用.車輛標志作為制造商最重要的信息，在車輛信息中往往明顯且難以更換，犯罪嫌疑人容易忽視車輛標志不易更換的特點，工作人員經常借助車輛標志信息進行車輛身份的甄別，正確識別車輛標志將有助于車輛身份的確定，也有助于交通信息安全管理部門打擊違法犯罪.

5 結 論

本文首先設置憶阻器的阻值等級分別對應灰度圖像的256級灰度，按照線性映射關系，實現了憶阻交叉陣列存儲灰度圖像.然后采用全新的數字圖像預處理算法實現了數據增強操作，網絡模型的泛化性能得到了提高，能有效地對抗真實場景中的噪聲，具有較高的準確率，在智能交通信息安全中具有巨大的現實意義.