邊緣智能背景下的手寫數字識別

王建仁　馬鑫　段剛龍　薛宏全

摘 要：隨著邊緣智能的快速發展，現有手寫數字識別卷積網絡模型的發展已越來越不適應邊緣部署、算力下降的要求，且存在小樣本泛化能力較差和網絡訓練成本較高等問題。借鑒卷積神經網絡（CNN）經典結構、Leaky_ReLU算法、dropout算法和遺傳算法及自適應和混合池化思想構建了基于LeNet-DL改進網絡的手寫數字識別模型，分別在大樣本數據集MNIST和小樣本真實數據集REAL上與LeNet、LeNet+sigmoid、AlexNet等算法進行對比實驗。改進網絡的大樣本識別精度可達99.34%，性能提升約0.83%;小樣本識別精度可達78.89%，性能提升約8.34%。實驗結果表明，LeNet-DL網絡相較于傳統CNN在大樣本和小樣本數據集上的訓練成本更低、性能更優且模型泛化能力更強。

關鍵詞：邊緣智能;卷積網絡;手寫數字識別;Leaky_ReLU;混合池化;自適應;dropout;遺傳算法

中圖分類號： TP30文獻標志碼：A

Handwritten numeral recognition under edge intelligence background

WANG Jianren， MA Xin*， DUAN Ganglong， XUE Hongquan

（College of Economics and Management， Xian University of Technology， Xian Shaanxi 710054， China）

Abstract： With the rapid development of edge intelligence， the development of existing handwritten numeral recognition convolutional network models has become less and less suitable for the requirements of edge deployment and computing power declining， and there are problems such as poor generalization ability of small samples and high network training costs. Drawing on the classic structure of Convolutional Neural Network （CNN）， Leaky_ReLU algorithm， dropout algorithm， genetic algorithm and adaptive and mixed pooling ideas， a handwritten numeral recognition model based on LeNet-DL improved convolutional neural network was constructed. The proposed model was compared on large sample MNIST dataset and small sample REAL dataset with LeNet， LeNet+sigmoid， AlexNet and other algorithms. The improved network has the large sample identification accuracy up to 99.34%， with the performance improvement of about 0.83%， and the small sample recognition accuracy up to 78.89%， with the performance improvement of about 8.34%. The experimental results show that compared with traditional CNN， LeNet-DL network has lower training cost， better performance and stronger model generalization ability on large sample and small sample datasets.

Key words： edge intelligence; Convolutional Neural Network （CNN）; handwritten numeral recognition; Leaky_ReLU; mixing pooling; adaptive; dropout; genetic algorithm

0 引言

隨著經濟社會的不斷發展，日常生活中與數字相關的應用越來越廣泛，使用場景也越來越豐富，對應的手寫數字識別需求也顯著提升[1]，例如：大規模紙質手寫數據的統計、會計報表的掃描和識別、銀行開戶單身份證信息的識別、高校試卷分數掃描識別并累加等[2]。手寫數字識別作為光學符號識別的一個重要分支，國內外眾多學者對其識別方法進行了廣泛而深入的研究，概括起來可分為基于模板匹配、基于機器學習和基于深度學習的識別方法三類。在基于模板匹配的識別方法研究方面，已有大量文獻探討了如何利用手寫數字本身的特征進行識別，典型的研究有董延華等[3]基于模式識別技術提出了改進特征匹配算法對手寫數字進行識別;陸靖濱等[4]提出了改進最大類間方差法對儀表外顯圖像進行自適應提取，并通過穿線法對數字進行識別;凌翔等[5]提出了基于改進的頂帽重構和模板匹配的車牌識別算法對自然場景下的車牌進行自動采集與識別; Saha等[6]提出了一種基于計算幾何特征的方法對小樣本手寫數字圖像進行識別;Jiao等[7]提出了一種基于主方向差異特征的快速模板匹配算法，對視頻圖像進行自適應獲取并識別。此類研究方法雖具有簡單、高效及可對手寫數字進行較好的識別與分類等優點，但由于是對數字圖像本身特征的提取與歸納，因此對圖像質量要求較高，方法易受圖像自身亮度、背景、角度等因素的影響，識別精度較低。在基于機器學習的識別方法研究方面，針對模板匹配方法中存在的識別精度低、易受圖像采集質量影響等問題，郭偉林等[8]在圓形鄰域局部二進制模式基礎上，提取各圖像分割子區域二進制模式直方圖，并訓練支持向量機（Support Vector Machine， SVM）分類模型對手寫數字進行識別;甘勝江等[9]基于K近鄰和隨機森林算法提出了一種融合機器學習方法，該方法在手寫數字目標分類中的準確率高于K近鄰、Adaboost、SVM和隨機森林算法模型;潘虎等[10]運用一種快速弱分類器訓練算法和高速緩存策略來加速Adaboost算法訓練對紙幣號碼進行識別;Khan等[11]提出一種基于熵的SVM特征選擇方法，通過多特征的提取與融合對車輛牌照進行識別;Kulkarni等[12]提出了一種基于尖峰觸發歸一化近似下降算法對手寫數字進行識別，并就MNIST數據集進行驗證，實驗結果證明算法精度較高。此類方法比傳統的模板匹配方法準確率更高、性能更佳，但需要人工提取圖像特征，導致特征提取的優劣將對最終的識別結果產生較大影響，并且，不同數據集的識別效果可能存在較大差異。基于深度學習的識別方法，比基于模板匹配和機器學習的手寫數字識別方法，它不僅不受圖像質量的影響且無需人工提取圖像特征，而且圖像識別精度更高，性能更優，如Yun等[13]結合卷積神經網絡（Convolutional Neural Network， CNN）特征提取和極限學習機（Extreme Learning Machine， ELM）目標分類提出了一種車牌識別算法;Qiao等[14]提出了一種自適應深度Q學習策略，進一步提高手寫數字識別精度和縮短運行時間;Trivedi等[15]基于遺傳算法與L-BFGS（Large Broy-den-Fletcher-Goldforb-Shanno）方法提出了一種混合深度學習模型對梵文手寫體數字進行識別;茹曉青等[16]在卷積神經網絡中引入形變卷積模塊，提出了一種改進的形變卷積神經網絡對手寫體數字進行識別;馬義超等[17]針對CNN卷積核隨機初始化情況下收斂速度慢和識別率低等問題，提出一種主成分分析（Principal Component Analysis，PCA）初始化卷積核的CNN識別算法對手寫數字進行識別。在實際的應用場景中，此類方法特別是卷積神經網絡模型被廣泛應用于手寫數字識別，將預處理后圖像數據送入卷積神經網絡模型進行訓練，模型最終的結果為softmax函數輸出的包含10個元素的向量，通過與原始標簽進行比較，便可得最終的預測結果。然而，針對手寫數字識別卷積網絡的一系列改進，如增加網絡深度、增強卷積模塊功能及增加新模塊功能等，使得網絡模型越來越臃腫，在精度提升的同時，訓練成本也越來越高。

綜上所述，經多年研究，無需人工特征提取、精度較高且性能更優的基于深度學習特別是卷積神經網絡模型的手寫數字識別逐漸成為各學者研究的主要方向。然而，隨著物聯網技術（Internet of Things， IoT）的進一步發展，人工智能（Artificial Intelligence， AI）與IoT的融合越發緊密，AI模型逐漸偏向IoT終端側部署，傳統的依賴于遠端高性能服務器或云實現的基于CNN的手寫數字識別網絡模型訓練成本較高且小樣本泛化能力較差，不適應IoT終端算力低、數據量小等特點。因此，本文在邊緣智能背景下，提出了一種基于LeNet-DL改進網絡的手寫數字識別模型，并分別于大樣本標準數據集MNIST和小樣本真實數據集REAL上與常用LeNet、LeNet+sigmoid、AlexNet等手寫數字識別算法進行對比實驗，以此來驗證模型性能。

1 相關工作

1.1 邊緣智能

邊緣計算指在靠近網絡邊緣側，融合計算、存儲、應用核心能力等的分布式開放平臺，就近提供智能服務，能有效滿足行業數字化相關需求[18]，邊緣智能（Edge Intelligence， EI）則為AI、IoT與邊緣計算深度融合的產物[19]。隨著傳統的依賴于云的AI模型因云端個人數據泄露、能耗較高以及模型延時性較高等問題為人所詬病，邊緣智能作為一種滿足某些實時物聯終端需求的技術越來越為人們所重視。

在商業領域，EI的相關研究特別是AI智能芯片的研究異常火熱。如國內通信領域霸主華為相繼發布搭載專門神經網絡的AI核心處理器麒麟970等產品，電商巨頭阿里發布AI芯片Ali-NPU，中科院計算所推出寒武紀芯片等，國外智能手機領跑者Apple發布A11仿生處理器，NVIDIA發布專用于AI的GPU，谷歌推出TPU，IBM推出“真北”等。而學術領域對EI的研究卻不溫不火。以題名、關鍵字或摘要（邊緣計算、邊緣智能）在CNKI和Elsevier不完全統計2009年到2019年相關文獻，邊緣計算共208008篇，邊緣智能共17447篇，其中中文期刊文章分別占比0.2%和0.1%，理論研究較為欠缺，因此，對邊緣智能的相關理論研究具有較高價值。該領域典型研究多集中于計算網絡服務性能提升方面，主要包括：施巍松等[18]在對EI研究現狀充分分析的基礎之上，總結了推動EI發展的7項關鍵技術和6類需迫切解決的問題，為EI研究指明了方向;袁培燕等[20]為降低骨干網絡流量壓力并提升終端用戶體驗，基于移動邊緣計算的內容卸載技術提出了一種貪心策略內容卸載方案;Xu等[21]為改善網絡擁堵，將移動邊緣計算網絡服務器與區塊鏈智能合約相結合，提出了一種無信任混合人機群智能平臺; Tan等[22]為實現車載網絡的低成本高效率目標，提出了一種聯合通信、緩存與邊緣計算的策略;Huang等[23]提出了一種用于構建智能物聯網應用的邊緣智能框架。

1.2 卷積神經網絡

CNN是一大類特殊的反饋神經網絡，主要由卷積層和池化層交替連接，并最終由全連接層實現圖像分類。CNN對圖像特征的提取及分類均是基于卷積層與池化層進行的，因此對卷積層、池化層及層級的優化調整能有效提高特征提取性能并優化分類結果，典型的研究如：LeCun等[24]提出的用于手寫數字識別的卷積神經網絡LeNet，該網絡共包含8層，主要由輸入層、卷積層、池化層、全連接層、輸出層組成，是目前為止最為經典的手寫數字識別網絡算法;Krizhevsky等[25]基于LeNet網絡，進一步提升網絡深度并引入激活函數、Dropout函數等新功能模塊提出了一種新的深度卷積神經網絡AlexNet對圖像進行識別;以及在此基礎之上發展起來的VGG網絡、NIS網絡、ResNet網絡和GoogleNet網絡等。卷積神經網絡的普遍結構如圖1所示，圖中共包括2層卷積C1和C3，2層池化S2和S4，2層全連接F5和F6，當目標圖像以二維數組形式輸入網絡，通過網絡層層處理，最終輸出圖像分類結果，分類的個數通常由實際的任務所決定。

1.3 遺傳算法

遺傳算法（Genetic Algorithm， GA）是一種仿生式的啟發算法，可有效搜索問題的龐大解空間，主要步驟包括：1）隨機生成初始種群即搜索空間，計算種群適應性，從最適合環境的原始種群生成候選解。2）對該候選種群進行交叉，經突變后，再從該群體中選擇較低分類成本的候選者。3）將較低分類成本候選者傳遞給交叉和突變。因此，在特定數量的交叉，突變和選擇解決方案之后，GA終止并返回最佳結果。該過程類似于物種自然選擇過程，且整體搜索策略優化搜索方法對輔助信息的依賴較小，為求解復雜系統問題提供了一種高魯棒性的通用框架，因此被廣泛應用于求解問題的近似最優解。

2 改進的手寫數字識別網絡模型

本文借鑒經典卷積神經網絡結構，結合IoT邊緣設備算力低和數據量小等特點，分別就激活函數、模型參數優化、網絡泛化能力優化、全連接層隨機權重優化和學習速率優化5個方面對經典手寫數字CNN識別模型進行改進，提出了一種用于手寫數字識別的改進卷積神經網絡（LeNet-DL），該網絡共7層，依次為輸入層、卷積層1、池化層1、卷積層2、池化層2、全連接層和輸出層。

2.1 激活函數改進

設淺層輸出為v，深層輸入為h，權重矩陣為w，偏置項為b，兩層之間能量函數為E（v，h），則可得v與h的聯合概率分布P（v，h）及條件分布P（h|v）：

P（v，h）=e-E（v，h）∑v，he-E（v，h）（1）

P（h|v）=1P（v）e-E（v，h）∑v，he-E（v，h）（2）

由于同一層神經元之間相互獨立，由極大似然梯度估計可得在給定v的條件下深層的完全條件概率P（hj|v）：

P（hj|v）=11+e-（bj+wvj）（3）

由式（3）結果可見，淺層與深層之間存在某種變換關系即激活函數f（wv+b）。同時，由于CNN是一種反饋神經網絡，在誤差ε反向傳播更新權重wij的過程中需要對f（wv+b）求導，因此還需滿足計算簡單、非線性、可微性、單調性、有限的輸出值范圍、非飽和以及部分接近恒等變換等性質。常用激活函數對比如圖2所示，ReLU作為較常用的激活函數，相比于sigmoid和Tanh在x>0區間內不存在“梯度消失”問題，且ReLU為非0中心的線性分段函數，運行效率遠高于sigmoid及Tanh等非0中心的冪指數系激活函數。ReLU具體公式如下：

f（x）=x， x>0

0，x≤0 （4）

但ReLU算法存在一個比較致命的問題，即當神經元輸入值為負時，激活函數的輸出值為0，神經元無法激活，或當學習速率η過大時，由權重迭代公式（5）可知wij同樣可能取負值，激活函數輸出值為0，導致神經元無法激活。

wij=wij-ηCwij（5）

式中：wij為淺層第i個神經元與深層第j個神經元之間的連接權重;C為網絡激活函數。若發生大量神經元死亡，網絡最終將無法收斂，如圖3所示。圖3情況下，參數設置為：網絡LeNet，函數ReLU，lr=0.01，batch_size=200，T=1000。Leaky_ReLU為ReLU基礎之上演化而來的0中心線性分段激活函數，它通過線性函數αx替換原x<0時的負值表示，具備了原ReLU全部優點，同時解決了x<0區間上神經元死亡問題，緩解了ReLU非0中心的問題，因此，本文將Leaky_ReLU作為改進卷積神經網絡激活函數，Leaky_ReLU具體公式如下：

f（x）=x， x>0

αx，x≤0; α∈（0，1）（6）

式（6）中α為負半軸線性函數系數，通常為大于0小于1的較小浮點數，由先驗經驗進行判定。

2.2 模型參數優化

卷積神經網絡中的參數調整是模型優化中的一個重要方面。因此，本文在LeNet-DL網絡中進行如下參數調整：1）增大卷積層（c1、c2和c3）通道數。卷積層通道數即卷積層卷積核數量，理論上來說，卷積核個數越多，網絡的特征提取能力越強，所能提取的圖像特征就越多，網絡的性能則更優;2）將最大池化修改為混合池化。池化即將卷積所得特征矩陣劃分為若干子矩陣，從每個子矩陣中選取某個值表征其特征，起到壓縮特征矩陣、簡化計算的作用，主要包括均值池化（mean-pooling）和最大池化（max-pooling）兩種。由于卷積層通道數的增大會進一步提升卷積參數誤差所造成的估計均值偏移程度，故將池化層1（p1）的池化方式調整為max-pooling，盡可能減小估計均值偏移程度;同時，為更好保留各特征矩陣的背景信息，縮小鄰域大小受限造成的估計值方差，池化層2（p2）則采用mean-pooling，即將子矩陣內像素點均值作為該子矩陣的表征。具體參數如表1所示。

2.3 網絡泛化能力優化

考慮到物聯網終端側數據量較小，訓練數據無法反映數據整體特征，模型無法充分理解總體特征，極易出現“訓練集優，測試集差”的過擬合現象，致使模型泛化能力較差，且傳統卷積神經網絡的全連接層通常位于網絡后端，與傳統神經網絡連接方式基本一致，并未考慮網絡對過擬合數據的泛化能力，本文借鑒AlexNet網絡過擬合處理思路，在LeNet-DL網絡全連接層引入dropout函數，進一步提升網絡泛化能力。

dropout的主要流程如下：

1）訓練階段：網絡前向傳播過程中，為降低節點間相互作用，借鑒模型集成思想，以概率p激活某些神經元、概率（1-p）終止某些神經元，通過集成n次模型訓練所得不同模型結果，提升模型泛化能力;

2）測試階段：由于訓練階段某神經元在dropout前的輸出為x，dropout后期望輸出為E=px+（1-p）×0=px，且測試中各神經元均處于激活狀態，因此為使期望不變，測試階段權重w′=pw。

另外，為進一步提升測試性能，降低模型測試時間，LeNet-DL將權值縮放轉移至訓練階段，即以概率p保留下來的神經元對應權重w調整為w′=w/p，測試階段不進行任何處理。dropout計算過程對比示意圖如圖4所示。

2.4 全連接層隨機權重優化

傳統卷積神經網絡模型大多采用隨機梯度下降算法對模型進行訓練，為加快網絡收斂，則需激活函數導數值盡可能地大，而某個神經元j的輸入是由上層一系列神經元i的輸出加權求和并經激活函數f變換后所得，即可表示為xj=f（∑ixi wij+b），因此，只需將∑ixi wij+b控制在某一初始值范圍內，更進一步，即將權重wij的初始值控制在某一范圍內，使得激活函數導數值落入取值較大的范圍內即可。

實際應用中，卷積神經網絡模型權重的初始化方式主要有三種：標準正態分布初始化、方差遞減正態分布初始化和截斷正態分布初始化，均通過生成一系列服從正態分布的隨機數作為網絡初始權重，操作簡單，但會降低梯度下降算法效率，影響網絡收斂。以標準正態分布隨機數為例，假設存在有n個輸入神經元的CNN，且連接下一層的權重wij已初始化為標準正態分布隨機數，為簡化計算，設定輸入層輸出為x，則一定概率存在n/2的權重為0剩余神經元權重為1的情況，此時，下層第j個神經元的輸入值為zj=f（∑ni=1wijxi+b），因為各獨立隨機變量和的方差等價于各獨立隨機變量方差的和，因此（∑ni=1wijxi+b）～N（0，n2），n越大，（∑ni=1wij xi+b）服從的正態分布方差越大，|∑ni=1wij xi+b|值的變動幅度越小，激活函數導數值變動較小，最終導致權值的更新速度較慢，模型收斂速率低。而無論是隨著網絡模型深度的增加權值初始化的正態分布標準差逐漸縮小的方差遞減正態分布初始化還是所產生隨機數滿足條件（xij-μ）<2σ的截斷正態分布初始化，均不同程度地存在上述問題。

本文鑒于遺傳算法具有高效搜索局部或全局最優解的特點，將種群個數為10，染色體長度等于softmax分類器中權重數的遺傳算法生成值作為全連接層的初始化權重。全連接層計算方式如圖5所示

2.5 學習速率優化

諸如LeNet、AlexNet等傳統網絡模型學習速率（learning rate， lr）的設定主要有兩種方式：依靠先驗經驗設定和逐一測試挑選最優lr。此種方式對于深度網絡來說是災難性的，模型訓練成本極高，會耗費大量計算資源和時間。此外，lr過大，理論上可認為算法模型更易接近局部最優或全局最優，但實際情況下模型損失后期存在較大波動，始終難以達到最優;lr過小，雖可有效緩解模型訓練后期損失波動較大問題，但會延長模型收斂時間，降低模型性能。

鑒于現有CNN學習速率設定存在上述問題，改進的LeNet-DL算法采用非線性自迭代方式對lr進行自適應調整。非線性自迭代的基本思想為模型訓練初期使用較大lr尋優，隨著迭代次數的增加，lr逐漸縮小，確保后期訓練損失不會出現較大波動。具體公式如下：

lr_ri=TL×br_r+e-i1+e-i， 10000≤L

LT×br_r+e-i1+e-i， 0

其中：lr_ri為模型迭代第i次的學習速率;br_r為初始迭代速率;T為模型總迭代次數;L為總樣本量。從圖6中可見，在L為60000的條件下，迭代次數越小，模型學習速率曲線趨近x軸的速率越快;在迭代次數不變的條件下，樣本量減小，模型學習速率曲線趨近x軸的速率越快。

3 實驗驗證與結果分析

本部分模型訓練單機硬件配置為Intel Core i7-8550U @1.80GHz 2.00GHz核心處理器，8.00GB RAM，218GB固態硬盤，Intel UHD Graphics 620和Radeon RX 550雙顯卡，軟件平臺為PyCharm集成開發環境，TensorFlow深度學習框架、opencv圖像處理、Numpy科學計算、time時間操作、matplotlib2D繪圖和sklearn機器學習等庫，操作系統為Windows 10 家庭中文版。

3.1 手寫圖像數據預處理

本節選取數據集共兩部分：MNIST標準手寫體數字數據集和西安理工大學30名在校學生真實手寫數字數據集。

第一部分數據集為美國國家標準與技術研究所（National Institute of Standards and Technology， NIST）構建，共70000幅手寫體數字圖像，由250人手寫，其中1/2為高中生，1/2為人口普查局工作人員，圖片按照字節形式存儲，所有圖像數據均經過相關預處理，部分手寫體圖片如圖7所示。

第二部分數據集為本實驗人工搜集數據集，共300幅手寫數字圖片，年齡范圍為18～28歲，其中年級分布上1/2為本科生，1/2為研究生;性別分布上1/2為男性，1/2為女性。文章為進一步減少圖像噪聲、類間和類內變換，強化模型提取圖像特征的能力以及提高模型分類精度，對圖像進行相關預處理，具體的預處理過程如下：

1）BGR圖像轉換為Greyscale灰度圖，采用單通道表征圖像特征;

2）手寫圖像為智能手機終端采集的白底黑字圖像，為降低因拍攝角度、亮度和噪聲等環境差異對圖像識別造成的干擾，文章將各像素點大于115的像素值替換為255;

3）各像素點像素值翻倍后減35，進一步提高手寫數字與背景對比度;

4）圖像重構為LeNet-DL網絡輸入層圖像大小28×28。圖像預處理過程及最終處理結果如圖8所示。

3.2 模型檢驗

3.2.1 MNIST數據集實驗結果分析

為驗證本文提出的LeNet-DL網絡在大數據集中的分類性能，在MNIST數據集上構建LeNet、S_LeNet、AlexNet以及LeNet-DL手寫體數字識別模型進行對比實驗，并設定輸入圖像大小為28×28，灰度圖，初始迭代速率br_r=0.001，訓練批量batch_size=200，總迭代次數T=60000，dropout概率p=0.5，采用交叉熵定義損失函數，梯度下降算法訓練樣本數據，同時，為提高實驗結果的普適性，分別在相同實驗條件下進行重復實驗，所得數據均為各實驗結果平均值。實驗結果對比如表2所示。

從表2中數據可知，LeNet-DL具有較好的模型泛化能力，在多分類大數據集MNIST中性能更優，訓練集精度與測試集精度、召回率和F1-score均優于傳統網絡模型，分類準確率達99.34%，性能提升約0.83%;同時，LeNet-DL網絡模型的訓練成本要遠低于AlexNet及基于AlexNet網絡演化而來的深層卷積神經網絡（GoogleNet、VGG16和ResNet等），單次訓練耗時為0.347s，性能提升約79.72%。在收斂速度方面，LeNet網絡由于深度較淺且卷積層與池化層間無非線性變換，導致模型收斂速度極慢;S_LeNet網絡由于在LeNet基礎之上增添了非線性變換激活函數sigmoid，網絡模型得以收斂，但整體效果不佳，收斂速度較慢;AlexNet網絡深度較深，有6000萬個參數和650000個神經元，模型訓練往往需要百萬級甚至更大量級的圖像數據，模型訓練成本高，收斂速度慢，因此在60000張MNIST手寫數字圖像下以batch_size=200訓練60000次模型并未收斂。

圖9為選取LeNet-DL模型60000次迭代的訓練集精確度和損失值的對比，從圖中可見，模型訓練前期損失值loss下降較快，同時精確度也快速上升，迭代至27600次左右時loss和accuracy已基本趨于穩定，中間過程雖稍有波動，但總體呈穩定趨勢，最終模型精度可達99.6%。圖10所示為LeNet-DL模型預測集單數字預測精度，從具體結果數據對比可見，模型對0～9手寫數字的預測精度均高于傳統卷積網絡算法，整體識別率較高，LeNet-DL網絡具有較好的魯棒性。綜上分析，LeNet-DL網絡的性能更優，收斂速度更快。

3.2.2 REAL真實數據集實驗結果分析

網絡模型的泛化能力越強，表明模型的普適性越強，對未知數據集的處理能力就越強;否則，網絡模型的泛化能力越差。本文為進一步驗證LeNet-DL網絡在物聯網終端設備小樣本條件下的泛化能力，基于真實手寫數據集構建模型對比實驗。數據集共包括300張手寫數字，訓練集與測試集劃分比例為7∶3，圖像大小為28×28，灰度圖，br_r=0.001， batch_size=210，總迭代次數T=10000，dropout概率p=0.71，采用交叉熵定義損失函數，梯度下降算法訓練樣本數據，所得實驗數據均為多次重復實驗結果的平均值。具體實驗結果如表3所示。

從表3實驗數據中可見，LeNet和S_LeNet網絡模型的收斂速度較快，模型訓練精確度可達100%，但測試集中的精確度卻僅有70%左右，遠低于訓練集中的精確度，模型出現嚴重過擬合現象，不足以應對小樣本條件下的精確分類;以AlexNet為代表的一系列深度卷積神經網絡，雖針對可能出現的過擬合問題進行了相關改進，但網絡深度較大且數據集較小，模型無法有效收斂;從圖11和圖12可知，本文提出的LeNet-DL相比于傳統網絡模型泛化能力較強，性能較優，收斂速度較快，但同樣出現了較小程度的過擬合現象，文章分析主要有以下三點原因：

1）訓練數據過少：由于數據量與數據噪聲量呈反比，少量數據便可導致較大的噪聲。

2）測試集與訓練集分布差異較大：本實驗所收集數據雖然在年級、性別和年齡等方面較為均衡，但在訓練集和測試集劃分過程中采用的是機器學習庫sklearn中cross_validation模塊train_test_split函數隨機劃分的，很難保證訓練集中年級、性別和年齡等方面與測試集中保持一致，影響模型對數據分布的有效分析。

3）采集數據集存在“霍桑效應”：霍桑效應是指當被試者察覺到自己正在被他人關注或者察覺時，會刻意改變某些行為或言語表達的傾向。本實驗手寫圖像均由實驗人員人工采集，在采集過程中明確告知被采集者采集數據供科研使用，并多次強調被采集者應按自己平時的書寫習慣進行書寫，但該種方式仍然與自然狀態下被采集者的書寫習慣有所區別，實驗所用的數據存在一定誤差。

4 結語

數字圖像識別在實際場景中有著十分廣泛的應用，而隨著IoT與AI的進一步融合，現有的數字圖像識別已不滿足邊緣部署、算力下降和數據量小的要求，因此，研究下一代既高效又精確的識別網絡模型對促進邊緣智能部署和數字識別應用具有十分重要的意義。

本文針對邊緣智能背景下現有數字識別網絡模型存在的泛化能力較差和訓練成本較高等問題，提出了一種改進的數字識別卷積網絡模型LeNet-DL。該網絡模型共7層，使用Leaky_ReLU激活函數替換原sigmoid或ReLU激活函數，在一定程度上解決了因原有激活函數所引起的“梯度消失”和“神經元死亡”問題，并進一步提升卷積核卷積能力，采用混合池化方式對卷積層輸出Feature Map進行下采樣，繼而通過遺傳算法優化卷積網絡全連接層權重并引入dropout函數，提高了模型的泛化能力，并提出一種依據總迭代次數、當前迭代次數與訓練樣本總量的非線性自適應模型學習速率迭代算法，有效縮減了模型速率的人工調試過程，降低了模型訓練成本。

基于大樣本標準數據集MNIST和小樣本真實數據集REAL，將LeNet、sigmoid+LeNet、AlexNet和本文算法LeNet-DL進行對比實驗，分別就模型的單次訓練耗時、訓練集精度、測試集精度、測試集召回率、測試集F1-score、模型收斂迭代次數和精度損失對比進行比較分析。本文所提的LeNet-DL網絡模型在兼顧模型識別精度、泛化能力和訓練成本的基礎之上，大樣本識別精度可達99.34%，性能提升約0.83%;小樣本識別精度可達78.89%，性能提升8.34%。實驗結果表明，本文所提的手寫數字識別卷積網絡模型是有效的，其預測精度、模型泛化能力及網絡訓練成本較傳統模型更優。但由于邊緣智能本身較為復雜，本文對手寫數字識別模型邊緣部署研究仍處于探索嘗試階段，有待于進一步提高網絡模型的精度和泛化能力，降低模型訓練成本。

參考文獻 （References）

[1]卜令正，王洪棟，朱美強，等.基于改進卷積神經網絡的多源數字識別算法[J].計算機應用，2018，38（12）：3403-3408.（BU L Z， WANG H D， ZHU M Q， et al. Multi-source digital recognition algorithm based on improved convolutional neural network [J]. Journal of Computer Applications， 2018， 38（12）： 3403-3408.）

[2]AKHAND M A H， AHMED M， RAHMAN M M H， et al. Convolutional neural network training incorporating rotation-based generated patterns and handwritten numeral recognition of major Indian scripts [J]. IETE Journal of Research， 2018， 64（2）： 176-194.

[3]董延華，陳中華，宋和燁，等.改進特征匹配算法在銀行卡號識別中的應用[J].吉林大學學報（理學版），2018，56（1）：126-129.（DONG Y H， CHEN Z H， SONG H Y， et al. Application of improved feature matching algorithm in bank card number identification [J]. Journal of Jilin University （Science Edition）， 2018， 56（1）： 126-129.）

[4]陸靖濱，許麗.基于自適應特征提取的數顯儀表識別系統[J].現代電子技術，2017，40（24）：147-150.（LU J B， XU L. Digital-display instrument recognition system based on adaptive feature extraction [J]. Modern Electronic Technique， 2017， 40（24）： 147-150.）

[5]凌翔，賴錕，王昔鵬.基于模板匹配方法的不均勻照度車牌圖像識別[J].重慶交通大學學報（自然科學版），2018，37（8）：102-106.（LING X， LAI K， WANG X P. Uneven illumination license plate image recognition base on template matching method [J]. Journal of Chongqing Jiaotong University （Natural Science）， 2018， 37（8）： 102-106.）

[6]SAHA S， SAHA S， CHATTERJEE S K， et al. A machine learning framework for recognizing handwritten digits using convexity-based feature vector encoding [C]// Proceedings of International Ethical Hacking Conference 2018， AISC 811. Singapore： Springer， 2018： 369-380.

[7]JIAO J， WANG X， DENG Z， et al. A fast template matching algorithm based on principal orientation difference [J]. International Journal of Advanced Robotic Systems， 2018， 15（3）：1-9.

[8]郭偉林，鄧洪敏，石雨鑫.基于局部二進制和支持向量機的手寫體數字識別[J].計算機應用，2018，38（S2）：282-285， 289.（GUO W L， DENG H M， SHI Y X. Handwritten digit recognition based on local binary and support vector machine [J]. Journal of Computer Applications， 2018， 38（S2）： 282-285， 289.）

[9]甘勝江，白艷宇，孫連海，等.融合改進K近鄰和隨機森林的機器學習方法[J].計算機工程與設計，2017，38（8）：2251-2255，2275.（GAN S J， BAI Y Y， SUN L H， et al. Machine learning method fusing improved K-nearest neighbors and random forest [J]. Computer Engineering and Design， 2017， 38（8）： 2251-2255， 2275.）

[10]潘虎，陳斌，李全文.基于二叉樹和Adaboost算法的紙幣號碼識別[J].計算機應用，2011，31（2）：396-398.（PAN H， CHEN B， LI Q W. Paper currency number recognition based on binary tree and Adaboost algorithm [J]. Journal of Computer Applications， 2011， 31（2）： 396-398.）

[11]KHAN M A， SHARIF M， JAVED M Y， et al. License number plate recognition system using entropy-based features selection approach with SVM [J]. IET Image Processing， 2018， 12（2）： 200-209.

[12]KULKARNI S R， RAJENDRAN B. Spiking neural networks for handwritten digit recognition — supervised learning and network optimization [J]. Neural Networks， 2018， 103： 118-127.

[13]YUN Y， LI D， DUAN Z. Chinese vehicle license plate recognition using kernel-based extreme learning machine with deep convolutional features [J]. IET Intelligent Transport Systems， 2018， 12（3）： 213-219.

[14]QIAO J， WANG G， LI W， et al. An adaptive deep Q-learning strategy for handwritten digit recognition [J]. Neural Networks， 2018，107： 61-71.

[15]TRIVEDI A， SRIVASTAVA S， MISHRA A， et al. Hybrid evolutionary approach for Devanagari handwritten numeral recognition using convolutional neural network [J]. Procedia Computer Science， 2018， 125： 525-532.

[16]茹曉青，華國光，李麗宏，等.基于形變卷積神經網絡的手寫體數字識別研究[J].微電子學與計算機，2019，36（4）：47-51.（RU X Q， HUA G G， LI L H， et al. Handwritten digit recognition based on deformable convolutional neural network [J]. Microelectronics and Computer， 2019， 36（4）： 47-51.）

[17]馬義超，趙運基，張新良.基于PCA初始化卷積核的CNN手寫數字識別算法[J].計算機工程與應用，2019，55（13）：134-139.（MA Y C， ZHAO Y J， ZHANG X L. CNN handwritten digit recognition algorithm based on PCA initialization convolution kernel [J]. Computer Engineering and Applications， 2019， 55（13）： 134-139.）

[18]施巍松，孫輝，曹杰，等.邊緣計算：萬物互聯時代新型計算模型[J].計算機研究與發展，2017，54（5）：907-924.（SHI W S， SUN H， CAO J， et al. Edge computing — an emerging computing model for the Internet of everything era [J]. Journal of Computer Research and Development， 2017， 54（5）： 907-924.）

[19]李肯立，劉楚波.邊緣智能：現狀和展望[J].大數據，2019，5（3）：69-75.（LI K L， LIU C B. Edge intelligence： state-of-the-art and expectations [J]. Big Data， 2019， 5（3）： 69-75.）

[20]袁培燕，蔡云云.移動邊緣計算中一種貪心策略的內容卸載方案[J].計算機應用，2019，39（9）：2664-2668.（YUAN P Y， CAI Y Y. Content offloading scheme of greedy strategy in mobile edge computing system [J]. Journal of Computer Applications， 2019， 39（9）： 2664-2668.）

[21]XU J， WANG S， BHARGAVA B K， et al. A blockchain-enabled trustless crowd-intelligence ecosystem on mobile edge computing [J]. IEEE Transactions on Industrial Informatics， 2019， 15（6）：3538-3547.

[22]TAN L T， HU R Q， HANZO L. Twin-timescale artificial intelligence aided mobility-aware edge caching and computing in vehicular networks [J]. IEEE Transactions on Vehicular Technology， 2019， 68（4）： 3086-3099.

[23]HUANG Z Q， LIN K J， TSAI B L， et al. Building edge intelligence for online activity recognition in service-oriented IoT systems [J]. Future Generation Computer Systems， 2018， 87： 557-567.

[24]LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[25]KRIZHEVSKY A， SUTSKEVER I， HINTON G. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. New York： Curran Associates Inc.， 2012： 1097-1105.

This work is partially supported by the Shaanxi Provincial Key Discipline Project （107-00X901）.

WANG Jianren， born in 1961， M. S.， associate professor. His research interests include data mining， business intelligence， decision support.

MA Xin， born in 1995， M. S. candidate. His research interests include machine learning， deep learning， recommender system.

DUAN Ganglong， born in 1977， Ph. D.， associate professor. His research interests include data mining， business intelligence， decision support.

XUE Hongquan， born in 1978， Ph. D.， lecturer. His research interests include computing intelligence， advanced manufacturing management.≡『』（）¤==¤欄目網絡空間安全¤==¤◎

收稿日期： 2019-05-22;修回日期：2019-07-02;錄用日期：2019-07-04。基金項目：陜西省重點學科資助項目（107-00X901）。

作者簡介：王建仁（1961—），男，陜西西安人，副教授，碩士，主要研究方向：數據挖掘、商務智能、決策支持; 馬鑫（1995—），男，山東濰坊人，碩士研究生，主要研究方向：機器學習、深度學習、推薦系統; 段剛龍（1977—），男，陜西西安人，副教授，博士，主要研究方向：數據挖掘、商務智能、決策支持; 薛宏全（1978—），男，陜西西安人，講師，博士，主要研究方向：計算智能、先進制造管理。

文章編號：1001-9081（2019）12-3548-08DOI：10.11772/j.issn.1001-9081.2019050869