基于卷積神經網絡的圖像識別綜述

張松蘭

(蕪湖職業技術學院 電氣與自動化學院,安徽 蕪湖 241006)

0 引言

隨著信息化和人工智能的高速發展,包含文字、圖像及視頻的大量信息紛至沓來,而在靜態信息中圖像載體涵蓋的信息量大,如何在眾多的圖像中快速精準地識別出目標圖像需要運用圖像識別技術。圖像識別是根據圖像本身所體現出的特征,利用計算機對圖像進行分析處理,把目標圖像區分出來,從而識別出目標對象的技術。傳統的圖像識別流程有圖像預處理→特征提取→圖像識別三個步驟[1],圖像預處理部分[2]涉及圖像濾波(中值濾波[3]、均值濾波[4]、高斯濾波[5]等)和歸一化等處理,其作用是減小圖像中的噪聲,方便圖像的后續處理。圖像識別的三個步驟中每個環節都會影響識別結果,但圖像特征提取是圖像識別的重要環節,合理選取圖像中最合適、有效的特征是關鍵因素。常用的傳統特征提取方法有色彩、紋理、形狀、空間關系等底層視覺特征。

1 特征提取方法

1.1 基于色彩特征的索引技術

色彩是物體呈現出的一種較為直觀的視覺特征,自然界中每類物體都有其獨特的顏色分布特點,在圖像處理時,各種顏色的像素值互不相同,由于顏色直方圖表示簡單明了,受圖像的尺寸大小、視覺或旋轉角度的影響較小,因此可利用顏色直方圖特性來識別物體。

1.2 基于紋理的圖像識別技術

紋理特征也是圖像的重要特征之一,它反映了物體表面結構的排列方式及像素在周圍領域的分布規則,與顏色特征一樣,可應用于模式識別和計算機視覺等領域的圖像識別中。利用紋理所表現的不同屬性,不同學者采用抽取各異的屬性作紋理的特征。從結構的排列方式出發著眼于紋理區域的距離和方向特性,侯群群等[6]提出灰度共生矩陣表示法來區分圖像。從對紋理的視覺感知出發,候玉婷[7]提出粒度、對比度、粗糙度、方向性、均勻性和線型6個視覺屬性作為紋理特征來識別圖像。從紋理區域的分布統計特點出發,有學者提出取圖像小波變換后的方差和平均值為紋理特征[8]。唐波等[9]結合圖像的色彩模型和紋理兩個特征,針對輸電線路圖像在色彩模型中設置顏色閾值分割出背景區域,再利用數學形態學和紋理特征得到最小外接水平的目標區域,最后進行紋理特征識別,定位出絕緣子串區域。

1.3 基于形狀的圖像識別技術

形狀反映了圖像中各物體或圖形所包圍的區域,突出了輪廓邊界特征,因此圖像識別可從形狀的輪廓和區域特征或兩個特征相結合采用sobel、Roberts等算子[10]進行圖像的邊緣檢測。如有學者用線段和圓弧表達圖像的形狀輪廓,用不同的函數來定義形狀的邊界信息和區域信息,計算每個區域的質心、周長或面積值及整個形狀的位置特征,比較其異同,并對這些差異采用相應的函數進行加權求和[11]。

1.4 基于空間關系的圖像識別技術

圖像中包含了豐富的信息,其內部存在不同數量的子對象,各對象均有各自的空間位置,因此可以利用空間位置關系作為圖像識別的特征。不同的學者采用不同的表示形式來表述空間關系。美國匹茲堡大學常采用二維符號串2D-String表示圖像空間關系[12-13],但2D-String空間關系太簡單,實際中的空間關系遠比二維圖復雜得多,不能根據其2D-String重構其符號圖;由于圖像投射在平面圖上,在x或y軸上存在投影區間,Jungert用圖像的平面投影區來表示空間關系[13],實際圖像中存在多個物體;隨后,又有人提出圖像分割的方法來表示空間關系[14],這種表示法適用于圖像中物體數量較少的情況,但當圖像蘊含了豐富的信息或子對象比較多時,需要分割出的子對象較多,存儲容量大,難以確切地表述出復雜的圖像關系;張偉[15]針對圖像識別中的特征提取與描述問題,利用鄰接矩陣的特征值分解方法構造圖像邊界和空間關系,與傳統算法相比可有效地減少計算量。

圖像識別就是按照所選取的特征來對目標圖像進行識別的一種算法,特征提取的準確與否會影響識別性能優劣。常見的傳統識別器包括K近鄰[16]、支持向量機[17]等分類器,對于一些簡單圖像,這些分類器實現方法較簡單效果較好,但對于復雜圖像或圖像干擾嚴重,其識別精度有待提高。隨著計算機技術的快速發展和計算性能的提高,深度學習技術應運而生,它能夠從大量的圖像數據中自動學習特征,并能將學習到的特征與分類器相關聯,完成圖像的識別任務。在深度學習技術中,卷積神經網絡(Convolutional Neural Networks,CNN)已成為眾多學科領域的研究熱點之一,在圖像處理方面尤為突出[2],由于它對原始圖像預處理要求不高,直接輸入原始圖像通過卷積操作提取圖像特征即可完成圖像識別,因而得到了更為廣泛的應用。

2 卷積神經網絡

2.1 神經網絡

神經元是生物神經系統的生物基礎,大量的神經元相互連接組成了神經網絡,神經網絡具有感知和學習能力。為了建模需要,將神經元的功能數學化,建立神經元的數學模型,在神經元上作用非線性激活函數組成非線性網絡系統,整體上具有模仿動物神經網絡的行為特征。在網絡的訓練過程中通過調整神經元節點之間連接關系,使之具備學習輸入樣本和自適應的能力,從而實現對外部信息的感知能力,達到處理信息的目的。

經典的神經網絡結構一般包含輸入層、中間層(或隱藏層)和輸出層,隱藏層可根據實際情況設置多個。兩層間的節點以權重相連,代表兩節點間的輕重關系,每個神經元節點通過一種特定的激勵函數映射后輸出。代表性的神經網絡模型有BP網絡[18]、RBF網絡[19]、Hopfield網絡[20]等,運用這些網絡模型可實現函數擬合、優化處理、模式識別、目標分類等功能,因此,神經網絡廣泛應用于工業生產過程、人工智能、機器人等領域的信息處理中。

2.2 卷積神經網絡

卷積神經網絡是網絡中含有卷積操作并具有深度結構的前饋神經網絡[21],本質上是多層的神經網絡結構,具有輸入層、中間層(層次較多的隱藏層)和輸出層[22]。網絡中的神經元響應一定范圍內的領域神經元,在圖像處理中表現尤為突出,多層網絡結構將圖像的底層特征通過卷積操作逐漸組合形成高層特征,由局部信息抽取出高層語義信息,形成一個多層傳遞、逐步融合的過程,將特征提取與分類識別連聯在一起,從而實現圖像的識別任務。

2.2.1 卷積神經網絡結構

卷積神經網絡[23]的中間層可細化成卷積層、激活層、池化層和全連接層,是在神經網絡的基礎上發展起來的,其與普通神經網絡的區別在于卷積層的卷積操作。輸入的圖像通過卷積層提取圖像的底層特征后,經池化層降低圖像的維度,中間的卷積層和池化層可有多次重復堆疊,逐層傳遞輸入圖像信息,再到全連接層綜合圖像特征最后輸出結果。

2.2.2 卷積層

在卷積層中,卷積操作由一個或者多個卷積核(也稱過濾器)在前層圖像上選擇相應的圖像區域做卷積運算,然后按一定的步長作滑動運算,依次提取圖像的像素級特征,圖像特征綜合后經過激活函數激活,完成一次輸入到輸出的特征提取過程,卷積后的特征圖反映了前層圖像的融合特征。實際的圖像處理任務中卷積神經網絡可以設計多層,逐層抽取前層的圖像信息,刻畫原始圖像的特征,直至傳遞到全連接層,實現特征提取過程。

2.2.3 激活層

早期的人工神經網絡的非線性關系是通過神經節點間的激活函數來實現的,同樣卷積神經網絡在卷積操作后作用非線性激活函數,實現對輸入信息的非線性變換,使網絡的輸入輸出產生非線性映射關系,激活層對卷積后的逐元素作用激活函數,實現輸入和輸出信息的同維。常用的激活函數有以下幾種,激活函數圖形如圖1所示。

(1)sigmoid函數。常用的sigmoid函數[13]有兩種,Logistic-Sigmoid函數和Tanh-Sigmoid函數,表達式分別如式(1)和式(2)所示。式(1)為回歸S函數,式(2)為雙曲正切S函數,兩個S函數均為非線性函數,在零值附近雙曲正切S函數比回歸S函數曲線的斜率更大,因而在任務實現時其收斂速度更快。兩個激活函數里都含有冪指數,會增加網絡的計算量;由于兩個激活函數都呈飽和現象,在反向傳播計算過程中會出現梯度消失,降低模型的訓練速度,在深度神經網絡中逐漸被淘汰。

(1)

(2)

(2)ReLU函數。由于S函數在卷積神經網絡訓練中存在梯度消失或彌散現象,為克服此問題引入了線性校正單元ReLU,在x≥0時其值為x,它能有效解決S函數帶來的梯度消失問題,加快模型收斂,減少模型訓練時間[24]。ReLU函數在時,導數值為0,在網絡訓練時會產生神經元的消亡,因此在ReLU函數的基礎上進行了改進[24],其函數形式如式(3),當α為0時即為ReLU激活函數,α為固定參數時為Leaky ReLU函數,當α為可調參數時為PReLU函數。

(3)

(3)ELU函數。在ReLU 函數基礎上,為解決 ReLU的問題提出了ELU函數[24]。在x≥0時其值為x,為線性函數;而在x<0時其值為一指數函數,使輸出對輸入信號的變化具有更強的魯棒性,其函數形式為:

(4)

2.2.4 池化層

池化層又稱下采樣層,對卷積后的特征圖用選定的步長依次對一定大小的圖像區域進行降采樣操作,取出該區域的典型特征值,特征值的選取通常有三種:最大值、平均值和隨機值[23]。對應的池化方法分別為最大化池化、平均池化和隨機池化,隨機池化方法具有隨機性,按照概率矩陣依大小隨機選擇。池化操作將池化區域內的多個值變為一個值,特征圖的寬度和高度均降為原來的幾分之一,減少了卷積層輸出的特征向量,極大地減少了參數數量和卷積網絡中的計算量,同時能保證數據的平移不變性,經池化操作后特征圖的通道數保持不變。

2.2.5 全連接層

全連接層是一種傳統的多層感知器,出現在網絡結構的最后,層中每一個神經元與前一層的神經元均有連接關系,將輸入層圖像特征經多層特征提取再經高度融合后,得到圖像的高層表示,最后經回歸分類模型計算得到相應的響應值送到輸出層。

2.3 卷積神經網絡訓練

對于有監督的學習過程,在卷積神經網絡的訓練過程,網絡會自動學習各層網絡中的參數值,一次訓練過程包含有從輸入層到輸出層的信息提取學習過程和從輸出到輸入的誤差反向傳播實現參數更新過程。前向傳遞過程主要介紹卷積層的卷積運算,誤差反向傳播見傳統神經網絡的BP過程。卷積操作的運算式如式(5)所示:

(5)

3 圖像識別中常用的卷積神經網絡模型

在圖像識別中常用的卷積神經網絡模型有LeNet[25]、AleXNet[26]、GoogLeNet[27]、VGGNet[28]、ResNet等模型。

3.1 LeNet模型

LeNet模型由YAN L C于1998年首先提出[29],奠定了卷積神經網絡的基礎,LeNet網絡結構如圖2所示,由兩個卷積層、兩個全連接層和一個輸出層組成,又稱LeNet-5,基本模型結構為input->conv1->pool1->conv2->pool2->fc1->fc2->output,中間有兩個卷積池化的堆疊,卷積核的大小均為55。卷積層用于提取圖像的空間特征,激活函數使用softmax;池化層采用平均池化,進行下采樣降低圖像數據的維度;全連接層中每個節點與其輸入層的各節點均有連接關系,匯聚前面多層卷積圖提取的綜合特征信息。該模型早期主要用于手寫字符的識別與分類。

圖2 LeNet網絡結構

3.2 AlexNet模型

Hinton和他的學生Alex提出AlexNet網絡模型[30],在2012年的ImageNet挑戰賽中獲得冠軍,它是在LeNet基礎上改進得到的復雜網絡,由5個卷積層、2個全連接層及1個輸出層組成的卷積神經網絡。由于ImageNet中大多數圖像像素多,第一層的卷積塊較大,尺寸大小為11×11,通道數也較LeNet通道數多。AlexNet與LeNet的顯者區別在于:池化操作方面,全部使用最大池化方法,有效避免了平均池化的均化作用;激活函數方面,使用簡單的分段線性ReLU函數作為激活函數,減少了冪函數運算,改善了S形函數在深度網絡產生的梯度彌散和消失問題。

3.3 GoogLeNet模型

Szegedy提出多層串并聯結構的GoogLeNet網絡[31],獲得2014年ImageNet大賽的冠軍。GoogLeNet主體卷積部分中使用5個模塊,每個模塊間使用大小為3×3,步長為2的最大池化層來降低輸出維度。在GoogLeNet中基礎卷積塊稱為Inception塊,Inception塊結構如圖3所示,在網絡結構上已明顯區別于LeNet。Inception塊由4種卷積方式合并而成,第1種方式為1×1的卷積核卷積;中間2種方式都先經1×1的卷積,再分別經3×3和5×5的卷積來抽取輸入層的信息;第4種方式則是先經3×3最大池化層后,再接1×1卷積層。4種卷積方式都使用適當的填充方式使輸出大小保持一致,最后形成合并層,并輸入到下一層。Inception塊的引入能增強卷積模塊功能,可以在增加網絡深度和寬度的同時減少訓練參數。

圖3 Inception塊結構

3.4 VGGNet模型

DeepMind公司和牛津大學研發的VGGNet網絡[30]在2014年lmagenet比賽獲得亞軍。VGG版本常用的有VGG16和VGG19網絡。這里以VGG16為例,其基本結構與AlexNet和LeNet一樣,但它由多個卷積層構成卷積塊,包括五組卷積塊和3個全連接層,前2個卷積塊由兩個卷積層組成,而后3個卷積塊使用三個卷積層,一共有16個卷積層。五組卷積塊深度依次為64、128、256、512和512,每組卷積塊的深度相同。每個卷積塊由2～3個卷積層組成,能使網絡有更大感受野,同時能降低網絡參數。卷積核的大小為3×3,池化層使用大小為2×2,步長為2的最大池化。

3.5 ResNet模型

何愷明等針對訓練誤差并不隨網絡層數過多的增加而下降的問題,提出了殘差網絡ResNet[31],在2015年的ImageNet比賽中摘得冠軍。ResNet的前兩層與GoogLeNet一樣,不同之處在于GoogLeNet網絡中使用了Inception塊,而ResNet引入了殘差塊結構。殘差塊中有2條通道,一條通道將輸入層經2個3×3卷積后與另一個輸入層通道直接相加(輸入層經兩個卷積層的輸出與輸入層大小一樣),最后作用ReLU激活函數。

4 卷積神經網絡在圖像識別上的應用

4.1 手寫數字識別

手寫數字識別是CNN在圖像識別中最早的應用之一, LeNet網絡用在手寫字符的識別上準確率可達到98%,并在實際系統中投入應用。劉瀚駿等[32]用GoogLeNet模型的Inception設計卷積網絡模型,在MNIST數據集上驗證,準確率可以達到99.66%。呂浩等[33]結合SIP技術和FPGA技術采用卷積神經網絡實現了微系統設計,采用HLS來設計CNN中的卷積層和池化層,生成IP核分時復用構建微系統,實現了MicroVGGNet輕量化模型,在MNIST手寫數字數據集識別準確率達到98.1%。

4.2 人臉識別

卷積神經網絡在人臉檢測中的運用也是隨處可見,如門禁系統考勤管理系統等眾多場景中均有應用。胡佳玲等[34]針對CNN訓練參數多、計算量大等突出問題,在人臉識別算法上提出了輕量級MobileNet卷積神經網絡模型,將改進的MobileNet網絡和區域生成網絡RPN融合,在LFW人臉數據庫和自建的小型數據庫上訓練測試,識別準確率達到97.54%,較之前增加了0.2%,運行速度提高了21.3%,模型的參數減少了88%。張鵬等[35]針對傳統CNN在臉部表情識別過程中存在的問題,提出一種基于多尺度特征注意力機制的人臉表情識別方法,在Inception基礎上并行加入空洞卷積,用來提取人臉表情的多尺度特征信息,引入通道注意力機制,提升模型對重要特征信息的表示能力,通過在公開數據集FER2013和CK+上進行仿真實驗,分別取得了68.8%和96.04%的識別準確率。

4.3 交通運輸

卷積神經網絡在交通運輸方面的圖像識別中也有廣泛應用。李祥鵬等[36]使用深度學習Faster R-CNN 算法對特定自然場景下的車牌完成車牌定位,采用增強的AlexNet-L卷積神經網絡模型實現車牌字符的端對端識別,有效地提高車牌定位和車牌字符識別的準確度和效率。李訥等[37]結合卷積神經網絡在道路行駛車輛車標識別中引入殘差網絡YOLOV4進行車標的一步定位,檢測算法的精度和速度有了較大的提高。廖光鍇等[38]將卷積神經網絡和小波變換相結合對車輛重識別方法進行了研究,在ResNet-50中增加小波分解層數,整體模型的平均精度達到了63.90%,能有效提高車輛檢索精度。

4.4 醫學診斷

卷積神經網絡在醫學圖像診斷病理特征分析中也有大量的應用。趙科甫等[39]在甲狀腺結節超聲檢查上采用U-Net主干網絡提取不同層的圖像特征并加入了SE注意力機制算法,實現了甲狀腺結節的圖像分割,并達到了0.798 7的Dice系數。黃江珊等[40]則在甲狀腺結節B超影像中采用卷積神經網絡融入LSTM網絡,提取高維特征,生成特征序列,將高維度深層次的醫學影像轉化為影像的文本診斷數據。馬巧梅等[41]在肺結節檢測上采用三維卷積神經網絡3DCNN,融合殘差模塊獲取結節的空間信息,用于候選結節分類,有效地完成分割和檢測任務。

4.5 農作物檢測

水果及農作物檢測機器視覺方面也有卷積神經網絡的大量應用。傅隆生等[42]在多簇獼猴桃果實識別上采用LeNet網絡模型進行圖像識別研究。周勝安等[43]使用MobileNetV3的輕量化卷積神經網絡模型對水果中小缺陷塊進行檢測,實驗結果表明在訓練時間、檢測速度和準確率方面均衡性較好。周宏威等[44]在蘋果樹葉片病蟲害識別上構建VGG16、ResNet50和Inception V3三種神經網絡模型進行試驗,使用遷移學習能夠提升模型的收斂速度以及準確率。

5 結論

本文首先介紹了傳統圖像識別技術及存在的問題,引入了卷積神經網絡的深度學習方法。卷積神經網絡源于人工神經網絡,重點說明了中間層的結構和特點,然后介紹了經典的卷積神經網絡模型及相互間的區別,最后簡要綜述卷積神經網絡在圖像識別中的應用。卷積神經網絡在有監督的學習中已有廣泛的應用,但有監督的學習需要大量的圖像標注,耗費工作量大,如何在這此工作上提升效率還有待研究[30]。然而,將無監督的強化學習應用到圖像識別還在研究中[2]。對于原始圖像中含有一定噪聲的圖片,進一步提高模型的抗噪能力及泛化能力,也是亟待解決的問題。對于快速性要求較高的任務及提高圖像識別的速度(如疫情檢測)場景,需要增加卷積神經網絡的實時性能,設計出滿足實時性高的輕量級卷積神經網絡,同時兼顧模型準確性能。