基于優(yōu)化反向傳播算法的物體識別技術

翟高粵

摘要：誤差反向傳播算法是適合于深度學習中多層神經(jīng)元網(wǎng)絡的一種學習算法，它建立在梯度下降法的基礎上。反向傳播算法主要由兩個環(huán)節(jié)（激勵傳播、權重更新）反復循環(huán)迭代，直到網(wǎng)絡對輸入的響應達到預定的目標范圍為止。本論述首先介紹物體檢測和物體識別的概念，然后對圖像檢索系統(tǒng)所涉及的深度學習、卷積神經(jīng)網(wǎng)絡、反向傳播算法、梯度下降和激活函數(shù)等相關概念進行了介紹。最后在卷積神經(jīng)網(wǎng)絡中分別采用了ADAGRAD、ADADELTA、ADAM、ADAMAX、NADAM、SGD和RMSPROP等七種優(yōu)化方法對COIL100數(shù)據(jù)集中的72個對象進行訓練并得出結果進行比較分析，結果表明，Adadel？ ta優(yōu)化器在圖像數(shù)據(jù)集上提供了更好識別的結果。

關鍵詞：深度學習；卷積神經(jīng)網(wǎng)絡；物體識別；反向傳播；人工智能

中圖分類號：TP183文獻標識碼：A

0引言

物體檢測是機器人、機器學習、神經(jīng)網(wǎng)絡和人工智能等技術的融合。物體檢測人工智能技術能夠實現(xiàn)識別各種形式的物體。通常情況下，由于物體變形、視點變化、光照條件、背景雜波和遮擋等原因，很難做到百分百準確地識別物體。為了克服這些障礙，從圖像中提取特征并進行多層抽象處理。現(xiàn)有的機器學習算法雖然性能很好，但缺乏對圖像中每個特征進行多層處理和深入分析，從而導致了深度學習算法的出現(xiàn)。深度學習是一種多層的神經(jīng)網(wǎng)絡架構，它根據(jù)數(shù)據(jù)集的特點和性質，結合不同的學習算法來訓練網(wǎng)絡。

1圖像檢索系統(tǒng)簡介

圖像檢索系統(tǒng)是對圖像進行搜索、瀏覽、模式匹配和檢索的系統(tǒng)。這個系統(tǒng)有兩種工作方式，一種是基于文本，另一種是基于內容。在基于文本的圖像檢索系統(tǒng)中，圖像有手工注釋的文本描述，但降低了檢索結果的準確性。在基于內容的圖像檢索系統(tǒng)中，圖像中的內容，如顏色、紋理和形狀都被索引，并利用計算機視覺中的各種技術自動提取圖像的底層特征。

1.1深度學習

深度學習是機器學習的一個子領域，它在搜索技術，數(shù)據(jù)挖掘，機器學習，機器翻譯，自然語言處理，多媒體學習，語音，推薦和個性化技術，以及其他相關領域都取得了很多成果。深度學習使機器模仿視聽和思考等人類的活動，解決了很多復雜的模式識別難題，使得人工智能相關技術取得了很大進步[1]。與現(xiàn)有的機器學習算法不同，深度學習由一組算法和網(wǎng)絡架構組成，它們在多個層次上協(xié)同工作，在不需要人工干預的情況下自動提取顯著特征。深度學習架構還可以根據(jù)需要解決的問題，以監(jiān)督和非監(jiān)督的方式進行訓練[2]。

1.2卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡（CNN）是一種監(jiān)督學習的深度學習神經(jīng)結構。CNN優(yōu)于所有現(xiàn)有的圖像檢索算法。每個CNN由4層組成，（i）卷積層，（ii）最大池化層，（iii）扁平化層，（iv）全連接層[3]。進行預處理后的輸入圖像送入CNN神經(jīng)網(wǎng)絡進行計算后從而得到圖像識別的結果。卷積神經(jīng)網(wǎng)絡結構圖如圖1所示。

卷積層：通常使用3*3的特征向量矩陣（filter）對輸入圖像進行卷積，去除最不重要的像素值，并將其余的重要像素存儲在一個特征圖中。這一層通過使用整流函數(shù)消除了圖像中的非線性。

最大池化層：進一步提取圖像中的特征，存儲在池化的特征圖中。

扁平化層：將經(jīng)過池化的特征映射轉換為一維向量。

全連接層：根據(jù)分類問題的性質為每一層定義一個激活函數(shù)。

目前，卷積神經(jīng)網(wǎng)絡已被證明在使用反向傳播算法訓練時表現(xiàn)良好。

1.3反向傳播

反向傳播需要結合一種優(yōu)化技術來進行神經(jīng)網(wǎng)絡的訓練，它通常與梯度下降算法結合進行樣本訓練[4]。反向傳播計算某一個點的梯度負值，經(jīng)過多次迭代優(yōu)化后找到全局最小值。但梯度下降的缺點是，如果數(shù)據(jù)不是均勻分布的，它不能找到全局最小值。為了克服這一問題，可采用隨機梯度下降法。在神經(jīng)網(wǎng)絡中，每個神經(jīng)元都被賦予隨機的權值來計算梯度。反向傳播更新這些權重，以做出最接近預期輸出的預測。樣本加權神經(jīng)網(wǎng)絡結構如圖2所示。

反向傳播算法步驟：

（1）計算每個隱藏神經(jīng)元的凈輸入總值

（5）計算影響總誤差的每個權重的變化

（6）為了減少誤差，從當前權值中減去步驟（5）中得到的值，并可選地乘以某個學習率（通常是μ= 0.05）

每次迭代都重復這些步驟，隨后更新神經(jīng)元的權重。

1.4梯度下降優(yōu)化技術

梯度下降優(yōu)化技術通常分為啟發(fā)式和數(shù)值優(yōu)化技術[5]。啟發(fā)式方法指人在解決問題時所采取的一種根據(jù)經(jīng)驗規(guī)則進行發(fā)現(xiàn)的方法。其特點是在解決問題時，利用過去的經(jīng)驗，選擇已經(jīng)行之有效的方法，而不是系統(tǒng)地、以確定的步驟去尋求答案。數(shù)值優(yōu)化方法比如一階或二階優(yōu)化算法。一般情況下，參數(shù)“學習率”是固定的，很難找到最優(yōu)值。當使用啟發(fā)式優(yōu)化技術時，最優(yōu)學習率在訓練過程中自適應地改變，這提高了算法的性能。在數(shù)值優(yōu)化技術中，搜索是沿著共軛的方向進行的，這使得收斂速度比最陡下降算法更快。因此，數(shù)值技術優(yōu)于啟發(fā)式技術。反之亦然，這取決于數(shù)據(jù)點的分布。

1.5激活函數(shù)

激活函數(shù)的目標是將給定的輸入轉換為神經(jīng)網(wǎng)絡定義的可接受的輸出。如果沒有激活函數(shù)，神經(jīng)網(wǎng)絡只能解決線性問題，無法處理復雜非線性問題。因此，深度學習，包括激活函數(shù)可以用來處理復雜的、非線性的、包含多個隱藏層的數(shù)據(jù)集，并有效提取特征。

根據(jù)對每個神經(jīng)元設置的約束條件，可以為每一層定義不同的激活函數(shù)。盡管有多個激活函數(shù)可以用于處理非線性問題，但使用ReLu和Softmax函數(shù)在圖像檢索系統(tǒng)中表現(xiàn)較好。因為與其他激活函數(shù)相比，Re？ Lu具有更好的收斂性。它還較好解決了在深度學習多層網(wǎng)絡中出現(xiàn)的梯度消失和梯度爆炸的問題。另外，Softmax可以很好地處理多類分類問題，并且具有較高的精度。

2數(shù)據(jù)集

本論述用于訓練卷積神經(jīng)網(wǎng)絡的數(shù)據(jù)集COIL100是由不同物體在360°旋轉中不同角度成像組成的數(shù)據(jù)集，其含有100個物體（每個具有72個姿勢）的128 * 128色彩圖像，以及49152個特征（紅色，綠色和藍色通道中128 * 128像素的值）。

該數(shù)據(jù)集由哥倫比亞大學圖像庫發(fā)布，通常用于物體識別實驗。部分物體名稱和類別索引見表1所列。

3實驗結果

在本論述實驗中，使用不同的優(yōu)化技術在COIL100數(shù)據(jù)集訓練卷積神經(jīng)網(wǎng)絡。該數(shù)據(jù)集按70∶30的比例分為訓練數(shù)據(jù)集和驗證數(shù)據(jù)集。該實驗的目的是預測給定圖像中的對象。輸入層使用的激活函數(shù)為ReLu，輸出層使用的激活函數(shù)為Softmax。Softmax可以對許多物體進行類別預測。隨著訓練數(shù)據(jù)的迭代次數(shù)增加，從訓練數(shù)據(jù)和驗證數(shù)據(jù)在準確性上的差距逐漸變小，因此訓練是有效的。對網(wǎng)絡訓練完成后，給出一個查詢圖像作為網(wǎng)絡的輸入，輸出端以獨熱編碼的形式給出查詢結果。圖像按照輸入神經(jīng)網(wǎng)絡的順序被自動索引。

優(yōu)化后的神經(jīng)網(wǎng)絡在不同的背景和角度下能夠準確地識別目標[6]。在不同的學習率和不同的優(yōu)化器上重復實驗，各種優(yōu)化器實驗結果見表2所列。從表2看出，使用Adagrad優(yōu)化器時，更少的迭代，更快地獲得準確的結果。另外，當訓練數(shù)據(jù)集的精確度和驗證數(shù)據(jù)集的精確度之間的差異降低時，整個網(wǎng)絡的性能就會提高。

4結論

數(shù)據(jù)的大量增長和對高效檢索技術的需要產生了大量的算法和優(yōu)化技術。基于深度學習這一先進的架構，本論述主要研究了物體識別的深度學習技術。論述中的卷積神經(jīng)網(wǎng)絡采用反向傳播算法進行訓練，并采用不同的啟發(fā)式技術進行優(yōu)化。結果證明Adadelta優(yōu)化器在圖像數(shù)據(jù)集上提供了更好識別的結果。

參考文獻：

[1]陳先昌.基于卷積神經(jīng)網(wǎng)絡的深度學習算法與應用研究[D].杭州：浙江工商大學，2014.

[2]徐國慶，盧志遠，吳晨輝.基于誤差反向傳播算法的海上拖航風險[J].中國海洋平臺，2020，35（4）：44-48.

[3]閆濤.深度學習算法實踐[M].北京：電子工業(yè)出版社，2020.

[4]范志文，光翠娥，干建平.基于反向傳播人工神經(jīng)網(wǎng)絡的醬牛肉中金黃色葡萄球菌的生長模型[J].食品與生物技術學報，2020，39（7）：83-90.

[5]鄧建梅，丁華.基于AHP和BP神經(jīng)網(wǎng)絡的本科師范生綜合素質評價[J].無線互聯(lián)科技，2020，17（12）：147-148.

[6]王曉華. TensorFlow 2.0卷積神經(jīng)網(wǎng)絡實戰(zhàn)[M].北京：清華大學出版社，2020.