基于目標檢測的東北虎個體自動識別

史春妹,謝佳君,顧佳音,劉 丹,姜廣順,*

1 東北林業大學 理學院, 哈爾濱 150040 2 國家林業和草原局貓科動物研究中心;東北林業大學 野生動物與自然保護地學院, 哈爾濱 150040 3 東北虎林園, 哈爾濱 150028

東北虎(Pantheratigrisaltaica)種群數量的有效評估和監測已成為保護生物學以及相關領域研究人員關注的重要課題[1-3]。由于虎種群密度低,具有領域性,夜行性及隱蔽性等行為特點,在監測過程中很難發現其實體,紅外觸發相機陷阱技術[2-3]作為一種無損傷性方法在國內外野生動物調查中應用越來用廣泛,技術較為成熟,操作方便,可以獲得大批量(百萬張圖片)的野生動物影像資料。但是,這些影像圖片或視頻需要專業人員進行人工分類和個體識別,耗費大量的時間和人力。因此,對虎的圖像進行自動、準確、批量的個體識別研究非常有意義。

東北虎個體識別是指通過個體之間的特征差異來進行區分,現在常用的個體識別方法有足跡識別、DNA識別、氣味識別以及條紋識別[1]。Riordan等[4]利用自組織映射和貝葉斯方法對虎和雪豹(Pantherauncia)采集的腳印進行個體辨別和評估,獲得了較高的準確率。DNA識別方法主要從虎的糞便、毛發、唾液等提取DNA進行識別[5]。Mills等[6]通過非損傷性取樣分析DNA樣本,對東北虎的個體數量、性別以及親緣關系進行鑒別。氣味識別[7]主要依靠經過特殊訓練的狗辨認老虎糞便氣味來識別老虎個體。條紋識別是通過相機拍攝的條紋特征來識別, Hiby等[8]通過計算圖像樣本之間的相似性得分,對虎的三維表面模型圖像進行搜索匹配實現個體識別。虎的條紋和人類指紋一樣具有唯一性特點,且不隨生長而變化,所以通過其身體不同區域(軀干、前腿、后腿、尾部等)條紋的對比進行個體識別,是目前區分東北虎個體的主要方法。但是,此方法以經驗豐富的專業人士人工識別為主,需要耗費大量人力與時間,并且人工識別依賴操作者的經驗,主觀性大。個體數目較多的話,人工進行條紋個體識別可行性較低。

紅外照相技術在物種監測中被廣泛應用,通過紅外觸發相機可以獲得大量的動物形體特征圖像[9]。在小種群或種群高度分化的地方,人工對新舊照片的比較可以確定個體,但是如果圖像樣本數目較多或者種群數量較大,人工比較的方法可行性較低[10]。以往的研究中,無論是采用神經網絡識別東北虎[11],還是基于Cifar10識別金錢豹(Pantherapardus)[12],都是人工截取條紋,難以應用于圖像數目較多的大數據場景當中。

近年來,深度卷積神經網絡(Convolutional Neural Network,CNN)[13-18]在計算機視覺以及目標檢測領域[19-25]表現較為出色,在大數據場景[26-31]中的動物物種分類方面也得到廣泛應用,具有代表性的網絡模型有ZFNet[14]、VGG[15]、GoogLeNet[16]、ResNet[17]、DenseNet[18]等。2012 年,AlexNet對ImageNet數據集進行分類識別,準確率為84%[13],遠超過非深度學習方法的75%。2017 年,Thom等[26]創建了一個物種檢測數據集,其中包含8000 個圖像,涵蓋9 種不同物種,并運用SSD以每秒21 幀的速度自動檢測北極苔原地區動物,準確率為94.1%。2017 年,Cheema 等[27]使用Faster-RCNN可以自動從圖片中提取出虎、斑馬(Equusburchelli),并且用AlexNet結合邏輯回歸能夠較好地實現物種分類。2019 年,Willi 等[20]采用深度學習對四種不同的相機陷阱數據集進行分類識別,得到識別準確率介于88.7%和92.7%之間。Norouzzadeh等[30]基于非洲塞倫蓋蒂野生動物數據庫應用深度卷積神經網絡實現了物種的自動分類、數目檢測、行為描述等,并且分類精確度較高,達到92%。

到目前為止,深度學習方法大多用在物種分類研究當中,對物種的個體識別較少,特別是東北虎的個體識別。非深度學習的方法在識別階段工作量都較大,數據的預處理階段依賴人工截圖,所以本文采用SSD目標自動檢測方法來替換人工截圖,節省更多時間。由于卷積神經網絡對圖片的尺度、光照、視角、形變等因素變化都有較好的處理能力,擁有自動適應虎形態變化的特征表達能力,所以本文采用多種深度卷積神經網路模型對不同姿態的個體實現自動識別。由于虎的身體兩側條紋信息無對稱性,本文提出依據不同的體側部位如左側軀干條紋區域,右側軀干條紋區域以及臉部的自動檢測分割方法,然后對不同部位的圖片信息分別運用LeNet、AlexNet、ZFNet、VGG16、ResNet34卷積神經網絡模型進行個體自動識別,從而提高識別準確率,以實現東北虎個體的自動識別。

1 材料與方法

實驗數據來自2019 年東北虎林園以及怪坡虎園的影像圖片,其中東北虎林園(東經126°36′,北緯45°49′)位于黑龍江省哈爾濱市松北區,面積約為144 萬m2,有700 多只人工飼養繁育的純種東北虎,怪坡虎園(東經123°37′,北緯42°4′)位于遼寧省沈陽市沈北新區,面積約為17 萬m2,大約100 余只純種東北虎。實驗影像圖片由相機對38 只虎在不同角度、不同環境下拍攝取樣,共得到13579 張圖像樣本,其中4/5作為訓練集,1/5作為測試集。不同虎個體之間的圖片數量有所差異,姿態豐富,如果采用人工識別,費時費力,且準確度較低。主要方法分為兩大部分：第一部分目標檢測,主要通過SSD目標檢測方法自動截取分割獲得東北虎左右側軀干條紋以及臉部圖像；第二部分個體識別,在目標部位檢測分割圖片的基礎之上,采用多種深度卷積神經網絡模型實現虎個體的自動識別。

主要技術路線(圖1)為：首先在目標檢測部分,本文采用SSD目標檢測方法對每張圖片中的東北虎個體檢測其左側、右側或者頭部在圖像中的具體位置,用參考框分割裁剪得到左側、右側或者頭部對應區域圖片,并去掉背景等無關圖像信息。對于卷積神經網絡來說,虎的樣本數目較少,小樣本可能出現過擬合現象,所以在圖片預處理部分通過適當平移變換增加樣本數目,以實現數據增強。具體的平移方式是將每張圖片沿上、下、左、右四個方向進行平移變換(圖1),使樣本圖片數目擴大為原來的5倍。在目標部位檢測分割的基礎之上,針對不同部位圖像分別使用LeNet、AlexNet、ZFNet、VGG以及ResNet34卷積神經網絡模型進行個體自動識別,并計算個體識別準確率。在準確率較高的網絡基礎之上考慮平均值池化和最大值池化等組合方案,并在全連接層引入不同概率的丟棄操作來防止過擬合,進一步提高識別準確率。

圖1 東北虎不同部位檢測分割技術路線圖(以臉部為例)Fig.1 Illustration of detection and segmentation process for different parts of amur tiger (face)

1.1 防止過擬合的方法

神經網絡在實際訓練時,可能會在訓練集上損失率較低,但卻在測試集上存著著較高損失,這是神經網絡過擬合于訓練集的表現,本文采用數據增強和引入不同丟棄概率來防止過擬合。數據增強的方式有平移變換、旋轉變換、尺度變換和反射變換等。合適的平移變換能夠在一定程度上模擬拍攝東北虎的位置角度變化,增強有限的數據集。

引入適當的丟棄概率也能有效防止過擬合,其輸出為：y=r×a(WTx),其中x=[x1,x2,...,xn]T是全連接層的輸入,W∈Rd×n是權重矩陣,r服從參數為P的伯努利分布。本文將參數P設置不同的值分別為0.1、0.2、0.3、0.4,有效防止過擬合現象。

1.2 單次多盒檢測 (Single Shot MultiBox Detector,SSD)方法

1.2.1確定參考框

SSD目標檢測方法與Fast-RCNN[24]的候選區域網絡技術類似,由大小不同的參考框(滑動窗口)來檢測定位圖片中的目標位置以及大小。SSD主要在特征圖的像素點生成多種不同長寬比的參考框來檢測不同尺度大小的目標。初始參考框包含三種面積(128×128, 256×256, 512×512),每種面積又包含三種長寬比(1∶1, 1∶2, 2∶1)。 其次計算每個參考框和真實目標框中重疊的面積與總面積的比值(并交比)。最后參考框匹配,如果參考框的并交比大于設置的閾值(如0.5),那么參考框會被標記為正例,否則會被標記為負例。

1.2.2計算損失函數

目標損失函數為定位損失與置信損失的加權和:

L(x,c,l,g)=h(x,c)+αg(x,l,g)

通過交叉驗證,權重項α設置為0.06,其中定位損失為預測框與真實目標框之間的損失:

置信損失可以是邏輯損失函數:

1.2.3預測

先根據置信度大小淘汰一部分置信度較低的預測框,再通過非極大值抑制算法,淘汰掉重疊度較大的預測框,最終留下的預測框就是虎的兩側或者頭部在原始圖像中的具體位置和大小的檢測結果。

2 結果與分析

2.1 目標檢測

本文采取基于SSD目標檢測方法,對不同部位的圖像信息進行檢測和分割。首先挑選120 張包含完整臉部、左側條紋以及右側條紋的圖像(每種40 張),利用labelImg標記程序從圖片中標出臉部、左側條紋以及右側條紋部位。然后按1∶1∶1將其分為訓練集、驗證集、測試集。最后用SSD和VGG16做遷移學習,從而得到專門提取老虎臉部、左右側條紋的目標檢測模型。實驗結果發現,目標檢測模型在測試集上準確率達到97.4%,能較好地檢測并分割出臉部、左右側條紋等不同部位的圖像(圖2,其中彩色框部分是左側和頭部檢測結果)。

圖2 東北虎不同部位檢測結果圖 Fig.2 Detection results of different parts of the amur tiger

最后將訓練好的目標檢測模型應用于全部圖像樣本中,進行左右側軀干條紋以及臉部的檢測,每張圖片只保留概率最大的老虎部位檢測結果,并自動進行分割裁剪,部分結果如圖3所示,由于虎的姿態多變以及拍攝角度不同,所以自動裁剪之后的圖片大小并不相同。從圖2和圖3可以發現,不同姿態下的目標部位都能正確識別并分割,說明SSD目標檢測算法對圖片的尺度、光照、視角、形變等因素變化都有較好的處理能力。

圖3 虎左側軀干、右側軀干以及臉部部位自動分割裁剪結果圖 Fig.3 Segmentation results of the left and right body and the face of amur tiger

2.2 個體識別

2.2.1數據預處理

在自動檢測算法截取分割得到的不同部位圖片基礎之上,通過平移變換來進行數據增強。這樣可以模擬拍攝位置的平移變化,增強模型的泛化能力,從而達到數據增強的目的。對數據增強后不同部位如左側、右側以及頭部圖像,分別應用LeNet、AlexNet、ZFNet、VGG、ResNet34深度卷積神經網絡模型在Keras上進行個體識別實驗。通過Reshape操作將所有輸入圖像調整為224×224 像素,激活函數修改為ReLU函數；使用Keras生成器進行加載,采用隨機梯度下降算法,類別數量為38(38 只虎個體)。最后獲得不同網絡模型的識別準確率(圖4)。從圖4可以看出無論左側、右側,還是臉部,ResNet34模型表現最佳,其他網絡模型的準確率低于ResNet34。

圖4 東北虎不同網絡模型的左側、右側以及臉部圖像個體識別準確率變化圖Fig.4 Individual identification accuracy results of different networks for left, right and face images of amur tiger

2.2.2不同池化方式的實驗

本文將最大值池化和平均值池化進行多種組合,評估比較各個組合方案的性能,以獲得最佳的池化組合方式。通過上一步實驗可以分析出ResNet34性能最佳,利用最大值和平均值不同池化操作算子,對ResNet34進行如下修改,將第一個池化層和最后一個池化層分別修改為：最大值平均值池化(Maximum Average,MA)、平均值平均值池化(Average Average,AA)、平均值最大值池化(Average Maximum,AM)、最大值最大值池化(Maximum Maximum,MM)組合方式,得到四個實驗組分別為MA、AA、AM和MM,不同池化方案的準確率變化如下圖(圖5)所示：

圖5 東北虎左側、右側以及頭部圖像在ResNet34網絡框架下不同池化方案的準確率結果Fig.5 Accuracy results of different pooling schemes under the ResNet34 network for left, right and face images of amur tiger

從圖5可以發現,對于臉部圖像,AA的準確率明顯優于其他模型。而左、右側條紋,各個模型性能差異較小。最終,對于虎的左側條紋和臉部樣本,AA表現總體略優于其他網絡模型,對于虎的右側條紋樣本,MA 的準確率略高于其他模型。對于左側和臉部,我們選取AA網絡,對于右側選取MA網絡,進行不同丟棄概率的實驗。

2.2.3不同丟棄概率實驗

引入丟棄操作也是防止過擬合的方式之一,本實驗考慮不同丟棄概率對準確率的影響,選出準確率較高的丟棄概率。基于表現較好的池化組合,在全連接層網絡之前引入丟棄 操作,其概率分別為P=0.1、P=0.2、P=0.3、P=0.4。對于左側和臉部,我們選取AA網絡,對于右側選取MA網絡,在每個網絡的全連接層網絡之前引入丟棄操作,其概率分別為P=0.1、P=0.2、P=0.3、P=0.4,最終的準確率如表1所示：

表1 不同丟棄概率下的準確率結果

從表1能夠發現,無論左側、右側還是臉部,不同丟棄概率的神經網絡都能達到較高的準確度,并且引入不同概率丟棄操作能夠進一步提升識別準確率。對于左側樣本,P=0.1的網絡準確率都優于其他概率下的網絡,對于右側和臉部樣本,P=0.2的網絡準確率都優于其他概率下的網絡。最終,在最佳丟棄概率下,左側軀干條紋識別準確率為93.75%,右側軀干條紋識別準確率為97.01%,臉部識別準確率為86.28%。

3 討論

本論文以東北虎林園 以及怪坡虎園38 只圈養東北虎影像數據作為研究對象,首先以SSD目標檢測方法為基礎,從虎的圖片樣本中檢測出不同部位,分別為左側軀干條紋、右側軀干條紋以及臉部部位,并提取分割出不同部位圖片。在分割出的老虎不同部位圖片基礎上,運用上、下、左、右四個方向的平移變換進行數據增強,使得圖片樣本數目擴大為原來的5倍。其次,對于不同的深度卷積神經網絡算法如LeNet、AlexNet、ZFNet、VGG、ResNet34,利用網絡模型自動地學習從輸入到輸出的復雜映射方程以及特征的高層表達模式,進行東北虎的個體識別。并對網絡中的平均值池化和最大值池化不同的組合方案進行優化,引入概率分別為0.1、0.2、0.3、0.4的丟棄操作來防止過擬合。最終實現對東北虎個體的自動識別,建立較為完整的東北虎個體信息數據庫和個體自動識別框架。

目前利用卷積神經網絡實現物種的自動分類研究較多,Yu等[28]使用了稀疏編碼空間金字塔匹配來識別18 種動物,達到82%的準確率。Gomez等[29]采用深度CNN對非洲塞倫蓋蒂野生動物數據庫的26 個野生物種進行分類研究。準確度達到57%。Norouzzadeh等[30]基于同樣的非洲塞倫蓋蒂野生動物數據庫應用深度學習實現了物種的自動分類、數目檢測、行為描述等,并且分類精確度達到92%。但是應用卷積神經網絡進行動物個體的自動識別研究相對較少,特別是東北虎的個體自動識別。

以往的基于條紋的個體識別算法,條紋截取常常是人工進行[11],耗費大量的時間,人工手動截取速度約為10 s/張。而本研究的目標檢測模型耗時較少,截取分割老虎不同部位條紋能達到0.6 s/張,遠快于人工截取速度,并且在測試集上準確率能達到97.4%。不同姿態下的目標部位都能正確識別并分割,說明SSD目標檢測算法對圖片的尺度、光照、視角、形變等因素變化都有較好的處理能力。

由于虎的條紋具有唯一性特點,且不隨生長而變化,而虎的左右側身體條紋不具有對稱性[1,11],所以本文考慮了三個部位左側軀干條紋、右側軀干條紋以及臉部的識別,從不同部位的識別準確率來看,識別準確率為93.75%,右側條紋識別準確率為97.01%,臉部識別準確率為86.28%,說明右側條紋的識別準確率最高,其次是左側條紋,最后是臉部。由于大多數虎的臉部正面拍攝圖像較少,且距離較遠有一定程度模糊,故臉部識別準確率較低。事實上,也可以通過虎的后背圖像特征進行個體識別,但是由于背部圖像拍攝難度較大,需要將照相機放置于虎舍頂部,而虎會對相機撲咬損壞,難以獲得背部圖像,沒有對背部進行個體識別。

對于不同的池化方式,最大值與平均值池化計算量相差不大,但是它們選取的特征會有很大的不同,才會導致有的神經網絡能收斂到較高的準確率而有的卻不能。另一方面,引入不同的丟棄概率,在訓練過程中動態調整權值的丟棄概率,使得特征提取能力高的神經元有更大的概率被激活,提高網絡的特征提取能力,進一步提高了識別準確率。

本次研究缺點在于所選取的樣本數量較少,如果對東北虎個體數目進行擴充,選取更多影像數據進行訓練,可以使訓練網絡具有更強的適應性,從而實現更準確的個體識別。

由于SSD目標檢測和卷積神經網絡模型對圖片的尺度、光照、視角、形變等因素變化都有較好的處理能力,擁有自動適應條紋或者斑點等形態變化的特征表達能力,因此,這一方法能夠應用于身體有明顯條紋或者斑點信息的物種個體識別,如虎、豹或者斑馬等。

4 結論

本研究提出了基于目標檢測的東北虎個體識別方法,應用單次多盒目標檢測算法將虎按照左側軀干條紋、右側軀干條紋以及臉部進行分割提取,其次在不同部位上分別采用不同卷積神經網絡來實現虎的個體識別。在未來的模型訓練中, 將東北虎個體數目以及單個個體的圖像數目進行擴充,通過擴大數據集以及圖像數目防止過擬合,進一步提高模型的準確率和穩定性。另外,本研究在未來野生虎的紅外相機影像的自動識別方面也具有一定的應用潛力,為野生動物個體自動識別研究提供新的技術手段和研究思路。