基于深度卷積網絡的港口集裝箱屬性識別方法?

楊杰敏， 郭保琪， 羅漢江， 林建成

(1.中國海洋大學，山東 青島 266100； 2. 青島新前灣集裝箱碼頭有限責任公司，山東 青島 266500； 3. 青島海大新星軟件咨詢有限公司，山東 青島 266500；4. 山東科技大學計算機科學與工程學院，山東 青島 266590)

全自動化集裝箱碼頭是對傳統集裝箱碼頭作業模式的顛覆, 但實現集裝箱碼頭裝卸全過程無人化作業，首先需要實現對碼頭作業場景及對象全方位的感知。當前人工智能、物聯網、云計算等相關技術快速發展, 為自動化集裝箱碼頭應用技術的發展帶來新的機遇[1]。作為自動化碼頭系統應用的關鍵技術之一的圖像識別技術，不僅需要對集裝箱的箱號進行識別，而且需要對集裝箱的箱門方向、鉛封、殘損等信息進行識別和檢測[2]。最近發展迅速的基于深度卷積網絡的圖像智能識別技術，可以用來快速、有效地解決全自動化集裝箱碼頭集裝箱的識別問題。

目前，卷積神經網絡(CNN)在圖像識別方面取得了優異的表現[3-5]。近期的研究文獻表明，雖然CNN在分類問題上進行訓練，但同時具備了較強的定位檢測能力[6-10]。流行的基于CNN 的目標檢測方法主要有R-CNN，Faster R-CNN,R-FCN,SSD和YOLO等，目標識別性能已經取得長足的進步。

R-CNN[11]首次提出在CNN中進行目標檢測，它首先計算有可能包含物體的剪裁方框(box),然后針對這些box運行CNN網絡進行分類識別。由于推薦的box有很多重疊發生，導致該方法存在重復計算，代價較大。Fast R-CNN[12]將圖片輸入到神經網絡，然后在網絡中間層利用卷積特征進行剪裁和box推薦，這樣只要運行一次CNN就可以得到所需要的box。R-CNN 和Fast R-CNN均依賴于外加的box生成器，而最近的研究表明這些box可以由神經網絡本身生成[16-19]，它需要一個覆蓋在不同空間位置、縮放比例、寬高比的box集合，被稱之為錨點。這些錨點用來預測兩個目標：一是離散的類標號，另一個是連續的偏移坐標。然后把這兩個目標綁定到一個代價函數上，同時進行訓練。而另外一種基于區域的全卷積網絡R-FCN[13](Region-Based Fully Convolutional)在特征提取結束之后添加全卷積層，也就是說，它不是在網絡中間層建議的box上選取特征，而是在這個全卷積層上產生box,并預測目標和位置。該方法將特征推送到最后一層不僅大大減少了每個區域的計算量，同時使用全卷積層使深度網絡保留了其平移不變性。

上述基于R-xxx的檢測方法均屬于兩階段算法，先進行區域box推薦，然后進行分類檢測。而SSD(Single Shot Multibox Detector )[14]和YOLO (You Only Look Once )[15]是一階段方法，使用一次網絡正向傳播就可以預測目標和位置，而不需要進行區域推薦，這無疑會極大提高預測速度，不過其預測準確度不如區域推薦方法，因此在許多情況下需要在預測速度和準確度之間做出合理的均衡。

前述流行的深度目標檢測方法至少包含特征提取網絡和位置回歸網絡，網絡結構比較復雜，需要訓練的參數量較大，所需的標記樣本數量較大，而且必須使用同時帶有類別及位置標記的樣本，樣本的制作成本高。但實際應用中很難提供足夠的標記樣本，導致訓練出的模型準確率不夠理想。針對此問題，本文提出一種輕量級的基于相關性特征圖的目標檢測方法，該方法只需要部分特征提取網絡，不需要進行box推薦和坐標位置回歸，而是充分利用卷積神經網絡自身的頻率選擇特性，以及產生平移、旋轉、縮放不變性特征的能力，生成一個與目標相關的顯著性分布特征圖，對該特征圖之前的所有濾波器組進行訓練，使該特征圖同時具備了分類和位置預測功能。該方法只需要較少的類別標記樣本，不需要做位置標記，就可以訓練出兼顧準確性和識別速度的深度模型。

論文首先從信號時頻變換的角度研究單個卷積濾波器的工作原理，然后對卷積網絡中間層產生的深度表征進行分析，提取與檢測目標相關的特征圖子集。通過對特征子集進行組合，得到能夠檢測目標的相關性特征圖，并設計相應的目標函數。最后通過實驗，驗證了該方法的有效性。

1 相關性特征圖的目標檢測

1.1 卷積深度神經網絡結構

Inception卷積深度神經網絡模型由最優的稀疏子結構層疊構建而成，其理論依據在于：如果數據集的概率分布能夠被一個巨大的稀疏神經網絡表征，那么通過分析上一層神經元激活值的統計相關性，并將具有較高相關性的神經元分組并逐層構建，就可以得到一個最優的網絡拓撲結構。如圖 1所示，最優稀疏子結構以上一層(Last layer)的卷積特征圖為輸入，具有4個并行分支，由1×1,3×3,5×5的卷積濾波器(Conv)、池化器(Pool)組成。在分支上前置1×1的卷積器，用于降低輸入3×3,5×5卷積器的通道個數，減少權值參數；與之類似，在3×3最大池化器(MaxPool)后面放置1×1卷積器，最后通過輸出特征圖的合并操作(Filter Concat)傳遞到下一層，這樣構成了一個inception模塊。

圖1 Inception模塊結構

Inception深度神經網絡以多個卷積層(Conv0 Conv1)、池化層(pool2)的線性排列開始，用于提取線、邊緣等低層的視覺特征。之后堆疊多個Inception模塊(A,B…G…)，其分支結構允許不同尺度不同層級特征的融合,并逐漸提取到抽象的中間層及高級別語義特征。同時，特征提取層均采用BatchNormal正則化及Relu激活函數。對最后一個特征提取層做全局平均池化(AvgPool)后，得到特征向量，通過全連接層(FC)輸出類別預測向量(logits)。該網絡獲得了ILSVRC 2014挑戰賽冠軍，是目前較為流行的深度網絡結構。本文采用經過128萬張ImageNet數據集預訓練過的Inception V3網絡作為目標檢測的特征提取器(見圖2)。

圖2 Inception V3卷積神經網絡

1.2 卷積濾波器本質

深度卷積網絡(CNN)以卷積濾波器為核心部件，本節從信號時頻變換的角度研究單個卷積濾波器的工作原理，對探究深度神經網絡平移、旋轉、縮放等不變量的生成具有重要意義。

圖3 卷積濾波器及其響應圖解

圖4 高斯函數

圖3中fi,gi分別是指訓練圖像和所期望得到的響應輸出圖像,hi是卷積濾波器。gi由位于檢測目標中心的峰值亮點構成，而其它的地方均是較小的值。具體來說，可以定義gi是一個在目標中心(xi,yi)，半徑為σ如圖4所示的2維高斯函數：

g(x,y)=(f?h)(x,y)=Γ-1(F(w,v)H(w,v))。

(1)

根據卷積定理(1)，在空域做卷積等價于在傅里葉頻域做乘積，這是精確計算過濾器的基礎。其中：f是原圖像；h是濾波器；g是空域的響應輸出圖像；Γ是傅里葉變換；首字母(F,H)代表各自的2維傅里葉變換。

要精確求解濾波器，首先要將公式(1)的H替換為其復共軛，

G(w,v)=F(w,v)H*(w,v)。

(2)

然后，根據公式(3)求解過濾器：

(3)

公式(3)是關于輸出響應圖的傅氏變換和原圖的傅氏變換間的除法。從圖3過濾器h1,h2,h3的圖像中可以看出，它們并不是對眼睛進行響應，而是對每張具體的訓練圖片進行響應。要產生一個擬合全部訓練圖片的并具有泛化能力的過濾器，需要根據公式(4)計算多個精確過濾器的平均。

(4)

(5)

從圖3的最后一行看出，均值化操作增強了這些訓練圖片的共同特征，抑制了樣本的個體特征。每個精確的過濾器可以視做一個弱分類器，它在單個訓練圖片上表現良好。如果這些弱分類器是無偏的，將它們相加，會得到一個方差為0的強分類器，其表現超過其它普通分類器。

由于傅里葉變換是線性操作，均值計算在時域和空域均能進行。如果在空域內進行，濾波器可以在求平均前被剪裁，這樣濾波器可以針對訓練圖片的不同大小進行構建。一般來講，對訓練圖片進行平移、縮放、旋轉等變換可以使過濾器適應性及魯棒性更強。而選擇合適的濾波器，可以衰減圖像中的無用信號頻率，保留目標對象的頻率。

本節所使用的卷積濾波器比深度神經網絡中的卷積濾波器核要大，但是原理與深度網絡進行多層的卷積濾波器類似。深度網絡通過在空域進行連續多層的卷積，本質上是對圖像信號在頻域進行多步篩選和過濾，最終留下的就是目標體的頻率，對應在空域(見特征圖)上的亮點。因此，深度網絡本身已經具備目標檢測的能力，不需要額外附加一些結構(如位置回歸子網)來實現。

1.3 深度表征分析

深度卷積網絡由眾多卷積濾波器組合而成，根據上節的闡述，中間層會產生許多深度表征g(x,y)，分析深度表征對理解深度學習的機制很重要。在經過ImageNet數據集預訓練過后，卷積特征能夠描述很多物體，可以認為是用大量的神經元檢測到豐富的可視化模式。神經網絡層對不同類型的特征進行編碼，高層捕捉物體類別的語義概念，而低層對物體局部的各種區分性特征進行編碼。但對于一個特定的目標檢測任務來說，要得到那些能夠把目標體從背景中區分出來的特征圖子集，需要丟掉那些同時對目標區域和背景區域有較高響應的特征圖，防止檢測器被背景區域干擾。CNN可以從圖像分類任務中學到這些特征，利用這些特征可以進行目標的檢測和定位。

圖5 相關特征圖

CNN所激活的特征圖是稀疏和局部化的，激活的區域和語義對象的區域高度相關。圖5顯示了一些對目標區域使用最大值激活的特征圖。圖5(a)是輸入深度神經網絡的集裝箱圖片，其中黃色框內的鉛封是檢測目標。圖5(b)深度神經網絡中間某層的特征圖可視化，共有768個通道(特征圖)，每個特征圖在藍色方框內顯示，其中，編號為520(黃色框內)的特征圖檢測到目標表征。圖5(c)是該特征圖的放大顯示，從中可以清楚地看到以紅色亮點表示的特征圖的最大值恰好對應鉛封。另外，特征圖只有較少的區域具有非0值。這些非0值是局部化的，主要與圖像前景的目標物體相關。如果對目標物體進行平移、轉動等變換，會引起特征圖發生變化，但是變化僅限于目標體的范圍。由此可以說明特征圖捕獲了與該目標體相關的可視化特征。

需要說明的是，滿足這種表征的相關性特征圖可能不止一個，而且只是以一定的概率出現。因此，需要組合這些特征，并做增強性訓練，以提高檢測的準確性。

1.4 特征圖組合

對于一張給定的圖片，令gi代表所選擇的相關性特征圖，對每個特征圖，進行全局平均池化操作，得

(6)

對于它們所檢測的目標類c,輸入到分類層的值

(7)

得到

(8)

令

Pc(x,y)直接顯示了特征圖在(x,y)位置檢測為類c的顯著性值，這樣Pc就成為檢測類c的顯著性分布特征圖。

1.5 目標函數

Inception網絡通常在經過多個Inception模塊后，由全局池化(AvgPool)得到特征向量，并經過全連接層(FC)輸出神經激活值logits, 通過SoftMax函數預測不同類別的概率(見圖6)，這種網絡結構只能實現圖像分類。本文從中間的Inception模塊G選取合適的特征圖，經過全局平均池化層(AvgPool)生成logits, 然后通過Sigmoid函數預測類別概率，如圖6右半部分。該方法能在所選特征圖上同時預測目標類別和位置，實現目標檢測。同時由于不使用全連接層FC，降低了過擬合的風險。

激活值logits轉化為概率分布后通過最小化損失函數逼近類別標簽labels，如果一個圖像樣本被預測為一個類，通常使用softmax交叉熵(Cross Entropy)函數；但對于目標檢測任務，往往需要在一個圖像樣本中檢測出多個類別的物體，因此需要使用sigmoid交叉熵(Cross Entropy)函數，計算與類標簽labels的概率分布差異。

令x=logits為分類輸出的激活值向量，z為標簽labels向量，則sigmoid交叉熵函數為：

(1-zi)(-log(1-sigmoid(xi)))=

(9)

從推導可見，sigmoid函數直接用于深度神經網絡的學習容易造成梯度彌散問題，但是與交叉熵函數結合后，形式不僅會簡化，同時還抑制了梯度的消失。

圖6 目標函數及網絡連接

1.6 實驗結果

對集裝箱的箱門和鉛封檢測任務，提供包含箱門和鉛封的正樣本各50例，負樣本50例。訓練時在保留檢測目標的基礎上，對樣本進行增廣處理。包括剪裁、平移、縮放、旋轉等變換，促使神經網絡產生平移、旋轉、縮放不變性特征。訓練過程中的目標函數曲線見圖7，sigmoid交叉熵值平穩下降至0.3，表明預測的概率分布同標簽的分布逐步接近。

圖8中左圖是攝像頭拍攝的集裝箱圖片，右側是檢測箱門的顯著性分布特征圖。從分布圖來看，箱門的4根柱子均以最大值(紅點)呈現，同時該類別的概率分值接近1，表明檢測到箱門。

圖9中左圖是攝像頭拍攝的集裝箱圖片，右側是檢測鉛封的顯著性分布特征圖。從分布圖來看，最大值(紅點)處恰好對應鉛封的位置，同時該類別的概率分值接近1，表明檢測到鉛封。

圖7 sigmoid交叉熵的訓練曲線

圖8 箱門檢測

在每個類別的顯著性分布特征圖上，使用Opencv的連通區域算法得到大于某個閾值的目標區域，并計算包圍矩形及角點坐標，從而計算出目標體的精確位置。

本文使用tensorflow的Object Detect API ,基于Inception網絡架構，與流行的深度神經網絡的目標檢測算法(R-FCN, Faster R-CNN, SSD )進行比較。在Intel COREi7，8核心，32 G內存的DELL工作站上運行，結果如表1所示。與上述三種方法相比，本文提出的使用顯著性分布特征圖進行目標檢測的方法，由于不使用box邊界框，不采用附加的網絡結構及定位回歸訓練，大幅減少了需要學習的變量參數。在訓練樣本數較少的情況下，取得了較高的識別準確率和速度。由于受到光照、拍攝角度等因素影響，仍然存在一定的錯誤率。隨著樣本數量不斷增加，可以增加對該問題的魯棒性，提高識別率。

圖9 鉛封檢測

從顯著性特征圖來看，神經網絡學習到了對目標的檢測表征能力，這是基于深度神經網絡固有的頻率選擇特性，并通過合理的結構設置及訓練方法進行了激發和增強，因此本方法對其它場景及更多類別的檢測也適用。

2 結語

本文提出一種基于深度卷積網絡的識別方法，能夠在少量樣本圖像的條件下，快速地檢測識別目標對象。并通過實驗，對集裝箱箱門、鉛封等相關目標進行檢測，取得良好效果。實際工程應用中，在該算法的基礎上，結合實際業務狀況等其他集裝箱信息進行復合校驗，會大幅提高識別率。目前，實際應用最終的識別率在97%左右。未來計劃在集裝箱自動化碼頭系統及智慧港口的應用開發中，不斷完善和優化其工程應用，提高開發效率和部署靈活性。

表1 Inception網絡架構與深度神經網絡的

Note:①Methods;②Accuracy;③Average detection time;④Test of correlation featuremap