基于輕量化圖像分割的物流車輛特征定位研究

張 燁，樊一超，許 艇，郭藝玲

(浙江工業大學 機械工程學院，浙江 杭州 310023)

近年來隨著交通物流的發展，物流園區的規模越來越大，物流車輛停放的智能化管理成為一個重要課題[1]。目前物流車輛管理主要存在車牌識別率低、車型分類難度大、車長測量不準確、空車位識別成本高，車輛狀態和行為監測統計困難等問題。物流園區和物流企業因物流車輛識別不準確，每年有可能對物流經濟活動造成巨大的損失。例如，德國在這一問題上造成的經濟損失達1 100 億歐元；而美國，已達到了1 300 億美元；我國物流企業也存在上述問題，給物流企業造成災難性的損失[2]。

現有的車輛檢測系統大多針對的是小區中的轎車車牌識別，對物流車輛的特征提取方面的系統研究較少，理論體系較不完善。因此，筆者研究意義重大，通過對物流車輛分割定位獲取的特征識別信息可以有效解決物流工程車輛方面的管理問題，特別是車輛精確定位問題。

1 相關工作

傳統車輛特征檢測提取可歸結為電子標簽法、電磁線圈法、雷達檢測法等。其中，電子標簽法是將儲存在電子標簽里的產品信息通過閱讀器產生的感應電流轉換為相應的數據，由中央信息系統對接收到的信息進行讀取和解碼，它的缺點是需要提前存儲目標信息、運作上存在較大的繁瑣操作、讀取距離有限；電磁線圈法是通過電流變化引起的磁場變化來區分不同類型的車輛，它的缺點是需要埋設地感線圈導致施工破壞路面結構，維修成本高和精度低等；雷達檢測法是利用雷達發射出固定頻率的微波信號，這些信號在遇到移動車輛之后反射回有頻率偏移的微波，根據不同的微波信號，運用普勒原理判斷車輛的大小、材料和結構等，這種方法易受到雨雪等惡劣天氣的干擾。

近幾年來，隨著神經元網絡的再度興起，基于卷積神經元網絡的視頻圖像法成為圖像分割和識別的主流技術。通過分析布置在車道旁的攝像機拍攝的視頻或圖像，采用模板匹配、邊緣特征提取、梯度直方圖等手段，實現對車輛的準確識別。針對車輛的車牌特征識別問題，王忠飛等[3]提出了一種基于字符凹凸輪廓的檢測方法，計算效率高，但對噪聲抗干擾性較弱；陳波等[4]改進了卷積神經網絡模型和參數，加入了Dropout方法解決過擬合問題，減少了參數量，但精度上略有下降；劉震等[5]引入了可變型卷積與可分離卷積結構，提高了模型的泛化性，增強了網絡模型特征提取能力，但對復雜場景的目標識別表現欠佳；Long等[6]提出了一種End-to-End的圖像分割方法，直接預測圖像像素分類信息，做到目標物體的像素定位，但模型存在參數量大、效率慢、分割粗糙等問題。

上述傳統的檢測方法和視頻圖像法均存在著操作繁瑣、識別精度不高、識別效率慢和分割粗糙等問題。針對上述方法存在的不足，筆者主要基于一種全卷積的圖像分割方法，采用深度學習框架，并對基本網絡提出了一些優化和改進的措施。改進后的網絡結構能夠滿足實時檢測的要求，并且采用空洞卷積的方法擴大了感受野，同時采用通道卷積的方法大大減少了參數量，再通過聯通區域和條件隨機場的方法，從像素點語義角度對目標對象進行分割，使物流車輛達到精確定位和識別的效果。

2 輕量化的網絡結構設計

2.1 多尺度空洞卷積核

空洞卷積[7-8]是針對傳統卷積網絡在采樣過程會降低圖像分辨率、丟失信息而提出的一種增大感受野的卷積思路。增大感受野的好處是在深網絡中，單位點包含的圖像信息越多，感受野越大，若采用傳統的卷積和最大池化方法，面臨如下難題：

1) 保證信息不丟失情況下，不采用最大池化層，使用較小傳統卷積核，則感受野卻很小。

2) 增大感受野采用最大池化，則最后的網絡層將丟失原始圖像信息，圖像語義分割精度降低。

3) 增大感受野采用多個較大傳統卷積核操作，會使卷積的參數量劇增，內存不足，檢測效率減低。

為此，采用的空洞卷積核解決了上述難題，其在基于傳統的卷積核上增大了采樣率rate，將原始卷積核變得“蓬松”，如圖1，2所示。圖1為3×3，步長為2的傳統卷積核，圖2為3×3，步長為2，rate=2的空洞卷積核。

圖1 傳統卷積核的卷積操作示意圖Fig.1 Schematic diagram of convolution operation of traditional convolution kernel

圖2 空洞卷積核的卷積操作示意圖Fig.2 Schematic diagram of convolution operation of a cavity convolution kernel

這樣在保持原有計算量的同時，增大了感受野，使得圖像分割的信息足夠精確，則基于空洞卷積核的感受野大小計算公式為

(1)

式中：F為當前層感受野大小；rate為空洞卷積核的采樣率，即間距數，在圖1中可將傳統卷積核的rate視為1，而空洞卷積的采樣率rate視為2。傳統的卷積感受野計算公式為

(2)

同時，空洞卷積還可以借鑒多尺度圖像變化的思想，對采樣率、卷積核大小進行多樣化的處理，以此來適應不同大小目標的特征提取過程。采用多尺度空洞卷積[7]的變體形式，如圖3所示。

圖3 多尺度空洞卷積核Fig.3 Multiscale cavity convolution kernel

圖3中的多尺度空洞卷積[7]的采樣率rate分別取1，2，3，卷積的計算方式為

(3)

式中：y[i]為第i個步長位置對應的卷積求和結果；K為卷積核；k為卷積核內參數坐標位置，k∈K；w[k]為卷積核權重；rate為上述1，2，3的對應值。

2.2 通道卷積網絡

除了空洞卷積外，采用一種通道卷積的方式對網絡進行輕量化操作。由于傳統的卷積方式[6]都是一種升維操作，因此可以考慮一開始采用通道卷積[9]的方式來達到特征卷積降維的作用。首先將傳統的卷積改成兩層卷積，類似于ResNet中的group操作，這種新結構在不影響準確率的前提下縮短計算時間約為原來的1/8，減少參數量約為原來的1/9，并且能夠很好地應用于移動端，實現目標的實時檢測，模型壓縮效果明顯，如圖4，5所示。

圖4 傳統卷積方式Fig.4 Traditional convolution method

圖5 通道卷積方式Fig.5 Channel convolution

在圖4中，對于傳統的卷積而言，假設輸入的特征通道數為M；卷積核的寬或高分別為Dk或Dk；卷積核的數量為N。則卷積每滑動一次某一位置就有N個M·Dk·Dk的參數量，滑動的步長設置為s，滑動后的圖像尺寸大小計算公式為

(4)

(5)

式中：h′，w′分別為卷積后的高和寬；pad為寬高填充的邊界。因此，h′·w′卷積后尺寸某一點對應N個M·Dk·Dk的參數量，則可得到總的參數量大小為

N·M·Dk·Dk·h′·w′

(6)

而采用改進后的通道卷積方式，如圖5所示，其卷積步驟分為兩步：

1) 采用Dk·Dk·M的卷積分別對M個通道進行卷積。采用同樣的步長s進行滑動，卷積后的尺寸大小為h′，w′，則該步驟產生的參數量為

Dk·Dk·M·h′·w′

(7)

2) 設置1·1·N的卷積核進行升維特征提取。此時采用步長為1的方式對上述的特征圖進行再次特征提取，原有M個通道特征，每一個采用N個卷積核進行特征提取，則計算的總參數量大小為

M·N·h′·w′·1·1

(8)

綜合這兩個步驟的卷積結構，得到通道卷積最后的參數量大小為

Dk·Dk·M·h′·w′+M·N·h′·w′

(9)

如前所述，傳統卷積核的參數量和改進后的通道卷積參數量比較大小為

(10)

從式(10)分析可得：如果采用卷積核大小為3×3，那么通道卷積操作可將參數量降低為原來的1/9，采用的通道卷積方式結構如圖6所示。圖6中：DW為通道卷積組，表示通道卷積核組成的固定搭配；BN為批量歸一化操作，解決在訓練過程中，中間層數據分布發生改變的問題；Conv為卷積層操作；RelU為修正線性單元，是一個激活函數。

圖6 通道卷積結構Fig.6 Channel convolution structure

2.3 全卷積連接與反卷積網絡設計

此外，傳統的網絡結構最后層采用固定的尺寸大小，以至于輸入的圖片需事先轉化為固定尺寸，不利于物流車輛車長坐標的獲取；并且傳統全連接層網絡存在確定的位數空間坐標丟失，導致圖像空間信息失真，未能有效對目標進行精確定位。為解決信息丟失問題，采用如圖7所示的全卷積連接方式[10]進行物流車輛的坐標位置精確定位。

圖7 全卷積網絡Fig.7 Full convolutional network

由圖7可知：傳統網絡的全連接將前部分的卷積網絡[b,c,h,w]轉為[b,c·h·w]，即[b,4 096]，再轉為[b,cls]，其中b表示批次batch size大小，cls表示類別數。而采用全卷積網絡是相對于后接1×1的卷積網絡，沒有全連接層。因此，稱為全卷積網絡。全卷積的計算方法為

yn[i][j]=fkns(x[si+δi][sj+δj])

(11)

式中：1≤n≤N；yn[i][j]為第n個卷積核的第(i,j)位置卷積后的數值；si為橫向的卷積步長；sj為縱向的卷積步長；kn為第n個卷積核；Dk為卷積核寬和高，卷積核大小對應2.2節中的Dk·Dk；δi，δj為該卷積核中的位置，該層總共有N個不同類型的卷積核，0≤δi,δj≤Dk，而卷積核的滑動卷積操作可轉為兩個矩陣相乘操作，如圖8所示。

圖8 全卷積矩陣計算Fig.8 Full convolution matrix calculation

(12)

其中：左邊的矩陣維度為[N,M·Dk·Dk]；右邊的矩陣維度為[M·Dk·Dk,w′·h′]；卷積后的維度為[N,w′·h′]。右邊的矩陣中I為img，其下標依次為像寬和像高，即Iw h。

最后通過反卷積操作，將[N,w′·h′]轉為輸入時的圖像大小，這樣可以精確地識別每一像素代表的具體語義信息，且避免了空間信息損失。反卷積的具體操作，相當于卷積的逆運算，即

(13)

因此，通過反卷積和全卷積操作的網絡能夠適用于任意圖像大小尺寸，且能夠對圖像的每一像素點進行語義分析，達到物流車輛的精確定位識別。

3 基于條件隨機場的目標分割優化

3.1 傳統圖像分割存在的缺陷

傳統的圖像分割方法有從FCNs[10]的角度出發的“shift-and-stitch”密集輸出以及采用插值的方法進行上采樣操作，但是這些方法得到的結果比較粗糙。即使采用傳統的膨脹、腐蝕處理，像素點的分類結果依然不精確，如圖9所示。

圖9 傳統圖像分割的缺陷Fig.9 Defects in traditional image segmentation

為解決該問題，采用一種條件隨機場的后處理手段對像素分類的后訓練階段進行干預，使其分類得到更加準確的像素概率值，從而達到對目標像素分類進行精確化定位的目的。

3.2 條件隨機場的基本原理

條件隨機場[11-13]是一種判別式無向圖模型，對于多個變量或者觀測序列x={x1,x2,…,xn}，即給定目標像素值序列，在給定觀測值或標記序列y={y1,y2,…,yn}，即類別標簽，構建條件概率模型P(y|x)。令G=[V,E]表示結點與標記y一一對應的無向圖，yv表示與結點v對應的標記變量，n(v)表示結點v的鄰接結點，每個變量yv都滿足馬爾可夫性，即

P(yv|x,yv)=P(yv|x,yn(v))

(14)

則(y,x)構成一個條件隨機場，對其進行建模，使用勢函數和團來定義條件概率P(y|x)，使得標記變量{yi}以及相鄰的標記變量{yi-1,yi}所組成的團勢函數最大，通過選用指數勢函數，目標函數定義為

(15)

(16)

式中：tj(yi+1,yi,x,i)為兩個相鄰變量標記位置的轉移特征函數，用于刻畫相鄰標記變量的相關關系以及觀測序列對其的影響；sk(yi,x,i)為觀測序列在標記位置i上的狀態特征函數，用于刻畫觀測序列對標記變量的影響；λj和μk為參數；Z為規范化因子，用于準確定義概率。

3.3 基于條件隨機場的參數設計

針對上述條件隨機場[12]，結合物流車輛分類模型，采用的能量勢函數為

(17)

式中：θi(xi)為一元勢函數；xi為觀測序列中的像素i的分類標簽，即屬于物流車輛中的某一類別，則有類別概率P(xi)，轉化θi(xi)=-logP(xi)。而第二項的成對勢函數θij(xi,xj)擴展為

(18)

式中：μ(xi,xj)為標簽對比函數，當xi≠xj時，μ(xi,xj)=1，否則μ(xi,xj)=0，用于判斷相鄰像素點間的距離；wm·km(fi,fj)為高斯卷積核特征函數，用wm權衡相鄰像素點特征關系，具體關系函數為

(19)

圖10 使用條件隨機場前后對比Fig.10 Use conditions before and after the airport comparison

4 目標的精確定位與識別網絡模型

4.1 聯通區域查找算法的設計

圖像聯通區域[14-16]查找方法較多，有像素點標記法、線段標記法等。其中像素點標記法又分為區域增長法、順序掃描法、遞歸標記法。線段標記法主要為游程標記法。而像素點標記法最常見，將每一類別的物流車輛的預測結果轉化為二值圖，通過聯通區域標號進行查找。設像素點f(x,y)其左右上下坐標分別為f(x-1,y)，f(x+1,y)，f(x,y-1)，f(x,y+1)，則聯通區域標號merge(x,y)在4 領域掃描，經過f(x,y)點時已掃描左、上位置f(x-1,y)和f(x,y-1)，因此可通過判斷merge(x-1,y)和merge(x,y-1)來確定f(x,y)的聯通性，具體的判別式為

1) 表明與左領域相聯通的判斷條件：當f(x,y)=f(x-1,y)且f(x,y)≠f(x,y-1)時，merge(x,y)=merge(x-1,y)。

2) 表明與上領域相聯通的判斷條件：當f(x,y)=f(x,y-1)且f(x,y)≠f(x-1,y)時，merge(x,y)=merge(x,y-1)。

3) 表明與左、上領域相聯通的判斷條件：當f(x,y)=f(x-1,y)且f(x,y)=f(x,y-1)時，merge(x,y)=merge(x-1,y)=merge(x,y-1)。

4) 表明與左、上領域不聯通的判斷條件：當f(x,y)≠f(x-1,y)且f(x,y)≠f(x,y-1)時，merge(x,y)=NewLabel新的聯通標號。

設立一個一維數組common，其下標為臨時聯通區域標號merge(x,y)的值，merge(x,y)的值代表某個共同聯通區域標號，即像素點f(x,y)的共同聯通區域標號common(merge(x,y))。掃描二值圖類別圖像，具體流程為

1) 當出現當前坐標點f(x,y)≠f(x-1,y)以及f(x,y)≠f(x,y-1)時，表明像素點f(x,y)屬于新的聯通區域，數組common新增一個，并且記錄common(merge(x,y))=merge(x,y)。

2) 當出現當前坐標點f(x,y)=f(x,y-1)以及f(x,y)=f(x-1,y)，還需要比較臨時聯通區域標號merge(x-1,y)和merge(x,y-1)的值：(1) 若出現merge(x-1,y)=merge(x,y-1)情況，則merge(x,y)=merge(x,y-1)；(2) 若出現merge(x-1,y)≠merge(x,y-1)情況，則當common(i)=common(merge(x-1,y))時，有common(i)=common(merge(x,y-1))。

3) 當出現當前坐標點f(x,y)=f(x,y-1)以及f(x,y)≠f(x-1,y)，則表明與上領域聯通，記錄merge(x,y)=merge(x,y-1)。

4) 當出現當前坐標點f(x,y)=f(x-1,y)以及f(x,y)≠f(x,y-1)，則表明與左領域聯通，記錄merge(x,y)=merge(x-1,y)。

經以上步驟后，合并所有聯通區域，得到每一類別的聯通區域，可對目標物流車輛作像素點分割定位。

4.2 最小外接四邊形的精確框定

在分割基礎上，采用了最小外接四邊形的方法[17-18]將目標進行框定，這樣有利于計算物流車輛相應的寬高像素信息。其中物流車輛定位的最小外接四邊形計算流程為

1) 將上述分割圖像每一類別轉為二值圖像，尋找其近似多邊形輪廓。

2) 多邊形輪廓由每一系列點組成，找到離散點中y坐標最大，x坐標最小的點記為A點。

5) 以此類推，直到找到A點，從而得到多邊形P。

6) 以P為凸邊以旋轉法計算每一次旋轉的面積，得到最小面積，即最小外接四邊形，記錄最小外接四邊形的高度和寬度。

5 實驗結果與分析

5.1 輕量化的網絡結構

從物流園區采集了廂式貨車、牽引式貨車、自卸車、罐式車四種類型的物流車輛，將其劃分為訓練集8 000 張，每一類別2 000 張，測試集4 000 張，每一類別1 000 張。搭建的輕量化和條件隨機場模型網絡結構如表1所示。表1中：k為卷積核大小；s為步長；p為填充的尺寸；DW為通道卷積組，表示通道卷積核組成的固定搭配；使用了殘差求和有利于大網絡的梯度傳遞；各層的激活和批量標準化[17]操作(Batch normalization,BN)有利于加快網絡的訓練；ReLU為修正線性單元，是一個激活函數。

表1 輕量化網絡模型結構Table 1 Lightweight network model structure

5.2 實驗結果的比較分析

采用的計算機配置為技嘉NVIDIA英偉達GTX1080Ti顯存11 G，1 607 MHz的顯卡，對比了優化前和采取筆者結構優化后的模型測試性能，結果如表2所示。表2中的評價指標MPA表示平均像素點準確率(Mean pixel accuracy)；MA表示前景面積占標簽面積的比值(Mean accuracy)；而MIOU表示平均交并與面積覆蓋率比值(Mean intersection over union)，即預測正確的區域占預測面積和標簽面積并集的比值；單位M·pic-1表示訓練一張圖片所占用的內存，內存單位兆(M)；單位ms·iter-1表示每迭代一次需要的時間，時間單位毫秒(ms)；采用通道卷積后，占用的顯存減少了51%，訓練速度提升了78%，測試速度提高了79%，分割定位的各項評價指標中都獲得大幅提升，其中MIOU的提升幅度最大。

表2 輕量化分割模型性能對比

此外針對分割粗糙問題，引進了條件隨機場優化，提升了分割定位效果。使用條件隨機場分割前與使用條件隨機場分割后的結果對比，如圖10所示。

針對分割圖像無明顯邊框問題，采用了最小外接四邊形算法，對二值化后的聯通區域進行查找和最小邊框限定。得到完美的邊框限定結果，如圖11所示。無論物流車輛朝向如何，分割定位后的邊框位置都能限定在最小矩形框內。

圖11 最小外接四邊形定位Fig.11 Minimum external quadrilateral positioning

6 結 論

基于輕量化的網絡模型結構，最突出的特點是在保證分割精度的情況下，提升模型的分割效率，通過通道卷積的方式減少了模型的參數量；又設置了多尺度的空洞卷積核，合理而簡便地提高模型的感受野，增強模型的泛化性；對傳統分割方法的粗糙問題進行了條件隨機場優化處理，能夠滿足更精細化的目標邊緣分割和內部空洞填補。其次針對分割邊界測量問題，通過最小外接四邊形進行框定，解決了物流車輛邊界框定問題，有利于進一步通過比例方法獲取車輛車長和車高等信息。