鐵路貨場智能大門集裝箱全景圖像采集方法研究

高延鵬+李小平+張曉康+孫艷春

（Mechatronics T & R Institute， Lanzhou Jiaotong University， Lanzhou 730000， China）

摘 要：現在成像設備視角不能直接拍攝超寬照片，集裝箱智能大門系統對通過車輛定位后采集多張圖片進行識別和檢驗處理。文章提出基于視頻流的集裝箱智能大門的全景圖像采集方法，主要對車輛定位與全景圖像采集、圖像拼接方法進行研究并設計，旨在為智能大門系統集裝箱箱號識別、箱體殘損檢驗提供全景照片，以進一步優化智能大門系統。

關鍵詞：智能大門；集裝箱；全景圖；視頻流

中圖分類號：F253.9 文獻標識碼：A

Abstract： Container intelligent gate system through which can identify multiple pictures was taken from the vehicle positioning and inspection process. In this paper， based on streaming video intelligent container door panoramic image acquisition method， mainly of vehicle positioning and container panoramic image acquisition and image fusion methods are studied and the program design. The purpose is for container intelligent gate system identification， the photos of the damaged inspection provide full container appearance， to further optimize the intelligent gate system.

Key words： smart door； container； panorama； the video stream

0 引 言

集裝箱智能大門[1]作為集裝箱中心站與運輸車輛交接的門戶，其通行的效率以及數據的安全準確是至關重要的。隨著技術發展，新技術應用于在集裝箱智能大門系統中。系統需對通過車輛定位后采集多張圖片進行識別和檢驗處理，現在成像設備視角不能直接拍攝超寬照片。根據上述情況，本文提出全景圖像技術應用在智能大門系統。主要解決由窄視角成像設備獲取（具有重疊區域的）多幅圖片通過拼接生成超寬視場圖像或全景圖像[2-3]。集裝箱全景圖片為智能大門進行后續處理提供基礎圖片，是一種對集裝箱智能大門功能、性能及安全可靠性能提升的一種方法。

目前，圖像拼接算法主要分為基于頻域的相位相關分析方法以及基于時域的特征匹配算法。相位相關分析法最早由Kuglin[4]等人提出，該方法通過傅里葉變換快速獲得兩幅圖像的平移量，之后Reddy[5]等人實現將相位相關方法擴展到對于存在旋轉、縮放的圖像配準領域，鄭志彬[6]等人提出對于存在平移、旋轉、縮放三者作用的圖像進行配準拼接。上述方法對于3種變化效果較好，對復雜的智能大門系統速度和效果也會下降。還有學者：張云峰[7]設計了基于DSP的實時圖像拼接技術，設計了一套基于DSP經緯儀實時拼接系統實現圖像實時拼接，該方法圖像快速拼接中以相位相關特點，不適合速度不定的集卡集裝箱圖像采集。宋戈[8]將多個固定攝像頭或單個移動攝像頭的內容進行拼接獲得更加高分辨率的圖像，該方法會大幅圖提高系統成本。

集裝箱卡車所載箱型和進入車道速度不能確定，所以每幀圖像相差也是不能確定。為了降低設備運行成本，又能得到集裝箱全景圖像。本文對系統結構、車輛定位與圖像采集進行設計，然后重點對視頻序列全景圖像快速獲取方法介紹。本文首先，介紹視頻序列中以紋理特性相似特性選取關鍵幀。然后，采用SURF[9]（Speeded Up Robust Features）進行提取柱面投影[10]的匹配特征，并采用基于K-D樹的最近鄰搜索BBF算法得到特征點之間的匹配關系。采用基于RANSAC方法，以Sampson距離劃分局內點和局外點來提高算法的魯棒性。最后，采用加權平均法對關鍵幀進行融合。

1 全景圖像采集方法概述

集裝箱卡車在進入車道口時，集裝箱圖像采集開始工作，通過5個相機分別抓拍集裝箱的左、頂、右、前、后箱的視頻流和圖像。在這個過程中，攝像機是靜止的，而集卡是運動的，運用幀之間紋理特征相鄰兩幀間的差異選取關鍵幀，然后進行圖像拼接。這樣，當集裝箱卡車駛離視頻區域時，就可以得到最后的集裝箱卡車完整圖片。視頻流全景圖像拼接中幀到幀拼接圖像方式是采用增量更新的方法，全景圖像生成過程中不會造成運動目標的突然消失。首先選取關鍵幀I■x，y，然后計算當前關鍵幀與之前接圖像間的變換關系。最后拼接到之前的拼接的圖像I■x，y結果如圖1所示。

集裝箱全景圖像采集系統主要由網絡攝像機、千兆交換機、NVR、紅外對射開關、泛光燈、PLC、服務器組成。圖像采集服務器根據PLC信號對視頻進行提取。網絡攝像機作為視頻監控系統部分，完成視頻的采集、壓縮和簡單處理功能。網絡攝像機通過交換機將數字化的圖像數據送到硬盤錄像機。經裁剪、比例壓縮及數據格式轉換后，數據傳輸于工控機。系統設備安裝關系如圖2所示。

2 車輛定位與圖像采集

2.1 車輛定位與圖像采集

當一輛載有集裝箱的卡車通過通道的大門時，因為紅外觸發器的高度小于集裝箱上沿的最低高度，所以在卡車前行的過程中會發生遮擋和連通的兩種狀態，拍攝就是利用這兩種狀態的變化進行圖像和視頻流的采集。集裝箱的長箱、雙箱、短箱也是根據紅外對射開關觸發情況區分。本節設計中只要A■、A■、A■、A■中間一個發生通斷即判斷為雙箱，這大大提高箱型區分準確率。集裝箱圖像采集過程如流程圖3所示。

當卡車上裝載的集裝箱為雙箱時，在車行進中A■觸發器由接通變為遮擋，A■觸發器變化接通→遮擋→接通→遮擋。同時后面的A■、A■觸發器都被遮擋，則L■觸發拍照，L■、L■、L■同時被觸發錄像。即前面相機觸發拍照，左、上、下3個相機觸發開始錄像。行進過程A■、A■觸發器接通，則L■觸發拍照，L■、L■、L■同時被觸發結束錄像。同時根據A■、A■、A■、A■的觸發情況判斷為雙箱。雙箱相機控制時機如圖4所示。

當卡車上裝載的集裝箱為長箱時，在車行進中A■觸發器由接通變為遮擋，A■觸發器變化接通→遮擋。同時后面的A■、A■觸發器都被遮擋，則L■觸發拍照，L■、L■、L■同時被觸發錄像。即前面相機觸發拍照，左、上、下3個相機觸發開始錄像。行進過程中行進過程A■、A■觸發器接通，則L■觸發拍照，L■、L■、L■同時被觸發結束錄像。同時根據A■、A■、A■、A■的觸發情況判斷為長箱。長箱相機控制圖如雙箱。

當卡車上裝載的集裝箱為單箱時，在車行進中A■觸發器由接通變為遮擋，A■觸發器變化接通→遮擋→接通。同時后面的A■、A■觸發器都被遮擋，則L■觸發拍照，

L■、L■、L■同時被觸發錄像。即前面相機觸發拍照，左、上、下3個相機觸發開始錄像。行進過程中行進過程

A■、A■觸發器接通，則L■觸發拍照，L■、L■、L■同時被觸發結束錄像。同時根據A■、A■、A■、A■的觸發情況判斷為單箱。單箱相機控制時機如圖5所示。

2.2 PLC與上位軟件控制相機方法

每個車道的千兆路由器與網絡攝像機相連：定義拍攝前方的攝像機為L■，拍攝后方的攝像機為L■，拍攝左方的攝像機為L■，拍攝上方的攝像機為L■，拍攝右方的攝像機為L■。對于何時拍照的判斷過程是由PLC系統完成。上位軟件通過與PLC的協議進行控制相機進行拍照。

定義相機的拍照相機命令為1，相對相機不需要拍照的命令為0；相機錄像開始為11，相機結束錄像為00。以相機L■、

L■、L■、L■、L■的命令邏輯狀態組成4位二進制數據。通過PLC將相機拍照命令發送給全景照片采集服務器。4對紅外對射開關，代號分別為：A■、A■、A■、A■。對射開關動作為0或1：當條件為1時觸發器接通，反之0時觸發器被遮擋。其觸發狀態標志是邏輯0，接通標志狀態是邏輯1；PLC通過紅外觸發器的邏輯狀態來進行集裝箱車類型及位置判斷。表1為標準車3種情況下，箱號識別PLC與上位軟件控制相機通信協議。

3 全景圖像拼接

3.1 視頻序列關鍵幀的選取

集裝箱卡車通過智能大門時候，攝像機采集到的視頻序列的幀之間有重合部分。考慮視頻序列紋理特性相似特性選取關鍵幀[11]。目前描述紋理特征的算法很多，本文考慮使用二階矩、熵和局部平穩性等3個特征，由此它們構造的紋理特征向量V為：

V=f■，f■，f■ （1）

其中：

f■=∑■■∑■■P■i，j■ （2）

f■為二階矩陣特征；

f■=∑■■∑■■P■i，jlogP■i，j （3）

f■為熵特征；

f■=∑■■∑■■■P■i，j （4）

f■為局部平穩特征。

假設當前關鍵幀為i，下一個需要比較的幀編號為j，兩個幀之間的相似度如式（5）所示：

di，j=V■-V■≥T （5）

其中：i，ji≠j為視頻序列號；T是相似度量的閾值，鄰圖像的位姿信息的精確度只需滿足重合區域大于30%，而通常的采集頻率可保證的重合區域為50%。可以看出，兩幀相鄰越近，其相似度越大，差值di，j越小，而隨著幀之間的距離增加，相似度減小、差值逐漸增大。當di，j≥T，選取j幀為關鍵幀；否則，i繼續為當前關鍵幀，與下一采集到幀繼續計算相似度，用于選取下一關鍵幀。

為了提高圖片質量，第一幀、最后一幀均為關鍵幀。也就是紅外對射開關觸發開始，采集視頻中第一幀；結束觸發時不管di，j≥T是否成立，均選取最后關鍵幀。

3.2 關鍵幀的特征選取和配準

系統中相機是固定的，在相鄰幀之間會有相對較小的幾何變換，主要空間變換有剛性、仿射、透視4種模型。根據齊次坐標，用式（6）描述上述關系模型。

■=H■×■=■×■ （6）

其中：x，y，1■和x■，y■，1■分別為相鄰兩關鍵幀視圖的齊次坐標。圖像配準最終目的就是求出這8個參數值。

本文圖像采集是集裝箱卡車通過車道，紅外對射開關給出起止信號，從中選取關鍵幀。由于車輛基本平穩通過車道，車輛行進中，圖像采集范圍基本不變，兩個相鄰關鍵幀間也會出現透視變換。透視變換矩陣H如式（7）所示：

H■=■ （7）

其中8個參數h■、h■、h■、h■、h■、h■、h■、h■都是未知。所以需要至少4對SURF特征匹配點，設為x■，y■， x■，y■， x■，y■， x■，y■和x■■，y■■， x■■，y■■， x■■，y■■， x■■，y■■，具體估算方法如式（8）所示：

■×■=■ （8）

當確定相鄰關鍵幀之間的幾何關系后，本文在兩個關鍵幀中選擇前一個作為基準圖像，然后將其他非基準圖像根據變換模型轉換到基準圖像的坐標系中。

圖像的匹配中，相比SIFT算法，SURF的特征點對光照、尺度、旋轉具有不變性，在保證獨特性、重復度、魯棒性的同時，計算速度上有明顯優勢。因此方法適合需要快速運算的智能大門系統，本論文提取柱面投影后的關鍵幀的SURF特征點。然后，使用隨機抽樣一致算法尋找RANSAC兩幅圖像間的最佳的匹配點，并剔除誤匹配點。

3.3 關鍵幀的融合

當兩個幀統一坐標后，本文為了使過度的更加融洽，先從關鍵幀的公共重疊區域找出最優拼接線，然后使用圖像融合技術將它們融合到一起。為防止出現明顯縫合線，獲得較快處理速度，本論文采用加權平均法對關鍵幀進行融合。選取適當的權值函數，可實現重疊區域平滑過度。

對于最佳縫合線準則主要從顏色和結構兩個方面定義。從顏色差異看，兩幅圖像Fx，y和Gx，y重疊區域做差，得到差值圖像D■x，如式（9）：

D■x=Fx，y-Gx，y （9）

結構上，兩關鍵幀Fx，y和Gx，y重疊區域分別在x和y方向上求梯度，并構造梯度差異算子D■x，如式（10）：

D■x=？塄■Fx，y-？塄■Gx，y×？塄■Fx，y-？塄■Gx，y （10）

其中：梯度可通過對圖像Fx，y和Gx，y的重疊區域利用Sobel算子S■和S■分別求取垂直和水平方向梯度值，記為？塄■Fx，y、？塄■Fx，y和？塄■Gx，y、？塄■Gx，y。

S■=■ S■=■

整合顏色與結構差異，得到式（11）：

D■x=D■x+D■x （11）

該結果構成一個鄰接矩陣。至此縫合線的定義準則準備工作完成。

根據顏色結構整合的式子中，得到差值圖像。首先在差值圖像中從第一行選擇值最小的10個像素點作為起點，從這些起點開始往下傳播到最后一行，各自走過一條從上到下的路徑。根據這個規則，每個起點都可以生成一條路徑，在生成的路徑中選擇差異最小的一條路徑作為最佳縫合線。其具體生成的步驟如下：

（1）選擇第一行10個差異最小的像素作為初始生長點。

（2）當縫合線路徑生長至第i行時，選擇與生長點x，y，相鄰下一行x-1，y+1、x，y+1、x+1，y+13個像素點。當前生長點強度與其和最小的作為下一行生長方向。

（3）所有縫合線生長最后一行，從中選擇差值強度最小路徑作為最佳縫合線。

為了使縫合線過度更加完美，相鄰兩關鍵幀Fx，y和Gx，y，在最佳縫合線的基礎上，對其基本算法進行改進：兩邊構造一個縫合線過度帶，通過距離加權融合使得其在縫合線處過度得更平滑，主要有以下步驟：

（1）相鄰兩關鍵幀Fx，y和Gx，y，分別建立一個二值圖像表示初始化權重矩陣T■x，y和T■x，y，對T■x，y縫合線兩側為1和0，同理，T■x，y兩側分別為0和1。

（2）定義距離變換函數Dpx，y，對T■x，y和T■x，y變換，如式（12）。

Dpx，y=mindisp，q （12）

其中：p∈非0像素集、q∈0像素集，距離函數定義為街區距離，如式（13）。

dispx■，y■，qx■，y■=x■-x■+y■-y■ （13）

其中：Dpx，y本質就是，計算初始化權重矩陣中，所有非零像素點到其相鄰的最近零像素點的距離，如圖6所示：

（3）通過閾值ε∈（0，1]設定平滑過度帶大小，分別計算對應圖像Fx，y和Gx，y新過度融合權重α■x，y和α■x，y，歸一化0～1之間，如式（14）。

■ （14）

（4）最終計算融合兩幀圖像，如式（15）。

I■=■ （15）

本論文首先融合前兩個關鍵幀，用融合后的圖像作為基準圖像繼續與下一個關鍵幀配準和融合。

4 實驗結果分析與總結

4.1 實驗結果分析

根據本文研究，本章為了驗證本章算法的性能與可行性，實驗程序在CPU為G2120，2G內存的PC機上運行C#算法實現上述算法。選取相鄰兩關鍵幀進行SURF特征點提取，兩幀圖片像素分別為：500×500。如圖7所示，檢測知左側圖像380個特征點，右側圖像467個特征點；匹配個數有380對；匹配點最大距離0.564785，最小距離0.0664676。

然后利用BBF算法近似搜索兩幀特征點，最終搜索到的匹配結果可能會存在的冗余和錯誤匹配，對粗匹配得到的SURF特征點采用RANSAC進行篩選，特征點匹配項變為23對，如圖8所示。

將一側所有關鍵幀圖像融合后，可以看出通過加權平均數獲得景圖片無明顯拼接痕跡，如圖9所示。

4.2 總 結

本文提出集裝箱智能大門的全景圖像采集，主要對車輛定位與全景圖像采集、圖像拼接方法進行了研究并對方案進行設計，由實驗可知本文提出方法能夠得到質量較高的全景圖像。當然全景圖像拼接技術，也會受天氣、光線影響出現錯誤匹配與拼接，后續應提高智能大門補光問題；系統處理方面，應考慮GPU進一步提高圖像采集速度。

參考文獻：

[1] 王任祥. 現代港口物流管理[M]. 上海：同濟大學出版社，2007.

[2] Ho S， David P. Automatic generation of 360 degree panorama from image sequences[J]. Proceedings of SPIE-The International Society for Optical Engineering， 2008，7073：70731J-70731J-9.

[3] 宋寶森. 全景圖像拼接方法研究與實現[D]. 哈爾濱：哈爾濱工程大學（博士學位論文），2012.

[4] Kuglin C D. The phase correlation image alignment method[J]. Proc. intl Conf. cybernetics & Society， 1975（5）：163-165.

[5] Reddy B S， Chatterji B N. An FFT-based technique for translation， rotation， and scale-invariant image registration[J]. IEEE Transactions on Image Processing， 1996，5（8）：1266.

[6] 鄭志彬，葉中付. 基于相位相關的圖像配準算法[J]. 數據采集與處理，2006，21（4）：444-449.

[7] 張云峰. 基于DSP的實時圖像拼接技術[J]. 液晶與顯示，2013，28（6）：963-967.

[8] 宋戈. 動態視頻拼接技術的研究與實現[D]. 北京：北京化工大學（碩士學位論文），2014.

[9] Bay H， Tuytelaars T， Gool L V. SURF： Speeded Up Robust Features[C] // Computer Vision ECCV， 2006.

[10] 吳子章. 一種基于柱面投影的圖像拼接算法研究[J]. 計算機光盤軟件與應用，2011（5）：168.

[11] 劉李緯. 基于特征的多路視頻實時拼接技術的研究與實現[D]. 北京：北京工業大學（碩士學位論文），2015.