基于智能機器視覺的東海大橋集卡動態研究

摘要：隨著上海國際航運中心集裝箱業務的快速發展，東海大橋作為進出洋山港集裝箱集疏運的唯一陸路通道，通行壓力已經制約了洋山港業務發展，本文討論了利用人工智能機器視覺技術研發集卡動態系統，推動洋山港業務流程再造、優化大橋集疏運，縮減大橋通行和滯港時間，提升洋山港統籌運營和綜合服務能力，推進洋山港“智慧港口”的建設，保障洋山航運區物流鏈、供應鏈的暢通，從而帶來豐富的經濟價值和社會價值，主要內容：利用機器視覺的深度算法技術，進行車號、箱號、空掛、車速等的識別;融合洋山港碼頭營運操作系統（TOS）、集卡預約平臺（EIR）、車隊管理系統（TMS）等業務系統，形成數據交互和流程再造;利用無人機智能巡航，增強預警管理和應急處理能力，降低風險損失。

關鍵詞： 機器視覺;卷積神經網絡;深度學習;車號識別;箱號識別

一、引言

隨著中國內外貿易的繁榮發展，上海的集裝箱業務也得到了蓬勃發展，2021年，上海港集裝箱吞吐量再創新高，突破4700萬TEU，已經連續12年高居居全球第一，尤其是洋山深水港區作為上海國際航運中心和自由貿易區建設的重要載體，同年集裝箱量吞吐量超過2000萬TEU，東海大橋是洋山港的重要配套工程，也是進出洋山港集裝箱集疏運的唯一陸路通道，由于集裝箱集疏運的潮汐現象，通行峰值期間對洋山港的作業壓力影響非常大，同時，東海大橋社會車輛和集卡混行，沒有系統支撐，很難做到針對集裝箱運輸提供專業分析和宏觀決策和應急預案等，因此，建立一套東海大橋集卡動態管理，和集裝箱物流鏈上下游系統進行互連，拓展集裝箱物流鏈系統的覆蓋范圍、推動“綠色高效、智能科技”洋山港建設有著重要的意義，該系統主要包括識別技術、業務設計、預警管理等內容，主要功能在于在車里高速運行狀態中甄選出集卡車量，并且識別出集卡車號、箱號、空掛等信息，結合時間節點、空間位置、運輸路徑、流量信息、流向信息進行動態采集和統計，并且把集卡運輸動態數據推送到洋山港營運操作系統和集卡預約、車隊管理等相關系統平臺中，對提高碼頭作業效率，減少集卡等待時間、緩解大橋通行壓力、降低物流鏈運輸成本等都有重大的社會價值和經濟價值。該系統的主要難點在于夜間或者海邊惡劣天氣下集卡運輸動態信息的識別率和準確率問題，隨著信息化和自動化技術的發展，通過部署在收費站道口、匝道、飛行無人機、碼頭高樓的高清攝像機采集到視頻圖像，然后利于機器視覺技術，OCR文字識別，神經網絡深度算法進行各種信息數據的處理和收集，為各項功能實現提供數據支撐。

二、總體方案設計

東海大橋集裝箱運輸動態系統包括圖像識別系統（車型識別、車號識別、空掛識別、箱號識別）、集卡動態管理系統、應急預警系統等。識別系統由三部分組成：

1.在東海大橋收費站進出道口搭建智能采集識別系統，視頻圖像錄制、圖像收集和算法識別模型及訓練、信息數據存儲傳輸于業務系統對接，通過在大橋收費道閘、匝道、碼頭高樓頂部等位置架設高清攝像機采集實時視頻圖像，輔助無人機采集應急時段視頻，經過圖片采集、卷積神經網絡提取特征、循環神經網絡圖像識別，結合OCR、AIDS、降噪、去雨、變形矯正等算法，識別車型、車號、箱號、空掛、車速等，利用AI深度學習CNN訓練，大幅提高識別的準確率，保障數據高度可用。

2.在大橋洋山島側上下匝道位置部署高清識別設備，對通行集卡的運輸路徑、進提箱信息，大橋通行時長、島上滯留時長等進行動態記錄;在大橋兩側建設無人機站，設置日常飛行巡檢路徑定時作業，也實現突發擁堵狀態下視頻點播回傳或者指定車輛跟蹤監測等。融合洋山港碼頭營運操作系統（TOS）、集卡預約平臺（EIR）、車隊管理系統（TMS）等業務系統，從時間和空間維度記錄集卡集卡車號、箱號、空掛、運輸路徑、流量、流向等動態信息，通過系統交互接口獲取對應地提供流量分析、異常交通告警等的決策過程模型，采集涵蓋集裝箱集卡車號、箱號、空掛、進提箱貨物、運抵、堆場、岸橋、道口、查驗、預約等信息。

3.利用無人機智能巡航，增強預警管理和應急處理能力，降低風險損失。集卡動態管理系統部署采用分布式計算，構建GPU服務器集群進行模型訓練，利用kubernetes搭建微服務架構，啟動DOKER容器技術把系統部署到私有云上，通過專網和碼頭營運操作系統TOS和EIR和車隊管理TMS等平臺進行對接交互，根據識別到的車號抽取入港進提箱和運抵等信息，驗證后建立大橋集裝箱運輸動態數據庫，把相應數據推送到TOS等系統中，碼頭做相應的智能道口、查驗區、機械調度、堆場等作業調整，提高碼頭作業效率，縮減集卡等待時間等，和互拖平臺做對接，為空掛集卡提供碼頭間互拖業務，集卡預約和車隊管理動態延伸和應急展示等，同時為上海港宏觀決策和集疏運優化方案提供了有效的量化依據。應急預警管理系統通過專網和WEB訪問，對大橋集卡運輸動態異常情況進行預警，可以通過視頻點播對現場動態進行遠程展示或者回溯，為啟動應急預案提供依據等。

三、識別系統設計

識別系統主要是基于人工智能的機器視覺技術，機器視覺綜合了圖像處理、視頻處理、工程技術、光學成像、智能傳感等技術，比較適合東海大橋的環境和基礎設施建設，識別系統硬件設備部署在三個區域，東海大橋蘆潮港側進出收費站區域、洋山港側上下匝道區域、大橋兩側無人機站區域，硬件設備主要由高清攝像機、紅外車輛感應器、可編程邏輯控制器PLC（GPU芯片）、網絡交換機等設備組成，識別技術主要利用前沿的機器識別技術，通過目標監測、OCR文字識別、三維檢測算法，立式差圖算法、降噪算法、等進行識別文字和狀態，然后通過AI深度學習CNN模型訓練提高識別率，保證識別的可靠性。

識別技術主要通過以下幾個過程：高清視頻錄制、圖片采集、圖片預處理、區域定位、特征識別、識別結果、識別率提升等，視頻圖像錄制采用 CCD（Charged-Coupled Devices）工業級攝像機，需要滿足白天和黑夜不同光線條件下的正常工作，減少雨、雪、霧等惡劣天氣的影響，通過紅外設備觸發開始拍攝視頻，視頻流中截取亮度和對比度好的圖片信息，

圖像質量直接影響識別算法的設計與效果精度，所以需要對圖片進行預處理提升圖片質量，預處理首先要用Resolution enhancer 圖像畫質增強技術調整圖片亮度和對比度，其次對變形圖片平移、轉置、鏡像、旋轉、縮放等幾何變換校正到水平直線方式，圖片校正后有利于后期的圖像分割，最后就行對圖片進行降噪處理，可以用PRIDNet深度學習框架進行圖片降噪，用RainMix圖像增廣去雨算法去除雨天干擾等;預處理后的圖片通過卷積神經網絡進行車號、箱號區域定位，定位過程如圖1所示：特征提取和特征融合，特征提取是通過卷積核（濾波器，convolution kernel）提取特征值，將采集到的圖片劃成8*8像素的Cells，通過卷積核的卷積點乘運算獲取特征值 destination value，輸出特征圖（feature map），然后通過雙線性差值對圖像矩陣兩個邊進行一次線性差值實現特征圖高和寬度放大1倍的效果，此時的特征圖是二維，不能用于檢索，把兩個特征維度附加相應的權重，需要把特征編碼轉換為一維的描述算子，通過相似度計算進行特征區分，對車號和箱號的區域進行定位預測，對車號和箱號的坐標位置進行定位。

通過定位坐標，繼續特征提取和序列化，通過LSTM模型的循環神經網絡（RNN）計算字符概率并預測，經過生成器和鑒別器的對抗訓練識別出車號和箱號數據，把識別到的數據打上特有標簽，輸出初步的識別結果，此時的識別率相對偏低（80%左右），為了提高識別率，還需要經過一個月作業的CNN模型訓練，可以把識別率提升到98%以上。識別率提高的關鍵技術是CNN（卷積神經網絡）模型訓練，過程包含：整理訓練數據、卷積神經網絡帶入訓練、訓練模型保存、代入模型、特征向量SVM訓練、SVM結果預測。CNN訓練通過CNN是深度學習（deep learning）的一種常用的算法，具有較強的表征算法能力，CNN需要依賴大規模標簽數據作為訓練模型，通過卷積和（特征過濾器）提取圖片水平和垂直特征（RGB值），通過特征提取計算后轉換特征圖，最大池化（max pooling）壓縮和提取特征圖提取最突出的特點，進行扁平化處理后轉化為一維的數據條，錄入到“全連接隱藏層”，神經元的全連接，產生輸出結果，利用激活函數形成完整的CNN數據流，保證了輸出值和圖片整體信息的匹配度，隨著訓練量的積累，圖像的識別率也會大幅增加，保證車號識別和箱號識別的數據精確。識別系統還運用一些別的技術，比如光流+CNN的序列圖像分析和運動參量求值車速識別，基線幾何立體視覺地從二維圖像提取三維信息空掛識別，OpenCV的車道識別等，以上技術的應用，提供了東海大橋集卡立體動態識別系統，為整個業務提供良好的識別數據支撐。機器視覺識別系統的部署使用分布式計算的模式，現場節點安裝小型GPU工控機，linux+python+Bazel的開發、應用環境，TensorFlow_Serving部署軟件進行識別和模型熱更新和自動模型版本管理，后端采用高性能GPU服務器集群完成CNN模型訓練和識別，通過TCP協議是寫識別計算結果的傳輸，識別的效率取決于GPU云化計算能力，使用CAAS架構提高GPU資源的利用率。

數字化無人機技術的引入，實現了定時規劃路徑巡檢和動態視頻跟蹤等工作，其中巡航平臺模塊包括無人機控制、視頻接入和識別、應急預警等模塊。無人機站負責無人機的充電、維護、信息處理和傳輸等。無人機根據設計的巡航線路進行日常巡檢或者應急處理等，飛行過程中機載高清攝像頭開始實時視頻錄制，通過5G網絡利用RTMP和RTSP協議把視頻推送到接入解析服務器，解析服務器根據預設的AI算法進行集卡動態、緊急事件區域等進行識別，根據識別結果判斷風險等級，啟動業務告警、應急預案、多方聯動等，并且具備視頻點播、回溯、3D展示等功能，無人機需要配備六向雙目識別、紅外感知、避障雷達等模塊，具備動態智能跟蹤、三維坐標定位、共享位置、激光測距等功能，配備備用電池保障續航和安全，巡航服務和視頻服務應用可以用spring cloud微服務開發和部署到私有云端。

四、集卡動態管理系統設計

集卡動態管理系統主要把識別到的數據和碼頭營運操作系統和各平臺系統進行交互，形成以時間、空間屬性的集卡動態信息，嵌入到TOS、EIR、TMS系統中，促進碼頭、車隊作業流程再造，提高作業效率、優化集疏運方案和緩解大橋通行能力，并且為決策層提供數據支撐。TOS系統可以根據該系統預測值得到集卡車號和箱號信息，預測集卡到崗時間，道口作業區可以調整道口的開放數，對在停車場和查驗區進行引流，為入港集卡快速進港創造條件，智能堆場可以通過算法進行者翻箱等操作，機械調度可以及時安排內集卡和軌道吊等的運行路徑等，能有效提高作業效率，降低能耗。EIR可以通過該系統對集卡進港時間預判和調整，TMS可以通過該系統了解到集卡的位置定位和狀態等信息，針對東海大橋上的集卡動態進行全時段的記錄和統計，儲存了大橋集卡的動態全局數據，可以針對時間段、集卡流量、流向車速等數據進行建模計算，從宏觀政策層面進行決策和分析。

集卡動態管理系統用容器化開發設計，Linux+Python+Doker，kubernetes進項容器管理，實現輕量化部署和敏捷性開發，同時和其他系統對接開發相應的API接口，提升系統的延展性，搭建大橋集卡動態信息數據庫，實時記錄大橋上集卡車號、箱號、掛箱、目標港、進提箱、預計抵港時間，預約、堆場位置、大橋路況等信息，根據各方需求開發服務模塊，并且進行統計分析，為決策和優化提供依據。

五、應急預警系統設計

應急預警系統功能模塊是預警識別、告警發送、異常情況跟蹤、啟動應急預案（自動或者人工）、實時錄像、點播回溯等，無人機可以選用大疆的Matrice 300 RTK商用機型，使用DJTM飛控系統，配備了六向雙目視覺和FPV 攝像頭，在避障、定位、位置共享方面表現突出，搭載H20T變焦廣角高清相機，更加有利于快速搜索和全方位觀察等，飛行輔助界面等先進功能大橋兩側通過無人機巡航進行實時視頻錄制，為碼頭、車隊、救援等多方提供信息保障，提高異常情況處理效率，緩解大橋擁堵等。

六、結束語

隨著自動化AI技術的發展，機器視覺技術越來越廣泛應用到港口航運業務中，利用機器視覺技術，結合神經網絡和深度學習算法，建設東海大橋集裝箱實時動態管理系統彌補了洋山港全方位集裝箱物流鏈中關鍵環節的系統缺失，進一步推進了洋山港智慧港口、綠色港口的信息化建設，有效降低集卡的運營成本、相應縮減滯港時間和大橋通行時間，緩解了大橋通行壓力，實現經濟效益和社會效益雙豐收。

參? 考? 文? 獻

[1]張羽達. 基于機器視覺的集裝箱鎖孔識別與定位技術研究[D].江蘇大學，2019.

[2]劉燕欣，張志良，唐波，等.面向集裝箱港口的機器視覺智能感知系統[J].軍民兩用技術與產品，2020（01）：24-28.

[3]徐尉豪.基于機器視覺的動態環境運動目標智能識別研究[J].激光雜志，2022，43（01）：29-32.

[4]薛夢霞，劉士榮，王堅.基于機器視覺的動態多目標識別[J].上海交通大學學報，2017，51（06）：727-733.

作者單位：李東? ? 上海海勃物流軟件有限公司

李東（1971.04-），男，漢族，上海，研究生，工程師，專業研究方向：信息技術。