新型智能網(wǎng)聯(lián)監(jiān)控系統(tǒng)在智能集卡車上的應(yīng)用

王偉平

摘 ?要：隨著智能車時代的發(fā)展，在智能化車輛技術(shù)不斷進行技術(shù)革新的過程中，需要有完備的監(jiān)控系統(tǒng)保證其運行安全。通過對現(xiàn)有的監(jiān)控技術(shù)的調(diào)研，提出一種適用于智能集卡車上的完備的智能網(wǎng)絡(luò)監(jiān)控系統(tǒng)，實現(xiàn)多路CAN信號采集、多路高清視頻采集、以及云監(jiān)控功能。多路高清視頻采集能覆蓋車身長、盲區(qū)大以及可拆卸后掛等集卡車特點，實現(xiàn)無死角監(jiān)控;多路CAN信號采集則能全面記錄車輛以及智能集卡車上搭載的多種傳感器數(shù)據(jù)。

關(guān)鍵詞：智能網(wǎng)聯(lián)監(jiān)控系統(tǒng);集卡車;多路CAN信號采集;多路高清視頻采集;云監(jiān)控

中圖分類號：TN971.+1 ? ? ?文獻標(biāo)識碼：A ? ?文章編號：1005-2550（2020）06-0073-05

Abstract： With the development of intelligent vehicle technology and the continuous technological innovation in the era of intelligent vehicle， it is necessary to have a complete monitoring system to ensure its operation safety in the process of technology maturity. Based on the analysis of the existing technology level， a complete intelligent network monitoring system suitable for intelligent pickup truck is proposed. The system realizes the functions of multi-channel CAN signal acquisition and High-Digital video acquisition and cloud monitoring. The multi-channel high-definition video acquisition covers the whole truck with long body and without any monitoring blind angle to blind areas usually for the driver. In addition， multi-channel CAN signal acquisition can realize a comprehensively data record from various sensors on vehicles and intelligent trucks.

Key Words： Intelligent Network Monitor System; Collection Truck; Multi-channel CAN Data Collection; Cloud

引言

按照上海市經(jīng)信委和上海市公安局、上海市交通委聯(lián)合制訂的《上海市智能網(wǎng)聯(lián)汽車道路測試管理辦法》[1]提出并組織開展智能網(wǎng)聯(lián)汽車道路測試或示范應(yīng)用申請的主體具備車輛狀態(tài)在線監(jiān)控功能，能夠?qū)崟r回傳下列第1、2、3項數(shù)據(jù)信息，能夠自動記錄和存儲在車輛事故或者失效狀況發(fā)生前至少90秒的下列數(shù)據(jù)信息：1.車輛控制模式;2.車輛位置;3.車輛速度、加速度等;4.環(huán)境感知與響應(yīng)狀態(tài);5.車輛燈光、信號實時狀態(tài);6.車輛外部360度視頻監(jiān)控情況;7.測試駕駛?cè)撕腿藱C交互狀態(tài)的車內(nèi)視頻及語音監(jiān)控情況;8.車輛接收的遠程控制指令;9.車輛故障情況。

而傳統(tǒng)監(jiān)控設(shè)備是以視頻為主，基本上是模數(shù)以及模擬交叉使用的監(jiān)控設(shè)備[2]。目前車載監(jiān)控設(shè)備在智能車發(fā)展的帶領(lǐng)下，正在步向多元化、智能化、數(shù)字化發(fā)展。常規(guī)車載監(jiān)控系統(tǒng)在我國具有廣泛的應(yīng)用，由傳統(tǒng)的單端模式，逐漸往云端集中化統(tǒng)一監(jiān)控過度[3]-[4]，據(jù)西安公交巴士股份有限公司介紹，該公司使用車載監(jiān)控設(shè)備實現(xiàn)車輛的全面監(jiān)控，使相關(guān)管理人員及時把握車內(nèi)車外情況，保障行人的安全出行及公交的統(tǒng)一管理，根據(jù)公交車類型不同使用4-6相機監(jiān)控視頻、車輛CAN總線數(shù)據(jù)、GPS定位數(shù)據(jù)記錄以及云監(jiān)控功能。

由于集卡車具有車身長、盲區(qū)大、運行顛簸、可拆卸后掛車等問題，原有的設(shè)備需要應(yīng)用在集卡車上實現(xiàn)全時段多相機，車身360度無死角監(jiān)控，具有一定困難。現(xiàn)對應(yīng)用在智能集卡車上的智能網(wǎng)聯(lián)監(jiān)控系統(tǒng)需求如下：

（1）需要對集卡車進行艙內(nèi)艙外全方位視頻監(jiān)控;

（2）需要接入多組攝像頭信號同時采集;

（3）數(shù)據(jù)存儲模塊需要考慮車輛顛簸帶來損壞風(fēng)險;

（4）可拆卸后掛車需要監(jiān)控設(shè)備對攝像頭數(shù)量變化進行自適應(yīng)處理;

（5）在提供多組視頻信號的同時需要適應(yīng)智能車發(fā)展，表現(xiàn)在需要進行多路CAN數(shù)據(jù)以及實時GPS數(shù)據(jù)采集，并實現(xiàn)不同數(shù)據(jù)之間的同步;

（6）同時需要將相應(yīng)的數(shù)據(jù)上報云平臺，實現(xiàn)遠程監(jiān)控功能。

1 ? ?系統(tǒng)組成及優(yōu)勢

1.1 ? 硬件組成

新型智能網(wǎng)聯(lián)監(jiān)控系統(tǒng)硬件部分如圖1所示，由主處理芯片、相機接入模塊、CAN處理模塊以及各種外圍設(shè)備組成：

（1）硬件設(shè)計3組四合一相機連接模塊，可支持同時接入最多12個相機;

（2）系統(tǒng)通過主從MCU進行并行處理，提高處理速度，兩組處理器之間通過SPI進行數(shù)據(jù)傳輸以及時鐘同步;主MCU需要進行所有監(jiān)控數(shù)據(jù)（音視頻，CAN）記錄以及云平臺通訊功能，因此在芯片選型上需要在編碼能力以及CPU處理能力上考量，目前系統(tǒng)使用是英偉達TX2。從MCU則需要在CAN數(shù)量，CPU主頻，車載級別等方面權(quán)衡考量，系統(tǒng)設(shè)計過程中選型芯片有NXP的MPC57xx、MPC56xx、MPC55xx;Infineon的XMC1400、TC29xT、TC37xTX等芯片。

（3）CAN處理器性能支持最多6組CAN同時接入，且具有后續(xù)擴展能力;

（4）電源部分設(shè)計了備用可充電電池，為車輛掉電后數(shù)據(jù)錄制提供保證，滿足法規(guī)要求;

（5）系統(tǒng)提供兩種存儲設(shè)備接入接口，數(shù)據(jù)傳輸協(xié)議支持4G、WIFI、千兆以太網(wǎng)，同時系統(tǒng)支持ublox/M8L不同精度GPS定位功能。

1.2 ? 系統(tǒng)架構(gòu)

新型智能網(wǎng)聯(lián)監(jiān)控應(yīng)用程序部分的系統(tǒng)框架如圖2所示，音頻數(shù)據(jù)、GPS數(shù)據(jù)以及多組相機數(shù)據(jù)通過數(shù)據(jù)接收模塊處理，原始相機數(shù)據(jù)直接使用GPU進行處理，該過程每相機數(shù)據(jù)需要分別進行一次數(shù)據(jù)拷貝以及數(shù)據(jù)轉(zhuǎn)換，如圖所示3，通過時序控制最大化利用內(nèi)存空間，數(shù)據(jù)最后通過顯存動態(tài)拼接多相機畫面后，并將數(shù)據(jù)傳出給HDMI顯示模塊以及Recorder（數(shù)據(jù)記錄模塊），HDMI通訊接口能夠?qū)崟r相機畫面顯示于屏幕便于司機或者相關(guān)工作人員觀察車輛倉內(nèi)以及倉外情況。

Recorder將所有輸入數(shù)據(jù)利用定時器進行幀同步，定時器根據(jù)當(dāng)前系統(tǒng)設(shè)置幀率定時，截取每幀拼接后相機數(shù)據(jù)以及音頻進行H264以及音頻編碼生成視頻文件，編碼后的數(shù)據(jù)經(jīng)過RTMP協(xié)議（Real Time Messaging Protocol，實時消息傳輸協(xié)議）推送音視頻數(shù)據(jù)，RTMP協(xié)議用于在平臺之間傳遞視音頻以及數(shù)據(jù)，其實現(xiàn)基于TCP-IP協(xié)議上，因此能提供可靠的交互、互聯(lián)網(wǎng)上傳輸時不會出現(xiàn)丟包情況[5]，從而保證云平臺以及監(jiān)控APP可通過網(wǎng)絡(luò)進行實時可靠的、低延時的推流顯示。幀間獲取的原始CAN數(shù)據(jù)以及GPS數(shù)據(jù)經(jīng)過協(xié)議壓縮記錄當(dāng)前幀號以及時間戳等數(shù)據(jù)存儲成協(xié)議文件。

數(shù)據(jù)后處理主要提供云交互、設(shè)備維護以及場景標(biāo)注等功能。APP端監(jiān)控程序可通過WIFI連接能夠?qū)崟r播放視頻數(shù)據(jù)，當(dāng)車輛運行過程中出現(xiàn)異常情況，司機可通過APP打點功能，將打點瞬間的前后30s音視頻以及協(xié)議數(shù)據(jù)上傳平臺服務(wù)器，管理員根據(jù)上傳的固定場景數(shù)據(jù)迅速定位分析。云交互功能提供設(shè)備與云平臺握手認證，并下發(fā)平臺命令（如重啟、OTA升級等），同時收集將系統(tǒng)當(dāng)前主要性能狀態(tài)以及異常狀態(tài)上報平臺，實現(xiàn)日常維護功能。

Monitor是為保證設(shè)備正常運行一組監(jiān)控模塊，其功能實現(xiàn)檢查當(dāng)前應(yīng)用程序運行狀態(tài)，發(fā)現(xiàn)異常及時上報平臺，監(jiān)控人員可及時掌握車輛狀態(tài)。同時該模塊具有一定的應(yīng)急響應(yīng)機制，如恢復(fù)應(yīng)用程序運行、修復(fù)可能由于顛簸導(dǎo)致的硬盤損壞以及切換冗余存儲設(shè)備等功能，最大限度保障監(jiān)控數(shù)據(jù)錄制的完整性。

1.3 ? 監(jiān)控性能

新型智能網(wǎng)聯(lián)監(jiān)控系統(tǒng)提供錄制視頻比特率能達到3000Mbps，硬件設(shè)計12路LVDS相機接口，其中4路相機接口做后續(xù)升級以及備份使用，目前軟件性能可同時支持8路相機接入，能為監(jiān)控提供高清視頻素材。平臺推流比特率能達到100Mbps，20fps。同時CAN接收能夠支持6組CAN同時接入，能同時記錄多組傳感器信號以及多組車輛CAN信號，便于后續(xù)數(shù)據(jù)分析以及監(jiān)控。設(shè)備支持接入1Tb硬盤作為主存儲設(shè)備，以SD卡作為冗余存儲設(shè)備，保證數(shù)據(jù)錄制完整性。

云平臺可實時獲得設(shè)備在線狀態(tài)，并在線情況下實時定位車輛位置，同時平臺端可遠程實時可視化監(jiān)控。車輛以及傳感器的CAN數(shù)據(jù)可通過客戶自定義信號上傳平臺，實現(xiàn)整體監(jiān)控。

該設(shè)備具有獨立的掉電存儲模塊，能保證在車輛熄火后能夠堅持系統(tǒng)工作3分鐘以上，保證車輛意外掉電后數(shù)據(jù)記錄，滿足法規(guī)要求能夠自動記錄和存儲在車輛事故或者失效狀況發(fā)生前至少90秒的數(shù)據(jù)。

2 ? ?應(yīng)用實例

新型智能網(wǎng)聯(lián)監(jiān)控系統(tǒng)在智能集卡車上的應(yīng)用實例如圖4所示，系統(tǒng)接入8相機（5個水平fov192°、垂直fov134°，3個水平fov120°、垂直fov105°，分辨率均為1280x720），艙外相機分別布置了6組相機，車頭以及后掛車使用水平120°相機（1、6），主要考慮是能監(jiān)控前后較遠區(qū)域，因此使用畸變較小的相機;車身部分使用了4個水平192°相機（2-4）進行盲區(qū)覆蓋;艙內(nèi)使用了120°相機（7）安裝于集卡車副駕駛位前方A柱，用于艙內(nèi)駕駛員以及乘客監(jiān)控;車頭與掛車鏈接部分使用水平192°相機，針對掛車轉(zhuǎn)彎時出現(xiàn)車頭與車身偏離時出現(xiàn)的盲區(qū)監(jiān)控。

圖5所示為車輛CAN數(shù)據(jù)連接示例：OBD以及動力CAN可提供車輛實時狀態(tài)監(jiān)控（如方向盤轉(zhuǎn)角，車速，檔位等）;智能駕駛CAN通道（以下稱智駕CAN）提供車輛的駕駛模式信息（人工駕駛/自動駕駛）;RTK+IMU提供精確定位信息、Radar提供障礙物位置探測信息，兩者是智能駕駛中常用的感知系統(tǒng)重要組成部分，同時也是決策控制的重要數(shù)據(jù)來源。該新型智能網(wǎng)聯(lián)監(jiān)控系統(tǒng)能將通過CAN總線信號監(jiān)聽（Listen only）所有數(shù)據(jù)記錄并根據(jù)客戶自定義信號推送云平臺，為智能出行提高安全系數(shù)。

3 ? ?總結(jié)

針對集卡車具有車身長、盲區(qū)大以及可拆卸后掛車等特點，本文提出一種適用于智能集卡車的車載監(jiān)控系統(tǒng)，能實現(xiàn)無死角艙外以及艙內(nèi)多路高清視頻、服務(wù)于智能駕駛的多路CAN通道監(jiān)控數(shù)據(jù)記錄以及云監(jiān)控等功能。系統(tǒng)目前可提供8路相機數(shù)據(jù)（1280×720分辨率）以及6路CAN 通道同時采集。目前該系統(tǒng)在智能集卡車上具有廣泛應(yīng)用，每天云平臺具有2000-3000公里里程監(jiān)控數(shù)據(jù)生成，并不斷在擴大規(guī)模中。統(tǒng)計正常運營的監(jiān)控設(shè)備，累加所有設(shè)備總在線時間在2800小時內(nèi)，系統(tǒng)故障率小于5%，其中60%為配件故障。

實際應(yīng)用過程中，對監(jiān)控設(shè)備擴展相機數(shù)量以及CAN通道數(shù)量提出了需求，該系統(tǒng)下一步優(yōu)化方向除了擴展通道外，接入更多種通訊協(xié)議傳感器數(shù)據(jù)監(jiān)控如LIN，TCP-IP等。

參考文獻：

[1]上海市智能網(wǎng)聯(lián)汽車道路測試管理辦法[z]. 上海市經(jīng)信委和上海市公安局、上海市交通委，2018.

[2] 謝巧軍. 智能視頻監(jiān)控系統(tǒng)的應(yīng)用與發(fā)展趨勢[J]. 陜西煤炭，2019（8）：31-33.

[3] 劉海濤. 車載智能監(jiān)控系統(tǒng)在公交車上的應(yīng)用[J]，電子世界，2016（16）：162.

[4] 常博. 城市軌道交通智能綜合監(jiān)控系統(tǒng)設(shè)計研究[J]. 電子設(shè)計工程，2019（16）：53-56.

[5] 雷霄驊. 基于RTMP 協(xié)議的流媒體技術(shù)的原理與應(yīng)用[J]，中國傳媒大學(xué)學(xué)報自然科學(xué)版，2013（6）：59-64.