一種基于視覺的列車智能障礙物檢測裝置

汪陽 戴林恩

摘要：隨著列車自動化程度的增加，列車智能障礙物檢測變得越來越重要。本文運(yùn)用圖像處理技術(shù)，基于Journey2設(shè)計了一種非接觸式列車智能障礙物檢測裝置。該裝置可實(shí)現(xiàn)軌道線檢測、障礙物識別、障礙物綜合判斷，可應(yīng)用于城市軌道交通車輛非接觸式障礙物檢測。試驗結(jié)果表明，其對障礙物的檢測判斷，準(zhǔn)確度可達(dá)到99%。

關(guān)鍵詞：圖像處理;非接觸式;障礙物檢測;Journey2

中圖分類號：U284.48 文獻(xiàn)標(biāo)識碼：A 文章編號：1004-9436（2020）23-00-03

0 引言

隨著技術(shù)的發(fā)展，無人駕駛的時代悄然降臨。在城市軌道交通行業(yè)，全自動運(yùn)行地鐵具有正點(diǎn)兌現(xiàn)率高、運(yùn)力靈活可配置、人員一崗多職能等優(yōu)點(diǎn)，日益成為城市軌道交通建設(shè)的發(fā)展方向[1-2]。由于取消了司機(jī)崗位，原來由司機(jī)承擔(dān)的軌道區(qū)域障礙物檢測職責(zé)需要智能檢測設(shè)備來負(fù)責(zé)。傳統(tǒng)列車的智能障礙物檢測主要依靠被動式障礙物檢測（碰撞檢測）。被動式障礙物檢測依靠安裝于車輛前端的多組碰撞開關(guān)，將多組開關(guān)狀態(tài)反饋給車輛信號系統(tǒng)，由車輛執(zhí)行制動操作。

被動式障礙物檢測存在以下問題：無法在非接觸情況下實(shí)現(xiàn)檢測，即只能實(shí)現(xiàn)碰撞后檢測、需要安裝多組碰撞傳感器增加了車載設(shè)備的復(fù)雜度。隨著技術(shù)發(fā)展，非接觸式障礙物檢測的優(yōu)勢漸漸體現(xiàn)。在非接觸式障礙物檢測方案中，視覺檢測占據(jù)了重要地位。現(xiàn)有的視覺檢測大多采用傳統(tǒng)檢測方案，數(shù)據(jù)處理和數(shù)據(jù)采集分開進(jìn)行。這種方式雖然可以增加配置的靈活性，但這也是它的弊端所在，信號延遲高、設(shè)備架構(gòu)復(fù)雜[3]。

針對上文提到的現(xiàn)有障礙物檢測方式的不足，本文設(shè)計了一種基于視覺的列車智能障礙物檢測裝置，通過智能算法處理，在地鐵列車處于無人駕駛模式下運(yùn)行時，對軌面上方突發(fā)侵入或隧道結(jié)構(gòu)設(shè)備落下障礙物，實(shí)時遠(yuǎn)距離檢測、提前告警，達(dá)到保護(hù)車輛和鐵路設(shè)施、保障乘員的生命安全的目標(biāo)。該裝置將數(shù)據(jù)采集、數(shù)據(jù)處理合二為一，高度集成化，并且針對城市軌道交通這種使用場景增加了軌道線檢測等功能，可滿足城市軌道交通設(shè)備非接觸式障礙物檢測需求。

1 功能分析

列車智能障礙物檢測裝置主要實(shí)現(xiàn)的功能有三大塊：一是軌道線的檢測，在圖像傳感器將列車前端的視頻數(shù)據(jù)采集后進(jìn)行處理，使用軌道線檢測算法，識別出車輛前進(jìn)方向上的軌道限界。二是障礙物的識別，通過AI算法智能識別列車前方障礙物類型與位置信息。三是障礙物的綜合判斷，將軌道線數(shù)據(jù)和障礙物數(shù)據(jù)結(jié)合，綜合判斷障礙物所處的位置對列車行進(jìn)的影響。

城市軌道車輛一般運(yùn)行在地下和地面線路，環(huán)境溫度為-25℃～45℃，運(yùn)行場景固定。

通過上述分析可以得到如下幾點(diǎn)系統(tǒng)需求：CMOS（互補(bǔ)金屬氧化物半導(dǎo)體）采集芯片需滿足低照度，寬動態(tài)需求;ISP（圖像信號處理）芯片實(shí)現(xiàn)轉(zhuǎn)碼功能，將原始視頻數(shù)據(jù)RAW格式轉(zhuǎn)成BT1120格式;AI芯片實(shí)現(xiàn)軌道線檢測、障礙物檢測、障礙物的綜合判斷等功能;電源采用直流供電，寬電壓輸入;以太網(wǎng)接口，實(shí)現(xiàn)視頻流、檢測結(jié)果傳輸;

功能架構(gòu)如圖1所示。

2 硬件設(shè)計

總覽設(shè)計要求，列車智能障礙物檢測裝置硬件架構(gòu)分為3個模塊：圖像采集模塊、數(shù)據(jù)處理模塊、電源供電模塊。圖像采集模塊主要通過CMOS圖像傳感器實(shí)現(xiàn)圖像采集，圖像采集后需要對圖像數(shù)據(jù)進(jìn)行轉(zhuǎn)碼操作以適配不同的數(shù)據(jù)處理模塊對圖像數(shù)據(jù)格式的需求。轉(zhuǎn)碼后的數(shù)據(jù)傳輸給數(shù)據(jù)處理模塊。

數(shù)據(jù)處理模塊實(shí)現(xiàn)圖像數(shù)據(jù)處理（軌道線檢測、障礙物檢測）。對于傳輸過來的視頻數(shù)據(jù)，數(shù)據(jù)處理模塊取其中的一幀畫面，利用圖像識別算法實(shí)現(xiàn)障礙物檢測，記錄檢測出的數(shù)據(jù)結(jié)果，對該幀圖片進(jìn)行軌道線識別檢測，檢測出的軌道線與障礙物數(shù)據(jù)結(jié)合后判斷障礙物是否影響列車運(yùn)行，判斷結(jié)果通過以太網(wǎng)進(jìn)行輸出。

電源供電模塊通過電平轉(zhuǎn)換芯片將輸入的標(biāo)準(zhǔn)電壓轉(zhuǎn)換成各個模塊需要的電壓，保障其他功能模塊的正常運(yùn)行。電源供電模塊使用隔離電源模塊和非隔離電平轉(zhuǎn)換芯片實(shí)現(xiàn)功能。隔離電源模塊可實(shí)現(xiàn)寬電壓輸入、寬工作溫度范圍、欠壓保護(hù)、輸出短路過流過壓過溫保護(hù)。保證了電源供電的可靠。非隔離電平轉(zhuǎn)換芯片則實(shí)現(xiàn)各種不同標(biāo)準(zhǔn)電壓的輸出。

列車智能障礙物檢測裝置采用千兆以太網(wǎng)接口作為數(shù)據(jù)傳輸接口，可實(shí)現(xiàn)檢測結(jié)果傳輸、視頻流傳輸。

列車智能障礙物檢測裝置硬件整體架構(gòu)如圖2所示。

2.1 圖像采集模塊

圖像采集模塊，選用IMX385作為圖像采集芯片。IMX385為低照度、寬動態(tài)CMOS傳感器，最低可至0.001LUX（光照度）。可滿足城市軌道車輛的各種復(fù)雜運(yùn)行環(huán)境。支持輸出1080P@30fps（畫面分辨率為1920×1080，畫面流暢度為每秒30幀）實(shí)時圖像，快速連續(xù)檢測。視頻數(shù)據(jù)處理芯片選用海思HI3516，用于將IMX385輸出的原始視頻數(shù)據(jù)（RAW）轉(zhuǎn)碼成AI芯片可接收處理的視頻數(shù)據(jù)格式（BT1120）。海思提供了MPP（媒體處理軟件平臺），該平臺對應(yīng)用軟件屏蔽了芯片相關(guān)的復(fù)雜的底層處理，并對應(yīng)用軟件直接提供MPI（媒體處理軟件平臺程序接口）接口完成相應(yīng)功能，可以簡化開發(fā)流程。

2.2 數(shù)據(jù)處理模塊

數(shù)據(jù)處理模塊，選用Journey2作為處理芯片。該芯片采用Cortex-A53 CPU處理器，并設(shè)計有專門的AI處理器，針對AI處理進(jìn)行強(qiáng)化。且功耗低于2W，可使用被動式散熱方案，增加裝置可靠性。該芯片配有一個千兆以太網(wǎng)接口，用于數(shù)據(jù)交互，可實(shí)現(xiàn)視頻流的傳輸。該模塊主要實(shí)現(xiàn)視頻數(shù)據(jù)處理，通過圖像算法將視頻數(shù)據(jù)中的特定目標(biāo)區(qū)分出來，進(jìn)行邏輯判斷并輸出結(jié)果。

2.3 電源供電模塊

隔離電源模塊采用URF1D12QB，該隔離電源模塊是為鐵路電源領(lǐng)域設(shè)計的一款高性能的產(chǎn)品，輸出功率達(dá)到50W，無最小負(fù)載要求，擁有43～160VDC（V表示電壓，DC表示直流）寬電壓輸入，允許工作溫度高達(dá)105℃，具有輸入欠壓保護(hù)、輸出過壓保護(hù)、短路保護(hù)、過溫保護(hù)、遠(yuǎn)程遙控及補(bǔ)償、輸出電壓調(diào)節(jié)等功能。通過EN50155鐵路標(biāo)準(zhǔn)，滿足使用場景的要求。非隔離電平轉(zhuǎn)換芯片采用TPS65251，該芯片也具有寬電壓輸入（4.5～18V）。該芯片可根據(jù)需求設(shè)置3個不同的輸出電壓，可簡化芯片供電電路，增強(qiáng)其可靠性，該芯片為工業(yè)級芯片，符合城市軌道列車運(yùn)行環(huán)境要求。

3 軟件設(shè)計

根據(jù)功能定義，軟件模塊主要分成以下幾個部分：障礙物檢測、軌道線檢測、日志記錄、視頻推流。障礙物檢測模塊實(shí)現(xiàn)障礙物類型識別及距離位置判斷;軌道線檢測模塊實(shí)現(xiàn)軌道線識別并將AI目標(biāo)與軌道線表達(dá)式融合，判定是否在軌道線內(nèi);日志記錄采用開源、輕量級日志記錄工具，能夠提供向流、標(biāo)準(zhǔn)輸出、文件、系統(tǒng)日志、調(diào)試器等目標(biāo)輸出日志的能力。視頻推流采用RTSP（實(shí)時流傳輸協(xié)議），RTSP與RTMP（實(shí)時消息傳輸協(xié)議）相比具有傳輸效率高、等特點(diǎn)。

3.1 障礙物檢測

障礙物檢測模塊獲取視頻源數(shù)據(jù)，利用人工智能算法進(jìn)行目標(biāo)檢測，提取出可上報的障礙物信息輸出軌道線檢測模塊。同時記錄視頻源數(shù)據(jù)保存文件，供維護(hù)模塊通過SFTP（安全文件傳送協(xié)議）方式下載查看。

障礙物檢測模塊主要由以下幾個組件組成：

主調(diào)組件：進(jìn)行程序初始化，記錄視頻原始文件，調(diào)用其他各組件。主要流程包括：初始化AI網(wǎng)絡(luò)，加載AI配置文件，加載AI權(quán)重文件，創(chuàng)建視頻讀寫器，調(diào)用視頻獲取及圖像保存組件，保存原始視頻，調(diào)用圖像識別組件，調(diào)用UDP（用戶數(shù)據(jù)報協(xié)議）收發(fā)組件。

圖像分割組件：獲取視頻圖像，對圖像進(jìn)行分割轉(zhuǎn)換后供圖像識別組件進(jìn)行識別，并對圖像進(jìn)行保存，供軌道線檢測模塊使用。主要流程包括：獲取一幀圖像;圖像分割并轉(zhuǎn)換，保存轉(zhuǎn)換后的圖像。

圖像識別：利用人工智能算法，識別圖像中物體的類別，并將識別的障礙物信息上送到軌道線檢測模塊中進(jìn)行與軌道線的融合。主要流程包括：圖像預(yù)測，預(yù)測框輸出，預(yù)測過濾并按照物體類別進(jìn)行排序（去除無物體檢測或低于閾值的檢測物體），計算每個檢出物體的位置和距離，釋放圖像信息，釋放目標(biāo)信息。

TCP收發(fā)組件：識別到的障礙物信息上送到軌道線檢測模塊中與軌道線融合。主要流程包括：TCP端口的初始化，監(jiān)聽建立連接，數(shù)據(jù)發(fā)送。

3.2 軌道線檢測

軌道線檢測模塊從障礙物檢測模塊中獲取障礙物信息，同時讀取保存在本地的圖片，進(jìn)行軌道線檢測，并將檢測的軌道線結(jié)果和障礙物信息融合，判斷障礙物是否在軌道線內(nèi)，并上送障礙物消息。根據(jù)圖片數(shù)據(jù)的內(nèi)容，判斷視頻源的接收狀態(tài)后，整合上送給數(shù)據(jù)處理模塊。同時記錄日志文件，供維護(hù)使用（可通過FTP即文件傳輸協(xié)議下載查看）。

軌道線檢測模塊主要由以下幾個組件組成：

UDP收發(fā)消息組件：接收UDP Socket（網(wǎng)絡(luò)上的兩個程序通過一個雙向的通信連接實(shí)現(xiàn)數(shù)據(jù)的交換，這個連接的一端稱為一個Socket），將其數(shù)據(jù)解封裝，再轉(zhuǎn)為內(nèi)部結(jié)構(gòu)體數(shù)據(jù)。發(fā)送UDP Socket，將發(fā)送的數(shù)據(jù)基本信息組包組成MsgPack包，Socket發(fā)送。主要工作流程包括：軌道線檢測模塊TCP客戶端連接到障礙物檢測模塊（服務(wù)端）;接收TCPsocket消息;根據(jù)頭部信息和數(shù)據(jù)長度剔除錯誤數(shù)據(jù);根據(jù)頭部消息判斷消息類型（障礙物消息、圖片更新消息）;如果是障礙物消息則獲取障礙物信息，如果是圖片更新消息則獲取圖片序號和產(chǎn)生圖片的時間戳。

基于網(wǎng)絡(luò)的通信在傳輸數(shù)據(jù)時為了避免不同平臺下字節(jié)序及內(nèi)存對齊的影響，通常會將數(shù)據(jù)序列化成字節(jié)流來傳輸。在本設(shè)計中，選用MsgPack格式來序列化格式數(shù)據(jù)。MsgPack是一種類似于JSON的數(shù)據(jù)格式，但是其在序列化/反序列化的速度上進(jìn)行了較大的優(yōu)化，可以進(jìn)行高效處理，并且在庫支持方面，所有的主流語言都可以找到開源、免費(fèi)的支持方案。

軌道線圖片獲取與目標(biāo)獲取組件：接收視頻檢測模塊發(fā)送的新圖片消息及新圖片中AI目標(biāo)消息，解析AI目標(biāo)消息，并記錄日志。日志記錄采用spdlog，這是一種開源的日志庫，只包含頭文件，不依賴第三方庫文件可以輕松實(shí)現(xiàn)部署。

軌道線檢測組件：檢測圖像中的軌道線，得到軌道線表達(dá)式。軌道線檢測組件首先加載未經(jīng)檢測的視頻圖片，后根據(jù)圖片大小判斷是否加載成功，該圖片是否已經(jīng)過障礙物檢測，經(jīng)過障礙物檢測的圖片進(jìn)入下一步的軌道線檢測步驟。主要工作流程包括：對圖片進(jìn)行預(yù)處理（轉(zhuǎn)換成灰度圖后進(jìn)行直方圖均衡，全圖LSD檢測，即一種直線檢測分割算法）;根據(jù)LSD線段集及軌道特性查找當(dāng)前軌道起點(diǎn);根據(jù)新的軌道起點(diǎn)建立搜索框，由起點(diǎn)到軌道盡頭劃框搜索，搜索劃窗內(nèi)疑似軌道線段;將線段保存到線段集;將軌道線段集擬合，斜率相差小的部分?jǐn)M合成直線，斜率相差大的擬合成貝塞爾曲線;將軌道線表達(dá)式與障礙物融合，將融合數(shù)據(jù)發(fā)送給障礙物綜合判斷模塊。

4 系統(tǒng)測試

4.1 障礙物檢測測試

根據(jù)城市軌道車輛的運(yùn)行環(huán)境，選取了幾種典型障礙物類型——球、人、行李箱、列車，作為測試目標(biāo)。在實(shí)際的使用場景中進(jìn)行測試，實(shí)際測試效果如圖3所示：

障礙物檢測準(zhǔn)確率如表1所示：

4.2 軌道線檢測測試

在軌道線檢測實(shí)際測試中，檢測出的軌道線穩(wěn)定連續(xù)，且與軌道線邊緣吻合。軌道線檢測實(shí)際測試效果如圖4所示：

4.3 障礙物綜合判斷測試

障礙物綜合判斷，可實(shí)現(xiàn)碰撞風(fēng)險分析。障礙物處于軌道界限之內(nèi)，認(rèn)為障礙物將會影響列車的運(yùn)行安全，此時將障礙物信息上報并告警。障礙物處于軌道界限之外，認(rèn)為障礙物不會影響列車的正常運(yùn)行，將信息記錄至日志。

障礙物綜合判斷實(shí)際測試效果如表2所示。

在實(shí)際測試1中，處于軌道界限外的箱子已經(jīng)被檢測到，經(jīng)過綜合判斷，認(rèn)為不會對列車運(yùn)行造成影響，因此不將障礙物信息上報。實(shí)際測試2中，檢測到障礙物是人，并處于軌道界限內(nèi)，綜合判斷后認(rèn)為會對列車的運(yùn)行造成影響，將障礙物信息上報。

5 結(jié)語

列車智能障礙物檢測是列車智能化發(fā)展的重要組成部分，本文針對列車障礙物檢測技術(shù)的現(xiàn)狀，設(shè)計了一種基于視覺的列車智能障礙物檢測裝置。該裝置對列車運(yùn)行前方軌道的障礙物（如車輛、人、行李箱等）主動進(jìn)行識別同時感知障礙物距離，并具備向車輛預(yù)警的能力。當(dāng)檢測出列車前方有障礙物時，根據(jù)視頻檢測結(jié)果，提取出障礙物，當(dāng)障礙物被識別出來的時候，會顯示具體目標(biāo)的類型，當(dāng)不能識別出具體類別時，作為未知障礙物，但障礙物是存在的。同時不需要人為采取措施，只要前方檢測到障礙物會實(shí)現(xiàn)自動報警功能，該裝置在全線直道、彎道、道岔區(qū)域能準(zhǔn)確可靠地識別運(yùn)行前方障礙物，不受相鄰軌道障礙物或軌旁障礙物（軌旁圍墻、信號機(jī)等）的影響。經(jīng)過實(shí)際測試，該方案可穩(wěn)定運(yùn)行，并滿足功能要求。

參考文獻(xiàn)：

[1] 周勇.智能車輛中的幾個關(guān)鍵技術(shù)研究[D].上海：上海交通大學(xué)，2007.

[2] 苗彩霞.現(xiàn)代有軌電車系統(tǒng)特點(diǎn)及應(yīng)用前景[J].都市快軌交通，2013，26（03）：9-12.

[3] 同磊，朱力強(qiáng)，余祖俊，等.基于車載前視攝像機(jī)的軌道異物檢測[J].交通運(yùn)輸系統(tǒng)工程與信息，2012，12（04）：79-83+134.

作者簡介：汪陽（1992—），男，山東嘉祥人，學(xué)士，助理工程師，系本文通訊作者，研究方向：城軌地鐵車輛電氣系統(tǒng)設(shè)計。

戴林恩（1993—），男，江蘇啟東人，碩士，助理工程師，研究方向：圖像處理及嵌入式開發(fā)。