基于視覺判別與圖像識別技術的車內安全裝置設計

薛 玉，王憲彬，陳宇微，魏宇奕，王嘉慧

（東北林業大學，黑龍江 哈爾濱 150036）

0 引 言

順風車是近年來發展較為迅速的一種共享出行方式，其順應了交通運輸新趨勢，市場前景廣闊。然而，順風車的準入門檻較低，職業順風車司機提供的服務水準參差不齊，加上車內空間密閉，犯罪成本低，并且缺乏完備的保護乘客的安全裝置，順風車安全問題頻發。目前市面上保護順風車乘客安全的裝置大多有行程錄音保護、路線偏移預警、110報警一鍵撥打、24小時安全專線、車主乘客號碼保護、乘客自動分享行程、行程保險全面保障以及行程錄音取證等功能，但都未實現智能識別和自動報警，不能從根本上解決乘客的安全問題。從根本上保護順風車乘客，避免惡性事件發生，已經成為行業目前亟待解決的問題。因此，為滿足當下需求，順風眼團隊設計出一款車內人員安全預警報警裝置來維護車主及乘客人身安全。

1 系統功能及關鍵技術

1.1 系統功能

新型車內安全裝置——順風眼，利用多種核心技術，實現了對司機用手襲擊乘客身體等威脅乘客安全的動作的實時檢測目標[1]，并在檢測到司機有不正當行為后傳輸報警信號，自動向警務片區發送定位及攝像頭拍攝的原視頻，從而有效保護乘客安全。

1.2 關鍵技術

1.2.1 基于OpenCV和深度學習的動作識別技術

深度學習檢測和循環神經網絡（Rerrent Neural Network，RNN）能較好地處理檢測視頻內容的時間序列問題，而卷積神經網絡（Convolutional Neural Networks，CNN）對于圖像有較好的應用效果，故檢測一個動作需要將兩者結合起來[2]。循環神經網絡RNN與卷積神經網絡CNN相結合的結果是循環卷積神經網絡（Recurrent CNN，RCNN）。RCNN將卷積神經網絡的卷積層替換為內部具有遞歸結構的循環卷積層（Recurrent Convolutional Layer，RCL），并按前饋連接建立深度結構。

OpenCV是一個開源的跨平臺計算機視覺和機器學習軟件庫，可在Windows和Linux等系統中運行，主要接口語言是C++語言，同時也提供Python等大量其他編程語言接口，具有實時單目標跟蹤算法、RISC-V指令集以及圖計算模塊G-API等多種算法模塊[3]。OpenCV愈發完善的圖像處理功能為本裝置的圖像處理與動態識別提供了強有力的支持。本系統以Python結合OpenCV庫來操作攝像頭，從攝像頭采集視頻動態數據并保存為文件。

1.2.2 無線傳輸信號報警技術

無線傳輸方式主要利用無線技術進行數據傳輸，它有多種傳輸方式，其中微波傳輸能夠實時傳輸圖像，成本低，無需布線和維護，有很大的安裝優勢[4]。在無線傳輸技術中，GPRS技術作為一種通用無線分組業務，能更好地滿足報警技術的需求。GPRS使GSM系統的無線資源利用率得到了顯著提高，它不僅能夠保證圖片質量和清晰度，還能通過對數據業務進行分組，利用空閑的無線信道資源進行傳輸，并可以靈活調整業務調度策略[5]。利用GPRS傳送信號，只需要一個控制中心和多個終端即可，外接一個攝像頭和GPS定位系統后，即可將相應的圖片信息、視頻信息以及位置信息等快速傳遞到控制中心。

1.2.3 人體姿態估計技術

從視頻圖像中識別出人體姿態，對于人體動作識別非常重要，直接影響到對危險動作的判斷。對于相同行為，不同人的運動幅度也不盡不同。因此，先檢測圖片中的人體關鍵點，再將已檢測到的人體關鍵點準確地聯系起來，進而估計人體姿態[6]。人體姿態估計技術中的多人姿態估計需要檢測所有人體，對所有人體姿態進行分析，但由于存在人與人相互遮擋、疊加及觸碰等行為，會對多人姿態估計造成一定的誤差。故本系統采用由下而上的方法，首先檢測出圖像中各人體的關節點，其次根據人體結構正確匹配人體關節點進行重新組合，最后正確分析人體動作行為。這種方法有效地解決了人體檢測中重復估計和錯誤估計的問題[7]。本系統采用聯合子集劃分和標記模型（SPLP模型），該模型可同時檢測出人體數量以及人體姿態，并能較好地分析出遮擋部位。

1.3 系統關鍵技術應用情況

1.3.1 動作識別技術

動作識別系統應用于順風眼視覺感知模塊，主要針對車內人員。無論乘客還是司機的異常行為都可以被順風眼檢測學習，司機和乘客都可得到安全保障。本系統利用樹莓派調用攝像頭進行視頻錄制，OpenCV將已經識別出的標有人體關鍵點的動作與數據集生成的模型進行比對，從而達成危險動作的識別。如果檢測出異常行為，在將相關圖片和視頻錄像傳輸給警方后，也會將相關分析結果儲存在自己的信息庫中[8]。同時，利用信息庫中的數據集不斷地訓練，提高分析結果的精確性。

1.3.2 無線傳輸信號報警技術

本系統利用GPRS技術提供端到端、廣域無線IP連接的功能，將采集的圖像數據經GPRS-DTU數據轉換，再通過GRPS網絡傳輸到監控中心的主機[9]。監控主機利用監控軟件定義的虛擬設備將數據傳送到監控軟件界面中，在監控主機上實時顯示狀態數據并監控，通過人工驗證是否真的存在威脅。若確有威脅，則向附近警務區報警。

1.3.3 人體姿態識別技術

Openpose人體姿態識別技術適用于單人和多人。本系統更多地需要面向兩人及兩人以上（司機與乘客們）的互動行為識別。故本系統采用聯合子集劃分和標記模型，對提取出的人體關節點數據進行分類，對駕駛員和乘客的危險動作進行識別，以判斷是否需要報警[10]。系統主要通過人體關節點識別駕駛員和乘客的危險動作，通過OpenCV調用攝像頭，識別視頻中人體關鍵點，調用Openpose行為庫對人體姿態進行識別，最后將已處理好的人體姿態與預先保存好的危險動作進行比較，從而判斷駕駛員或乘客的動作是否屬于危險動作。

2 方案設計

車內安全裝置由預警啟動模塊、監控存儲模塊、圖像處理模塊以及報警傳輸模塊組成。通過這些模塊實現實時監控、自動報警以及圖像和視頻等證據的儲存。

車內安全監控系統如圖1所示。前端設備主要包括攝像頭、圖像存儲器、圖像處理器、人體感應器、測距儀以及蜂鳴器等，后端設備主要包括數據分析器、報警裝置、數據發送器以及5G急速云盤等。前端主要完成對車內環境的實時監控與分析，通過攝像頭、圖像存儲器、圖像處理器、人體感應器及測距儀來分析車內人員是否出現危險、脅迫動作，若分析結果為車內出現異常情況，則調動蜂鳴器進行警報，對車內人員進行警告。同時，后端及時接收和分析由前端傳來的相關視頻、圖像及分析結果，進行進一步分析，判斷是否需要啟動報警模塊和進行數據發送，并將相關圖片和視頻證據及時上傳儲存至5G急速云盤，進行證據存留，獲取車外救援。

圖1 車內安全監控系統組成圖

3 結 語

系統不僅實現了對車輛的全方位實時定位監控，還具備識別威脅動作的功能，能及時監測到緊急事件的發生并發出警報。本裝置圖像清晰，可以自動報警，在市場競爭中極具優勢。同時，裝置還與公安部門關聯合作，提高了營救效率，為警方出警爭取了寶貴時間。為確保定位系統的準確性與實時性，團隊后期還會對定位系統加大研究，同時還要加強系統的防御功能，以保護用戶的信息與個人隱私，避免乘客的定位、聲音及緊急聯系人等信息的泄露。順風眼安全裝置可保障順風車乘客的生命財產安全，避免順風車安全事故的發生，提高了社會安全性。