基于深度學習和視覺檢測的地鐵違規行為預警系統研究與應用

蒲安會

（東華大學信息科學與技術學院，上海 201600）

1 概述

隨著城市經濟的發展，在現代社會地鐵已經成為人們出行的主流方式，地鐵的高安全性使人們的出行安全得到了保障。因此，越來越多的人選擇地鐵出行。由于地鐵運營的載客運營容量大，人口流動性大，車內空間狹小。因此，地鐵中各種突發情況、不文明行為越來越多，而地鐵的管理人員不能夠及時地發現這些行為和情況，導致各種悲劇的發生。地鐵上的不文明行為有很多種類型，例如在車廂里嬉戲打鬧、扔垃圾、打架以及躺在座位上占座等。而突發暈倒情況也屢見不鮮，沒有及時搶救的話很有可能造成悲劇。

針對上述問題，本研究的意義重大，在乘客倒地、不文明行為、不佩戴口罩等情況下能夠及時的檢測到并報警，方便地鐵工作人員及時處理上述情況。

本文以深度學習為背景，將人工智能與圖像識別相結合，針對地鐵上人的各種違規行為，將深度學習應用于關節點檢測。

本文的實際應用情況選取了HigherHRNet 模型，HigherHRNet 模型是目前在多人關節點識別任務bottom-up 中最先進的算法，模型不僅在關節點定位上更加準確，還能夠識別圖片中人物較小的關節點。然而該模型在實際應用中存在模糊圖像無法檢測到關節點、鏡像圖像的干擾、非正常姿勢關節點檢測不全等問題，本文分別進行了超分辨率重建[1-4]、雙閾值、修改關節點之間的強相關的方法從而解決了上述三個問題。

2 基于深度學習的人體關節點檢測

2.1 關節點檢測的研究現狀

本文主要應用場景是地鐵車廂，因此本文的關節點檢測面向很多人，多人關節點檢測分為自上而下和自下而上。自上而下的含義是先檢測出多個人，然后再對每個人進行關節點檢測。自下而上的含義是先檢測出所有關節點，再判斷關節點屬于哪個人。

上述的方法都是分為兩步，即先檢測出所有的關節點，然后將關節點分類到每個人身上，但是這樣做的結果會導致效率變低。2019 年，Nie[5]提出了single-stage 的方法，該方法不同于以往的關節點拼接成完整的人，而是直接預測人。主要方法是對Heatmap 進行回歸得到一個root joint 關節點，這個節點就是人的形心，然后將得到的各個關節點的offset 與形心的向量，然后用8 個hourglass 網絡結構來訓練預測這些偏移量。

目前人體關節點數據集分為單人數據集和多人數據集，含義是一張圖片中標注了一個人的關節點和一張圖片中標注了多個人的關節點，上述兩種數據集都對本文的研究有所幫助，因此本文的數據集是兩種數據集的融合。

2.2 HigherHRNet 模型的應用改進

HigherHRNet[6]模型是目前在多人關節點識別任務bottom-up 中最先進的算法，模型不僅在關節點定位上更加準確，還能夠識別圖片中人物較小的關節點。

HigherHRNet 在HRNet[7]的基礎上進行了改進，作者發現目前的研究對圖像中小尺度的人物關節點檢測任務精度都不高，因此其主要研究重點放在了應對尺度變化，即在不犧牲大人體性能的情況下提高小人體的性能以及生成高質量的高分辨率熱圖，從而精確定位小型人群的關節點。

作者提出了尺度感知高分辨率網絡HigherHRNet，通過新的高分辨率特征金字塔模塊生成高分辨率熱圖。作者在HRNet的1/4 分辨率路徑上構建高分辨率要特征金字塔，以使其高效。為了使HigherHRNet 能夠處理尺度變化，進一步提出了一種多分辨率監督策略，以將不同分辨率的訓練目標分配給相應的特征金字塔級別。最后，我們在推理過程中引入了一種簡單的“多分辨率熱圖聚合”策略，以生成尺度感知的高分辨率熱圖。

圖1 是網絡結構的示意圖，首先網絡是一個Stem 結構，由兩個3×3 卷積層組成，步長為2，得到了1/4 分辨率的輸出，之后進入到HRNet 網絡結構，經過該結構后得到原始圖像1/4 分辨率的熱圖，之后用多個反卷積模塊來生成多分辨率和高等分辨率熱圖。反卷積模塊將來自HRNet 的特征和預測熱圖作為輸入，并生成分辨率比輸入特征圖大2 倍的新特征圖。

圖1 HigherHRNet 模型結構示意圖

因此，反卷積模塊會與HRNet 的特征圖一起生成具有兩種分辨率的特征金字塔。反卷積模塊還通過添加額外的1×1 卷積來預測熱圖。

2.2.1 HigherHRNet 模型的結構應用改進

在實際應用的情況下，攝像機拍攝到的圖片或者視頻不全是高清的，也有模糊的，如圖2 所示，當人物在圖中分辨率高時，可以檢測出來所有的關節點，而當目標人物在圖中比較模糊時，模型無法檢測到關節點。而如何在此情況下準確地定位出人類關節點成為實際應用的難點。

圖2 HigherHRNet 模型檢測模糊的照片效果圖

本文首先在網絡中加入了超分辨率重建技術以提高圖片的清晰程度，使進入到高分辨率特征金字塔之前圖片是足夠清晰的，為了達到實際應用的要求，首先重構的分辨率要滿足HigherHRNet 的輸入要求，使網絡能夠順利檢測出關節點，其次分辨率結構不能太過復雜，需要滿足實時性的要求。

2.2.2 HigherHRNet 模型的輸出應用改進

改進一：在地鐵車廂中，根據實際情況我們知道車廂中攝像頭拍攝的圖片并不是完美的，例如在夜晚時，地鐵窗口會反射人的影子，由于模型對能夠適應光線的變化，因此導致模型會預測鏡子中的關節點，如圖3 所示。

圖3 鏡子中反射的人形

本文對HigherHRNet 模型進行了后處理，采用的方法是雙閾值法[8-9]，根據兩個閾值來剔除掉鏡子中反射的人物。由于每個車廂都有攝像頭，因此不存在特別小的人物。然而如果去掉生成高分辨率熱圖的操作，雖然能夠篩選掉圖片中的小人物，但也會使關節點的定位不準確，原因是當像素高的時候，單個像素占圖像的比例很小，而模型是對單個像素進行識別，因此定位非常準確。

本文改進的方法是利用各個關節點之間的連線來判斷否是鏡子的反射，判斷分為兩步，第一步是將17 個關節進行連線，關節點分別表示為I1，I2，I3，…I17，共16 條連線，如式（1）所示：

Sb為設定的長度閾值，大于該閾值為現實中的人，小于該閾值為鏡像中的人。

在第一步之后，進行第二步判斷，判斷的標準如式（2）至式（4）所示：

Wx、Wy表示所有關節點橫向和縱向的距離，I1x表示所有關節點橫向坐標，I1y表示表示所有關節點縱向坐標，S 表示面積。

這里用的雙閾值的判別法，只有當所有關節點連線求和面積都滿足閾值要求時，則判斷該目標是現實中的人。

改進二：HigherHRNet 模型在關節點回歸時，一個目標的17個關節點是相互影響的，互有聯系的。這是由于每識別出一個關節點a，a 關節點會向其它關節點延伸形成向量，例如a 關節點向b 延伸出向量ab，而b 關節點時同樣會向a 延伸出向量ba，當ab 和ba 重合度高時，則認為定位的關節點是正確的。而在實際應用中，我們發現目標人物的關節點會被物體擋住，不能全部檢測出，這就導致了模型在回歸關節點時不夠準確。

由于模型的訓練集圖片基本都是站立姿勢，關節點的延伸也是按照正常人站立姿勢延伸的，這就導致了模型不僅無法學習到躺臥姿態人的特征，也使關節點回歸不準確。模型僅識別除了6 個關節點。如圖4 所示。

圖4 躺臥姿態的人

本文修改了模型中判斷兩個關節點相互聯系的閾值，使非完全重合的兩個關節點延伸向量也能夠輸出出來，這個閾值代表了上述的ab 和ba 向量的重合度。

2.3 實驗結果展示

我們首先選取cowdpose 數據集來做實驗，其次針對拍攝圖片不清晰的情況，我們增加了1000 張模糊的人體圖片。

研究將改進的模型在修改之后的數據集上進行了訓練，熱圖的損失函數和關節點的損失函數如圖5 和圖6 所示，關節點標簽、關節點預測如圖7 和圖8 所示。最后與原始的HigherHRNet 模型進行實驗對比，為了保證實驗的公平性，本文在數據集中加入了模糊的圖片，其它參數不變，實驗結果如表1所示。模型相差不大，有細微的提升，主要是由于自己標注的模糊圖片數量較少，只占很小的一部分。通過對比效果圖片，可以看出差別，如圖3 和圖9 所示。

圖9 改進之后的模糊圖片實驗效果圖

表1 原模型與改進之后的模型對比

圖5 熱圖損失

圖6 關節點損失

圖8 關節點預測

模型的輸出應用改進的實驗驗證：

本文將新的圖片分別輸入到原始的模型和經過后處理之后的模型中，得到的結果如圖10 和圖11 所示。

圖10 輸出閾值改進之后的關節點檢測圖

圖11 模型輸出后處理之后的關節點檢測圖

2.4 小結

本文首先簡單介紹了現階段關節檢測的研究進展，掌握了國際上關節點檢測的最新動態和改進的方向。然后選取了HigherHRNet 模型作為主要的網絡結構，并在此模型的基礎上，針對本文的應用場景，做出了應用方面的改進，包括網絡結構的改進和模型輸出的改進。最后對改進后的模型進行了實驗，并做了可視化展示。