基于改進Faster R-CNN的車輛乘員數量檢測方法

金 鑫，胡 英

〈紅外應用〉

基于改進Faster R-CNN的車輛乘員數量檢測方法

金 鑫，胡 英

（大連海事大學 船舶電氣工程學院，遼寧 大連 116026）

針對現有以雷達技術和紅外熱成像技術為代表的HOV（High occupancy vehiclelane）車道車輛乘員數量檢測方法可靠性差、準確率低等問題，提出一種基于多光譜紅外圖像與改進Faster R-CNN（Region-Convolutional Neural Networks）的車輛乘員數量檢測方法。通過多光譜紅外成像系統獲得汽車內部空間圖像，結合Faster R-CNN深度學習算法實現乘員數量檢測，通過采用全卷積網絡結構、多尺度特征預測、使用ROI-Align代替ROI-Pooling等方式增強網絡的泛化能力。通過對樣據進行K-means聚類得到目標框長寬幾何比例先驗分布，提高區域生成（region proposal network，RPN）網絡訓練速度和位置回歸準確性。測試結果表明，獲得的汽車內部空間圖像較為清晰，算法可以實現對乘員數量的檢測。經過改進，網絡的泛化能力得到增強，單乘員檢測的準確率達到88.6%，相比于改進前提高了13.8%，能夠滿足行業規定大于80%的要求。

多光譜紅外圖像；Faster-RCNN；全卷積；K-means聚類；ROI-Align

0 引言

隨著社會經濟發展和生活質量的提高，汽車數量增長而帶來的交通擁堵問題已經成為目前亟待解決的問題。HOV專用車道即高載客率多乘員車道，在規定的時間段只對多乘員開放。設置HOV專用車道，可以在不增加交通建設成本的情況下，有效利用現有的公共資源提高交通運輸的效率，是解決城市擁堵的一種有效措施[1-2]。

目前HOV專用車道執法效率較低，針對汽車乘員數量檢測領域的研究比較少，主要是因為汽車車窗貼過車膜后，普通相機很難獲得其內部空間圖像。當前可參考應用到車輛乘員數量檢測的技術主要有雷達法和基于紅外圖像的目標檢測法[3]。Fadel Adib等人[4]提出一種基于射頻體反射的多人室內目標定位檢測方法，該研究使用5對頻率在5.46～7.25GHz的信號接收-發射裝置，將信號調整為連續波信號后，將這5對收發裝置的時延-頻率圖（Time delay- frequency diagram）進行疊加，可以得到目標相對準確的空間位置。該方法雖然滿足車輛乘員數量檢測的條件和要求，但在實際的檢測環境中，路邊的行人、行駛的車輛對雷達檢測的精度影響較大。在紅外圖像檢測技術方面，馬也等人[5]提出一種復雜背景下紅外目標的檢測算法。通過多權值高斯背景率除法對人體目標進行分割，然后對得到的候選區域采用融合邊緣方向累加和特性的梯度方向直方圖進行特征描述，通過對支持向量機進行訓練來實現人體目標的判別，但在目標密集、目標遮擋等情況下檢測精度還不能達到要求。以應用在成都HOV專用車道的紅外熱成像檢測技術為例，只有當車窗搖下時才可獲得駕駛室內部空間圖像，大大降低了紅外熱成像檢測的適用性，當汽車內部乘員較多時，乘員間相互遮擋會使目標的成像不規律，影響檢測結果，紅外圖像質量的不確定性使得準確率難以保證。

隨著紅外技術與圖像融合技術的發展[6-8]，為設計適用于HOV車道執法的檢測技術提供了新的思路。本文在前期設計了一套多光譜紅外成像裝置，采用主動照明技術，由光源系統主動發射多個波長的紅外光，形成多光譜人工照明環境。相機內置光學分光系統，通過感光器件形成各個波段的圖像，利用圖像層疊技術將多張圖像合成為一張多光譜紅外圖像，從而解決了車窗貼膜普通相機不能成像的問題，成像效果如圖1所示。該視覺系統放置于車道一側，與高架桿處卡口相機一同觸發，卡口相機拍攝汽車的正面圖像并識別車牌號碼，兩相機同時抓拍的照片便形成完整的執法證據。

通過對車內乘員數量的自動檢測可以輔助完成HOV車道執法工作。在獲得汽車內部空間的多光譜紅外圖像后，車內乘員數量可以通過目標檢測算法來實現。深度學習領域出現了一批以Faster R-CNN[9]、YOLO（You Only Look Once）[10]、SSD（Single Shot MultiBox Detector）[11]為代表的目標檢測算法，與傳統算法相比在準確率上有很大的提升。與后兩種算法相比，Faster R-CNN是一種典型的兩步目標檢測算法，兩步法雖然在檢測速度上慢了一些，但兩步法網絡的適用性強、準確率高、結構相對靈活，便于后期有針對性的調整。因此，本文在獲得清晰汽車內部空間圖像的基礎上，以Faster R-CNN為基礎，提出了基于多尺度特征預測方式、通過K-means聚類的方法學習目標框大小的幾何先驗知識來優化候選框的生成方式、通過用ROI-ALign代替ROI-Pooling完成目標的特征映射，用以解決因模型泛化能力不強而帶來的誤報、漏報問題，以達到提高檢測精度的目的。

1 Faster R-CNN介紹

Faster R-CNN網絡將目標檢測網絡中特征提取、候選區域生成、目標分類、目標定位等4個步驟融合到一個深度網絡中，實現了端到端的訓練，算法結構如圖2所示[12]。從網絡結構上看，所有任務統一到一個任務中完成。在執行順序上，數據在經過特征提取后，首先經過RPN網絡生成候選區域，接著判斷候選區域內容是否為前景，如果內容是前景，則最后經過ROI池化后送入后續的檢測進行目標分類和位置回歸，否則放棄該候選框。同時當判定為前景后，RPN網絡的另一分支也會對候選框的大小和幾何坐標進行調整。所以相比于YOLO、SSD等算法而言，Faster R-CNN是一個兩步法的端到端的訓練，所以在實際表現中準確率往往會更高一些。

RPN網絡代替了傳統的選擇性搜索（selective search）方法[12]，卷積運算使得候選框生成的方式更加科學，提升了候選框生成效率和準確性。ROI池化操作實現了將不同尺寸的候選框映射成相同尺寸的特征圖，可以有效地將RPN網絡和目標檢測網絡的權值進行共享，避免了對候選區域進行重復的卷積運算，大大提升了網絡的運算速度。

2 網絡改進

Faster R-CNN在Pascal Voc、Coco等數據集上實驗效果很好，但當同一類別目標特征相差較大時，網絡的泛化能力還有很大的提升空間[13]，特別是在本文中，因為天氣、環境、光照等因素使得乘員目標間特征差異較大，前期實驗中仍然存在漏報、誤報等問題。此外，本章在前期實驗的基礎上，對本文研究圖像的目標檢測做出分析：①應調整網絡結構使網絡泛化能力得到提高，減少漏報、誤報情況的出現。②原始RPN網絡中Anchor的設置是針對一般目標的，不適合本文的乘員目標檢測。③RPN網絡中將對應于原圖上的ROI區域映射到特征圖上，ROI-Pooling經歷兩次取整，最終提取的特征和原圖的ROI不再對齊，導致目標的細節信息丟失。

圖1 多光譜紅外成像效果

Fig.1 Multispectral visual imaging effect

圖2 Faster R-CNN網絡結構圖

2.1 全卷積網絡結構

全卷積神經網絡（Fully Convolutional Networks，FCN）[14]是Jonathan Long等人在2015年提出用于語義分割的一種網絡結構，已經被廣泛地應用于計算機視覺研究領域。全卷積網絡的3個核心思想：卷積化、上采樣、跳躍結構，本文基于預訓練的VGG-16[15]網絡結合上述3個方面做出改進。在原有VGG-16參數的基礎上通過調整原有卷積核的步長代替池化層實現數據的降維，通過Loss值的反向傳播來學習采樣區域的最佳表達信息，使得圖像更多的細節信息得以保留。用1×1的卷積核代替全連接層，通過控制卷積核的數量實現通道數大小的放縮，同時非線性激活函數的引入使得網絡的非線性得到增強。

圖3是本文采用的基于VGG-16特征提取網絡結構，與改進前相比，本文采用了兩種特征尺度輸出，在兩種特征尺度基礎上分別連接RPN網絡并分別進行目標特征映射、目標分類與位置回歸，有效彌補了單一尺度特征預測的局限性，使得網絡在提高檢測精度的同時提高網絡對小目標的檢測能力。本文將Conv5_3輸出的特征進行上采樣并與Conv4_3輸出的特征進行融合，由于反卷積會隨著網絡深度增加出現訓練不穩定、難收斂的問題，所以本文采用雙線性插值的方法進行上采樣。融合后特征的通道數發生了改變，所以再將融合后的特征通過1×1卷積降維到與Conv5_3相同的通道數。跳躍結構的特征融合可以有效緩解原始網絡在數據降維時細節特征丟失嚴重的問題，同時深層特征圖中包含了目標豐富的語義信息，淺層特征圖中包含了目標的位置信息，二者融合將有效提高后續的目標分類與位置回歸的特征基礎。

圖3 基于VGG-16的特征提取網絡

2.2 K-means聚類

RPN網絡使用了候選框滑動窗口生成機制，實現了多個候選區域的同時預測。RPN網絡結構如圖4所示，圖右側為在每個滑動窗口所產生的個候選框，由于待測目標的尺寸、寬高比的差異，往往需要設定多種幾何尺度的候選框。在原始RPN網絡中，候選框大小由3種尺度（128, 256, 512）、3種寬高比（1:1, 1:2, 2:1）組合而成，共9種，分別用于檢測不同大小的目標。

圖4 RPN網絡結構

本文識別目標為乘員臉部，目標大小總體上差異并不大，原始尺寸的候選框并不適合本文應用，因此本文選取＝6，避免生成多余無用尺寸的候選框，同時對RPN網絡中生成候選框的方式作以改進。通過一個基于交并比的K-means聚類算法，對大量訓練數據進行目標框幾何大小的先驗知識進行學習[16]，得到適合本文兩種尺度特征預測的6種尺寸的候選框。以此為參考來生成候選框，可以降低RPN網絡訓練的初始誤差，提升網絡訓練的速度和目標定位精度。

其中：

圖5 聚類結果

Fig.5 Clustering results

2.3 ROI-Align

RPN網絡會產生大小不同的候選框，并在ROI-Pooling層中映射為固定大小的特征圖，具體過程如圖6所示。候選目標框首先映射到深層特征圖獲得該候選目標的特征圖，為了方便后續目標分類與坐標回歸網絡的計算，還會繼續映射成固定大小的輸入尺寸，這兩次量化過程中，會存在非整數倍的縮放。以將目標特征圖映射成固定尺寸輸入為例，在ROI-Pooling中采用的處理是浮點數取整，如圖6(a)所示，采樣網格外的陰影部分便是取整后省略掉的特征信息，正是這一原因使得Faster R-CNN對小目標的檢測能力不強，同時減少特征信息的丟失有利于提高網絡的泛化能力[17-18]。本文檢測目標為乘員臉部，幾何面積較小、目標特征差異較大，因此引用了ROI-Align來對此改進，提升網絡的泛化能力和檢測精度。參考文獻18對于此部分的研究內容，ROI-Align完成特征映射的過程如圖6(b)所示。

圖6 ROI-Pooling和ROI Align過程圖

ROI-Align是在Mask RCNN[19]中使用以將候選目標的特征圖映射產生固定大小的feature map時提出的，它增加了額外的網絡分支用于語義分割任務，雖然目標檢測的準確率得到了提升，但網絡的檢測速度卻大大降低，因此本文只借鑒了它ROI-Align部分的改進。它與ROI-Pooling的區別是保留了非整數倍的縮放，對于縮放后坐標不能剛好為整數的候選框，最近鄰插值法直接選擇離目標點最近的整數點坐標去代替原始坐標。如圖6(b)所示，每一池化單元分為4等份，假設每一等份的中心點分別為、、、。

假設點坐標為(＋,＋)，其中，均為非負整數，(,)為[0, 1]區間的浮點數，點附近的4個圓點分別表示離點最近且坐標為整數的點，它們的坐標分別為(,)，(＋1,)，(,＋1)，(＋1,＋1)，(,)表示坐標為(＋1,)的點的像素值。則點的像素值的計算公式可以表示為：

其他3個點，，處的像素值計算類似。

分別求得各個等分中的像素值后再進行最大池化采樣，使得候選區域的特征信息全部都得以利用，增大了特征圖單元的感受野。大量的實驗表明，在檢測大目標時，兩者方案差別不大；當檢測小目標時，RoI-Align更精準。

3 實驗分析

實驗部分主要從RPN網絡的訓練曲線、改進前后網絡泛化能力和識別準確率、檢測速度等方面作以分析，同時隨著乘員人數的增多，檢測過程中漏報和誤報的概率增大，所以將不同人數下的準確率作以統計對比。本文實驗的硬件環境為Intel i7-7600k處理器，12GB內存，Nvidia GeForce GTX 1080Ti顯卡。軟件上采用PyCharm編譯平臺，TensorFlow深度學習框架，CUDA版本為9.0。

3.1 RPN網絡訓練曲線

本文特征提取網絡輸出的兩種尺度特征分別連接了RPN網絡，并分別進行訓練，對于兩個網絡生成的候選框使用非極大值抑制的方法濾除相同目標框。本文采用學習率動態更替的訓練方式，batch_size大小為128，對原始的RPN網絡及本文的兩種特征尺度為預測基礎的RPN網絡繪制了位置回歸Loss曲線，如圖7所示。從圖中可以看出，改進后兩個RPN網絡的初始誤差與改進前相比縮小了將近2倍，說明聚類后得到的候選框大小與實際的候選框大小更加接近。改進后的兩個RPN網絡在迭代六千次以后趨于收斂，網絡收斂速度有明顯提升，并且在訓練過程中，震蕩較小，Loss值下降明顯。

圖7 RPN loss訓練曲線對比

為了直觀驗證RPN網絡改進的效果，本文對改進前后的網絡在1000張數據集上測試生成候選框的準確率，統計結果如表1所示。同時為了保證測試結果的可靠性，本文也對網絡改進（1×1卷積代替全連接等）部分進行試驗。

表1 RPN改進前后對比

從表中分步試驗的結果可以看出，本文改進后的兩個RPN網絡相比于改進前分別提高了5.91%和7.17%的精度，網絡結構的改進分別使得網絡提高了0.48%和0.65%的精度，這說明改進后的候選框的質量更高。此外從圖7和表1也可以看到，RPN2網絡無論從位置回歸Loss曲線的訓練過程還是候選框的生成質量都具有很好的表現，說明特征融合后提高了特征質量，特征尺度變大后更有利于本文人臉目標的檢測。

3.2 檢測結果對比

首先測試模型的泛化能力，選取了一些典型的乘員目標特征差異較大的數據進行測試，特征差異主要表現在乘員臉部曝光程度、明暗差異等等。改進前后的檢測效果如圖8所示。

由圖8中可以看出，即使是當曝光程度較高導致面部信息缺失嚴重時、人臉紋理特征不明顯時，改進后的網絡也可以對乘員面部進行準確標記，并保持較高的識別分數。當車膜較厚時，相機的透光率不足導致整體成像灰暗，主背景層次不明顯，改進后的網絡也可以準確標記。此外，抓怕過程的隨機性與乘員目標狀態的不確定性，乘員面部容易被車窗中間的壁柱遮擋，并且乘員目標的帽子、口罩等因素都會對臉部發生遮擋，從實驗中可以看出改進后的網絡可以實現對存在遮擋的目標準確判別。從實際檢測效果來看，在可能存在漏報的幾種情況下，改進后的網絡的可以很好的完成檢測任務，同時也能避免對靠枕等非檢測目標的誤報。

同時為了量化驗證本文的改進效果，選取了2500張圖片，每類乘員數量（1～5）各500張，將改進后網絡和目前主流的YOLOv3[20]、Mask R-CNN等檢測算法分別進行實驗，記錄各類乘員數量下檢測的準確率和檢測速度，統計結果如表2所示。

圖8 改進前后檢測效果對比

表2 不同算法檢測效果對比

從表2的數據可以看出，在準確率上，本文的模型比其它模型表現更好，原因在于本文結合了其它幾種模型的優點，準確率提高的同時增強了模型的泛化能力，檢測的速度比改進前略微降低，但并不影響檢測的實時性。相比于改進前的網絡，單乘員檢測的準確率提高了13.8%，多乘員檢測的準確率也隨之有明顯提高，基本能保持在70%以上。YOLOv3是目前較為優秀的目標檢測網絡，但其算法計算的基礎是針對正方形的圖像輸入，圖像識別前會經預處理裁減掉大部分的背景信息，得到的駕駛室圖像多為長方形，需要壓縮成正方形后再輸入網絡，壓縮后圖像質量降低，網絡預測的準確率不佳。Mask R-CNN的實驗結果表明實例分割的效果優于一般的目標檢測算法，但準確率略低于本文，說明雖然都采用了ROI-Align，但本文網絡結構的改進提升了檢測精度，此外，單目標的準確率也可以達到行業內的規定標準，但是語義分割網絡的加入使得網絡整體的計算量增大，檢測速度只有本文的1/3。從實驗數據可以總結得知，隨著人數的增加，圖像成像的不確定因素增大，檢測的準確率隨檢測人數增加呈下降趨勢，當檢測人數不超過3人時，本文可以基本滿足行業規定標準。

4 結語

結合已獲得的多光譜紅外圖像，本文以Faster R-CNN網絡模型為基礎，通過對網絡結構、候選框生成方式、目標特征圖的池化方式等方面做出改進，網絡模型的泛化能力得到明顯的提高，對圖像中目標曝光度過高、目標紋理不清晰、面部遮擋嚴重等可能存在誤報、漏報的情況也可以準確識別。相比于改進之前，本文單乘員的檢測準確率達到88.6%，提升了13.8%，滿足了行業內的規定標準。但隨著乘員人數的增加，檢測的不確定因素也隨之增加，多乘員之間容易發生相互遮擋，當檢測人數大于3時，準確率還不能達到行業內的規定標準，也就不能夠滿足乘員超載情況的檢測要求。此外，在檢測速度上相比于YOLOv3還有很大差距，提高各類數量乘員檢測精度的同時提升檢測速度將作為以后主要的研究方向。

[1] 曾炎盛. HOV車道實施效果評價體系研究——以深圳市為例[J]. 交通科技與經濟, 2019, 21(5): 39-43.

ZENG Yansheng. Study on the evaluation system of the implementation effect of HOV Lane -- Taking Shenzhen as an example[J]., 2019, 21(5): 39-43.

[2] 陳魯峰, 葉鵬飛, 余佳歡, 等. HOV在城市交通管理中的應用可行性分析[J]. 交通企業管理, 2016, 31(4): 38-41.

CHEN Lufeng, YE Pengfei, YU Jiahuan, et al. Feasibility analysis of HOV application in urban traffic management [J]., 2016, 31(4): 38-41.

[3] 程建梅. HOV專用車道管理思路探索[J]. 行業管理, 2018(4): 34-35.

CHENG Jianmei. Exploration of management ideas of HOV special lane[J]., 2018(4): 34-35.

[4] Fadel Adib, Zachary Kabelac, Dina Katabi. Multi-person Lcalization via RF Body Reflections[C]//12th(NSDI'15), 2015: 279-292.

[5] 馬也, 常青, 胡謀法. 復雜背景下紅外人體目標檢測算法研究[J].紅外技術, 2017, 39(11): 1038-1053.

MA Ye, CHANG Qing, HU Moufa. Research on infrared human target detection algorithm in complex background[J]., 2017, 39(11): 1038-1053.

[6] 馬翰飛, 范海震, 李強, 等. 基于多光譜融合圖像的飛機導航系統設計[J]. 電子設計工程, 2019, 27(24): 161-166.

MA Hanfei, FAN Haizhen, LI Qiang, et al. Design of aircraft navigation system based on multispectral fusion image[J]., 2019, 27(24): 161-166.

[7] 李雪欣, 馬保東, 張嵩, 等. 融合多光譜與 SAR 影像的地物分類研究[J]. 測繪與空間地理信息, 2019, 42(12): 55-58.

LI Xuexin, MA Baodong, ZHANG Song, et al. Study on the classification of ground features using multispectral and SAR images[J]., 2019, 42(12): 55-58.

[8] 趙慶展, 劉偉, 尹小君, 等. 基于無人機多光譜影像特征的最佳波段組合研究[J]. 農業機械學報, 2016(3): 242-248.

ZHAO Qingzhan, LIU Wei, YIN Xiaojun, et al. Research on optimal band combination based on multi spectral image characteristics of UAV[J]., 2016(3): 242-248.

[9] REN Shaoqing, HE Kaiming, Girshick Ross, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]., 2017, 39(6): 1137-1149.

[10] 鄭國書. 基于深度學習SSD模型的視頻室內人數統計[J]. 工業控制計算機, 2017, 30(11): 48-50.

ZHENG Guoshu. Statistics of indoor video population based on deep learning SSD model[J]., 2017, 30(11): 48-50.

[11] Oseph Redmon, Santosh Diwala, Ross Girshick, et al. You Only Look Once: Unified, Real-Time Object Detection[C]//, 2016: 779-788.

[12] 徐代, 岳章, 楊文霞, 等. 基于改進的三向流 Faster R-CNN 篡改圖像識別[J/OL]. 計算機應用,http://www.joca.cn/CN/10.11772/ j.issn.1001-9081.2019081515.

XU Dai, YUE Zhang, YANG Wenxia, et al. Tamper image recognition based on improved three-way Fasert R-CNN[J/OL]., http://www.joca.cn/CN/10.11772/ j.issn.1001-9081.2019081515.

[13] 孫雄峰, 林滸, 王詩宇, 等. 基于改進Faster RCNN的工業機器人分揀系統[J]. 計算機系統應用, 2019, 28(9): 258-263

SUN Xiongfeng, LIN Hu, WANG Shiyu, et al. Industrial robot sorting system based on improved fast RCNN[J]., 2019, 28(9): 258-263.

[14] LONG J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//, 2015: 3431-3440.

[15] Simonyan K, Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]., 2014, 42(5): 324-328.

[16] 張琦, 丁新濤, 王萬軍, 等. 基于Faster R-cnn的交通目標檢測方法[J]. 皖西學院學報, 2019, 35(5): 50-55.

ZHANG Qi, DING Xintao, WANG Wanjun, et al. Traffic target detection method based on fast R-cnn[J]., 2019, 35(5): 50-55.

[17] 陳澤, 葉學義, 錢丁煒, 等. 基于改進的 Faster R-CNN小尺度行人檢測[J]. 計算機工程, 2020, 46(): 226-232, 241.

CHEN Ze, YE Xueyi, QIAN Dingwei, et al. Small scale pedestrian detection based on improved Faster R-CNN[J].2020, 46(9): 226-232, 241.

[18] 侯志強, 劉曉義, 余旺盛, 等. 基于雙閾值-非極大值抑制的Faster R-CNN改進算法[J]. 光電工程, 2019, 46(12): 1-11. HOU Zhiqiang, LIU Xiaoyi, YU Wangsheng, et al. Improved Faster R-CNN algorithm based on double threshold-non-maximum suppression[J]., 2019, 46(12): 1-11.

[19] HE K M, Gkioxari G, Dollár P, et al. Mask R-CNN[C]//, 2017: 1026-1032.

[20] Redmon J, Farhadi A. YOLOv3: An incremental improvement[J/OL].: 1804. 02767, 2018.

Detection of Vehicle Crews Based on Modified Faster R-CNN

JIN Xin，HU Ying

(Dalian Maritime University, College of Marine Electrical Engineering, Dalian 116026, China)

Existing methods for detecting the number of vehicle occupants in a high-occupancy vehicle (HOV) lane, using radar and infrared thermal imaging technology, exhibit low reliability and low accuracy. To address these limitations, a method for detecting the number of vehicle occupants based on multispectral infrared imaging and an improved Faster regions with convolutional neural networks (R-CNN) algorithm is proposed. The vehicle interior space image is obtained using a multispectral infrared imaging system, and the number of passengers is detected by a Faster R-CNN deep learning algorithm. The generalization ability of the network is enhanced using the full convolution network structure and multiscale feature prediction, and ROI-Align is used instead of ROI-Pooling. Through K-means clustering, the prior distribution of the geometric proportion of the length and width of the target frame is obtained, which improves the training speed and the accuracy of position regression of the region proposal network (RPN). The test results showed that the interior space image was clear, and the algorithm could detect the number of passengers. After its improvement, the generalization ability of the network was enhanced, and the accuracy of single occupant detection reached 88.6%, which was 13.8% higher than before its improvement. This meets the requirements of more than 80% of industry regulations.

multispectral infrared image, faster-RCNN, full convolution, K-means clustering, ROI-Align

TP391

A

1001-8891(2020)11-1103-08

2020-02-19；

2020-09-02.

金鑫（1996），男，碩士研究生，主要研究方向為計算機視覺、深度學習、目標檢測。E-mail: jin_xin@dlmu.edu.cn。

國家自然科學基金（61973049）。