基于深度學習的X 光安檢圖像識別方法

李 純，張洪斌，李嘉毅，謝啟勝（通信作者）

（北京首都國際機場股份有限公司 北京 101317）

0 引言

X 光安檢機作為一種有效的非侵入式安檢設備，已經被廣泛應用于民航安檢業務場景，用于檢查行李包裹中的禁限物品［1］。 目前，檢測行李包裹中危險品的最主要手段是檢測人員直接觀察和分析X 射線圖像。 然而，在高流量場景下，由于安檢員判圖經驗參差不齊、工作強度大、疲勞等因素，容易發生漏檢現象。 因此，傳統的人工查驗方式已經逐漸無法滿足查驗和監管業務發展的需要。 隨著近年來人工智能技術快速發展和持續突破，在計算機視覺、自然語言處理等領域取得了突飛猛進的進展。 尤其是在計算機視覺領域，以深度學習為代表的技術在針對靜態圖像和視頻的目標檢測能力也達到實用化水平，并廣泛應用于安檢、安防等諸多領域。

與自然圖像相比，X 光圖像有著目標混疊嚴重、有效樣本稀缺的問題。 本文通過對基于深度學習的目標檢測算法進行深入分析，提出一套專門針對X 光安檢圖像的禁限物品檢測算法，并且對與之相關的數據收集和標定方案進行討論。 在此基礎上，開發相應的軟硬件系統，實現與X 光安檢機以松耦合方式對接，構造從X 光安檢圖像的輸入、檢測到輸出的完整系統。

1 相關工作

1.1 基于深度學習的計算機視覺研究

在2012 年ImageNet 圖像分類競賽中，AlexNet 網絡模型一舉獲得冠軍，與第二名方法相比，分類精度具有壓倒性優勢。 在2013 年—2015 年的歷屆ImageNet 競賽中，參賽者通過進一步優化網絡結構和訓練方法，不斷刷新紀錄。 2015 年誕生的深度殘差網絡采用分層預訓練與批歸一化結合的方法，通過引入單位映射網絡分支，極大地增強了深度網絡的表達能力，使得訓練上百層的深層網絡成為可能。 該模型在分類、識別等重要視覺任務中均取得巨大成功，而且其網絡結構也成為后續深度網絡的經典結構得以廣泛應用。 在此階段，除了圖像分類任務，深度學習在圖像分割和目標檢測應用方面也取得了重大突破。

理論和算法研究方面，以谷歌等為代表的知名技術公司都將深度學習作為其智能設備的算法框架，并且在搜索、人臉識別、自動駕駛、語音識別以及其他各類智能設備的研發領域取得突破性進展。 在國內，百度、騰訊、阿里巴巴、京東等互聯網及電子商務公司也對深度學習開展了深入研究，將研究成果應用于其各項智能產品及服務中。

1.2 人工智能安檢行業應用

在安檢X 光機圖像智能分析方面，國內安檢設備龍頭企業同方威視率先發布針對安檢X 光機的智能識別算法產品，首次實現針對X 光安檢圖像中禁限物品的識別。隨后，公安部一所、中云智慧等安檢設備提供商也在所生產的X 光機設備中提供了針對槍支、刀具等禁限物品的檢測功能。 科大訊飛等監控設備提供商，通過外接視頻設備，以接收X 光機監控屏幕圖像的方式分析X 光安檢機掃描圖像，實現了對刀具等物品的自動識別［2］。 除此之外，很多學者和科研項目都將基于X 光圖像的智能識別算法作為研究對象，在其模型中除了使用傳統圖像處理手段之外，還應用特征融合、注意力機制等新的技術手段。

2 基于深度學習的目標檢測技術

目前，根據現有模型訓練和檢測環節中是否依賴卷積神經網絡（convolutional neural network，CNN）的操作或運算，可以將現有目標檢測模型分為“非端到端”和“端到端”兩大類，區域卷積神經網絡（region CNN，R-CNN）、目標檢測算法（spatial pyramid pooling network，SPP-NET）和快速的基于區域的卷積神經網絡（fast region-based convolutional network，Fast-RCNN）等模型都屬于“非端到端”的模型，而YOLO（you only look once）算法、系統規格文件（system specification description，SSD）和YOLO-v2（you only look once version 2）實時目標檢測的卷積神經網絡等都屬于“端到端”模型。 按照算法流程中是否具有明確的候選區域，提取環節檢測模型又分為基于候選區域和基于回歸兩大類，其中YOLO、SSD 和YOLO-v2 都屬于基于回歸的檢測模型，而其他算法都屬于基于候選區域的檢測模型［3］。

2.1 識別類別制定

本文圍繞實際需求，從圖像紋理、幾何等特征是否明顯且具有可區分性，以及圖像樣本獲取難度等多個因素出發進行綜合考慮，經過可行性論證，選擇槍支、子彈、手雷、煙花爆竹、刀具、斧、拳刺、手銬、剪刀、壓力容器罐、飲料瓶、玻璃瓶、保溫杯、打火機14 個類別作為智能識別的禁限物品類別，圖1 為禁限物品實物即X 光圖像示意圖。

圖1 禁限物品實物即X 光圖像示意圖

2.2 基本模型結構

本文以YOLO-v2 模型為基礎，進行針對性的改進，構造用于禁限物品識別的X-YOLO-v2 模型［4］。 X-YOLO-v2是以Darknet-19 作為基礎網絡結構，隨后目標檢測網絡在Darknet-19 上進行微小改造得到的。 在該網絡結構中，廣泛采用視覺幾何組（visual geometry group，VGG）模型的3×3 小卷積核卷積運算和網絡中的網絡（network in network，NIN）模型的1×1 卷積。 Darknet-19 網絡具有19 個卷積層和5 個最大池化層，在每個卷積層之后都使用寬帶網（broadband network，BN）進行特征歸一化，激活函數均使用Leaky ReLU。 X-YOLO-v2 所采取的改進包括以下4 個方面：

第一，全卷積代替全連接。 X-YOLO-v2 利用具有小卷積核的全卷積層替換YOLO-v1 最后的全連接層，進行目標包圍框預測。 該操作的實質即以局部特征代替全局特征來預測包圍框，在一定程度上恢復局部包圍框預測模式。 圖2 為X-YOLO-v2 以全卷積模式預測目標包圍框的示意圖。

圖2 X-YOLO-v2 以全卷積模式預測目標包圍框的示意圖

第二，加密網格。 X-YOLO-v2 將YOLO-v1 的7×7 網格劃分加密到13×13，網格單元數量增加到將近4 倍，因此增大了能夠產生包圍框位置的密度。

第三，錨點機制。 使用類似Faster R-CNN 和SSD 的錨點機制，X-YOLO-v2 也在卷積特征圖的每個位置上綁定若干個具有不同尺度、不同長寬比的預定義包圍框，最后用來預測的卷積特征圖為與之對應的包圍框位置變換參數、置信度和目標類別概率。 圖3 示意了X-YOLO-v2 在某一位置綁定5 個錨點的示意圖。

第四，獨立類別概率。 X-YOLO-v2 改變了YOLO-v1這種僅在每個網格單元預測一套目標概率的方式，而是為每個包圍框都預測一套獨立的目標類別概率，使得每個包圍框都具有了獨立檢測目標的能力，大幅度提升了模型對真正目標捕獲的可能性。 圖4 為YOLO-v1 和X-YOLO-v2在預測結果編碼方面的對比。

圖4 YOLO-v1 和X-YOLO-v2 預測結果編碼方式對比

X-YOLO-v2 將網格的密度從7×7 加密到13×13，最終以一個尺寸為13×13 的卷積特征圖實現目標檢測。 盡管13×13 尺寸的特征圖對檢測大目標已基本足夠，但是對于小目標的檢測還需要使用更精細的特征圖。

2.3 模型訓練

整個X-YOLO-v2 的訓練包括分類網絡預訓練和目標檢測網絡訓練兩方面內容。

（1）分類網絡的預訓練：X-YOLO-v2 訓練的第一步是基于ImageNet 分類任務數據集進行網絡預訓練。 在本步操作中，包括基于低分辨率的預訓練和基于高分辨率的參數微調兩個環節。 首先，X-YOLO-v2 采用Darknet-19 網絡架構，以ImageNet 的1000 類分類任務數據集作為訓練數據，執行分類模型預訓練。 為了避免在目標檢測模型訓練的過程中，直接以高分辨率圖像作為輸入會與低分辨率圖像訓練得到網絡參數之間存在不匹配現象，X-YOLO-v2 將執行基于ImageNet 高分辨率圖像數據集的分類網絡參數微調，該訓練數據集的分辨率為448×448，本環節的參數微調共執行10 輪迭代。 該環節可以認為是一個介于低分辨率分類模型與高分辨率目標檢測模型之間的具有過渡性質的高分辨率分類模型。

（2）目標檢測網絡訓練：在進行目標檢測訓練時，XYOLO-v2 首先對Darknet-19 網絡進行改造，使其輸出從分類任務切換至目標檢測任務。 與所有目標檢測模型的訓練流程相同，X-YOLO-v2 目標檢測模型訓練的第一步操作也是完成錨點包圍框與人工標定的標簽（ground truth，GT）包圍框之間的匹配，即建立二者的對應關系以實現進一步的監督訓練。 首先對于任意一個目標GT 包圍框，判斷其中心位置落在哪個網格單元中，包含GT 包圍框中心的網格單元即“負責”預測這個目標。 在獲得“負責”網格單元后，對該單元預測得到的k個錨點包圍框分別與該GT 包圍框計算交并比（intersection over union，IoU），其中具有最大IoU 的錨點包圍框即為“負責”包圍框，其余的所有錨點包圍框都為“非負責”包圍框。 圖5 展示了XYOLO-v2 模型中錨點綁定方式的示意圖。

圖5 X-YOLO-v2 錨點綁定方式示意圖

在完成上述包圍框匹配工作后，即可以構造損失函數來監督目標檢測網絡的訓練［5－6］。 X-YOLO-v2 的損失函數大體上包括3 部分，形式為其中為位置損失函數，定義為式（1）所示。

式（3）中，pi，j［c］ 和p＾i，j［c］ 分別為第i個網格單元的第j個包圍框的預測類別和與之對應的GT 類別。

2.4 模型測評

利用訓練得到的X-YOLO-v2 模型在測試圖像數據集上進行測試，得到針對14 個識別類別的檢出率和誤報率兩個評估指標［7］。 測試結果如表1 所示。

表1 X-YOLO-v2 模型測試結果

X-YOLO-v2 模型的平均檢出率為85.4%，平均誤報率為2.4%。 從表1 可以看出，X-YOLO-v2 針對槍支、剪刀、壓力容器罐、打火機4 種違禁品的檢出能力較強，且模型的整體誤報率較低［8］。 圖6 示意了X-YOLO-v2 模型在不同背景下，針對剪刀、打火機、壓力容器罐、塑料飲料瓶4種典型目標物的檢出情況示例。

圖6 X-YOLO-v2 模型在不同背景下，針對剪刀、打火機、壓力容器罐、塑料飲料瓶四種典型目標物的檢出情況示例

3 結語

綜上所述，本文圍繞民航安檢X 光機智能識別任務涉及的一系列重點流程和方法開展研究工作。 具體來說，本文從數據采集方法與標注、訓練樣本數據集的構建、針對安檢X 光機的違禁品檢測和智能分析系統的集成4 個具體方向開展了深入研究。 首先，項目按照民航安檢實際需求，并結合X 光圖像特征進行了深入的需求論證，確定納入智能識別范圍的14 種違禁品目標；其次，在算法模型開發方面，本文基于YOLO-v2 改進得到X-YOLO-v2 模型，并且給出精度和速度評定指標；最后，對提出算法進行了實驗。

未來的研究工作包括以下兩個方面：①進一步增加違禁品識別的類別。 本文實現的違禁品類別為14 種，與民航安檢場景所需的類別相比，算法支持的違禁品種類數量仍然存在較大差距；②進一步提升算法對違禁品識別的精度。 在某些違禁品種類上，算法的識別能力還有很大的提升空間，表現為檢出率不夠或誤報率過高，抑或是兩者兼有。 因此需要對算法不斷進行改進以提升其實用性。