航空行李外形識別綜述

徐琪 魏明燦 喬木 郭崇雨 孫旭澤

摘?要：行李外形識別是實現民用機場行李自動處理需要解決的關鍵問題之一。本文梳理了近些年行李外形識別技術相關研究，對現有研究中常用的方法加以歸類，并對各方案進行了分析評價。最后對全文進行了總結，并給出了對未來航空行李外形識別研究的展望。

關鍵詞：航空運輸；行李系統；外形識別

1?概述

航空旅客托運的行李由行李系統進行集中快速收集、傳送、跟蹤處理及自動分揀，并通過行李牽引車在行李系統終端與機坪之間運輸行李，以及通過傳送帶車在飛機貨倉裝卸行李。隨著旅客吞吐量的上升，大型樞紐機場每日托運的行李數量接近十萬件，這對處理行李的效率提出了較高的要求。目前仍有一些行李處理環節需要人工作業，如行李托運、不正常行李的識別與分揀、行李運輸和行李碼垛等。人工作業速度有限，錯誤率受人員狀態影響，且人力成本高。為了提高行李處理整體效率，一些機場、科研機構或企業對上述環節進行了無人化探索，行李外形識別是無人化行李處理的關鍵問題之一。

本文主要對近些年行李外形識別技術的發展以及在航空行李運輸中的應用進行梳理，介紹不同解決方案及各方案特點。

2?行李二維圖像輪廓識別

在只獲取行李單二維圖像時可對行李的輪廓進行識別以判斷行李類別，通常的方法為：首先對單行李圖像去除通道背景獲得單獨行李圖像，經過灰度處理以減小運算量，再通過中值濾波得到平滑圖像；接著還需對圖像進行二值化，經邊緣檢測及膨脹、腐蝕的形態學處理后得到行李的輪廓圖；經形態學處理后可快速識別出行李的大致形狀，但輪廓識別結果往往不太準確［1］。

針對二維行李圖像輪廓精準識別問題，李菊霞［2］提出了一種基于深度學習的二值圖像目標輪廓識別算法。在對行李圖像進行灰度化、降噪、二值化處理之后得到二值圖像，不進行形態學處理，而是利用深度卷積網絡算法對此圖像劃分為不重疊的、大小相同的子塊圖像，并對其進行兩次卷積濾波輸出每個子塊的輪廓識別結果，再對輸出的結果通過全連接方法將其聚類，得到最終的輪廓識別結果。經實驗該方法識別的準確性可達98%，大大提高了二維行李圖像的識別精度。但二維圖像只包含行李一面的視圖，能表達的信息有限，想要準確識別出行李類型還是需要對行李的三維形狀進行識別。

3?行李三維形狀識別

文獻記載的行李三維形狀識別方法有單目視覺法、雙目視覺法、體積法、點云法、多視圖法和綜合方法。

3.1?單雙目立體視覺法

最初的三維形狀識別是通過單目攝像機來進行的，有兩個主流方法：結構法和視圖法。由于前者的魯棒性較差，所以后者更為流行。視圖法的實質是將3D對象識別轉化為2D形狀識別問題，Gonzáleza等［3］對此方法的性能進行了定性定量分析，在對硬識別率、弱識別率和模糊識別率測量比較的基礎上提出了用形狀表示模型的一般性原則。

單目攝像機較為簡單，識別也較快速，但識別出的三維形狀特征會丟失過多，不能重建出三維模型，針對這些缺點便出現了雙目立體視覺方法。雙目識別通過帶有標定板的左右相機采集行李圖像獲得雙目橫向匯聚模型，接著通過標定得到表征像素的基礎矩陣，使用改進立體算法獲得最佳匹配點進而解出三維坐標，獲得三維重建模型。為了使重建的行李模型更清晰，還需使用約束隨機編碼激光來增強行李表面紋理［4］。

楊璐［5］使用兩個相機從不同角度獲取行李圖像，通過背景相減法及形態學處理提取單獨行李，然后提取行李的邊緣特征，經立體匹配得到行李輪廓深度圖，最后通過中點法、三角法等恢復行李輪廓三維信息，并用行李輪廓點云圖進行顯示。

3.2?體積法

體積法是采用3D卷積層的卷積神經網絡（Convolutional?Neural?Network，CNN）來處理體素數據。如Wu等［6］提出了一種卷積深度信任網絡將幾何三維形狀轉化為3D體素網格上二元變量的概率，可以識別單視圖2.5D深度圖像中的對象，并使深度圖中缺失部分半透明化，可以利用深度圖識別3D形狀。

由于高計算成本和體數據的稀疏結構，導致了體積法的低效和有效性低，所以Riegler等［7］提出利用體素網格的稀疏性來加速處理高分辨率體素網格。Kumawat等［8］提出了標準3D卷積層的有效替代方案。高慶吉等［9］采用Kinect深度傳感器獲取行李上表面的深度信息，通過背景相消法提取單獨行李，又通過橫縱濾波去除噪點，得到行李上表面的深度圖像，識別出行李形狀。

3.3?點云法

點云在最初由于形式不規則通常會被轉換為規則的體素網格或圖像集合，然而這極大地增加了運算量和信息丟失。參考文獻［10］提出了一種直接使用原始點云數據的深度神經網絡PointNet，通過使用一個對稱函數來編碼選擇點云中信息豐富的點，并將最優值聚合到整個形狀的全局描述。該方法可以學習全局和局部點特征，為通過點云進行3D形狀識別提供了一般方法。

翁博文［11］采用了兩個結構光深度相機采集行李的點云，然后用二維網格結構對數據進行儲存、索引和簡化，通過點云矩陣之間的旋轉與平移將兩個相機數據拼接在一起獲得了行李的形狀點云信息，使用PointNet對其進行了3D形狀識別。朱嘉宸［12］使用兩個深度相機采集行李的點云信息，并進行半徑濾波以消除噪聲影響，在此基礎上采用了先初始匹配后精確配準的點云融合方法，再通過中心投影法將點云圖轉化為深度圖，進而識別行李形狀。

首都機場的不正常行李探測系統（如下圖）在行李通過時打開線性結構激光照射行李表面，通過3臺工業相機實時采集行李圖像。根據點云數據提取行李長、寬、高，并根據尺寸模型判斷行李是否正常；然后，使用PointNet算法對行李的點云數據進行是否正常的分類；最后，利用Adaboost算法整合以上兩種分類結果，達到精準判別行李是否正常的效果。該系統的判別準確度達到90%以上。

（a）不正常行李探測系統??????????（b）行李探測過程

首都機場不正常行李探測系統圖

3.4?多視圖法

多視圖法類似于人眼的感知機制，是目前應用最廣泛的方法。Su等［13］提出的MVCNN（Multiview?Convolutional?Neural?Network，多視角卷積神經網絡）是多視圖法中最早的研究之一。它是提取視圖特征的一種新型架構，并可以將3D形狀的多個視圖組合到單個緊湊形狀描述符中，使識別更高效準確。MVCNN結構雖簡單，但提供了一個通用方法，后來的研究者多在此基礎上進行改良。

Wang等［14］對MVCNN進行了改進，通過引入通道注意機制有效減少了干擾，通過引入殘差結構解決了深度神經網絡退化問題；通過引入mish函數提高了適應性和準確性，使算法在數據集上的處理結果更有競爭力。

Xu等［15］基于深度神經網絡開發出了3D形狀識別的對應感知模塊CAR，可將視圖特征轉化為語言空間中的點集并搜索空間中的潛在對應點，通過利用這些潛在對應點在視圖中的位置和空間關系來輸出對應感知表示。將CAR模塊與ResNet18相結合開發了CARNet模型，可用更少視圖獲得更顯著的性能增益。

Liu等［16］提出了一種高精度三維形狀多視圖識別框架，先是通過基于投票的過濾算法選擇最有代表性的視圖，然后通過聚合卷積模塊將各視圖特征融合到3D形狀描述符中，此方法的檢索性能和魯棒性都有了顯著提升。

Nie等［17］針對多視角三維形狀識別中細節信息易丟失問題，提出了一種基于局部信息的多注意網絡。此方法可在獲得特征圖后通過引入空間感知和通道感知來量化空間區域和通道的貢獻，從而使特征圖的有效信息更集中，有效提高了視圖描述符的區分度。為了給全局特征保存更多有效信息，還引入了多頭注意力模塊來生成全局描述。顯著提高了視覺效果，保留了更多的有效信息。

3.5?綜合方法

有學者考慮將不同的方法綜合，取長補短。Sun等［18］提出了一個同時使用點云和多視圖的視點互補學習網絡，從多視圖中提取視覺特征，從點云中提取結構特征，然后將兩者投影到同一個特征空間，通過相似性建模獲得了兩種數據的特征信息和互補信息以進行3D形狀的統一表示。該方法的各項性能均優于現有的點云或者視圖方法。

馮元力等［19］提出了一種基于多視角全景圖的3D模型識別方法，將三維模型投影到球面，再將球面從多個不同角度展開得到多個全景圖，用多分支的卷積神經網絡整合分析并得到識別出的三維形狀。此方法保留了更多的特征數據且具有更好的識別精度。

4?結論與展望

行李外形識別作為行李無人化處理的關鍵技術之一，諸多學者給出了自己的解決方案。本文以外形識別技術發展情況為脈絡，闡述了行李外形識別技術的研究現狀及應用情況。未來的行李形狀識別技術將向著更快速、更精確、更具環境適應性的方向發展，同時隨著行李數據庫的完善和對數據庫的深入學習，未來的行李識別技術可望更加精細化。

參考文獻：

［1］董景峰，楊若怡，周康康，等.機場行李提取中行李箱圖像識別與旋轉仿真［J］.物流技術，2020，39（02）：122129.

［2］李菊霞.基于深度學習的二值圖像目標輪廓識別算法［J］.吉林大學學報（理學版），2020，58（05）：11891194.

［3］Elizabeth?González，Antonio?Adán，Vicente?Feliú.2D?shape?representation?and?similarity?measurement?for?3D?recognition?problems：An?experimental?analysis［J］.Pattern?Recognition?Letters，2011，33（2）.

［4］彭傳波.基于激光編碼的航空行李視覺檢測方法研究［D］.中國民航大學，2019.

［5］楊璐.基于雙目立體視覺的行李規格檢測研究［D］.中國民航大學，2013.

［6］Wu?Z，Song?S，Khosla?A，et?al.3D?ShapeNets：A?Deep?Representation?for?Volumetric?Shapes：2015?IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition（CVPR），10.1109/CVPR.2015.7298801［P］.2015.

［7］Riegler?G，Ulusoy?A?O，Geiger?A.OctNet：Learning?Deep?3D?Representations?at?High?Resolutions［C］//?2017?IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition（CVPR）.IEEE，2017.

［8］S.Kumawat?and?S.Raman.LP3DCNN：Unveiling?Local?Phase?in?3D?Convolutional?Neural?Networks［C］.2019?IEEE/CVF?Conference?on?Computer?Vision?and?Pattern?Recognition（CVPR），IEEE，2019：48984907.

［9］高慶吉，位園園.基于表面深度值均方差的航空行李分類研究［J］.計算機工程與科學，2017，39（1）：125130.

［10］Qi?C?R，Su?H，Mo?K，et?al.PointNet：Deep?Learning?on?Point?Sets?for?3D?Classification?and?Segmentation［C］//?2017?IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition（CVPR）.IEEE，2017.

［11］翁博文.基于三維點云的航空行李適運性計算方法研究［D］.中國民航大學，2020.

［12］朱嘉宸.基于深度相機的機場自助行李托運關鍵技術的研究［D］.電子科技大學，2020.

［13］Su?H，Maji?S，Kalogerakis?E，et?al.Multiview?Convolutional?Neural?Networks?for?3D?Shape?Recognition：IEEE，10.1109/ICCV.2015.114［P］.2015.

［14］Y.Wang，et?al.An?Improved?MVCNN?for?3D?Shape?Recognition［C］.2021?IEEE?International?Conference?on?Emergency?Science?and?Information?Technology（ICESIT），2021：469472.

［15］Xu?Y，Zheng?C，Xu?R，et?al.MultiView?3D?Shape?Recognition?via?CorrespondenceAware?Deep?Learning［J］.IEEE?Transactions?on?Image?Processing，2021，30.

［16］Liu?Zehua，Zhang?Yuhe，Gao?Jian，Wang?Shurui.VFMVAC：Viewfilteringbased?multiview?aggregating?convolution?for?3D?shape?recognition?and?retrieval［J］.Pattern?Recognition，2022，129.

［17］W.Nie，Y.Ke，Y.Zhao，Q.Liang?and?Y.Su.LIMAN：Local?InformationBased?Multiattention?Network?for?3D?Shape?Recognition［J］.IEEE?MultiMedia，2022，29（1）：6573.

［18］Sun?S，Li?Y，Ren?M，et?al.PVCLN：PointView?Complementary?Learning?Network?for?3D?Shape?Recognition［J］.IEEE?Access，2020，99：1.

［19］馮元力，夏夢，季鵬磊，等.球面深度全景圖表示下的三維形狀識別［J］.計算機輔助設計與圖形學學報，2017，29（09）：16891695.

作者簡介：徐琪（1986—?），女，漢族，山東人，碩士研究生，工程師，研究方向：行李系統。