基于3D點云深度學習對蝶竇進行身份認定

文瀚杰

（四川大學視覺合成圖形圖像技術國防重點學科實驗室，成都610065）

0 引言

身份信息確認，在日常的刑事領域和災難調查中是至關重要的一個環節。因此，個體身份認定在法醫學領域長久以來一直是研究的重心。目前已經有了很多成熟的方法對身份未定的個人進行身份識別，例如大家耳熟能詳的指紋識別[1]、DNA檢測分析[2]、齒科對比檢驗[3]、紋身對比[4]等方法。

但是這些方法在一些特殊情況下卻難以奏效。例如在生物組織被破壞、丟失，或因耗時耗力，成本極高而難以實現。在某些案件或者災難中，因為尸體出現腐敗、白骨化，或者已經被周圍的環境進行了污染，那么常規的方法就會束手無策。在這種情況下，通過對比生前或者死后的影像學資料進行個體識別被認為是一種行之有效的替代方法。國內這方面的研究不多，在國外，Beaini，T.L等人[5]就通過計算機技術利用人頭骨內的額竇部位對人的身份進行了識別認定。與額竇類似，人體頭顱中的蝶竇部位其解剖和生物學特征具有一定的特異性。盡管蝶竇氣化發育過程尚未形成統一的認知，但是普遍認為成人以后其大小、形態，在正常的生理狀態下基本保持穩定。

過往的研究已經證實，蝶竇在小范圍進行主觀視覺對比具有極好的可靠性和有效性[6]。但是，但是既往的研究通常是基于人工提取影像特征進行比較，需要經驗豐富的閱片者人工識別、提取、分類，主觀性強，當面對大樣本時人工識別方法費時費力，限制了人工視覺比較進行識別的應用。

隨著醫學圖像處理技術的發展，以及對于薄層CT斷層圖像的開發。使用薄層CT斷層圖像進行三維重建來獲取蝶竇的三維結構成為可能。如果將蝶竇的三維形狀通過相應的技術提取出來，并且應用計算機視覺、三維識別、深度學習等技術對于蝶竇的三維進行識別和分析。或許能夠實現自動化的個體識別，減少識別的時間，增加識別的準確性，進一步拓展深度學習的適用范圍，增加身份識別認定的方法，提高效率。

基于此，本文利用蝶竇的三維結構，應用三維點云深度學習方法，對于蝶竇的三維特征進行提取，并且進行身份認定，驗證了這種方法的可行性和適應性。

1 材料與數據

1.1 材料來源

本實驗主要采用基于腦部薄層CT斷層圖像的三維蝶竇模型進行實驗。其提取出來的蝶竇三維模型如圖1所示。蝶竇是位于人體頭骨內，蝶骨體內不規則的氣腔結構，發育較緩慢，氣化程度變異很大。相比較額竇而言，蝶竇其解剖位置較深，難以被常規方法觸達。所以其不容易受死亡因素及外界環境因素的影響，在特殊情況下，其形態結構更易保存完整。為了實現身份的同一性認定，模擬災難發生后的身份認定情景，每位研究對象至少收集了不同時期兩次薄層CT斷層圖像。

圖1 蝶竇三維模型（女性）

蝶竇數據稀少，只存在于腦部薄層CT斷層圖像中，為了盡量提高深度學習的泛化效果和相應的準確率，本實驗收集了盡可能多的實驗數據。一共收集了120人的數據，包含薄層CT斷層圖像一共240份。本次數據收集范圍排除了18歲以下的未成年人，任何一個含有可能影響蝶竇發育的疾病對象、外傷對象、手術對象都被排除在外，圖像清晰且不存在偽影。所有數據均取自四川大學華西醫院，全部數據按人打標簽進行分類。取出100人用作深度學習網絡的訓練，20人用作深度學習網絡的測試。每個對象至少包含兩次薄層CT斷層圖像用作提取蝶竇三維模型

1.2 數據處理

對于每一個薄層CT斷層圖像，將其導入對應的醫學圖像處理軟件，通過醫學圖像處理軟件對薄層CT斷層圖像中的蝶竇竇腔進行三維重建。利用軟件中的氣體在CT斷層圖像上的灰度差異，利用分布在不同位置的識別點、分割氣腔、重建蝶竇處竇腔的完整形態，并將其以STL格式導出，一共導出了240個三維蝶竇模型，每個實驗對象包含兩個，歸屬于不同時期。

然后通過對應的程序將STL格式轉換成存儲點云的PCD格式。這一步操作從STL格式轉換到PCD是無損的，是相同數據的不同的存儲形式，所以并不會對三維蝶竇形狀和大小造成影響，進而影響實驗結果。具體的轉換過程如圖2所示。首先將a中DICOM格式的薄層CT斷層圖像，通過醫學處理軟件轉換成b中的STL格式的三維蝶竇模型，然后通過程序將三維蝶竇模型轉換成PCD格式存儲的點云數據，以三維坐標x，y，z存儲，如c所示，這是蝶竇三維模型的點云展示。蝶竇三維模型經過轉換成點云數據以后，由于其蝶竇模型復雜程度不一，大小不一，所以其點云數據的點數并不相同。所以，還需要經過下采樣處理，如d中所示，是經過下采樣以后的蝶竇點云數據。將蝶竇的點云數據通過下采樣算法統一到相同的點數以后，進行深度學習實現身份認定。

圖2 蝶竇數據轉換過程

2 算法實現

2.1 網絡選擇與識別流程

蝶竇是人體頭骨復雜的一部分，其局部特征差異大，模型表面具有褶皺和相應的凸起，所以點云數據模型的特征學習具有挑戰性。Point-Net++[7]相比較它的上一個版本而言，提出了多層級特征提取結構，并且利用上一個版本的主網絡作為特征提取器，加強了局部特征感知能力，使得網絡的分類和分割效果相比之前的網絡得到了巨大的提升。并且針對不均勻點云數據的挑戰，增加了密度自適應層，提升了相應的魯棒性和應對稀疏點云的能力。根據Point-Net++以上的優勢，為了更好地提取蝶竇點云數據的特征和提升識別效果，本實驗選擇Point-Net++深度學習網絡，作為復現對象，來當作點云數據的特征提取器。

整個實驗流程如圖3所示。首先將原始的DI?COM格式的頭骨薄層掃描CT通過軟件導出蝶竇的三維模型，然后將蝶竇的三維模型，通過相應的程序將蝶竇的三維模型轉換成點云數據并進行預處理。然后搭建Point-Net++模型，將100個實驗對象的蝶竇模型按人分類進行分類訓練。隨后將訓練好的模型當作特征提取器，將最后一層分類網絡層前的全連接層視作特征提取層，輸入測試模型提取特征。最后通過比對模型提取的特征實現身份認定，相似度的對比方法采用的是余弦相似度算法。

圖3 實驗流程

2.2 數據擴增與訓練

現有的數據比較稀少，相比較現有成熟的圖像識別巨大數據集而言，是十分稀少的。所以為了解決這個問題，本實驗采用與圖像識別類似的方式對于放入的點云數據進行擴增，主要采用放大、旋轉、平移、縮小等方法進行數據快速擴增，增強模型提取特征的能力，并且增加魯棒性和泛化性。相應的數據擴增效果展示在圖4。其中a是原蝶竇點云數據，b是a經過平移和縮小（0.5）以后的點云數據，c是a經過平移和旋轉（繞著X軸旋轉180°，繞著Y軸旋轉90°）以后的點云數據，d是a經過平移和放大（1.4）以后的點云數據。

圖4 蝶竇點云數據的不同擴增方式

經過隨機數據擴增以后，蝶竇模型被輸入Point-Net++網絡進行特征提取能力的學習。本實驗設備基于Windows 10平臺，顯卡為NVIDIA GeForce RTX2080，CPU為Intel Core i7-8700。本實驗框架使用了PyTotch 1.2.0深度學習框架，采用了VTK 8.1對點云進行了轉換，利用了PCL 1.9.1對點云進行了數據預處理，隨機數據擴增采用自己寫的程序，在數據輸入階段隨機增強。

訓練過程Batch Size設置為12，優化算法設置為Adam，初始學習率為0.001，輸入點數為2048，當訓練Loss達到最低的時候停止。學習Decay Rate設置為0.0001，測試集包含20人，共40個蝶竇模型。采用準確率評價指標，將數據集劃分為基準集和對比集。每個人兩個模型分別隨機平均劃入基準集和對比集，每個基準集和對比集分別包含20個模型。進行測試時，將所有模型通過訓練的網絡進行特征抽取，將基準集中的每一個模型拿出來與對比集中的20個模型分別對比，并進行相似度排序，如果對比集中相似度最高的模型與基準集中的基準屬于同一個人，則身份認定成功，按其相似度排序進行準確率認定，排第一其Top1準確率增加對應的數值，以此類推。

3 結果與討論

100個人的訓練集在310epoch時達到最優，這時訓練的Loss為0.012，訓練分類準確率為89.58%。通過對比其余弦相似度，我們得到20個人的測試集Top1準確率為100%，Top3準確率為100%。其特征相似度的heatmap展示如圖5所示。

圖5右側是20個人的Heat Map，從左上到右下可以看到一個非常明顯的白色的線。說明在同一個人的時候，其特征相似度是非常高的，具體的數值可以從左側的10個人的Heat Map看出，同一個人的相似度基本在97%以上，不同的人相似度卻很低。從圖5可以看出網絡提取特征的能力非常強，不同人之間的特征差異很大。

圖5 Heat Map

4 結語

本次研究中，盡管測試集上效果很好，達到了100%，但是這僅僅是在測試集20人上面的相似度，在這真實世界中，是非常小的數據集。所以在實際應用中，該方法的識別率并沒有足夠的參考。但是通過本方法，證明了通過蝶竇進行深度學習來實現身份認定的可能性。可以預見的是，隨著數據量的增大和網絡模型結構的完善，這一方法肯定具有應用價值，可以為法醫實踐提供對應的思路。