赤足足跡識(shí)別研究綜述

王 昆，郭 威+，王尊嚴(yán)，韓文強(qiáng)

1.中國(guó)人民公安大學(xué) 偵查學(xué)院，北京 100038

2.刑事科學(xué)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100038

赤足足跡識(shí)別技術(shù)是圖像識(shí)別技術(shù)的一個(gè)子領(lǐng)域，在刑偵、醫(yī)療以及安全領(lǐng)域具有重要的意義。在訴訟實(shí)踐中，赤足足跡的識(shí)別與鑒定在偵查破案和案件審判中發(fā)揮著重要的作用[1]，比如，在偵查破案過程中可以幫助分析案情，判斷足跡遺留人員的人身特點(diǎn)，判斷作案人數(shù)以及為追蹤逃犯嫌疑人提供線索；在案件審判中有助于識(shí)別人身，與其他證據(jù)相互印證從而直接認(rèn)定人身同一[2]。赤足足跡識(shí)別技術(shù)在醫(yī)療和安全領(lǐng)域也起著重要作用。它可以幫助診斷足部相關(guān)的疾病，如糖尿病足、扁平足、腳氣等，也可以檢測(cè)足部的健康和功能狀況。它還可以作為一種輔助的生物識(shí)別技術(shù)，用于一些高安全性的場(chǎng)所，如機(jī)場(chǎng)、銀行、軍事基地等[1-2]。

赤足足跡識(shí)別技術(shù)或?qū)⒊蔀橐环N新的人身識(shí)別手段，比如，若能證明動(dòng)態(tài)足壓具有穩(wěn)定性與特異性，可以利用壓力足跡進(jìn)行人身識(shí)別，則可以嘗試將足底壓力信息作為門禁等人身識(shí)別系統(tǒng)的“雙保險(xiǎn)”，甚至直接作為其判斷依據(jù)。近些年，赤足足跡識(shí)別技術(shù)發(fā)展迅速，各種研究成果不斷涌現(xiàn)，因此，對(duì)赤足足跡識(shí)別技術(shù)的發(fā)展歷程與研究現(xiàn)狀進(jìn)行綜述對(duì)后續(xù)研究具有十分重要的意義。

表1 將五種發(fā)展較為成熟的人身識(shí)別方式與赤足足跡識(shí)別（表中為“赤足識(shí)別”）的原理、特點(diǎn)、不足、應(yīng)用場(chǎng)景、普及度以及準(zhǔn)確度進(jìn)行對(duì)比。與其他人身識(shí)別方法相比，赤足足跡識(shí)別具有獨(dú)特的優(yōu)勢(shì)，即赤足難以偽造，并有助于刻畫身高、體態(tài)等人身特征。但同時(shí)，赤足足跡識(shí)別也存在局限性，由于赤足的采集在較多場(chǎng)合相對(duì)不便，并且采用接觸式識(shí)別方式，還需考慮到相關(guān)的衛(wèi)生問題，其應(yīng)用場(chǎng)景有一定的局限性。就識(shí)別精度而言，較多赤足足跡識(shí)別方法的正確識(shí)別率都能達(dá)到90%以上，但相比于其他人身識(shí)別方式，其識(shí)別準(zhǔn)確度目前仍相對(duì)較低。因此，赤足足跡識(shí)別的研究亟待豐富與完善。由于成趟赤足足跡圖像可以刻畫行人步態(tài)，在現(xiàn)有識(shí)別方法的基礎(chǔ)上結(jié)合行人的步角等步幅特征分析有助于提高識(shí)別準(zhǔn)確率。

表1 六種人身識(shí)別方式對(duì)比Table 1 Comparison of six personal identification methods

自2005 年以來，赤足足跡識(shí)別技術(shù)開始興起并逐漸發(fā)展，不斷有新的方法被提出來。近年來，隨著深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域的廣泛應(yīng)用，基于深度學(xué)習(xí)的赤足足跡識(shí)別方法開始出現(xiàn)，這類方法能夠更好地進(jìn)行特征提取、學(xué)習(xí)和相似度度量，使得赤足足跡識(shí)別技術(shù)進(jìn)入到一個(gè)新的階段。同時(shí)，赤足足跡識(shí)別技術(shù)的發(fā)展也面臨著一些問題。

由于目前赤足足跡識(shí)別技術(shù)的研究流程沒有得到統(tǒng)一規(guī)范，并且較多研究只針對(duì)其采集的特定數(shù)據(jù)集，從而導(dǎo)致其最終的研究成果不具有普適性，不能應(yīng)用于實(shí)際，因此規(guī)范赤足足跡識(shí)別流程、將赤足足跡圖像科學(xué)分類、規(guī)范建立數(shù)據(jù)集是迫切而必要的。本文首先按照采集方式的不同將赤足足跡圖像分為四類，然后對(duì)各類圖像的優(yōu)缺點(diǎn)和應(yīng)用場(chǎng)景等進(jìn)行介紹，并梳理足跡圖像的預(yù)處理過程；接著介紹兩類赤足足跡識(shí)別方法，分別是基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法（即“傳統(tǒng)方法”）和基于深度學(xué)習(xí)的方法，從多個(gè)方面對(duì)各種識(shí)別方法進(jìn)行對(duì)比，同時(shí)給出基于深度學(xué)習(xí)方法的評(píng)價(jià)指標(biāo)；最后指出赤足足跡識(shí)別技術(shù)目前面臨的問題，并對(duì)該技術(shù)的前景進(jìn)行展望。

1 赤足足跡識(shí)別技術(shù)

1.1 赤足足跡數(shù)據(jù)集

為了進(jìn)行赤足足跡識(shí)別，研究人員需要先建立一個(gè)較大的赤足足跡數(shù)據(jù)庫(kù)[3]。目前，由于缺乏公開的大型赤足足跡數(shù)據(jù)集，研究人員只能自行采集所需的赤足足跡數(shù)據(jù)。然而，各個(gè)研究團(tuán)隊(duì)之間沒有統(tǒng)一的采集規(guī)范，導(dǎo)致收集的足跡數(shù)據(jù)可能存在偏向性和不可比性。因此，規(guī)范建立赤足足跡數(shù)據(jù)集具有十分重要的意義。

根據(jù)遺留方式的不同可以將赤足足跡分為靜態(tài)赤足足跡和動(dòng)態(tài)赤足足跡[4-5]。靜態(tài)赤足足跡是指采集者靜止站立時(shí)形成的足跡，動(dòng)態(tài)赤足足跡是指采集者行走時(shí)形成的足跡[6]。在采集過程中，應(yīng)注意區(qū)分這兩種類型的赤足足跡，并且應(yīng)重點(diǎn)關(guān)注動(dòng)態(tài)赤足足跡，因?yàn)槠淠軌蚍从吵龈嗟男畔ⅲ咏F(xiàn)場(chǎng)情況，對(duì)案件偵查更有意義。方敏詳細(xì)闡述了靜態(tài)赤足足跡和動(dòng)態(tài)赤足足跡的采集規(guī)范[5]。另外，還可以根據(jù)承痕客體表面形態(tài)是否變化分為平面赤足足跡和立體赤足足跡[7]，目前實(shí)驗(yàn)人員通常利用平面赤足足跡進(jìn)行識(shí)別。

赤足足跡圖像根據(jù)不同的采集方式可以分為油墨捺印足跡圖像、足底掃描圖像、光學(xué)足跡采集設(shè)備采集的足跡圖像（或稱“光學(xué)”足跡圖像）以及足跡壓力采集系統(tǒng)采集的足壓圖像[4-5]，如圖1所示。光學(xué)足跡采集設(shè)備和足跡壓力采集設(shè)備如圖2[8]所示。

圖1 四種不同采集方式得到的赤足足跡圖像Fig.1 Bare footprint images acquired by four different acquisition methods

圖2 兩種不同的赤足足跡采集設(shè)備Fig.2 Two different pieces of bare footprint acquisition equipment

圖3[9]顯示了光學(xué)足跡采集設(shè)備采集足跡圖像的成像過程。光源發(fā)出的光穿過透明玻璃，以極小的角度照射在反光彈性帶的拋光面上。當(dāng)實(shí)驗(yàn)者腳踩到反光帶的反面時(shí)，由于受力不均，拋光面上會(huì)形成不同高度的向下凸起。在沒有壓力的位置（即腳未與反光帶反面接觸的位置），光線發(fā)生折射不形成圖像[10]；對(duì)于有壓力的位置，壓力越高，凸起越高，這些凸起使得光線被反射到平面鏡上，光線再次反射后最終被照相機(jī)捕獲，從而形成了足跡圖像[9]。光學(xué)足跡采集設(shè)備采集到的原始足跡圖像是256 級(jí)的灰度圖像，灰度值越小的地方足壓越大。

圖3 光學(xué)足跡采集設(shè)備成像過程Fig.3 Imaging process of optical footprint collection equipment

足跡壓力采集設(shè)備內(nèi)部由壓阻式傳感器構(gòu)成，能夠根據(jù)壓力板上各個(gè)位置壓力的不同生成對(duì)應(yīng)的足壓圖像并將其存入到采集軟件中。足跡壓力采集系統(tǒng)采集的足壓圖像可以反映采集者行走過程中足底壓力的變化以及由此產(chǎn)生的足跡特征等信息，常與行走運(yùn)動(dòng)形態(tài)的研究相結(jié)合，因此足壓圖像的識(shí)別對(duì)于步態(tài)特征的研究具有重要意義。

表2 介紹了四種用于赤足識(shí)別的足跡圖像的采集原理、優(yōu)缺點(diǎn)、應(yīng)用場(chǎng)景和當(dāng)前使用率。“光學(xué)”足跡圖像和足壓圖像相比于早期赤足足跡識(shí)別所采用的油墨捺印足跡圖像和足底掃描圖像具有更大的優(yōu)勢(shì)，比如更利于構(gòu)建大型數(shù)據(jù)集，圖像質(zhì)量更高，識(shí)別效果更好等。鑒于此，目前赤足足跡識(shí)別研究人員通常采用這兩種圖像構(gòu)建數(shù)據(jù)集，而利用其他種類足跡圖像進(jìn)行識(shí)別的研究已經(jīng)很少，因此本文后續(xù)對(duì)實(shí)驗(yàn)流程的梳理和對(duì)方法的介紹均只針對(duì)“光學(xué)”足跡圖像和足壓圖像。

表2 四種赤足足跡圖像對(duì)比Table 2 Comparison of four bare footprint images

1.2 圖像預(yù)處理

對(duì)于光學(xué)足跡采集設(shè)備采集的足跡圖像，在傳統(tǒng)的赤足足跡識(shí)別方法中，其圖像預(yù)處理過程主要分為：去標(biāo)尺、去噪、標(biāo)準(zhǔn)化和數(shù)據(jù)集劃分。在基于深度學(xué)習(xí)的赤足足跡識(shí)別方法中，其圖像預(yù)處理過程還包括數(shù)據(jù)集增廣。相比于光學(xué)足跡采集設(shè)備采集的足跡圖像，足跡壓力采集系統(tǒng)采集的足壓圖像的圖像預(yù)處理過程少了去標(biāo)尺操作。赤足足跡圖像預(yù)處理流程如圖4 所示。下面對(duì)赤足足跡圖像的預(yù)處理過程進(jìn)行介紹。

圖4 赤足足跡圖像預(yù)處理流程圖Fig.4 Flow chart of bare footprint image preprocessing

1.2.1 去標(biāo)尺

使用光學(xué)足跡采集設(shè)備采集到的足跡圖像中含有標(biāo)尺部分，為了避免標(biāo)尺對(duì)赤足足跡識(shí)別過程產(chǎn)生干擾，需要先對(duì)足跡圖像進(jìn)行去標(biāo)尺操作。由于標(biāo)尺區(qū)域是固定的，將該標(biāo)尺區(qū)域的灰度值賦值為255，即用白色填充該區(qū)域后，可以去除圖像中的標(biāo)尺[16]。去標(biāo)尺操作可由Matlab實(shí)現(xiàn)[5]。

1.2.2 去噪

在利用光學(xué)足跡采集設(shè)備采集足跡圖像過程中，光線和灰塵等因素可能會(huì)對(duì)生成的足跡圖像造成干擾，從而導(dǎo)致一部分足跡圖像中存在較多的椒鹽噪聲；在利用足跡壓力采集系統(tǒng)采集足壓圖像的過程中，人為噪聲、足跡采集設(shè)備的內(nèi)部噪聲以及數(shù)據(jù)傳輸過程中產(chǎn)生的噪聲也都不可避免，因此需要對(duì)采集到的足跡圖像進(jìn)行去噪處理。由于中值濾波能夠保留完整的足跡輪廓信息，從而保證足跡圖像的細(xì)節(jié)信息不被破壞，實(shí)驗(yàn)人員常常采用中值濾波對(duì)足跡圖像進(jìn)行去噪。鮑文霞等人使用5×5 的窗口對(duì)足跡圖像進(jìn)行中值濾波，消除了光學(xué)足跡采集設(shè)備采集的足跡圖像中的椒鹽噪聲[10]，之后又采用3×3的窗口對(duì)足跡壓力采集系統(tǒng)采集的足壓圖像進(jìn)行中值濾波，完成了足壓圖像的去噪[17]。由于噪聲處的像素值通常較大，使得噪聲不易在圖像上被分辨，方敏使用對(duì)比度增強(qiáng)方法去噪，首先將每幅足跡圖像都乘上一個(gè)大小介于0 到1 之間的系數(shù)，提高了圖像的對(duì)比度，將顆粒狀痕跡顯現(xiàn)出來，并人工去除這些痕跡噪聲，最后將人工處理后的圖像除以該系數(shù)，得到了去噪后的足跡圖像[5]。王鵬鵬等人將已去標(biāo)尺的足跡圖像分別進(jìn)行灰度反轉(zhuǎn)和二值化，并將獲得的兩幅足跡圖像逐點(diǎn)相乘最終得到去噪后的足跡圖像[18]。

由于足跡采集設(shè)備可能因長(zhǎng)期使用而導(dǎo)致密封性不好，采集到的足跡圖像容易受到灰塵噪聲的影響。灰塵噪聲與椒鹽噪聲和高斯噪聲有很大區(qū)別，其特征是：噪聲點(diǎn)分布隨機(jī)，但總是聚集在一起；噪聲點(diǎn)強(qiáng)度值與足跡區(qū)域強(qiáng)度值大小相似；噪聲連通區(qū)域的面積總是小于足跡主要部分的面積。鑒于灰塵噪聲具有以上特性，Wang 等人提出了區(qū)域秩濾波器，通過消除較小的區(qū)域來過濾噪聲[9]。汪桐生采用掃描線濾波算法對(duì)足跡圖像進(jìn)行濾波，去除了足跡圖像中的噪聲[6]。由于足跡壓力采集系統(tǒng)采集的足壓圖像足跟處出現(xiàn)噪聲點(diǎn)的概率相對(duì)較高，梁棟等人在對(duì)整個(gè)足壓圖像去噪后，又對(duì)足跟處單獨(dú)設(shè)定一個(gè)閾值進(jìn)一步去除足跟處噪聲[19]。

在進(jìn)行圖像去噪操作后，可以進(jìn)一步對(duì)赤足足跡圖像進(jìn)行圖像增強(qiáng)。鮑文霞等人采用直方圖均衡化方法對(duì)足跡圖像進(jìn)行增強(qiáng)，取得了良好的效果[10]。

圖5[20]顯示了光學(xué)足跡采集設(shè)備采集的足跡圖像去標(biāo)尺與去噪過程，圖6[20]顯示了足跡壓力采集系統(tǒng)采集的足壓圖像去噪過程。

圖5 “光學(xué)”足跡圖像去標(biāo)尺與濾波去噪過程Fig.5 De-scaling and filtering denoising process of“optical”footprint images

圖6 足壓圖像濾波去噪過程Fig.6 Filtering denoising process of foot pressure images

1.2.3 標(biāo)準(zhǔn)化

足跡圖像的標(biāo)準(zhǔn)化對(duì)于后續(xù)進(jìn)行赤足足跡識(shí)別具有重要意義，其作用主要體現(xiàn)在以下三個(gè)方面：首先，足跡圖像標(biāo)準(zhǔn)化可以把有量綱的數(shù)據(jù)轉(zhuǎn)換為無量綱的數(shù)據(jù)，從而約束數(shù)據(jù)的分布，保證了數(shù)據(jù)的一致性；其次，由于足跡采集設(shè)備在采集足跡圖像的過程中會(huì)受到光線等因素的干擾，從而導(dǎo)致足跡圖像上的像素值大小有較大的差異，而歸一化操作可以使得圖像上的像素值變?yōu)? 到1 之間的小數(shù)，減小了差異值所造成的影響；最后，標(biāo)準(zhǔn)化后的數(shù)據(jù)集不但能夠加快模型在訓(xùn)練過程中的收斂速度，而且可以提高模型的精度。目前常用的歸一化方法包括zscore 標(biāo)準(zhǔn)歸一化和極大極小值歸一化方法。z-score標(biāo)準(zhǔn)歸一化能夠減小足跡圖像灰度值分布的差異性，因此實(shí)驗(yàn)人員更加傾向于采用此方法進(jìn)行足跡圖像的標(biāo)準(zhǔn)化[5]。將足跡圖像的大小以及分辨率進(jìn)行歸一化之前，若實(shí)驗(yàn)需要，還可以把赤足足跡的方向進(jìn)行歸一化，從而保證足跡圖像腳尖朝上、腳跟在下。Wang等人先把足跡圖像中足跟處沿同一個(gè)斜向上方向分布的壓力方向定義為主方向，之后將足跡沿足跟最凸點(diǎn)旋轉(zhuǎn)至主方向豎直向上，從而得到了足跡方向標(biāo)準(zhǔn)化后的赤足足跡圖像[9]。

1.2.4 數(shù)據(jù)集增廣

較為常用的數(shù)據(jù)增廣方法包括：旋轉(zhuǎn)、水平鏡像、垂直鏡像、平移、亮度變換、剪切以及噪聲等[21]。鮑文霞等人對(duì)濾波去噪后的兩種赤足足跡圖像分別采用垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、逆時(shí)針旋轉(zhuǎn)10°和順時(shí)針旋轉(zhuǎn)10°四種方法進(jìn)行數(shù)據(jù)集增廣[20]，如圖7和圖8所示；汪桐生采用數(shù)據(jù)擦除增廣方式[22]對(duì)足壓圖像數(shù)據(jù)集進(jìn)行增廣操作，即隨機(jī)框選出足壓圖像中的部分區(qū)域并進(jìn)行擦除，進(jìn)而得到殘缺足壓圖像[6]。采用經(jīng)過殘缺足壓圖像增廣后的數(shù)據(jù)集進(jìn)行赤足足跡識(shí)別，增加了網(wǎng)絡(luò)對(duì)于殘缺壓力足跡識(shí)別的魯棒性，降低了網(wǎng)絡(luò)的擬合時(shí)間，提高了卷積神經(jīng)網(wǎng)絡(luò)對(duì)殘缺足壓圖像檢索的自適應(yīng)能力。

圖7 “光學(xué)”足跡圖像數(shù)據(jù)集的四種增廣方法Fig.7 Four methods of augmenting dataset of“optical”footprint images

圖8 足壓圖像數(shù)據(jù)集的四種增廣方法Fig.8 Four methods of augmenting dataset of foot pressure images

1.2.5 數(shù)據(jù)集劃分

在傳統(tǒng)的赤足足跡識(shí)別方法中，為了驗(yàn)證所采用方法的優(yōu)越性，可以將赤足足跡數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集；在深度學(xué)習(xí)中，為了訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型并防止模型的過擬合，可以將赤足足跡數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集[3]。數(shù)據(jù)集劃分完成后，就可以進(jìn)行赤足足跡識(shí)別實(shí)驗(yàn)，設(shè)計(jì)合適的赤足足跡識(shí)別方法，構(gòu)建性能良好的網(wǎng)絡(luò)模型。

1.3 識(shí)別方法

根據(jù)是否運(yùn)用深度學(xué)習(xí)的方法，可以將赤足足跡識(shí)別方法分為傳統(tǒng)赤足足跡識(shí)別方法和基于深度學(xué)習(xí)的赤足足跡識(shí)別方法。傳統(tǒng)的赤足足跡識(shí)別方法在2018 年以前在赤足足跡識(shí)別中具有廣泛的應(yīng)用，對(duì)于赤足足跡識(shí)別技術(shù)的發(fā)展具有不可磨滅的重要意義。2006 年，Hinton 等人提出了深度學(xué)習(xí)的概念[23]，它是包含多個(gè)隱藏層的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，能夠更抽象、更深層次地描述目標(biāo)對(duì)象的屬性和特征[24]。深度學(xué)習(xí)具有較快的數(shù)據(jù)處理速度、較強(qiáng)特征提取能力以及較高的識(shí)別精度，被越來越廣泛地應(yīng)用在圖像識(shí)別領(lǐng)域[25]。自2018 年開始，基于深度學(xué)習(xí)的赤足足跡識(shí)別方法開始不斷地涌現(xiàn)出來，使得赤足足跡識(shí)別技術(shù)進(jìn)一步發(fā)展，進(jìn)入了一個(gè)新的階段。下面將對(duì)傳統(tǒng)赤足足跡識(shí)別方法和基于深度學(xué)習(xí)的赤足足跡識(shí)別方法分別進(jìn)行介紹。

1.3.1 傳統(tǒng)赤足足跡識(shí)別方法

傳統(tǒng)的赤足足跡識(shí)別方法通常是先對(duì)足跡圖像進(jìn)行特征提取與選擇，再計(jì)算特征之間的相似度，最后利用分類器給出識(shí)別結(jié)果。識(shí)別準(zhǔn)確率通常是評(píng)價(jià)傳統(tǒng)赤足足跡識(shí)別方法性能優(yōu)劣的指標(biāo)。傳統(tǒng)的赤足足跡識(shí)別方法流程圖如圖9 所示。表3 從多個(gè)方面對(duì)已有的較為經(jīng)典的傳統(tǒng)赤足足跡識(shí)別方法進(jìn)行比對(duì)。

圖9 傳統(tǒng)赤足足跡識(shí)別方法流程圖Fig.9 Flow chart of traditional bare footprint recognition method

表3 傳統(tǒng)赤足足跡識(shí)別方法對(duì)比Table 3 Comparison of traditional bare footprint recognition methods

傳統(tǒng)方法在特征提取過程中，不但可以提取足壓圖像的形態(tài)特征、壓力特征、卷積特征、拉普拉斯特征，還可以提取光學(xué)足跡采集設(shè)備采集的足跡圖像的形態(tài)特征和局部相位量化（local phase quantization，LPQ）特征，并可以進(jìn)一步對(duì)特征進(jìn)行優(yōu)化融合。為了計(jì)算圖像之間的相似度，可以采用度量學(xué)習(xí)等方法。實(shí)驗(yàn)人員常用支持向量機(jī)（support vector machine，SVM）分類器或K 近鄰（K-nearest neighbor，KNN）分類器進(jìn)行足跡圖像的識(shí)別，而采用度量學(xué)習(xí)核函數(shù)的SVM方法能夠進(jìn)一步提高足跡識(shí)別率。圖10 顯示了一個(gè)較為經(jīng)典的傳統(tǒng)赤足足跡圖像識(shí)別方法[10]的算法流程。

圖10 傳統(tǒng)赤足足跡圖像識(shí)別方法算法流程圖Fig.10 Algorithm flow chart of traditional bare footprint image recognition method

1.3.2 基于深度學(xué)習(xí)的赤足足跡識(shí)別方法

大多數(shù)的傳統(tǒng)赤足足跡識(shí)別方法都能取得較高的平均識(shí)別率，但是當(dāng)數(shù)據(jù)集較大時(shí)，這類方法并不能快速高效地得出分類識(shí)別的結(jié)果。基于深度學(xué)習(xí)的赤足足跡方法不但可以克服這一缺點(diǎn)，而且具有更強(qiáng)的特征提取能力和更高的識(shí)別精度，因此該方法逐漸成為赤足足跡識(shí)別領(lǐng)域的研究熱點(diǎn)。

基于深度學(xué)習(xí)的赤足足跡識(shí)別方法通常包括以下四個(gè)步驟：構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)模型、特征提取與學(xué)習(xí)、相似度計(jì)算、模型得出識(shí)別結(jié)果。基于深度學(xué)習(xí)的赤足足跡識(shí)別方法的流程圖如圖11 所示。后文對(duì)基于深度學(xué)習(xí)的赤足足跡識(shí)別方法的評(píng)價(jià)指標(biāo)進(jìn)行總結(jié)，然后進(jìn)一步詳細(xì)介紹并從多方面對(duì)比多種能夠反映研究現(xiàn)狀的識(shí)別方法。

圖11 基于深度學(xué)習(xí)的赤足足跡識(shí)別方法流程圖Fig.11 Flow chart of bare footprint recognition method based on deep learning

1.3.2.1 評(píng)價(jià)指標(biāo)

在赤足足跡識(shí)別實(shí)驗(yàn)中，實(shí)驗(yàn)人員通常通過比較各赤足足跡識(shí)別方法取得的平均識(shí)別率（或正確識(shí)別率）來證明其所采用方法的優(yōu)越性。在赤足足跡圖像檢索的實(shí)驗(yàn)中，由于實(shí)驗(yàn)數(shù)據(jù)集較大，除了通過比較各個(gè)方法的識(shí)別準(zhǔn)確率，還可以通過比較其他指標(biāo)來證明所提出方法的優(yōu)越性，比如：前i個(gè)檢索結(jié)果精度P@k、平均精度均值（mean average precision，mAP）以及在累積匹配（cumulative match characteristic，CMC）曲線中表示檢索集中前K個(gè)檢索結(jié)果中出現(xiàn)正確匹配的概率RankK等。文獻(xiàn)[3]利用Rank1、Rank5、Rank10 以及mAP這4 個(gè)指標(biāo)來反映赤足足跡跨模態(tài)檢索的準(zhǔn)確度，通過與其他兩種方法的對(duì)比，表明其提出的HPM+Separate Triplet Loss算法取得了較高的精度；文獻(xiàn)[17]采用了Rank1、mAP和P@k作為實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)，通過與其他方法對(duì)比，證明了其提出的赤足足跡圖像跨模態(tài)檢索方法的優(yōu)越性。式（1）到式（4）反映了Rank1、mAP和P@k這3個(gè)評(píng)價(jià)指標(biāo)的計(jì)算過程：

式中，M為查詢集的大小；δ(1)表示查詢圖像標(biāo)簽是否與返回的第1 個(gè)結(jié)果相同，相同為1，不相同為0；k為返回的足跡圖像的數(shù)量；TP為k個(gè)結(jié)果中與標(biāo)簽相同的足跡圖像的數(shù)量；AP為每幅足跡圖像的平均相似度；P@k為前i個(gè)識(shí)別結(jié)果的準(zhǔn)確度；δ(i)表示查詢圖像標(biāo)簽是否與返回的第i個(gè)結(jié)果相同，相同為1，不相同為0。

文獻(xiàn)[36]還設(shè)置了消融實(shí)驗(yàn)驗(yàn)證其構(gòu)建的置信函數(shù)的影響，結(jié)果表明，同時(shí)使用信息熵和方差作為評(píng)價(jià)指標(biāo)評(píng)價(jià)區(qū)域信息時(shí)，模型會(huì)取得相對(duì)最優(yōu)的性能。

1.3.2.2 方法對(duì)比

在基于深度學(xué)習(xí)的赤足足跡方法中，深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network，DCNN）已成為大多數(shù)計(jì)算機(jī)視覺相關(guān)任務(wù)中最廣泛使用的解決方案[37]。為了提高網(wǎng)絡(luò)的性能，實(shí)驗(yàn)人員可以在網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行創(chuàng)新，也可以對(duì)損失函數(shù)進(jìn)行優(yōu)化。表4 從多個(gè)方面對(duì)若干較新的基于深度學(xué)習(xí)的赤足足跡識(shí)別方法進(jìn)行對(duì)比，其中幾乎所有方法都從網(wǎng)絡(luò)結(jié)構(gòu)方面進(jìn)行了創(chuàng)新，最后四種方法還對(duì)損失函數(shù)進(jìn)行了優(yōu)化。

表4 基于深度學(xué)習(xí)的赤足足跡識(shí)別方法對(duì)比Table 4 Comparison of bare footprint recognition methods based on deep learning

1.3.2.3 方法小結(jié)

網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)新方法在網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行創(chuàng)新可以在網(wǎng)絡(luò)結(jié)構(gòu)中添加特征融合模塊、注意力機(jī)制模塊、引入殘差網(wǎng)絡(luò)以及使用較為復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)（如引入分支結(jié)構(gòu)的網(wǎng)絡(luò)）等。對(duì)于跨模態(tài)足跡檢索網(wǎng)絡(luò)結(jié)構(gòu)，還可以引入特征嵌入模塊。不同的網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)新方法可以解決赤足足跡識(shí)別過程中的不同問題，進(jìn)一步提高模型性能和識(shí)別準(zhǔn)確率，使得赤足足跡識(shí)別技術(shù)愈發(fā)完善與成熟。

損失函數(shù)優(yōu)化方法對(duì)多個(gè)損失函數(shù)進(jìn)行融合可以實(shí)現(xiàn)損失函數(shù)的優(yōu)化。優(yōu)化損失函數(shù)可以提高模型性能，加快模型訓(xùn)練速度并改善模型穩(wěn)定性。優(yōu)化損失函數(shù)在赤足足跡識(shí)別中也具有重要作用，通過選擇合適的損失函數(shù)和優(yōu)化算法，可以提高赤足足跡識(shí)別模型的準(zhǔn)確率和泛化能力，并加快識(shí)別速度。

對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化是較為普遍的選擇，在對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化的基礎(chǔ)上優(yōu)化損失函數(shù)會(huì)進(jìn)一步提高模型的性能，實(shí)現(xiàn)更高的識(shí)別準(zhǔn)確率。在確定好神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型后，需要初始化學(xué)習(xí)率等訓(xùn)練參數(shù)，然后在訓(xùn)練集上對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可以利用損失函數(shù)進(jìn)行度量學(xué)習(xí)，最后利用訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行赤足足跡識(shí)別。由于模型中含有相似度分?jǐn)?shù)計(jì)算模塊，模型可以根據(jù)計(jì)算出的相似度分?jǐn)?shù)得出最終的識(shí)別結(jié)果。

對(duì)于基于深度學(xué)習(xí)的赤足足跡識(shí)別方法，特征提取與學(xué)習(xí)是至關(guān)重要的一個(gè)階段。多數(shù)方法的創(chuàng)新點(diǎn)在于對(duì)特征提取和學(xué)習(xí)過程進(jìn)行優(yōu)化。能夠達(dá)到較高識(shí)別準(zhǔn)確率的方法必須做到較好地提取顯著性特征，排除無關(guān)或不重要特征。針對(duì)這一問題，瞿金杰[45]提出了一種基于空間聚合加權(quán)注意力機(jī)制的赤足足跡識(shí)別算法。該算法先對(duì)特征圖中的所有通道進(jìn)行疊加，保留特征圖的高響應(yīng)區(qū)域中高于閾值的特征，并將其與特征圖相乘，從而提取出壓力足跡的降維優(yōu)化后的顯著性特征，再將空間聚合加權(quán)注意力機(jī)制嵌入到VGG 網(wǎng)絡(luò)中，使得網(wǎng)絡(luò)能夠?qū)Ｗ⒂谔幚碜阚E圖像中的顯著性區(qū)域。進(jìn)一步地，為了提取足壓圖像中的局部特征，其又通過一種基于ResNet50 雙分支網(wǎng)絡(luò)的足跡識(shí)別算法提取了原始足跡圖像和重構(gòu)足跡圖像的各顯著性特征，最終在足壓圖像數(shù)據(jù)集上達(dá)到了98.75%的識(shí)別準(zhǔn)確率。圖12[45]顯示了空間聚合加權(quán)注意力機(jī)制模塊，圖13[45]顯示了基于空間聚合加權(quán)注意力機(jī)制的VGG19網(wǎng)絡(luò)模型，圖14[45]顯示了ResNet50雙分支網(wǎng)絡(luò)結(jié)構(gòu)。

圖12 空間聚合加權(quán)注意力機(jī)制模塊Fig.12 Spatial aggregation weighed attention mechanism module

圖13 基于空間聚合加權(quán)注意力機(jī)制的VGG19網(wǎng)絡(luò)模型Fig.13 VGG19 network model based on spatial aggregation weighted attention mechanism

圖14 ResNet50雙分支網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.14 ResNet50 bilinear network structure

2 面臨的挑戰(zhàn)與展望

赤足足跡識(shí)別技術(shù)雖然在發(fā)展過程中已取得了一定的成果，但仍然存在一些問題。因此，未來的研究方向可以從以下幾個(gè)方面進(jìn)行探索和完善：

（1）識(shí)別可行性。丁漢等人[52]的實(shí)驗(yàn)表明行人自然行走狀態(tài)下的足壓是穩(wěn)定的，這表明利用足壓圖像進(jìn)行人身識(shí)別是有科學(xué)理論依據(jù)的。在今后的研究中，可以探究行人在不同時(shí)間段行走、以不同速度行走以及在不同負(fù)重條件下行走時(shí)足底壓力的穩(wěn)定性與特異性，同時(shí)輔以探究動(dòng)態(tài)足壓與步法特征的關(guān)系，從而從根源上探索出能否利用動(dòng)態(tài)足壓圖像進(jìn)行人身識(shí)別。

（2）成趟足跡。目前尚未有研究利用成趟足跡圖像進(jìn)行赤足足跡識(shí)別。由于現(xiàn)場(chǎng)赤足足跡大多是成趟足跡，出現(xiàn)單個(gè)足跡的情況較少，而成趟足跡又可以反映出行走人更多的信息，比如可以推斷犯罪現(xiàn)場(chǎng)的作案人數(shù)，確定行走人的步法特征，因此未來的研究可致力于探索成趟足跡的識(shí)別問題，以推動(dòng)刑事偵查技術(shù)的進(jìn)步，并使赤足足跡識(shí)別研究更加具有現(xiàn)實(shí)意義。成趟赤足足跡可以刻畫行人的步態(tài)，并且已有研究表明不同人在行走時(shí)的步長(zhǎng)、步寬、步角是存在較大差異的，而步角的人身特定性則更為明顯。在現(xiàn)有識(shí)別方法的基礎(chǔ)上結(jié)合成趟赤足足跡圖像的步角等步幅特征分析可能極大提高赤足足跡的識(shí)別率。

（3）殘缺足跡。由于現(xiàn)場(chǎng)足跡不一定都是完整的，對(duì)殘缺足跡進(jìn)行識(shí)別也具有十分重要的意義。目前關(guān)于殘缺足跡識(shí)別的研究很少，高梓健[47]將殘缺前掌壓力圖像和殘缺足跟壓力圖像輸入嵌入模塊，通過范數(shù)正則化得到各足壓圖像間相關(guān)矩陣，相關(guān)矩陣融合標(biāo)簽one-hot 向量，再采用多分支多層級(jí)更新模塊進(jìn)行聚合更新，根據(jù)權(quán)重矩陣更新圖結(jié)構(gòu)，最后將兩子圖融合并實(shí)現(xiàn)殘缺足壓圖像分類。實(shí)驗(yàn)人員可在此基礎(chǔ)上進(jìn)一步探索性能更好的殘缺赤足足跡識(shí)別方法，比如可以設(shè)計(jì)合適的反演算法將殘缺足跡補(bǔ)全得到完整足跡，之后再進(jìn)行識(shí)別。

（4）采集儀器。現(xiàn)有的足跡壓力采集設(shè)備和光學(xué)足跡采集設(shè)備采集的足跡圖像質(zhì)量并不高。今后可以采用更加靈敏的足跡壓力采集設(shè)備采集足壓圖像，使得采集到的足壓圖像可以反映更加細(xì)致豐富的壓力信息，具有更加清晰的輪廓；也可以采用性能更加良好的光學(xué)足跡采集設(shè)備采集足跡圖像，減少足跡圖像的噪聲，從而使足跡圖像的預(yù)處理過程更加高效。

（5）公開數(shù)據(jù)集。目前仍沒有一個(gè)較大的公開赤足足跡數(shù)據(jù)集。對(duì)于基于深度學(xué)習(xí)的赤足足跡識(shí)別方法，可以進(jìn)一步擴(kuò)大赤足足跡圖像數(shù)據(jù)集，更為理想地，未來研究可以在統(tǒng)一的赤足足跡采集標(biāo)準(zhǔn)下，針對(duì)不同地區(qū)、不同年齡、不同人種以及不同性別的個(gè)體，構(gòu)建大規(guī)模的公共赤足足跡圖像數(shù)據(jù)集，以便于實(shí)驗(yàn)人員進(jìn)行識(shí)別實(shí)驗(yàn)。

（6）識(shí)別模型。目前的赤足足跡識(shí)別方法的識(shí)別準(zhǔn)確率也有待提升。在今后研究中，可以考慮設(shè)計(jì)輕量級(jí)網(wǎng)絡(luò)模型，并對(duì)模型參數(shù)進(jìn)行剪枝，以減少模型訓(xùn)練時(shí)間并提高識(shí)別效率；采用細(xì)粒度領(lǐng)域方法構(gòu)建模型，以更好地適應(yīng)赤足足跡識(shí)別的特定任務(wù)和場(chǎng)景；著重改進(jìn)特征提取與學(xué)習(xí)階段，提取到優(yōu)質(zhì)特征是取得高識(shí)別率的前提。

（7）跨模態(tài)檢索。赤足足跡圖像跨模態(tài)檢索方法同時(shí)適用于“光學(xué)”足跡圖像和足壓圖像，具有更強(qiáng)的普適性，因此更加值得研究。目前跨模態(tài)檢索是赤足足跡識(shí)別領(lǐng)域的研究熱點(diǎn)，鮑文霞等人對(duì)“光學(xué)”足跡圖像與足壓圖像跨模態(tài)檢索[8,20]，發(fā)現(xiàn)在優(yōu)化損失函數(shù)的同時(shí)引入注意力機(jī)制可極大提高檢索精度。在后續(xù)實(shí)驗(yàn)中，實(shí)驗(yàn)人員可嘗試采用較新的網(wǎng)絡(luò)結(jié)構(gòu)（如EfficientNet、RegNet、SENet 等）作為基本框架，引入其他注意力機(jī)制（如瓶頸注意力模塊（bottleneck attention module，BAM）、選擇性特征融合層（selective feature fusion layer，SEFL）、帶自適應(yīng)共享的高效通道注意力模塊（efficient channel attention with adaptive sharing，ECA++）等），構(gòu)建并優(yōu)化其他損失函數(shù)（如對(duì)數(shù)損失函數(shù)、權(quán)重?fù)p失函數(shù)、焦點(diǎn)損失函數(shù)等）。

3 結(jié)束語(yǔ)

赤足足跡識(shí)別技術(shù)在近些年興起并逐漸發(fā)展，將有望成為繼指紋識(shí)別、人臉識(shí)別等生物識(shí)別技術(shù)后一種新的人身識(shí)別方式。對(duì)這一技術(shù)的流程進(jìn)行規(guī)范并對(duì)其相關(guān)研究進(jìn)行綜述，能夠推動(dòng)該技術(shù)的發(fā)展。本文從以下四個(gè)方面對(duì)這一技術(shù)的發(fā)展進(jìn)行了綜述：在數(shù)據(jù)集采集方面，本文將足跡圖像分為油墨捺印足跡圖像、足底掃描圖像、光學(xué)足跡采集設(shè)備采集的足跡圖像以及足跡壓力采集系統(tǒng)采集的足壓圖像，分別介紹其各自的采集原理、優(yōu)缺點(diǎn)等，并指出“光學(xué)”足跡圖像和足壓圖像更適合構(gòu)建大型赤足足跡數(shù)據(jù)集；在圖像預(yù)處理方面，本文按去標(biāo)尺、去噪、標(biāo)準(zhǔn)化、數(shù)據(jù)集增廣和數(shù)據(jù)集劃分五個(gè)步驟介紹了圖像預(yù)處理過程；在識(shí)別方法方面，本文分為傳統(tǒng)的赤足足跡識(shí)別方法和基于深度學(xué)習(xí)的赤足足跡方法進(jìn)行介紹，從改進(jìn)點(diǎn)、優(yōu)缺點(diǎn)、準(zhǔn)確率等方面對(duì)各個(gè)方法進(jìn)行比較，并指出基于深度學(xué)習(xí)的方法能夠更好地進(jìn)行特征提取、學(xué)習(xí)和相似度度量，從而提高識(shí)別準(zhǔn)確度；同時(shí)，本文還給出了基于深度學(xué)習(xí)的赤足足跡方法常用的評(píng)價(jià)指標(biāo)，如準(zhǔn)確識(shí)別率、CMC、Rank1、mAP和P@k等，并介紹如何利用這些評(píng)價(jià)指標(biāo)對(duì)赤足足跡識(shí)別算法進(jìn)行性能評(píng)估。

雖然赤足足跡識(shí)別技術(shù)在發(fā)展過程中面臨著一些問題與挑戰(zhàn)，但是隨著未來圖像識(shí)別技術(shù)的發(fā)展與足跡采集儀器性能的提升，通過不斷完善赤足足跡識(shí)別技術(shù)的研究，將能夠逐步克服現(xiàn)有問題，并使該技術(shù)應(yīng)用領(lǐng)域更加廣泛。