基于空洞卷積神經網絡的親屬關系驗證方法

鄭亮 陳鵬 韓晶晶 陳亞

摘? 要：文章對基于深度學習的親屬關系驗證方法進行了深入研究，并針對由于人臉圖像與其他自然圖像存在較大的差異而導致的感受野較小的問題，提出了一種基于空洞卷積神經網絡的親屬關系驗證方法，構建了殘差空洞卷積神經網絡（RDCN Net），分別從父母與孩子的人臉圖像中提取深度特征，經過特征融合后使用鑒別器得到親屬關系驗證結果。算法在公開親屬關系數據集KinFaceW上進行測試，實驗結果表明，本文方法在親屬關系驗證的準確率上有良好的表現。

關鍵詞：親屬關系驗證;深度特征;空洞卷積;特征融合

中圖分類號：TP391? ? ?文獻標識碼：A 文章編號：2096-4706（2021）18-0071-05

Abstract： In this paper， the kinship verification method based on deep learning is deeply studied， and aiming at the problem of small receptive field caused by the large difference between face image and other natural images， a kinship verification method based on atrous convolution neural network is proposed， residual atrous convolutions neural network （RDCN Net） is constructed， the depth features are extracted from the face images of parents and children respectively， and the kinship verification results are obtained by using the discriminator after feature fusion. The algorithm is tested on the open kinship dataset KinFaceW. The experimental results show that the proposed method has good performance in the accuracy of kinship verification.

Keywords： kinship verification; deep feature; atrous convolution; feature fusion

0? 引? 言

基于人臉圖像的親屬關系驗證是受遺傳學、心理學[1-5]啟發從而得到在計算機視覺上的一個研究方向，是指通過對給定的一對父母及子女的人臉圖像進行相似度比對，從而得到雙方是否具有某種親屬關系。親屬關系驗證技術在社會中有著廣泛的應用前景，如在安全領域可以通過分析父母與孩子的圖像，結合遍布各個區域的攝像頭用于尋找走失的兒童、打擊相關犯罪活動等。在社交領域，可以進行相冊分類、成長記錄、分析孩子行為等應用。

現有的親屬關系驗證方法主要分為三類：基于特征的方法、基于模型的方法，和基于深度學習的方法?；谔卣鞯姆椒ㄖ饕诘图壧卣魇褂靡恍┦止ぶ谱鞯奶卣鞑⑹褂脗鹘y的分類器來驗證親屬關系。基于模型的方法往往通過學習一個有效的模型來判斷主體之間是否存在親緣關系，所學的模型可以增大親屬對之間的距離并縮小非親屬對之間的距離?；谏疃葘W習的方法主要通過提取圖像的深度特征，并對深度特征進行分析從而得到親屬關系驗證結果。這三種方式所得到的準確率也是從低到高依次遞增。

目前，隨著深度學習的飛速發展和硬件計算的巨大進步，研究者們已經提出了許多基于卷積神經網絡（CNN）的圖像處理方法，并取得了令人鼓舞的表現。但是卷積神經網絡也存在一些問題，深層的卷積網絡感受野比較小，會忽視整體與部分之間的聯系，有著平移不變性，而空洞卷積能夠有效地避免這類問題。鑒于此，根據現有的深度學習網絡，本文提出一種基于空洞卷積神經網絡的親屬關系驗證方法，構建了殘差空洞卷積神經網絡，進一步增加了鑒別模型的魯棒性。針對親屬關系驗證任務展開了以下工作：

（1）結合殘差網絡[6]的思想，在增加RDCN網絡層數同時，既增加了網絡的性能，又防止出現梯度彌散和梯度爆炸情況。

（2）使用空洞卷積層組建神經網絡結構，能夠避免卷積網絡的感受野小和平移不變性等缺陷。

1? 相關工作

1.1? 親屬關系驗證

2010年，Fang等[7]首先提出了基于人臉圖像的親屬關系驗證。他們選擇使用了一些可被繼承的低級特征，包括顏色、人臉各個部位的距離和HoG特征，然后利用k-最鄰近法和支持向量機來進行親屬關系驗證。最近幾年，研究人員對親屬關系驗證任務有了進一步的研究并提出了許多新穎的方法[8-12]。如Lu等[13]提出了鄰域排斥度量學習（NRML）方法，通過測量樣本的度量，即在新的特征映射空間中，具有親屬關系的樣本的距離可以盡可能小，沒有親屬關系的樣本距離盡可能的大，通過樣本的距離來判斷是否具有親屬關系。Zhou等[14]提出了一種可擴展的相似度學習方法，該方法通過截斷梯度的方法學習了一個對角雙線性相似模型，該模型對于具有高維度的親屬關系數據集在擴展性和計算效率方面的有著巨大的優勢。Zhou等[11]提出一個自適應網絡（KinNet），KinNet將通過使用有限的標記數據，在一個有監督的度量學習框架中學習一個魯棒性的親屬度量。通過這個度量來判斷樣本之間是否具有親屬關系。在深度學習方面，Zhang等[10]設計了一個使用深度卷積神經網絡提取高級特征進行親屬關系驗證的框架，通過提取樣本的深度特征，來判斷是否具有親屬關系。而Nandy[15]使用深度孿生網絡來驗證親緣關系，孿生網絡通過參數共享的形式，利用表征卷積神經網絡的學習能力，有效提高識別準確率和識別速度。gzslib202204051123

1.2? 殘差網絡

隨著深度學習方法的普及，人們使用的神經網絡的寬度和深度在不斷地加深，通過這種方式能夠有效地提高模型的性能，同時也帶了一些其他問題，僅僅通過簡單地增加深度，會出現網絡退化，產生過擬合現象，導致精度降低，同時出現梯度彌散和梯度爆炸[16，17]。為了解決這種情況，He等[6]提出了殘差的概念，殘差網絡由若干個殘差單元構成，殘差單元可以以跳躍連接的形式實現。即把殘差單元的輸入直接與輸出加在一起，解決了過擬合等問題。

1.3? 空洞卷積

卷積網絡最初是為分類手寫數字[18]而開發的，到后來的應用越來越廣泛，使用卷積網絡的過程通常是用卷積或池化操作來得到非常小的高緯度特征圖，再利用這些高緯度特征圖去解決相關問題。但是這樣的操作會丟失大量的細節信息，如一張圖像上，同時存在人臉的各種特征，如嘴巴在眼睛上方，耳朵朝向同一個方向，圖像是由多張人臉拼湊而成的，此時僅通過卷積操作，會被認為是一個人臉，而不是多張人臉。這是因為卷積和池化操作會導致感受野非常小，無法感知到整張圖像。此時，使用空洞卷積[19]，代替常規的卷積操作，能夠有效地增加卷積核的感受野，對人臉信息更加敏感，防止了誤認等情況的出現。

2? 殘差空洞卷積神經網絡模型

本文設計了一種基于空洞卷積和殘差思想的殘差空洞卷積神經網絡（RDCN）模型用于親屬關系驗證，該網絡使用空洞卷積代替常規卷積，并組成了殘差結構。先利用網絡提取具有鑒別力的深度特征，再使用鑒別器鑒別輸入的樣本對是否具有親屬關系。整體網絡結構如圖1所示。

2.1? 殘差空洞卷積模型

具有親屬關系的父母和子女在面部特征上往往表現出較強的相似性。在使用人臉圖像進行親屬關系驗證時，若使用普通卷積可能會導致感受野小，容易出現誤判等情況，于是本文使用空間卷積，增加感受野，如圖2所示，2（a）為普通卷積，右側有空洞卷積，可以看出，在空洞卷積擴張率設置為1的情況下，感受野的范圍便增加了一倍。

因此，本文使用空洞卷積代替普通卷積，并借助殘差網絡結構的思想，構建了3個殘差單元。殘差單元如圖2（b）所示，每個殘差單元由2個3×3的空洞卷積構成，每個卷積之后都增加了ReLU作為激活函數，并使用Batch Normalization層對數據進行歸一化處理。

2.2? 親屬關系鑒別方法

在親屬關系鑒別中，首先找出在數據集中隱藏的FamilyID信息。具體來說，具有親屬關系的一對人臉圖像分別標記相同的Family ID，而不具備親屬關系的一對人臉圖像分別標記不同的Family ID，這些Family ID可以作為輔助信息用于網絡模型的訓練。

之后使用RDCN進行親屬關系驗證。如圖3所示，使用兩個共享權值的分支分別提取輸入的人臉圖像的特征，得到父母和孩子人臉圖像的特征圖?；谏弦徊襟E得到的特征圖進行兩類處理，第一類處理是利用特征圖結合Family ID進行輔助訓練;另一類將提取的特征通過組合運算和拼接的方式進行融合。將融合后的特征輸入到一個由全連接層構成的鑒別器中，量化兩個圖像，得到相似度評分，通過設置閾值t，可以得到最終的預測結果，即有親屬關系或者無親屬關系（即1或0），最終預測值定義如式（1）所示。

RDCN網絡的具體結構如表1所示，Fc1和Fc2作為鑒別器。在Fc1后增加了Dropout[20]層，用于消除網絡可能會產生的擬合現象。

2.3? 損失函數

本文使用了Triplet loss和Binary Cross Entropy（BCE） loss損失函數用于訓練網絡。

Triplet損失函數結合FamilyID，目的是增強類內（有親屬關系）的緊湊性和類間（無親屬關系）的可分離性。Triplet損失函數定義為：

x是當前樣本特征，y是同類樣本特征，z是不同類樣本特征，其中d（·）表示兩個樣本之間歐式距離。α是預先設置好的邊界值。

BCE loss旨在優化結合真實親屬標簽的網絡。BCE損失函數定義為：

其中，q是目標標簽，取值為0或1。取值為1表示圖像之間有親屬關系，取值為0表示圖像之間沒有親屬關系。p為Sigmoid激活函數得到的預測值。

網絡的損失函數定義為這兩個損失函數之和，如式（4）所示：

3? 實驗與結果分析

3.1? 數據集與數據預處理

本文使用了公開的KinFaceW[21]數據集進行實驗驗證，該數據集由KinFaceW-I和KinFaceW-II兩個子集構成。數據集中的圖像來源于互聯網，包括一些公眾人物及其子女的照片。人臉圖像是在不受約束的環境下采集的，因此圖像受光線等參數的影響。此外，人臉圖像均已按照眼睛的坐標進行對齊并做了裁剪處理，圖像大小均為64×64，KinFaceW-II數據集中部分數據及其親屬關系如圖4所示。

KinFaceW-I數據集包含4種不同親屬關系的圖像：父親和兒子（FS），父親和女兒（FD），母親和女兒（MD），母親和兒子（MS）。這四種關系的圖像對數分別為134、156、127、116，共計1 066張圖像。該數據集中每對人臉圖像均采集于不同的照片，因此圖像的光照、清晰程度有些許差異。

KinFaceW-II數據集也同樣包含父親與兒子（FS）、父親與女兒（FD）、母親與兒子（MD）、母親與女兒（MS）4種不同親屬關系的圖像數據集由，每種親屬關系包含250對圖像，數據集中總共有2 000張圖像。該數據集中每對人臉圖像均采集于同一張照片，具有更好的可比性。

3.2? 訓練與參數設置gzslib202204051124

本文的訓練參數設置如下：RDCN模型的優化器選用Adam，學習率設置為0.000 25，權值衰減設置為0.005，損失函數使用Tripletloss+Kin loss。使用交叉驗證方法，將數據集盡可能等分成5折，其中4折用來訓練，1折用來測試。每折由相同數量的正樣本和負樣本構成，正樣本是一對有親屬關系的父母和孩子，負樣本是由在本折中的不具有親屬關系的樣本隨機組合構成。進行5次實驗，每次實驗迭代次數為200次，閾值 設置為0.5。每次實驗都會得出相應的準確率，最后將5次實驗結果取平均值作為最終的實驗結果。

本文為了驗證算法的有效性，將本文提出的算法與一些最先進的方法GA[21]，DMML[22]，MPDFL[23]，MPDFL[23]，IML[22]等算法進行了比較，在KinFaceW-I數據集的精度比較如表2所示，在KinFaceW-II數據集的精度比較如表3所示。分析表2和表3可得出分析結果，在FS、FD、MD和MS四個子數據集上，本文所提出方法的準確性得到了顯著提高。GA方法的準確度與本文的方法最接近。可以看出本文所提出的方法在KinFaceW-I數據集中的平均準確率達到80.8%，與表現最好的GA方法相比，至少提高了6.3%=（80.8%-74.5%）。同時在KinFaceW II數據集上的平均準確率達到88.2%，與GA方法相比，提高了6.0%=（88.2%-82.2%）。通過實驗比較，可以發現，空洞卷積能夠有效地提高親屬關系識別的準確率。

4? 結? 論

本文提出了一種親屬關系驗證方法：殘差空洞卷積神經網絡（RDCN），該網絡使用了空洞卷積替代卷積網絡，并結合殘差的思想用于特征提取?；诖嗽O計，獲得更具辨別力的深層特征，將其用于親屬關系驗證獲得更優異的結果。本文的方法在公共親屬關系數據集KinFaceW上進行了測試。實驗結果表明，親屬關系驗證的準確性得到了顯著提高。在未來，我們的網絡將進一步優化，并將考慮不同的因素，如照明、表情、年齡、性別、屏蔽，以提升親屬關系驗證的精度。

參考文獻：

[1] MARTELLO M F D，MALONEY L T. Where are kin recognition signals in the human face？ [J/OL].Journal of Vision，2006，6（12）：1356-1366.[2021-06-22].http：//journalofvision.org/6/12/2/.

[2] MARTELLO M F D，MALONEY L T. Lateralization of kin recognition signals in the human face [J/OL].Journal of vision，2010，10（8）：1-10.[2021-06-22].http：//www.journalofvision.org/content/10/8/9.

[3] DEBRUINE L M，SMITH F G，Jones B C，et al. Kin recognition signals in adult faces [J].Vision Research，2009，49（1）：38-43.

[4] MALONEY L T，MARTELLO M F D. Kin recognition and the perceived facial similarity of children [J/OL].Journal of Vision，2006，6（10）：1047-1056.[2021-06-22].http：//journalofvision.org/6/10/4/.

[5] ALVERGNE A，PERREAU F，MAZUR A，et al.Identification of visual paternity cues in humans [J/OL].Biology letters，2014，10（4）：1-4.[2021-06-22].https：//doi.org/10.1098/rsbl.2014.0063.

[6] HE K M，ZHANG Y，REN S Q，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：770-778.

[7] FANG R，TANG K D，SNAVELY N，et al. Towards computational models of kinship verification [C]//2010 IEEE International Conference on Image Processing.Hong Kong：IEEE，2010：1577-1580.

[8] CHEN X P，ZHU X K，ZHENG S S，et al. Semi-Coupled Synthesis and Analysis Dictionary Pair Learning for Kinship Verification [J].IEEE Transactions on Circuits and Systems for Video Technology，2021，31（5）：1939-1952.

[9] LU J W，LIONG V E，ZHOU X Z，et al. Learning Compact Binary Face Descriptor for Face Recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（10）：2041-2056.gzslib202204051124

[10] ZHANG K H，HUANG Y Z，SONG C F，et al. Kinship Verification with Deep Convolutional Neural Networks [C]//Proceedings of the British Machine Vision Conference（BMVC）Swansea，Swansea：BMVA Press，2015：148.1-148.12.

[11] ZHOU X Z，JIN K，XU M，et al. Learning Deep Compact Similarity Metric for Kinship Verification from Face Images [J].Information Fusion，2019，48：84-94.

[12] YU J，LI M Y，HAO X L，et al. Deep Fusion Siamese Network for Automatic Kinship Verification [J/OL].arXiv：2006.00143 [cs.CV].[2021.06-22].https：//arxiv.org/abs/2006.00143v2.

[13] LU J W，ZHOU X Z，TAN Y P，et al. Neighborhood Repulsed Metric Learning for Kinship Verification [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（2）：331-345.

[14] ZHOU X Z，YAN H B，SHANG Y Y. Kinship verification from facial images by scalable similarity fusion [J].Neurocomputing，2016，197：136-142.

[15] NANDY A，MONDAL S S. Kinship Verification using Deep Siamese Convolutional Neural Network [C]//International Conference on Automatic Face and Gesture Recognition.Lille：[s.n.]，2019：1-5.

[16] BENGIO Y，SIMARD P，FRASCONI P. Learning long-term dependencies with gradient descent is difficult [J].IEEE Transactions on Neural Networks，1994，5（2）：157-166.

[17] GLOROT X， BENGIO Y. Understanding the difficulty of training deep feedforward neural networks [J].Journal of Machine Learning Research，2010，9：249-256.

[18] LECUN Y，BOSER B E，DENKER J S，et al. Backpropagation applied to handwritten zip code recognition [J].Neural computation，1989，1（4）：541-551.

[19] YU F，KOLTUN V，FUNKHOUSER T. Dilated Residual Networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Honolulu：IEEE，2017：636-644.

[20] HINTON G E，SRIVASTAVA N，KRIZHEVSKY A，et al.Improving neural networks by preventing co-adaptation of feature detectors [J/OL].arXiv：1207.0580 [cs.NE].[2021-06-22].https：//arxiv.org/abs/1207.0580.

[21] DEHGHAN A，ORTIZ E G，VILLEGAS R，et al. Who Do I Look Like？ Determining Parent-Offspring Resemblance via Gated Autoencoders [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Columbus：IEEE，2014：1757-1764.

[22] YAN H B，LU J W，DENG W H，et al. Discriminative Multimetric Learning for Kinship Verification [J].IEEE Transactions on Information Forensics and Security，2014，9（7）：1169-1178.

[23] YAN H B，LU J W，ZHOU X Z. Prototype-Based Discriminative Feature Learning for Kinship Verification [J].IEEE Transactions on Cybernetics，2015，45（11）：2535-2545.