基于Spark平臺的人臉圖像檢索系統

陳新荃,陳曉東,蔣林華

(1.中國科學院上海高等研究院,上海 201210; 2.中國科學院大學,北京 100049; 3.上海理工大學,上海 200093)

0 概述

網絡帶寬的增長和移動互聯網的興起促進了大數據時代的到來。越來越多基于圖片和視頻內容的應用得到普及,如Facebook、Instagram等。這類應用的發展促進了基于目標的圖像檢索技術[1]的發展與應用。該技術在人臉檢索領域有豐富的應用場景,如公安刑偵人臉識別、失蹤人口調查、相似明星臉搜索等。隨著圖像數據的爆炸式增長,現有人臉圖像檢索技術在處理海量圖像數據的過程中,在實時性、擴展性、并發性和準確性等方面面臨嚴峻的考驗。

Spark[2]是一個開源的分布式大數據處理平臺,算法框架基于MapReduce[3]算法實現分布式計算。不同于Hadoop[4]大數據處理系統,Spark基于內存計算,同時還提供多種數據處理接口和有向循環圖(Directed Acyclic Graph,DAG)調度策略,在復雜計算場景下編碼更方便,計算效率更高。

隨著圖像應用的迅速發展,人臉圖像數據爆炸增長,因此,需要一種能夠處理海量數據且具有良好可擴展性、并發性和準確率的人臉圖像檢索方案。本文以此為目標,提出基于Spark分布式計算平臺的人臉圖像檢索系統。

1 相關研究

隨著人臉圖像檢索應用的不斷發展,許多研究人員針對圖像檢索技術進行了研究。文獻[5-6]考慮了人臉在二維圖像中的空間分布特點,分別通過圖像分割法和特征權重法抽取人臉中的顯著視覺信息,目的是降低視覺特征規模。文獻[7]指出傳統視覺詞袋模型聚類過程緩慢的問題,考慮了局部特征之間的空間信息,運用二進制哈希與空間金字塔生成視覺詞典。文獻[8]采用基于簽名的方法替代傳統的聚類方式,利用權重組合機制計算相似圖像,提高了視覺詞典生成速度。文獻[9]分析圖像高維視覺特征的內存占用情況,提出將尺度不變特征變換(Scale-Invariant Feature Transform,SIFT)特征轉換成低維漢明特征的方法,壓縮視覺詞袋模型的倒排索引。文獻[10]提出自動檢測人類語義屬性的方法,構建基于語義的稀疏編碼倒排索引,提高了人臉檢索的離線和在線處理性能。

上述研究分別從視覺特征提取、詞典生成、索引構建等方面提高圖像檢索的效率和準確率,但都沒有考慮到處理海量圖像數據時的并行化問題。為解決該問題,文獻[11]提出異構計算框架CHCF處理海量圖像檢索,利用GPU和分布式集群提高并行處理能力。文獻[12-14]采用開源的Hadoop分布式文件系統(Hadoop Distributed File System,HDFS)計算平臺實現圖像檢索方案,將傳統視覺詞袋模型MapReduce化,從而提高并行程度,但圖像索引直接存放于HDFS文件系統中,導致檢索時產生硬盤讀取,影響檢索效率。文獻[15]在Hadoop平臺的基礎上采用Hbase分布式數據庫用作索引存儲,解決了HDFS存取的時效性問題,但檢索時需要對目標圖像和所有圖像計算相似度,增加了不必要的計算過程。

基于上述研究,本文考慮人臉圖像的特點及檢索系統的并行性能,提出基于Spark分布式計算平臺的人臉圖像檢索技術。通過區塊劃分減少特征規模,結合SURF局部特征和HOG區塊特征設計新的相似度算法以提高檢索準確率,最后在Spark平臺上實現人臉圖像檢索系統,以提高系統可擴展性和并行性。

2 系統架構與模型

2.1 系統架構

本文提出的分布式人臉圖像檢索平臺系統架構如圖1所示,其中,用戶通過前端模塊與檢索系統進行交互,前端模塊負責接收用戶的人臉檢索請求,轉發給檢索系統處理,并接收處理結果返回給用戶。本文采用Spark并行計算集群構建人臉檢索系統,其主要承擔2個任務:離線索引構建和在線人臉檢索,兩者均基于OpenCV[16]計算機視覺庫進行圖像處理。離線索引構建過程中的海量圖像數據采用HDFS存儲。HDFS是具備高度容錯性的分布式文件系統,適合大規模數據集的訪問。構建過程中生成的視覺詞匯表和倒排索引存儲于HBase中,HBase[17]是Apache基金會開源的非結構化數據庫,基于HDFS分布式文件系統實現,具備高可靠性、面向列式存儲的特點,能夠實現索引數據的高效存取。

圖1 分布式人臉圖像檢索平臺系統架構

2.2 離線索引構建

2.2.1 構建流程

在基于視覺詞袋模型的搜索引擎技術中,倒排索引構建過程是離線訓練的主要內容。本文針對人臉圖像空間分布特點,提出局部區塊劃分方法構建倒排索引,具體過程如圖2所示。

圖2 離線索引構建過程

傳統圖像檢索系統對整幅圖片進行局部視覺特征提取,未考慮人臉在二維圖像中的空間分布特點,在相似人臉檢索中并不適用。本文針對人臉場景,首先利用Haar[18]算法檢測圖像中的人臉,去除大部分和人臉無關的背景信息并對齊,再檢測人臉上的五官局部區塊。由于耳朵在人臉圖像中經常受到拍攝角度和發型的影響,容易產生不穩定的視覺特征噪點,因此本文劃分出左眼、右眼、鼻子、左嘴角、右嘴角5個局部區塊,這些區塊包含了人臉圖像的顯著特征信息,且劃分后的5個區塊各自特征空間相互獨立,容易進行并行處理操作。

在索引構建過程中,本文結合MapReduce編程模型,首先從HDFS文件系統讀取人臉圖像,將圖像數據分片后分發到不同的Spark執行器中,再利用Spark框架的map轉換算子完成人臉圖像處理任務,包括人臉檢測、局部區域劃分及視覺特征提取。因此,每個執行器只負責處理一部分圖像數據,實現多個執行器的并行處理操作。

2.2.2 視覺特征計算

執行人臉視覺特征提取任務時,本文共提取2種視覺特征,分別是SURF局部特征和HOG區塊特征。加速穩健特征(Speeded Up Robust Features,SURF)特征[19]屬于局部視覺特征,具有良好的旋轉不變性和尺度不變性。文獻[20]指出,在去除和人臉無關的背景噪聲后,SURF特征能夠應用于人臉識別領域。本文通過區塊劃分方法約束SURF特征的提取范圍,去除了無關噪點。考慮到從海量圖像中提取的視覺特征規模巨大,為縮減倒排索引規模,本文基于視覺詞袋模型,利用SURF特征生成視覺單詞,通過視覺單詞表示人臉圖像,建立倒排索引,從而降低海量人臉圖像的索引規模。但SURF特征的提取僅基于人臉圖像中關鍵點周圍的信息,其視覺特征丟失了關鍵點以外的圖像信息,缺乏對人臉圖像空間結構信息的整體描述。因此,本文針對人臉圖像局部區塊提取方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征[21]。該特征將圖像均勻地分為多個圖像單元,通過統計每個單元的梯度直方圖作為視覺特征,屬于全局視覺特征。HOG特征能夠對人臉的光照、旋轉和部分遮擋保持良好的不變性,描述出人臉圖像的局部區塊特點,彌補SURF特征所缺少的空間結構視覺信息。本文中每張人臉圖像5個局部區塊對應5個HOG特征,而所有HOG特征組成的區塊特征表通過HBase進行存儲,在人臉檢索過程中結合SURF特征進行候選圖像的相似得分計算。

2.2.3 索引構建

本文通過K-Means算法對SURF特征向量進行聚類,生成具有代表性的特征,即視覺單詞。K-Means算法時間復雜度為O(nkt),其中,n為全部視覺特征數量,t為迭代次數,k為視覺詞匯數。如果將整張人臉圖像的SURF特征放在同一空間進行聚類,會導致非常高的時間復雜度,并造成不同人臉部位的特征向量被歸于同一類的情況。因此,本文基于人臉區域劃分方法劃分人臉圖像得到5種局部區塊,并通過Spark的reduceByKey算子重新分配特征向量描述符,將屬于同一人臉區域的SURF特征分配到同一集合,獲得5個獨立的視覺特征子空間,聚類操作在每個特征子空間內分別執行,最后生成5張視覺特征詞匯表,以此降低n和k的值,從而提高整體聚類速度,解決錯分類問題。

本文根據視覺特征詞匯表對每個特征子空間中的特征向量進行歸類和統計,生成倒排索引表。倒排索引表在HBase分布式數據庫中以Key-Value的形式存儲。其中Key的形式為<子區域ID_視覺單詞ID>,Value包含2個部分:一部分是特征單詞的逆文檔頻率值idf;另一部分是該特征單詞在每個人臉圖像中的詞頻權重集合。特征單詞t的逆文檔頻率計算公式如式(1)所示。

(1)

其中:N是人臉庫中所有人臉的總數;dft是具有該特征單詞的人臉圖像數量。式(1)對于罕見的特征單詞權重較高,而普遍在所有人臉圖像中出現的特征單詞則權重較低。

特征單詞t在人臉圖像d中的詞頻權重可描述為:

(2)

其中,tft,d表示視覺單詞t在人臉圖像d中出現的次數,出現次數越多,權重越大。如果某一特征單詞在圖像中出現30次,那么其所攜帶視覺信息重要性不應該是只出現1次單詞的30倍,為避免詞頻權重隨著次數的成倍增減而驟增或者驟減,采用log函數削減其權重值數量級。

2.3 在線人臉檢索

2.3.1 檢索流程

人臉圖像檢索屬于在線服務,用戶最主要關注的是檢索性能和結果質量,本文人臉檢索具體過程如圖3所示。

圖3 人臉圖像檢索過程

檢索過程中首先對目標人臉圖像進行局部區塊檢測,分別提取出5個區塊的SURF視覺特征。通過視覺特征詞匯表對SURF特征向量進行分類,得到目標視覺單詞集合。為提高視覺特征分類效率,避免線性匹配分類,本文系統在啟動時已從HBase數據庫中載入了視覺特征詞匯表,以Spark RDD(Resilient Distributed Dataset)的形式存儲于集群的內存中。在執行特征分類時,首先利用Spark的broadcast算子將目標人臉區塊的所有SURF特征向量廣播分發到不同worker節點上,接著采用flatMap算子在多個執行器內并行計算特征向量和視覺單詞之間的距離,然后通過reduceByKeyLocally算子過濾出每個RDD數據分片中與特征向量距離最短的特征單詞,并合并多個分區的過濾結果,以HashMap形式的數據結構返回每個特征向量對應的目標視覺單詞ID,從而以并行計算的方式完成SURF特征向量的歸類。最后根據目標視覺單詞集合從HBase中的倒排索引表查找出候選人臉集合,再根據候選人臉集合從HOG區塊特征表中查找出對應的HOG特征,通過結合SURF特征和HOG特征的相似度算法計算候選圖像相似得分,排序后得到最終的相似人臉檢索結果。

2.3.2 相似度算法

為提高人臉檢索的準確率,本文在計算候選圖像相似度時將SURF特征和HOG特征進行結合,提出基于特征詞頻維度和區塊匹配維度的相似度算法。該算法考慮了SURF特征詞匯的頻率,計算公式如式(3)和式(4)所示。

(3)

wt,q=wft,q·idf(t)

(4)

其中:S(q,d)表示目標臉q和候選臉d在特征詞頻維度上的相似度;D是目標臉q中的所有特征單詞向量;wft,d是特征單詞t在相似臉d中的詞頻權重,在倒排索引構建階段統計得到;wt,q表示特征單詞t在目標臉q中的詞頻權重;wft,d和wt,q均采用歐式歸一化方式。

基于區塊匹配維度的相似度算法考慮了人臉區塊HOG特征的相似程度,計算公式如式(5)所示。

(5)

其中:P(q,d)表示目標臉q與候選臉d在區塊匹配維度上的相似度;F是面部的所有局部區塊集合,本文中即左眼、右眼、鼻子、左嘴角、右嘴角5個區塊;Hp,q表示目標臉q在局部區塊p上的HOG特征直方圖,本文采用巴氏距離(Bhattacharyya,BC)[22]算法計算目標臉和相似臉在區塊p上的HOG特征直方圖相似度;N是區塊總數,即N=5。對所有對應區塊的巴氏距離求平均,得到基于區塊匹配維度的相似度。

本文采用權重系數λ將SURF特征詞頻算法和HOG特征區塊匹配算法結合,得到最終的相似度得分算法,計算公式如式(6)所示。

score(q,d)=λ·S(q,d)+(1-λ)·P(q,d)

(6)

其中:權重系數λ作用是平衡SURF特征詞頻和HOG區塊特征對相似得分的貢獻程度,λ∈[0,1]。λ值越大,詞頻權重相似度越重要,反之則區塊匹配相似度越重要。通過離線訓練獲得合適的λ取值,以此對候選人臉計算相似度得分,再根據得分排序,獲得檢索結果。

3 實驗與結果分析

3.1 實驗環境

本文Spark人臉檢索集群部署在5臺物理服務器上,包括1個Master節點和4個Worker節點,每臺物理機配置為24核2.3 GHz處理器、32 GB內存。本文通過網絡爬蟲從互聯網上獲取80萬張人臉圖像作為基礎人臉庫,并從LFW[23](Labeled Face in Wild)數據集中抽取200張(20個人,每人10張)有標注人臉圖像作為驗證集加入基礎人臉庫中。為面向不同的人臉庫規模評估系統的檢索性能和準確率,本文分別構造4個不同規模的人臉庫進行實驗,分別有1×104張、4×104張、2×105張、8×105張人臉圖像。

3.2 結果分析

3.2.1 視覺特征數

本文的局部區塊劃分方法記為Block,對整張人臉進行處理的無區塊劃分方法記為Non-Block。如圖4所示,在提取SURF視覺特征階段,同樣的人臉圖像規模下,區塊劃分方法提取的視覺特征數不到無劃分方法的一半,表明該方法能夠通過減少SURF特征數降低倒排索引規模,提高索引構建效率和檢索效率。

圖4 SURF特征數對比

3.2.2 系統性能

Hadoop具有和Spark類似的MapReduce分布式計算思想,為進行性能比較,本文在相同的物理配置下搭建了Hadoop分布式集群,包括1個Master節點和4個Slave節點,并采用Hadoop自帶的MapReduce接口實現了同樣的倒排索引構建流程和人臉檢索流程。如表1和表2所示,本文Spark集群運行索引構建過程比Hadoop集群更高效,且圖像規模越大差距越顯著。運行人臉檢索流程也表現出相同的趨勢,并發請求數越大,Spark集群性能優勢越明顯。上述結果表明本文系統能夠發揮Spark框架在內存計算和DAG調度機制等方面的優勢,提供更快的海量人臉圖像處理性能。

表1 Spark對Hadoop索引構建加速比

表2 Spark對Hadoop人臉檢索加速比

本文以加速比作為系統在海量數據環境下擴展能力的衡量指標,以數據分片數代表運行的并行程度。如圖5所示,以數據拆分為8個分片時的運行時間作為加速比基準,隨著并行度提高,本文系統進行離線索引構建的效率越高,加速比越大。80萬人臉數據采用64個數據分片時加速比達到了6.4倍,體現出良好的可擴展性。

圖5 離線索引構建加速比

在線人臉檢索的運行加速比如圖6所示,以請求拆分為8個分片時的運行時間作為加速比基準,檢索請求為100并發時,數據分片數增加沒有顯著提高加速比,是由于Spark集群需要耗費一定的資源進行節點間數據傳輸及網絡通信。隨著并發請求量的擴大,傳輸和通信所需時間占比越小,數據并行處理效果越顯著,當請求達到6 400、數據分片為64時,檢索加速比達到6.8倍,體現出良好的并發性。

圖6 在線并發檢索請求加速比

3.2.3 檢索準確率

本文基于1×104張人臉庫對相似度權重系數λ進行實驗,采用mAP(mean Average Precision)作為系統的人臉檢索指標,該指標基于多次檢索結果中的準確率和召回率來計算平均檢索精度。實驗結果如圖7所示,λ=0,即只采用HOG區塊匹配相似算法,λ=1,即只采用SURF視覺詞頻相似算法,兩者準確率均低于0.59,而當λ處于0到1之間,即2種相似算法結合,各占一定比例的權重,HOG特征補充了SURF特征丟失的部分人臉區塊相似信息,在λ=0.2時mAP值達到最大。

圖7 不同權重系數下的mAP值對比

本文相似得分算法記為SP-Sim,基于SURF特征詞頻維度的相似度算法記為S-Sim。實驗結果如圖8所示。對比Block+S-Sim和Non-Block+S-Sim算法,前者采用區塊劃分方法,在不同人臉庫規模下準確率比后者平均提高了30%左右。對比Block+SP-Sim和Block+S-Sim算法,前者采用基于視覺詞頻和區塊匹配結合的相似算法,準確率平均達到了后者的2.7倍左右。對比Block+SP-Sim和Non-Block+S-Sim算法,前者為本文綜合的改進算法,后者為視覺詞袋原型算法,本文算法準確率平均比后者高了2.4倍左右,表明本文提出的區塊劃分方法和相似度算法能夠有效提升檢索準確率。

圖8 不同檢索算法的mAP值對比

4 結束語

本文提出基于Spark分布式計算平臺的人臉圖像檢索系統。首先針對人臉圖像空間分布特點設計局部區塊劃分方法,縮小特征規模,增加流程并行度;然后提出基于SURF特征詞頻維度和HOG特征區塊匹配維度的相似度算法,提高檢索準確率;最后基于Spark框架實現人臉檢索系統處理海量數據和檢索請求。實驗結果表明,本文系統較基于Hadoop的檢索系統運行效率更高,并具有良好的可擴展性和并發性。由于本文只針對靜態人臉圖像檢索進行研究,未結合視頻圖像中的人臉數據進行處理,因此下一階段將對此進行研究,實現對視頻圖像數據的高效檢索。

[1] 趙永威,李弼程,彭天強,等.一種基于隨機化視覺詞典組和查詢擴展的目標檢索方法[J].電子與信息學報,2012,34(5):1154-1161.

[2] Apache SparkTM-Lightning-fast Cluster Computing[EB/OL].[2016-12-16].http://spark.apache.org/.

[3] DEAN J,GHEMAWAT S.MapReduce:Simplified Data Processing on Large Clusters[J].Communications of the ACM,2008,51(1):107-113.

[4] SHVACHKO K,KUANG H,RADIA S,et al.The Hadoop Distributed File System[C]//Proceedings of the 26th Symposium on Mass Storage Systems and Technologies.Washington D.C.,USA:IEEE Press,2010:1-10.

[5] KAMENCAY P,BREZNAN M,JELSOVKA D,et al.Improved Face Recognition Method Based on Segmentation Algorithm Using SIFT-PCA[C]//Proceedings of the 35th International Conference on Telecommunications and Signal Processing.Washington D.C.,USA:IEEE Press,2012:758-762.

[6] PARUA S,DAS A,MAZUMDAR D,et al.Deter-mination of Feature Hierarchy from Gabor and SIFT Features for Face Recognition[C]//Proceedings of the 2nd International Conference on Emerging Applications of Information Technology.Washington D.C.,USA:IEEE Press,2011:257-260.

[7] 彭天強,栗 芳.基于二進制哈希與空間金字塔的視覺詞袋模型生成方法[J].計算機工程,2016,42(12):164-170.

[8] dos SANTOS J M,de MOURA E S,da SILVA A S,et al.A Signature-based Bag of Visual Words Method for Image Indexing and Search[J].Pattern Recognition Letters,2015,65(C):1-7.

[9] LU Guoyu,HU Yingjie,SEBE N.Weighted SIFT Feature Learning with Hamming Distance for Face Recognition[C]//Proceedings of 2014 International Conference on Computer Vision Theory and Applications.Washington D.C.,USA:IEEE Press,2014:691-699.

[10] CHEN B C,CHEN Y Y,KUO Y H,et al.Scalable Face Image Retrieval Using Attribute-enhanced Sparse Code-words[J].IEEE Transactions on Multimedia,2013,15(5):1163-1173.

[11] WANG Hanli,XIAO Bo,WANG Lei,et al.CHCF:A Cloud-based Heterogeneous Computing Framework for Large-scale Image Retrieval[J].IEEE Transactions on Circuits and Systems for Video Technology,2015,25(12):1900-1913.

[12] 朱為盛,王 鵬.基于 Hadoop 云計算平臺的大規模圖像檢索方案[J].計算機應用,2014,34(3):695-699.

[13] GRACE R K,MANIMEGALAI R,KUMAR S S.Medical Image Retrieval System in Grid Using Hadoop Framework[C]//Proceedings of 2014 International Conference on Computational Science and Computa-tional Intelligence.Washington D.C.,USA:IEEE Press,2014:144-148.

[14] RAJU U S N,GEORGE S,PRANEETH V S,et al.Content Based Image Retrieval on Hadoop Framework[C]//Proceedings of 2015 IEEE International Congress on Big Data.Washington D.C.,USA:IEEE Press,2015:661-664.

[15] CHENG Wenchen,QIAN Jiang,ZHAO Zhicheng,et al.Large Scale Cross-media Data Retrieval Based on Hadoop[C]//Proceedings of the 11th International Con-ference on Heterogeneous Networking for Quality,Reliabi-lity,Security and Robustness.Washington D.C.,USA:IEEE Press,2015:133-138.

[16] BRADSKI G.The Opencv Library[J].Dr. Dobb’s Journal,2000,25(11):120-126.

[17] Apache HBaseTM[EB/OL].[2016-12-16].http://hbase.apache.org/.

[18] LIENHART R,MAYDT J.An Extended Set of Haar-like Features for Rapid Object Detection[C]//Proceedings of 2002 International Conference on Image Processing.Washington D.C.,USA:IEEE Press,2002:900-903.

[19] BAY H,TUYTELAARS T,van GOOL L.Surf:Speeded up Robust Features[C]//Proceedings of European Con-ference on Computer Vision.Berlin,Germany:Springer,2006:404-417.

[20] DREUW P,STEINGRUBE P,HANSELMANN H,et al.SURF-Face:Face Recognition Under Viewpoint Con-sistency Constraints[C]//Proceedings of British Machine Vision Conference.London,UK:[s.n.],2009:1-11.

[21] DALAL N,TRIGGS B.Histograms of Oriented Gradients for Human Detection[C]//Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2005:886-893.

[22] CHOI E,LEE C.Feature Extraction Based on the Bhattacharyya Distance[J].Pattern Recognition,2003,36(8):1703-1709.

[23] HUANG G B,RAMESH M,BERG T,et al.Labeled Faces in the Wild:A Database for Studying Face Recognition in Unconstrained Environments:07-49[R].Amherst,USA:University of Massachusetts,Amherst,2007.