億級人像比對系統架構設計及優化

摘 要：為滿足公安機關大規模人像數據庫的比對應用需求，提高人像比對系統應用規模和可用性，采用結構化開發方法，從應用層、數據庫層、主機層、存儲層等方面對人像比對系統進行模塊化架構設計和優化。系統能夠支撐15億以上人像比對庫容量，實現了全國范圍的人像自動比對和糾錯，提高了身份辨認速度。系統平均建模速度、平均比對速度和查重速度分別提升38%、41%和55%。優化后的人像比對系統在保證識別率高的同時能夠快速處理海量數據，滿足公安機關應用需求，有效解決了戶口登記管理中的“錯、重、假”問題。

關鍵詞：人像比對系統;架構設計;系統優化;高可用系統

DOI：10. 11907/rjdk. 182884 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP319文獻標識碼：A 文章編號：1672-7800（2019）007-0128-05

Design and Optimization of Billion Level Face Recognition System Architecture

YU Ming-hua

（ISvision Technologies Co.，Ltd.， Shanghai 201203， China）

Abstract： In order to meet the needs of the public security organs for large-scale portrait database application， and to improve the application scale and scene and high availability of the face recognition system， we use the structured development methodology， modular architecture designs and optimize the face recognition system from application layer， database layer， host layer， and storage layer， etc. The system can support more than 1.5 billion portrait matching library capacity， which realizes nationwide automatic comparison and correction of portraits， speeds up the identification process of relevant personnel in relevant departments. The mold speed， average comparison speed， and check speed were increased by 38%， 41%， and 55%， respectively. After optimization， the face recognition system can quickly process massive data while ensuring high recognition rate， meet the application requirements of public security agency， and effectively solve the problem of wrong， repeated and fake information in the registration management of household registration.

Key Words： face recognition system; architecture design; system optimization; system with high availability

作者簡介：余銘華（1985-），男，上海銀晨智能識別科技有限公司工程師，研究方向為應用軟件、信息系統項目管理。

0 引言

人像比對系統基于人臉識別技術，以公安機關信息化建設過程中積累的各類人像數據為基礎，實現人員身份信息的確認、核實與認證，在戶籍管理、出入境管理、重點人口管理等方面應用廣泛。隨著人像比對系統應用場景范圍和規模的擴大，人像比對系統累積的照片庫容量成直線上升趨勢，從最開始的10萬級增加到100萬級、1 000萬級，甚至億級照片庫容量成為常態。在這種情況下，人像比對系統面臨比對結果返回時間長、系統查詢響應速度慢、接口服務性能下降、數據更新慢等問題。

系統架構設計和性能優化范疇涉及廣泛，涵蓋計算機硬件、傳輸網絡、操作系統、數據庫、應用軟件等諸多方面。針對提高軟件系統高可用性問題研究較多，并取得了相應成果。林曉東等[1]對高可用系統結構進行了研究與實現;Torkamani等[2]介紹使用體系結構模式和策略實現高可用性的方法;文獻[3]全面探討了Web系統性能的具體優化方法與策略;文獻[4]介紹了多種關于Nginx配置文件的技巧。

軟件架構一方面可在高層次上對編程進行規定，另一方面也可把編程上的經驗應用到架構優化上[5]。本文基于前期人像比對系統設計和實際運行經驗，在對高可用系統結構進行分析后，針對實際項目中人像比對系統面臨的問題，采用結構化軟件開發方法，從應用層、數據庫層、主機層、存儲層等多方面對人像比對系統進行架構設計，實現具備高可用性的人像比對系統，從Web、數據庫、應用程序等方面探討了系統優化方法。實踐表明，系統能夠支撐15億以上的人像比對庫容量，具備高可用性。

1 系統概述

人像比對系統是從給定的人像數據庫中檢索比對特定人員的身份信息，并將比對結果按相似度由高到低進行排列顯示進行身份鑒定與核查。人像比對系統利用公安機關各類業務系統采集的海量人像數據，由人像比對客戶端、管理中心服務器，比對服務器、數據庫服務器等組成，在海量圖像中實現人像檢索比對功能，完成人像信息批量/增量建模，1∶1、1∶X確認比對、1∶N識別比對、M∶N查重比對，比對結果查詢與分析，以及對數據抽取、人像建模、模板加載等進行處理及統計分析。系統除完成各項人像比對基本功能外，還提供靈活便利的外部查詢和開發接口，滿足公安機關全警業務應用需求。

2 總體架構

基于.NET技術的Web應用[6]，采用.NET Framework技術架構開發人像比對系統，根據應用軟件分層架構模式進行設計，系統總體架構如圖1所示。

人像比對系統分為表示層、業務層、服務層、數據層，各層實現功能如下：

（1）表示層：為滿足公安機關業務需求進行功能設計，為用戶提供交互操作的界面，實現人像比對Web、人像比對客戶端、人像照片處理、照片導入、查重結果審核、案件實戰操作、外部API接口等應用功能[7]。

（2）業務層：基于公安機關業務需求進行功能設計，通過設計人臉比對算法及分析模型工具，實現人臉照片自動分析和人臉識別比對，包括建立人臉識別應用的人像數據中心，提供人像比對的基礎數據模板，保存比對信息與報警信息，實現系統負載均衡及分布式應用。

（3）服務層：實現應用軟件基礎服務，功能包括人像照片處理子系統、人像建模子系統、比對服務子系統、身份查重子系統、查重結果審核子系統、照片導入子系統、任務管理調度服務、系統管理子系統、權限控制子系統、數據同步服務、案件實戰操作模塊、外部API接口子系統等應用功能。

（4）數據層：負責數據庫的訪問和服務，實現分布式文件系統集群及Cache，同時充分利用公安機關現有的基礎設施和設備，包括服務器、存儲、網絡、安全網關設施等設備。

3 系統設計

3.1 緩存設計

緩存是指把最常用的東西放在最容易取得的地方，分為靜態緩存和動態緩存，是所有性能優化最簡單有效的解決方案。在系統設計過程中選用高性能的緩存組件Redis存儲系統，并從瀏覽器、反向代理緩存、數據庫緩存、本地緩存4個方面進行設計。

3.1.1 瀏覽器緩存設計

3.1.2 反向代理緩存設計

選用開源代碼Nginx實現反向代理緩存。反向代理位于Web服務器之前，接受來自用戶的Web連接請求，根據請求頁面是否存在緩存內容對用戶請求進行處理、轉發，有緩存內容直接將緩存內容返回給請求用戶，沒有緩存內容則先向Web服務器請求相應數據，將請求數據進行本地緩存后再返回給請求用戶，使得后續更快訪問相應數據。

3.1.3 數據庫緩存設計

對信息表、照片表、任務表等進行拆分，將表中相對固定的字段和頻繁更新字段分別存儲，使用Redis緩存組件對高頻率查詢低頻率更新的數據載入緩存，對高頻率更新的數據采用實時查詢方式，同時將靜態數據表（如字典數據等）緩存到Oracle內存中。

3.1.4 本地緩存設計

在提取人像特征值過程中，將提取的人臉特征先進行本地緩存，然后再批量存儲到數據庫中。

將人像建模子系統數據庫中的人像特征模板數據加載到本地內存，并在本地磁盤生成模板文件保存。在比對服務下次啟動時可直接從本地快速加載到物理內存，無需訪問數據庫，避免再次從數據庫中讀取，提高系統運行加載速度。

3.2 負載均衡nginx設計

為避免單臺Web服務器因負載高而導致宕機，提高系統穩定性，采用Nginx負載均衡進行設計。同時為保證負載均衡的高可用性，引入熱備方案機制，實現Nginx+Keepalived雙機熱備方案，實現Nginx高可用性，保證一個節點出現崩潰后另一個節點可以自動接管其工作。同時設置Nginx的gzip參數，開啟gzip壓縮功能，提高Web服務的請求和處理返回響應速度。

3.3 數據庫設計

數據庫設計以效率第一為原則，遵循三大范式原則創建數據庫，根據業務處理邏輯修改數據庫以達到效率最高目的。將系統中需要查詢詳細數據的信息表結構進行冗余設計，減少關聯查詢，提高查詢性能。對經常查詢使用的表進行索引設計，利用Oracle表分區特性功能對大數據表進行分區設置，提高數據查詢和操作性能。

在比對任務處理過程中涉及到任務處理狀態，數據庫設計過程中將該類信息設計成彈性集值表，系統處理過程只引用表的ID值，在需要名稱描述時再進行關聯。

3.4 存儲設計

分別從數據庫存儲和圖片存儲進行設計。

3.4.1 數據庫存儲設計

采用SAN將服務器平臺和存儲設備分開，通過光纖交換機將所有存儲設備鏈接起來形成光纖通信網絡，便于擴展存儲環境，實現7*24小時不間斷集中管理。

作為永久的數據存儲管理數據庫，設計系統采用Hadoop和Oralce兩種類型數據庫。

3.4.2 分布式圖片存儲設計

人像比對系統需要對人臉圖像進行處理和展示，設置一個單獨的圖片服務器存儲圖片，利用FastDFS實現圖片文件分布式存儲，從Web服務器上分離圖片數據，根據組織結構將照片數據劃分成多塊進行存儲管理，并存放在不同的物理位置。

3.5 核心服務設計

3.5.1 高性能數據建模設計

系統設計采用分庫、分段、多線程、批量并行的照片數據建模方式，實現快速高效建模，利用64位平臺技術實現自動、手工、比對時錄入、單筆數據錄入、批量錄入等多種不同的建模方式。

3.5.2 比對模板優化設計

在保證比對識別精度的前提下，優化人像特征提取模型，將單張人像提取的特征值模板大小從5KB壓縮到2KB，并將人像特征值模板與人員信息（如性別、年齡、庫別分類等）進行組合，形成人臉屬性比對模板，快速完成人像比對。實施后系統建模速度從50條/s提升到69條/s，在原有基礎上提升了38%。

3.5.3 分布式比對服務設計

設計比對服務可依據實際庫容量需求靈活配置，并且通過增加比對服務協調控制器，實現比對任務的分發與比對結果整合，比對服務與比對服務協調控制器之間通過消息通信實現交互。各個比對服務之間對分發的任務進行并行獨立處理，并將處理后返回的結果匯總至比對服務協調控制器，比對服務協調控制器將比對結果整合后再進行數據庫存儲。比對服務采用多層體系分布式比對架構和64位平臺技術，使用大內存充分利用硬件資源，具有良好的擴展性、可用性和穩定性等優點。

3.5.4 比對任務模式設計

系統設計不同的比對任務模式，將用戶提交的比對任務分成同步比對識別和報警、異步比對識別和報警等，同時根據用戶權限對用戶提交的比對任務進行優先級定義，用戶權限高則其提交的比對任務優先級高。用戶在提交人像比對任務時可增加比對篩選條件，提高比對速度和比對識別率。提交任務時可勾選庫別、區域、性別、年齡范圍等多種篩選條件，同時還可設置比對相似度閾值快速返回比對結果。

3.6 接口API設計

接口采用Restful風格設計，利用單一性原則實現登陸、一對一比對、一對多比對等接口，在接口設計過程中對每個請求響應定義一個請求ID字段，使用UUID作為該請求ID值，并在服務器記錄該值，用以跟蹤、診斷、調試。

4 系統優化

在對人像比對系統進行架構設計和優化過程中，分別從系統性能、可用性、伸縮性、擴展性、安全性等方面對系統進行優化，以提高系統整體性能，采用的優化策略如下：

（1）通過設計緩存和并發實現方式對Web前端進行性能設計和優化。

（2）應用程序采用本地緩存和分布式緩存結合的方式進行設計和優化，并將多臺應用服務器組成集群服務對外提供。設計比對服務有效使用大內存，經過實際數據測試，比對速度從1 200萬次/s達到1 700萬次/s，提升了41%，查重速度從2 000萬/s達到了3 100萬次/s，提升了55%。

（3）數據庫設計時在服務層增加隊列和緩存，將請求在上游層進行攔截，數據庫層只實現基礎數據訪問請求，同時結合索引、緩存、SQL性能優化等手段，在創建非聚簇索引過程中，使用INCLUDE子句包含表中的特定列，加快SQL語句的執行速度。

（4）采用冗余手段，將應用部署在多臺服務器上，通過負載均衡方式將多臺服務器組成集群，提供對外服務，相互備份，減少單點交互，消除單點故障，實現水平擴展，增強系統可用性。

（5）將業務邏輯進行同構設計和合理抽象，實現水平/垂直切割，實現異步處理，提升系統的伸縮性和擴展能力。采用隱藏Nginx版本信息、修改Nginx worker進程的用戶個數、Nginx站點目錄文件及目錄權限等方式對系統進行安全性優化。

4.1 人像比對Web優化方法

用戶向系統提交比對任務，比對成功后返回的結果都會包含比對相似度、姓名、年齡、證件號碼等基本信息和目標照片數據，以提供給用戶審查處理。由于返回的每張目標照片容量均是數百倍于基本信息，基于降低數據傳輸量加快服務響應時間思路，將比對結果中的基本信息和照片數據分開返回，由用戶選擇讀取照片數據，以此降低系統響應時間。

由于每個頁面都牽扯到大量的數據庫訪問，前臺Web一次性緩存無法達到性能要求。為提高頁面響應速度，運用分頁技術[8]解決客戶端等待時間過長問題。采用后臺分頁查詢方式獲取結果數據，在數據庫中對查詢數據進行分頁，并在存儲過程中運用Row_number（）[9]函數提升分頁效率。在分頁查詢過程中設定3個參數，分別是數據總體條數N_Count、每頁條數N_CountPerPage、第N頁條數N_Page。根據頁面不同的展示，將分頁查詢按照一次查詢分批展示和指定頁實時查詢展示兩種方式實現。

4.2 數據庫優化方法

數據庫處理性能提升除了提高硬件配置外，還可從軟件方面對Oracle的查詢性能進行優化，使數據庫運行處于最優狀態。在系統優化過程中采取建立索引、表分區設計、SQL語句優化等技術手段進行系統性能提升。

在創建系統數據表結構時，通過設計調整PCTFREE、PCTUSED、INITRANS、MAXTRANS等參數，優化表的插入、刪除、更新等操作。對系統中的表結構按使用用途不同分別采取獨立的優化方法。

下面列舉幾個關鍵表結構優化方式：信息表按信息記錄所屬區域類別進行列表分區;模板表將庫別和年齡范圍設計成LIST-RANGE組合分區予以優化設計;比對任務表則使用提交任務的時間按年和月實現RANGE-RANGE組合分區進行優化。

索引是對數據庫表中一列或多列的值進行排序的一種結構。使用索引可快速訪問數據庫表中的特定信息，顯著提高海量數據的查詢效率。在創建索引過程中，依據表的操作類型（如是查詢還是增刪改）選擇恰當的索引類型（如非唯一索引、唯一索引、位圖索引、分區索引等），并在經常需要存取的多個列上建立復合索引，同時檢查被索引的列或組合索引的首列是否出現在PL/SQL語句的WHERE子句中。在系統運行一段時間后適當對性能下降的索引進行重建以提高索引效率。

SQL語句尤其是復雜SQL語句的性能優化對數據庫的性能至關重要 [10]。在提升SQL語句執行效率方面，采用整體到局部的思路改進低效的SQL語句。先從整體著手，收集系統的整體性能信息并確定范圍;再從數據庫層面入手，利用性能工具，查看SQL的執行計劃。根據SQL的執行計劃，分析低效的SQL執行計劃，去掉不必要的全表掃描，充分利用已經創建的索引，選擇最有效的執行計劃來執行SQL語句。如在編寫SQL語句SELECT子句中明確所需要的列，盡量避免使用SELECT *，在子查詢中少用或慎用IN或NOT IN語句。

4.3 應用程序優化方法

通常情況下由于單臺服務器內存無法裝載所有的比對模板，所以將若干臺服務器組成一個比對服務集群，共同完成全部模板的裝載和比對，并選用一臺服務器作為比對服務協調控制器，完成比對任務的預處理和比對結果的匯總、模板更新任務的查詢與分發、狀態監測等。假設比對照片庫容量有10億，則總比對模板量約為2TB，可以設計由10臺比對服務器組成一個比對實例，那么10臺比對服務器除去操作系統所需的開銷外，總的剩余內存空間在超過2T的情況下即可完成10億模板的全部加載。

比對服務應用程序將人像照片建模后的特征值及其索引按照庫別、性別、年齡、區域、民族等特征排序聚簇后全部加載到服務器內存中，以便根據相應的比對檢索條件進行同步或異步任務的比對。一般情況下，提交的比對任務不需要完成全部模板比對，而是含有比對條件，比如比對性別為男、年齡在30-45歲范圍內的模板數據。該條件可以過濾的數據量估算為性別約1/2，年齡約1/5（系統將年齡大致分為5個年齡段），則實際需要比對的模板數量約為總模板的1/10，比對用時是全部比對用時的1/10。

為充分利用并行計算機資源，比對服務將串行比對運算處理變為并行比對運算處理。在比對任務處理過程中，使用OpenMP（Open Multi-Processing）實現CPU多核心的并發比對。OpenMP是一個編譯指導指令和庫函數集合，主要使用在共享式存儲計算機并行程序設計方面 [11]。在程序代碼中加入專用的pragma，指定程序運行時使用并發線程及并發調度方式。根據硬件資源不同，程序先采用omp_get_num_procs（）[12]函數獲取運行程序計算機的處理器個數。為達到較好性能，通常情況下將線程數量設置為CPU核數，每個核執行一個線程，避免線程的切換開銷。同時為了CPU各核的負載均衡和有效降低線程管理開銷，組合使用Intel開源并發模板庫TBB（Threading Building Blocks）完成比對處理，實現任務密度和線程池。

5 結語

本文基于公安機關偵查破案業務需求，以人像算法引擎為核心，采用分層體系結構的架構設計方式對人像比對系統進行架構設計和優化，實現了億級人像比對系統，在協助公安偵查辦案人員劃定偵查方向、縮小偵查范圍、鎖定嫌疑對象乃至認定罪犯等方面取得了明顯效果，提升了公安機關偵查人員核對、辨認嫌疑人身份的效率。

在對億級人像比對系統架構設計過程中，研究了Web、數據庫和應用程序等的優化方法，通過對系統架構設計和優化過程中各種優化工具、優化策略、優化方法的研究，為建設高可用性的人像比對系統打下基礎，闡述了軟件系統的優化方法。

參考文獻：

[1] 林曉東，劉心松. 高可用性系統的研究與實現[J]. 電子科技大學學報，1997（5）：82-87.

[2] TORKAMANI M A，BAGHERI H，SHALTOOKI A A，et al. Architectural solution for reaching high availability[J]. Global Journal on Technology， 2013（1）：105-109.

[3] 羅福強，熊永福. 基于分層的Web系統的性能優化研究與探討[J]. 計算機技術與發展， 2012（11）：85-88.

[4] DIMITRIAIVALIOTIS， 艾維利，陶利軍. 精通Nginx[M]. 北京：人民郵電出版社，2015.

[5] JOACHIM GOLL. 軟件架構與模式[M]. 北京：清華大學出版社， 2017.

[6] 胡迎松，彭利文，池楚兵. 基于.NET的Web應用三層結構設計技術[J]. 計算機工程，2003，29（8）：173-175.

[7] 曾暉澤. 公安人像比對系統的設計與實現[D]. 廈門：廈門大學， 2014.

[8] 林萍，朱嬋. 基于Ajax技術和JAVAEE的分頁查詢優化[J]. 計算機系統應用，2017（8）：916-1001.

[9] THOMAS KYTE. Oracle Database 9i/10g/11g編程藝術：深入數據庫體系結構 [M]. 第2版. 北京：人民郵電出版社，2011.

[10] 周志德. Oralce數據庫的SQL查詢優化研究[J]. 計算機與數字工程，2010，38（11）：173-178.

[11] 査盛音，王玉玫，聶穎. OpenMP在圖形數據文件加載中的應用[J]. 軟件導刊，2013，12（10）：159-162.

[12] OpenMP application program interface version 4.0.0[EB/OL]. http：//www.openmp.org.

[13] 李艷鵬， 楊彪. 分布式服務架構：原理、設計與實戰[M]. 北京：電子工業出版社，2017.

[14] ILYA GRIGORIK. Web性能權威指南[M]. 北京：人民郵電出版社，2014.

[15] 張杰，劉琦.多級聯動的人像比對應用平臺研究與設計[J]. 電腦知識與技術， 2016， 12（31）：177-178.

[16] 劉永梅. 基于人臉識別身份認證系統數據庫的設計與研究[D]. 呼和浩特：內蒙古大學， 2014.

[17] 劉合星，劉琦. 人像識別系統的設計與研究[J]. 河南科技， 2016（21）：62-65.

[18] 關樂，劉磊，朱鵬，等. 動態人像比對研究及應用[J]. 甘肅科技， 2017（12）：87-89.

[19] 楊洋，楊義光，范東亮. 人像比對系統建設中幾個關鍵問題研究[J]. 信息技術與信息化，2017（5）：86-87.

[20] 黃靜，李炳. 基于Nginx的Web服務器性能優化研究[J].? 浙江理工大學學報，2016，35（7）：600-606.

[21] 蒲曉陽. 基于Nginx和Redis高并發Web服務負載均衡的研究[J]. 內江科技，2016，37（1）：40-41.

[22] 趙峽策. 基于Nginx和Memcache的負載均衡集群架構設計[J].? 電子技術與軟件工程，2014（5）：39-40.

[23] 蔡文海，陳洺均. 基于OpenMP并行編程模型與性能優化的稀疏矩陣操作研究[J]. 軟件導刊， 2016， 15（3）：27-29.

[24] 張輝，趙郁亮，徐江，等. 基于Oracle數據庫海量數據的查詢優化研究[J]. 計算機技術與發展， 2012， 22（2）：165-167.

[25] 陳南. ASP.NET中大數據量分頁技術的研究與實現[J]. 計算機應用與軟件， 2011， 28（4）：205-207.

[26] OPENMP C. OpenMP C and C++ application program interface draft[EB/OL]. http：//www.openmp.org.

[27] BHATTACHARJEE A，CONTRERAS G，MARTONOSI M. Parallelization libraries：characterizing and reducing overheads[J]. ACM Transactions on Architecture & Code Optimization，2011，8（1）：1-29.

[28] SUPINSKI B R D，SCOGLAND T R W，DURAN A，et al. The ongoing evolution of openMP[J]. Proceedings of the IEEE，2018（6）：1-16.

（責任編輯：杜能鋼）