結合監(jiān)督下降優(yōu)化和顯著性的人像質量檢測

戴金鋒，劉 志，姜暉暉，鄢致雯(.揚中市人力資源和社會保障局，江蘇 鎮(zhèn)江00；.浙江工業(yè)大學 計算機科學與技術學院，浙江 杭州00;.杭州市富陽中學，浙江 杭州 499)

結合監(jiān)督下降優(yōu)化和顯著性的人像質量檢測

戴金鋒1，劉 志2，姜暉暉2，鄢致雯3
(1.揚中市人力資源和社會保障局，江蘇 鎮(zhèn)江212200；2.浙江工業(yè)大學 計算機科學與技術學院，浙江 杭州310023;3.杭州市富陽中學，浙江 杭州 311499)

針對已有社保人像采集系統(tǒng)缺少圖像內容智能分析所導致的制卡失敗問題，提出了人像質量智能檢測算法.首先采用監(jiān)督下降優(yōu)化方法算法檢測出人臉特征點，然后根據社保人像標準進行尺寸分析.最后采用顯著性方法進行背景檢測，判斷背景是否合格.實驗結果表明：該算法可以自動檢測出質量不合格照片，解決了上傳圖像質量太差導致制卡失敗問題.另外，結合JNI技術和MVC設計模式完成了該算法和社保業(yè)務系統(tǒng)的集成.

社保數據采集；人像質量檢測；監(jiān)督下降優(yōu)化方法；顯著性分析

社會保障卡是參保單位和參保人員享有社會保障和公共就業(yè)服務權利的電子憑證.數據采集是社保卡制卡、發(fā)卡的重要基礎和前提和基礎[1].近年來，各地社保部門通過大規(guī)模數據采集完成了絕大多數人員的信息采集[2].但是，對于部分沒有及時完成信息采集的人員，如何讓他們快速方便地完成信息采集并申領得到社會保障卡，是當前社保部門便民工作中急需解決的一個問題.

目前，各地社保部門都有核心業(yè)務網絡上報系統(tǒng)能夠支持用戶信息的錄入和照片上傳.徐慧瓊等提出在社保業(yè)務系統(tǒng)里采用了J2EE架構，這種架構提高了系統(tǒng)的可維護性和可擴展性[3].薛成龍等在已有社保業(yè)務系統(tǒng)中增加了生物特征采集設備管理，可針對指紋采集設備進行加密、設備更換，召回等基礎信息進行維護.從而能夠對設備進行全程跟蹤服務[4].楊文等在BEA Tuxedo和Microsoft.NET技術平臺的基礎上設計社會保障信息系統(tǒng)并設置各網點前置系統(tǒng)，通過Web服務技術實現(xiàn)社保卡中心系統(tǒng)和各網點之間數據交換[5].陳園園等采用ETL技術，實現(xiàn)準確、快速地數據遷移,保證數據的正確性和完整性[6].黃曉梅等研究CORBA構件技術在RSICP中的應用，并建立基于CORBA構件技術的可重構的社保核心平臺(RSICP)，這種技術能夠對隨社會保障制度不斷完善而變化的社保市場作出快速反應[7].張平等依據現(xiàn)代軟件新技術理論，研究和分析聯(lián)網模式下的計算機輔助審計，將手工審計與計算機審計相結合，實現(xiàn)了在聯(lián)網模式下進行審計[8].綜上所述，已有業(yè)務系統(tǒng)只是提供了數據傳輸的網絡接口，而無法對人像進行質量分析和檢測.另外一方面，研究人員針對圖像質量自動分析和評價也提出了很多算法[9].因此，筆者結合人臉檢測和背景檢測技術，開發(fā)支持人像質量檢測的社保數據零星采集在線系統(tǒng)實現(xiàn)，自動判斷圖像是否滿足社保標準.系統(tǒng)能夠大大提高社保數據零星效率，極大地方便了參保用戶.

1 社保照片質量檢測算法

對于社保照片零星采集系統(tǒng)，主要包括質量檢測和應用系統(tǒng)實現(xiàn).對于質量檢測，主要采用了監(jiān)督下降優(yōu)化和圖分割算法.在系統(tǒng)實現(xiàn)上，采用了MVC設計模式，方便應用系統(tǒng)的擴展.

1.1 人像尺寸檢測

人像尺寸檢測首先采用監(jiān)督下降優(yōu)化方法檢測得到，然后根據社保標準進行尺寸合格性判斷.目前，特征點檢測有很多方法，并且被廣泛應用于人臉圖像的相關領域，包括人臉識別[10]，姿態(tài)估計[11]等.人像質量檢測算法采用監(jiān)督下降優(yōu)化算法對人臉特征點進行定位[12].該算法首先通過一系列已經標定的圖像進行特征學習，從而能夠構造模型用于特征點檢測.在完成學習和訓練以后，對于輸入采集到的圖像根據訓練模型定位臉部關鍵特征點.

給定訓練圖像集合Rm×1，對其中一幅圖像d∈Rm×1，其中d(x)∈Rp×1為用來索引圖像的p個特征點，x為p個特征點.h(d(x))∈Rp×1表示SIFT(Scale-invariant feature transform)特征向量.在訓練階段，因為p個特征點是已知的，是由人工準確標定，將其設為x*，然后計算訓練集特征點的平均值，記為x0，作為初始值[12]，如圖1所示.

圖1 真實特征點值與訓練集特征點平均值Fig.1 The average of the real feature point value and training set feature points

這樣，通過對Δx求解就可以得到人臉的對齊結果，其計算式為

(1)

式中Φ*=h(d(x*))為手動標記特征點的SIFT特征，因此式(1)可以轉化為

(2)

根據牛頓迭代法，上述最優(yōu)解需要對式(2)中的Δx求導，令一階導數f′(x0+Δx)=0，可得

(3)

(4)

(5)

Δx1=MΦ0+b0

(6)

這樣就可以通過監(jiān)督下降優(yōu)化方法(Supervise decline optimization, SDM)調整下降方向{Mk}和偏差{bk}，即

xk=xk-1+Mk-1Φk-1+bk-1

(7)

使得訓練圖片集過程中xk將收斂到x*.所以，監(jiān)督下降優(yōu)化方法在迭代更新參數Mk和bk時，采用計算式為

(8)

圖2 關鍵特征點位置Fig.2 The location of key feature points

因此，通過訓練好的模型可以得到人臉特征點集合FS={fs1,fs2,fs3,fs4,fs5}，分別代表左眼中心點位置、右眼中心點位置、左側輪廓點位置、右側輪廓點位置和頂部位置.從而可以得到當前照片尺寸參數.對于輸入圖像的寬度和高度分別為w和h.可以根據制卡照片標準(圖3)對用戶上傳的照片進行尺寸分析，分析出照片尺寸是否滿足規(guī)范.

圖3 照片標準Fig.3 Photo standard

1.2 背景顏色檢測

對于社保照片，另外一個問題是如何檢測背景顏色.因為社保照片要求純白背景，否則無法完成制卡.背景檢測主要采用全局對比度顯著性區(qū)域檢測算法[13].該方法是由Cheng提出的，能分離背景環(huán)境和大范圍的目標.并且，該方法可以結合區(qū)域對比度和空間關系，該算法的主要思想是先劃分圖像為不同的區(qū)域，再對不同區(qū)域的顏色進行對比度計算，然后通過上面計算的空間關系和對比度結果得到圖像的顯著性值.具體步驟如下：

首先，通過圖的貪心聚類分割算法[1]分割圖像，得到不同區(qū)域，記為r={r1,r2,…,rn}.再通過圖像的顏色直方圖特征對每個區(qū)域計算區(qū)域的直方圖對比度w(ri)，可得

(9)

式中D(pi,pj)為區(qū)域ri上的像素pi與像素pj在LAB顏色空間上的距離度量.

然后，利用圖像的空間信息與區(qū)域之間的顏色對比度來定義圖像上的顯著性，定義為

(10)

(11)

Φsaliency=-logS(p)

(12)

式中：Ds(rk,ri)為空間距離，是通過計算區(qū)域rk與ri的重心的歐式距離得到的；Dr(rk,ri)為兩個區(qū)域的顏色距離度量；c1,i為在區(qū)域r1上像素i的顏色值；f(c1,i)為c1,i在區(qū)域中出現(xiàn)的概率；σ2為空間權重強度，控制空間信息的影響；Φsaliency是將像素點的顯著性進行歸一化處理.這樣，通過得到的每塊區(qū)域的顯著性結果就可以得到整幅圖像的背景分割結果.效果見圖4，可以發(fā)現(xiàn)背景顏色在右側圖像中呈現(xiàn)白色.因此，通過統(tǒng)計背景像素點的顏色值就可以得到當前顏色是否符合標準.

圖4 背景顏色檢測Fig.4 The detection of background color

2 實驗分析和應用

為了驗證本算法的有效性，對本算法進行檢測性能分析.另外，在已有核心算法基礎上，把本算法集成到社保數據采集系統(tǒng)中，進行應用開發(fā).為了保證監(jiān)督訓練算法的通用性，本算法采用LFW(Faceinthewild)進行特征點檢測訓練，總共有12萬張已經標注的照片，然后用訓練后的模型進行質量分析和檢測.

2.1 質量檢測性能分析

測試圖片為5萬張，這些照片已經通過社保人員進行手工篩選分為兩部分：其中正常照片49 550張，不符合制卡標準的照片450張.成功檢測出423張不合格照片，檢出率為94%.部分檢測出來的不合格照片如圖5所示.目前，沒有成功檢出的照片主要是人像亮度、明暗度不符合要求的照片，這也是后續(xù)需要進一步研究的問題.

圖5 部分檢測出來的照片和不合格原因Fig.5 Parts of the detected image and the unqualified reason

2.2 在金保工程中的應用

對于上述算法，和社保數據采集系統(tǒng)進行集成.整個系統(tǒng)采用MVC(Modelviewcontroller)設計模式.使用MVC可以降低整個程序耦合性，提高獨立性，提高可維護性.整個系統(tǒng)主要包括平臺服務層、應用組件層和平臺應用層.如圖6所示.

圖6 社保數據零星采集系統(tǒng)架構圖Fig.6 The architecture diagram of social security data scattered collection

圖6中：1) 平臺服務層主要提供版本管理、數據接口、消息服務和引擎服務等整個系統(tǒng)的基礎性能；2) 應用組件層主要包括質量檢測核心模塊、人臉檢和背景替換等核心技術；3) 平臺應用層主要是開放給用戶的各種操作界面和功能模塊，提供客戶端和服務器端版本.數據庫管理系統(tǒng)采用Oracle，從而支持海量人像照片的存儲.數據庫操作采用DAO實現(xiàn).DAO層是使用了hibernate連接數據庫、操作數據庫.

核心算法采用JNI(Javanativeinterface[14])技術實現(xiàn)，實現(xiàn)Java語言和其他語言寫的代碼交互[14].系統(tǒng)首先采用C++生成動態(tài)鏈接庫.然后通過JNI技術調用動態(tài)鏈接庫完成質量檢測.系統(tǒng)運行結果如圖7所示.

圖7 社保數據零星采集系統(tǒng)運行截圖Fig.7 The screenshot of the run of social security data scattered collection

3 結 論

針對已有社保系統(tǒng)無法對上傳照片質量進行智能分析問題，提出了基于人臉特征點檢測和圖像穩(wěn)定性的人像質量檢測算法，該算法可根據社保質量標準對照片合格性進行判斷.另外一方面，在已有網絡開發(fā)技術基礎上開發(fā)了支持人像質量檢測的社保數據采集系統(tǒng).系統(tǒng)解決了用戶上傳照片的質量評判標準問題，極大地方便了用戶和社保單位，提高了工作效率.目前，現(xiàn)有社保數據采集系統(tǒng)都只是局限在數據采集和管理，無法支持在線認證功能.近年來，隨著深度學習技術的飛速發(fā)展，通過人臉識別技術實現(xiàn)社保業(yè)務系統(tǒng)的身份認證已經成為可能.因此，在后續(xù)工作中，需要重點研究人臉識別和活體檢測技術，對現(xiàn)有社保業(yè)務系統(tǒng)進一步升級和智能化，從而使業(yè)務系統(tǒng)支持在線認證，使社保用戶在家就完成社保認證，方便用戶操作.

[1] 殷生勇.筑牢社保信息安全“防火墻”[J].中國人力資源社會保障，2010(8)：36-37.

[2] 趙錫銘.金保工程建設情況和下一步構想[J].電子政務，2008(Z1)：21-22.

[3] 徐慧瓊.基于J2EE標準的社保統(tǒng)一征繳MIS的設計[J].機械工程與自動化，2012(4)：47-48.

[4] 薛成龍.面向社保業(yè)務的信息采集與認證系統(tǒng)的設計與實現(xiàn)[D].哈爾濱：哈爾濱工業(yè)大學,2013.

[5] 楊文.基于Tuxedo和.NET架構的社會保障信息系統(tǒng)關鍵技術的研究與實現(xiàn)[D].長沙：國防科學技術大學,2006.

[6] 陳園園,陶飛.社保信息系統(tǒng)中數據遷移的實現(xiàn)[J].蘇州市職業(yè)大學學報,2011,22(2):27-30.

[7] 黃曉梅.構件技術在可重構的社保系統(tǒng)核心平臺中的研究與應用[D].南京：南京航空航天大學,2004.

[8] 張平.社保聯(lián)網審計系統(tǒng)中關鍵技術的研究[D].哈爾濱：哈爾濱工程大學,2006.

[9] 張劍華,張自然,汪曉妍,等.基于結構顯著性的醫(yī)學圖像質量評價[J].浙江工業(yè)大學學報,2015,43(6):636-641.

[10] 于愛華,白煌,孫斌斌,等.基于優(yōu)化投影矩陣的人臉識別技術研究[J].浙江工業(yè)大學學報,2016,44(4):392-398..

[11] 張美玉,侯向輝,任煒彬,等.基于非線性最小乘的人臉姿態(tài)估計算法[J].浙江工業(yè)大學學報,2016,44(1):34-38.

[12]XIONGX,DEITF.Superviseddescentmethodanditsapplicationstofacealignment[C]//ComputerVisionandPatternRecognition.LosAlamitos:IEEEComputerSocietyPress,2013:532-539.

[13]CHENGM,MITRANJ,HUANGX,etal.Globalcontrastbasedsalientregiondetection[J].IEEEtransactionsonpatternanalysis&machineintelligence,2015,37(3):409-416.

[14]DEVEGOWDAA,PALANIAPPANS,VERMAA.TrackingspecificJavanativeinterfaceinvocationsofsystemandlibrarycalls[J].Medicalphysics,2015,38(6):3608.

(責任編輯：陳石平)

Portrait image quality assessment algorithm combined with supervised descent optimization and saliency

DAI Jinfeng1, LIU Zhi2, JIANG Huihui2, YAN Zhiwen3
(1.Yangzhong Bureau of human resources and social security, Zhenjiang 212200, China;2.College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China;3.Fuyang High school, Hangzhou 311499, China)

Focusing on the problem that because of lacking of image quality assessment, the social security portrait collection system can not get standardized portrait image to make the cards, an image quality assessment algorithm is proposed in this paper. Firstly, the supervised descent optimization algorithm is used to detect face feature points. Secondly, the standard of social security portrait is used to analyze the image size based on detected feature points. Finally, the saliency method is used to detect the image background in order to judge whether the background is qualified or not. Experiment results show the proposed algorithm can automatically detect the unqualified portrait images. It can solve the problem that the uploaded images cannot be used to make cards due to unqualified images. In addition, the JNI technology and MVC design pattern are used to develop the social security data acquisition system.

social security data collection; portrait quality assessment; supervised descent optimization algorithm; saliency analysis

2016-09-26

浙江省自然科學基金資助項目(LY16F020033)

戴金鋒(1966—)，男，江蘇揚中人，高級工程師，主要從事社保業(yè)務系統(tǒng)分析與設計，E-mail: 19531661@qq.com.

TP391

A

1006-4303(2017)02-0179-05