雙光譜智能體溫檢測與健康大數據管理系統

張潔茹，蘇峰，袁培江，王田苗，陶一寧，丁東

（北京航空航天大學 機械工程及自動化學院，北京 100083）

公共安全視頻監控是中國一項重要的基礎設施建設，具有易于部署、信息捕獲充分、接口和標準統一、可全時段運行等優點，對于建立社會治安防控體系具有重要意義，是維護國家安全和社會安定的重要手段［1］。近年來，面向圖像分析和視頻監控分析的深度學習技術和大數據挖掘技術取得了很多突破性進展，同時也推動了公共安全視頻監控在治安防范、社會治理、服務民生等方面的應用［2］。如在建立公共安全視頻監控集成管理系統的過程中，通過規范聯網、提高集成程度、統一數據接口、提升動態數據分析能力等方式，將人臉識別、車牌識別、智能預警、地理位置等眾多信息有機融合在一起，形成全方位的公共安全監管體系，對于提高公安視頻圖像信息的綜合應用水平具有重要意義［3］。在新型冠狀病毒肺炎（簡稱新冠肺炎）防治攻堅戰中，將紅外熱成像技術和人臉識別技術融入到監控視頻體系，從而實現無接觸式體溫快速檢測和人員信息登記，對于迅速遏制新冠肺炎的傳播起到了重要作用，同時也印證了視頻監控公共安全監管體系在治安防范和保障民生等方面的強效作用。

新冠肺炎的傳播時值春節返鄉之際，人員流動促使新冠肺炎迅速肆掠全國，對人民健康帶來了嚴重威脅，對社會安穩帶來了潛在的破壞因素，同時也對國家經濟的發展帶來嚴重影響［4］。新冠肺炎潛伏期長、傳染性強，甚至存在無癥狀感染的病例，能在人與人之間傳播，在人員密集的公共場所極易引起爆發式的感染，故而打好新冠肺炎戰役的一個重要舉措就是加強實時檢測和防控力度。

車站、機場、地鐵站、商圈以及復工之后的辦公樓等，都是人員密集、人流量大的場所，在人群中快速找出病毒潛伏者以及感染者，并進行隔離觀察和治療，對于個人方面的加速治愈以及社會方面的遏制病毒傳播、保障民生都具有重要意義。鐘南山院士團隊對大量新冠肺炎患者的癥狀進行了深入分析，發現發熱是新冠肺炎患者的顯著臨床癥狀，1 099名患者中發熱癥狀高達87.9%［5］。因此，在人流量較大的公共場所，采用無接觸體溫快速檢測方法，實現病毒潛伏者和感染者的篩查和預警，是最為快速有效的方式。

正常生理狀態下，人體中樞神經系統會進行體溫調節，使人體能夠在環境溫度變化的情況下保持體溫的相對穩定。當體溫下降時，則產熱增加散熱減少，使體溫維持在正常水平（36.2～37.3℃）；當體溫升高時，通過減少產熱和增加散熱來維持體溫恒定［6］。病毒感染會激活人體的免疫系統，使吞噬細胞和嗜中性粒細胞的殺菌活性增強，導致體溫上升至37.3℃以上，從而產生發熱的癥狀，發熱是新冠肺炎患者的常見臨床癥狀和檢測指標。傳統的體溫測量方法分為接觸式和非接觸式兩大類，而在新冠肺炎患者的體溫檢測中，玻璃溫度計和電子溫度計等接觸式方法有很大的傳染隱患［7］。為防止交叉傳染，目前常見的是手持式額溫度儀為代表的非接觸式測溫方法。然而手持式額溫度儀測量誤差大，測量效率低，此外檢測需要一名專門人員操作，仍然存在交叉傳染的風險。因此，一種非接觸、高精度、速度快的智能體溫檢測系統對于公共場所體溫異常人員的識別具有重要的意義，是疫情防控的重要一環。此外，將人臉識別技術和智能體溫檢測相結合，并實時上傳數據庫，對發熱人員身份識別并快速追溯人員近期蹤跡，有效提高疫情防控水平。

為了提高人臉識別和體溫檢測的精度，本文基于深度學習、非接觸紅外熱成像測溫、智能AI終端識別和大數據技術，將紅外熱圖像可解決人臉受光照影響的優勢和可見光圖像的高清晰度優勢相結合，采用可見光和紅外光雙攝像頭目標檢測，對可見光圖像與紅外熱圖像進行融合，并通過卷積神經網絡對人臉特征及人員是否佩戴口罩進行識別，將識別到的人員信息和體溫信息進行整合，建立體溫檢測與健康大數據管理系統，對人流量較大的場所進行視頻監控，快速準確地確定人員身份及人體溫度，建立疫情登記檔案，監控人員流動，實現無人值守條件下的全自動高精度數據分析。同時優化大數據系統，定制數據分析APP平臺，實時向相關部門上報健康數據，保證信息數據、測溫數據電子化、結構化，并給予大數據對疫情進行統計、分析和預測，做到準確定位，細致分析，完善疫情防控策略，為疫情下的監控視頻防控工作帶來有效的幫助。

1 視頻監控大數據

1.1 基于深度學習的目標檢測

目標識別是人工智能領域的熱門應用方向，是指用計算機實現人的視覺功能，它的研究目標是使計算機具有圖像或者視頻中認知目標和環境的能力［8］。傳統目標檢測算法通常可以分為3個階段：首先在待測的圖像上提取一些感興趣區域，其次從這些感興趣區域中提取特征，最后使用訓練分類器實現分類。然而這類算法識別的準確度低，計算復雜度大。近年來隨著人工智能的發展，目標檢測算法也逐漸從傳統的人為設計特征轉向了基于深度神經網絡的檢測技術；基于深度學習的目標檢測算法可分為2個關鍵的子任務：目標定位和目標分類。目標定位即對待測圖像中的感興趣區域所在位置進行檢測，輸出物體的包圍框或物體中心等參數表示物體的位置信息［9］。目標分類任務負責判斷前一步定位得到的圖像區域中是否包含目標類別的物體，最終得到目標類別的物體出現在所選擇圖像區域中的概率。與傳統目標檢測算法比較，深度學習算法精度高，速度快，特別適用于復雜條件下的目標識別。目前常用的目標檢測算法基于卷積神經網絡，包括Faster R-CNN、SSD、YOLO等算法，其有助于從圖像中識別出所需要的目標［10］。根據目標的識別過程，又可以將上述算法分為2類，即Two-Stage和One-Stage目標檢測算法。Two-Stage是先由算法生成一系列作為樣本的候選框，然后對候選區域進行分類和位置精修，再通過卷積神經網絡進行樣本分類；One-Stage則沒有生成候選框這一步驟，直接將目標框定位的問題轉化為回歸問題，在處理過程中一步到位［11］。這2種算法原理上的差異直接導致其在性能上的優劣，Two-Stage在檢測準確率和定位精度上具有很大優勢，One-Stage在算法速度上具有優勢。隨著技術的不斷發展，2類算法都在不斷地優化和改進，在識別精度和識別速度上均能達到可觀的效果。

對人體進行快速非接觸式體溫檢測，主要通過對人體額頭表面溫度進行測量，因此首先需要對人臉在視頻中的位置進行檢測，這同樣也是人臉識別的第一步，基于Two-Stage的高精度識別優勢，本文采用Mask R-CNN對人臉區域進行檢測，Mask R-CNN算法在Faster R-CNN算法的基礎上進行了優化，可以在每一個像素上表示目標的所屬類別，達到像素級別的特征點定位，可以更加精準地檢測人臉目標區域，同時劃分溫度檢測的感興趣區域，將感興趣區域映射到紅外熱圖像上，在紅外熱圖像上獲取特定區域的溫度，進而得到待測人員的體溫。

人臉區域檢測完成后，需對人臉特征進行識別，由于人臉圖像類內差異大，類間差異小，本文采用可以較好提取人臉特征值的VGG-Net神經網絡對人員開展基于面部特征的人臉識別，并與現有的人臉庫進行比對，從而識別出人員身份［12］；此外，通過對人臉特征的識別還能推斷出目標人員的性別、年齡等信息，將信息整合上傳到和安防系統連接的大數據分析系統追溯行蹤，準確發現疫情高發地區人員。

1.2 紅外熱像儀體溫檢測

當物體受熱時，其內部分子和原子的運動隨著溫度的升高而加劇，而分子和原子受熱從低能態躍遷至高能態并輻射出電磁波，稱為熱輻射，且該輻射與物體本身的溫度成比例。紅外熱輻射的波長在0.76～100μm之間，在電磁波連續頻譜中的位置處于無線電波與可見光之間的區域［13］。用紅外熱像儀對輻射信號進行采集、放大，得到模擬物體表面溫度空間分布的信息，經過后期處理形成熱圖像視頻信號，即紅外熱成像［14］。紅外熱成像技術可以獲得圖像中每個區域的溫度，通過紅外光與可見光雙攝像頭同時對目標拍攝，并進行圖像的配準，這樣就能夠避免圖像中的背景干擾，準確劃分感興趣區域并獲得目標溫度。

利用高精度數字式醫用紅外熱像儀MTIEconomy-C，搭配高清可見光攝像頭，實現雙攝像頭數據融合。醫用紅外熱像儀溫度檢測精度高于普通商用紅外熱像儀，滿足檢測誤差在±0.1℃范圍內的要求，搭配高清可見光攝像頭，實現高清圖像和高精度熱感應圖像的映射。通過優化智能AI識別終端，利用雙光譜融合技術實現異源圖像的融合。采用Mask R-CNN作為目標識別和分割模型，實現像素級的圖像分割并映射至熱感應圖像，精確查找目標測溫部位。

先對測溫系統進行標定，將黑體輻射源放置在紅外熱像儀視野范圍內，對測量溫度進行實時校正，將視頻圖像和待測人員體溫對應顯示，擬合標定曲線；當系統運行時，紅外熱圖像將熱輻射轉化為灰度值，通過黑體輻射源標定得到的測溫算法模型建立灰度值與溫度之間的對應關系，從而實現測溫功能。對人體溫度進行檢測時，遍歷目標檢測提取的感興趣區域的每個像素點，為了保證疫情期間對體溫測量的不遺漏、不錯判，嚴格對異常溫度進行把控，將感興趣區域的最高溫度作為系統輸出溫度，可以有效避免外界遮擋面部區域，造成局部溫度較低的情況。

2 雙光譜體溫檢測與人員識別

2.1 系統框架

利用紅外熱成像及可見光成像獲得圖像信息，基于深度學習圖像分析技術，建立以神經網絡算法為核心的人體高精度實時測溫系統，完成熱成像體溫篩查和人員身份識別；對超過正常體溫人群，通過紅外熱像儀近距離對手臂成像，對人體體溫進行復查，獲得準確體溫信息，并結合應急大數據一體化平臺，實現實時追蹤報警、情報軌跡跟蹤，配合疫情管控，協助公安機關進行疑似病例排查。系統框架設計如圖1所示。

圖1 雙光譜智能體溫檢測與健康大數據管理系統框架Fig.1 Architecture of dual-spectrum intelligent temperature detection and health big data management system

系統主要通過以下方法提高檢測精度：縮小傳感器的測溫范圍，結合熱成像的測溫特性對傳感器進行優化，采用深度學習的算法結合彩色圖像信息和熱成像圖像信息分析圖像，縮小成像范圍，對可疑人群手臂紅外成像檢測，利用黑體對檢測設備實時校準，實現高精度測量人體體溫。從而實現非接觸、高精度、高速度的測量。

通過紅外熱成像系統檢測人體熱輻射的紅外線特定波段信號，將該信號轉換成可視化、可分辨的圖像，并利用可見光成像系統獲得RGB圖像；將得到的信息進行光照歸一化、拍攝角度矯正及模糊圖像復原處理；將紅外熱像儀得到的紅外圖像與可見光成像系統得到的RGB圖像相結合，生成四通道圖像［15］，聯動對測溫區域進行判斷，對得到的圖像基于神經網絡的深度學習算法進行分析；并利用測溫算法模型補償環境參數對測溫結果的影響，得到人體溫度信息并識別人臉；對超過正常體溫的人員，采用紅外熱像儀近距離成像的方法，增大圖像目標識別區域，并通過對手臂成像降低環境對人體表面體溫的影響，從而提高測量準確率。

2.2 可見光與紅外光雙光譜成像融合

紅外熱像儀采集待測物體表面產生的紅外輻射能量，經過能量收集系統匯聚后，將紅外光波映射至紅外焦平面探測器上［16］，生成與待測物體熱輻射分布相應的熱成像圖像。可見光成像利用待測物體的光譜反射特性形成二維圖像，包含豐富的紋理細節信息。對紅外熱成像與可見光成像生成的圖像進行融合，可以實現信息互補，使得物體的熱輻射分布特征與紋理細節外觀特征有機結合，識別性能不易受光照變化的影響，形成包含信息更加豐富，更有利于識別處理的圖像［17］。

如圖2所示，首先對前端視頻進行預處理，包括光照歸一化、拍攝角度矯正、模糊圖像復原、圖像比對等；將紅外熱圖像和可見光圖像配準；采用Mask R-CNN網絡提取人體頭部目標區域并映射到紅外熱圖像進行測溫，然后利用圖像融合算法將可見光圖像和紅外熱圖像融合得到雙光譜圖像，同時將融合后的圖像送入卷積神經網絡VGGNet中，結合彩色圖像信息和熱成像圖像信息，對人臉區域進行深度特征的提取，在檢測目標區域溫度的同時識別人臉特征。

圖2 基于深度學習的雙光譜體溫檢測與人臉識別Fig.2 Dual-spectrum temperature detection and face recognition based on deep learning

2.2.1 圖像配準

為了在紅外熱圖像中獲取準確部位的人體溫度，需要對可見光圖像與紅外熱圖像進行配準。其中可見光攝像頭分辨率為1 920像素×1 080像素，紅外攝像頭分辨率為324像素×256像素。在圖像配準之前，首先基于Opencv對雙目相機進行標定，獲取相機內外參數，從而對圖像進行畸變校正，然后統一兩幅圖像的分辨率和大小，在不改變圖像清晰度的情況下對紅外圖像進行重采樣，將紅外圖像的水平分辨率和豎直分辨率分別重采樣為1 920像素和1 080像素，此操作只增加了數據量，不影響圖像清晰度。

由于可見光成像和紅外成像的原理不同，且拍攝時間不能完全同步、拍攝角度存在不同，因此需要獲得兩幅圖像的空間變換關系實現圖像配準。首先利用Canny算子對圖像進行邊緣提取，當邊緣線出現斷點時，利用插值的方法使其聯通，由于可見光與紅外熱圖像的特征點相對位置基本不變，因此選用仿射變換作為圖像空間變換方法，仿射變換的模型可表示為

式中：（x1，y1）和（x2，y2）分別為紅外熱圖像和可見光圖像對應特征點的坐標；k11、k12、k21、k22、t1、t2為2幅圖像坐標之間的轉換關系矩陣參數。為了達到擬合最優解的目的，選取多個匹配點，利用最小二乘法求取最佳變換參數，將可見光圖像作為基準圖像，紅外熱圖像向基準圖像進行配準變換，實現圖像配準。

2.2.2 圖像融合

為了消除光照變化對人臉區域產生的影響，更好地識別人臉特征，將可見光和紅外熱圖像進行融合。圖像融合算法直接影響融合后的圖像質量，由于人臉局部特征是由多個像素表征的，因此選擇基于區域的小波變換算法對圖像進行融合，融合基本流程如圖3所示。

圖3 圖像融合流程圖Fig.3 Image fusion flowchart

為了保留圖像的彩色信息，首先將配準后的可見光圖像從RGB變換到HIS空間，并提取I分量，對配準后的紅外熱圖像進行灰度變換增強圖像效果，然后對可見光的I分量及變換后的紅外熱圖像進行小波分解，得到各自的高頻子圖和低頻子圖，對高頻和低頻子圖分別處理，其中低頻子圖包含了圖像的輪廓信息，高頻子圖包含了圖像的細節信息，對低頻子圖采用以下策略進行融合：當紅外熱圖像和可見光圖像的低頻子圖系數值相近時，取兩者平均值作為融合后的低頻系數值，反之，取其中較大值。對高頻子圖采用局域能量最大法進行融合，首先對各自的高頻子圖區域方差計算，得出區域能量，然后計算出紅外熱圖像和可見光圖像在各自高頻子圖中所對應的局部區域內的特征相似度，并設定一個匹配閾值，根據特征相似度和匹配閾值之間的關系，確定融合后的高頻系數值。最后使用融合后的小波系數矩陣逆變換得到新的I分量，經過HIS逆變換得到融合圖像。

2.3 監控視頻效果分析

如圖4所示，系統對視頻中出現的多張人臉同時進行體溫檢測，并采集多張角度人臉照片，圖中2名待測人員均佩戴口罩，其中有一名人員額頭被遮擋，此時系統輸出為該人員人臉檢測區域未遮擋部分的最高溫度，而另一名人員的檢測輸出溫度為額頭區域最高溫度。此外，系統會對人員屬性進行檢測采集，可對人體年齡及性別進行判斷，并支持視頻回溯，可對視頻中的人像以圖搜圖，有效提高疫情防控；獲得數據可實時上傳到AI應急防疫一體化平臺，根據前端采集的多維數據，通過大數據平臺分析后，提供搭建三維可視化地圖。大數據記錄事件發生事前、事中、事后的全過程數據，以便分析原因、持續優化、針對性改善以及模擬事件推演。

2.4 智能體溫檢測系統實施案例和可靠性驗證

雙光譜智能體溫檢測系統在監控視頻下的快速體溫檢測和人臉識別實施案例如圖5所示，系統對監控視頻下的人員進行抓拍，將抓拍到的可見光圖像和熱成像圖像進行配準融合，并對人臉區域檢測劃分，通過卷積神經網絡進行人臉識別、體溫檢測及是否佩戴口罩預警，并將人臉檢測、人臉識別、體溫測量等結果反映在軟件界面上；圖中人員體溫檢測結果為36.2℃，與人臉底庫的特征相似度為93%。系統支持在斷網模式下單機運行，斷網模式下儲存的數據可以后期上傳至平臺數據庫，也可以在聯網模式下將監控數據、設備比對結果及抓拍照片實時上傳給平臺保存。設計實驗對不同人員在不同場景（場景1：大型商場入口，場景2：校園食堂入口，場景3：工業園區入口）下進行多次體溫檢測，實驗數據如表1所示。通過實驗驗證可得：

表1 不同場景下的體溫檢測情況Table 1 Tem perature detection in d ifferent scenes

圖5 雙光譜智能體溫檢測系統快速體溫檢測與人臉識別Fig.5 Fast temperature detection and face recognition by dual-spectrum intelligent temperature detection system

1）多目標體溫檢測的響應時間在30 ms以內，滿足人員流動區域的快速測溫要求；實現了對經過檢測區域的被檢測人流非接觸式動態檢測，解決了接觸式測溫效率低且存在感染風險的問題；其測量溫度誤差在±0.3℃以內，適應1.4～2.0m的身高范圍。

2）可實現全域范圍內的各類疫情卡點、單位、公共場所、工作場所等的證件、視頻、人像、手機、溫度信息的全面感知和統一匯聚。建立城市出入卡口、市內關鍵路段與場所等的無死角、無遺漏、閉環式證件、人像、車軌、視頻、手機、溫度信息的采集，形成全市統一的人像視頻資料庫和泛感知信息庫等。

3）該系統基于深度學習算法進行人臉識別，可同時對人體是否帶口罩、畫面中的人體性別進行識別；并結合大數據實施未防護預警、發熱預警、未防護人員數據分析、疫區人員布控、人員軌跡分析、人員身份鑒別等。識別條件要求最小瞳距30像素，面部無大面積遮擋，露出鼻梁及以上區域，上下俯仰角小于45°，左右側臉角度小于45°。正常使用情況下人臉抓拍率99%以上，對于佩戴口罩情況下的人臉識別，當人臉底庫為最近采集的現場照片時，識別率可達到95%；若人臉底庫為身份證底庫照片，識別率可達到90%以上。

4）環境溫度會對人體溫度造成影響，如在冬天的室外環境下，由于人體額頭暴露在外，表面溫度會變低，因此，在此環境下進行室外量測體溫，測出的溫度可能會偏低。即由于人體在不同環境下的體表溫度發生變化，導致測出的溫度與人體實際溫度有偏差，但這并不是測溫系統本身在不同溫度下的測量準確性造成的。

2.5 健康大數據管理系統

結合雙光譜智能體溫檢測結果，建立健康大數據管理系統，系統框架如圖6所示。健康大數據管理系統能實時監控和追蹤回溯人員流動，在多維度上對人員信息和疫情發展大數據進行統計分析，實現地域、年齡、性別、時間分布、人員流動等多維度上的疫情狀態可視化，并對疫情發展動態進行建模和預測，根據分析結果完善疫情防控策略，開展精準高效的疫情防控。

圖6 健康大數據管理系統框架Fig.6 Architecture of health big datamanagement system

3 結 論

1）本文建立了融合可見光和紅外光雙光譜智能體溫檢測與健康大數據管理系統，既提高了溫度檢測區域的精準性，又避免了光照變化對人臉識別的影響。利用紅外熱成像技術實現非接觸式快速體溫檢測，針對目前疫情需求，無需摘下口罩即可進行人臉識別；同時對人員屬性及是否佩戴口罩等進行識別并實時上傳至數據庫，快速完成人員信息登記。

2）系統已在多地完成部署，通過了有效性和可靠性驗證，測量速度快，響應時間為30 ms以內；測量精度高，測量溫度誤差在±0.3℃以內；測量范圍廣，可監控距離0.1～10 m；人臉抓拍率99%以上，識別率95%以上。

3）將檢測結果融入到健康大數據管理系統，實時跟進疫情的動態趨勢，方便快捷地實現疫情發展的宏觀把控，對于疫情防治具有指導意義。