基于人工智能技術的郵輪智能防疫追蹤系統

樂玉強

（上海船用柴油機研究所，上海 201108）

0 引 言

2020年爆發的全球新冠肺炎疫情給全球郵輪經濟的發展帶來了很大沖擊。郵輪因具有人員密集、醫療資源匱乏等特點而成為疫情重災區。發生疫情的“鉆石公主號”郵輪在沒有任何防疫手段的情況下，相關管控一片混亂。目前豪華郵輪建造領域的關鍵技術仍由歐洲的幾大傳統造船廠掌握，其在船型設計、動力、環保和裝飾等方面不斷有新的發展創新出現，但其在郵輪信息化方面的建設相對滯后。尤其是在人工智能、大數據分析和物聯網等新技術的應用方面，造船行業明顯滯后于其他行業。這主要是由于涉及隱私保護，制約人工智能技術對相關數據的采集，從而限制了該行業的發展。

國內一般將傳染病劃分為甲、乙、丙等3類，其中甲類和乙類分別為強制管理類和嚴格管理類傳染病。甲類傳染病包含鼠疫、霍亂等；乙類傳染病包含新型冠狀病毒肺炎、非典型肺炎、禽流感、登革熱、炭疽、傷寒和瘧疾等，共26種。這些傳染病具有以下2個特點：

1）發病快、傳染快，均可通過空氣和人體呼吸道傳播，在人員密集、密閉場所多的郵輪上傳播速度更快；

2）發病前后通常伴有發熱現象和肺部感染導致的血氧飽和度下降的情況，一般可通過電子體溫監測、血氧飽和度監測等手段進行預判。

我國郵輪產業的發展必須緊跟時代，非常有必要在郵輪上設置基于人工智能技術的智能防疫追蹤系統，為智慧郵輪和安全郵輪建設提供基礎保障。

1 郵輪智能防疫追蹤系統的組成和功能

該防疫追蹤系統通過岸端和船端實時同步更新乘客和船員近14 d及實時的身體狀態，第一時間準確發現體溫和血氧飽和度等指標異常的人員，之后對其進行相應的醫學檢測，確定所患傳染病類型，并采取相關治療及隔離措施。此外，通過該系統準確繪制發病人員的行動軌跡及與軌跡相關的密接者的信息，并進行2次、3次密接者追蹤運算和對相應人員的實時定位等操作。

該系統主要由熱成像測溫設備、高清攝像機和智能解析服務器等視頻安防類設備組成，需接入智能手環系統，同時通過內網數據接口與登船系統、醫療系統和酒店管理系統（Property Management System，PMS）無縫對接。系統架構見圖1，主要用到熱成像技術、基于視頻的人臉識別技術、大數據分析技術、物聯網技術和郵輪衛星通信技術等。系統通過船、岸數據接口實現實時同步全程數據追蹤與健康安全分析。

圖1 郵輪智能防疫追蹤系統架構

1.1 系統操作流程

系統操作流程包括如下4項。郵輪在單個航程中可能會停靠多個港口，每停靠1個港口，都應重新按該流程操作。

1）到港前健康數據采集與上傳：在線健康申報或在線Check-in等提交，上傳必要的數據和資料（包括體溫數據和健康碼）。

2）登船時健康狀態監測與核實：在乘客排隊登船時對其進行無感體溫掃描，利用帶熱成像攝像頭的手持或自助數字哨兵設備進行體溫篩查和健康碼核驗。

3）航行期數據采集-追蹤-分析：在餐廳、劇院和會所等公共密閉場所的出入口設置具有測溫功能的人臉識別攝像機，對乘客進行無感體溫監測，并進行歷史數據分析。同時，接入可監測體溫、血氧飽和度等的智能手環監測系統，將兒童、老人等特定乘客的健康數據接入數據庫中一并進行分析。

4）離船前健康狀態復檢：在離船出口區域設置無感測溫人臉識別攝像機，自動監測離船人員的體溫情況，可在到岸離船和航行結束離船2個場景中進行。

1.2 系統實現的主要功能及指標

實現的功能主要分為系統類功能和軟件操作類2種，其中：系統類功能包括實時測溫、人臉識別、分析與追蹤等；軟件操作類功能包括操作人員通過軟件實時監控和搜索，以及與相關郵輪辦公軟件和應急管理軟件進行數據共享等。

該系統的主要指標涉及相關技術載體的硬件性能，如熱成像設備測溫精度、人臉識別準確率、后臺接入設備數量要求和追蹤次級等（見表1）。相應的技術指標隨船型的變化進行調整，此處接入的設備數量主要針對的是13萬t Carnival Vista級船型。該系統的主要功能應能覆蓋絕大部分乘客和船員，對于部分易感染的兒童和老年人，可通過增加監測手環進一步精確地全天候監測其體溫、血氧飽和度等指標。兒童因新陳代謝快，經常出現內熱等現象，其正常體溫往往高于成年人，通過佩戴手環精準確認體溫，降低防疫系統的誤報率。對于老年人等體質較弱的人群，可佩戴智能手環，這樣有助于發現早期的肺部感染造成的血氧飽和度下降。呼吸困難是甲類和乙類傳染病感染人群發病前后的重要臨床表現之一。這與人體的血氧飽和度下降有關，主要是肺部感染所致。根據國內相關臨床醫學評測，血氧監測手環在阻塞性睡眠呼吸暫停低通氣綜合癥初篩方面具有較高的臨床價值［1］。由此可見，腕表式血氧儀在監測人體血氧飽和度方面具有很大優勢，對于郵輪防疫體系的構建而言具有較高的實際利用價值。

表1 系統的主要功能及指標

1.3 系統軟件

后臺軟件系統需建立中央管理數據庫，支持連接不少于1 000個不同類型的熱敏設備和攝像機等終端，具備歷史數據跟蹤和密接者追蹤功能，并能覆蓋整個航程。所有數據通過本地服務器存儲，并定時通過衛星通信系統上云備份。軟件具備與第三方系統（如登船系統、醫療系統、PMS和智能手環監測系統等）進行數據連接的軟件包［2］。應用軟件應具有實時測溫監控追蹤功能，通過各入口測溫系統與視頻監控系統聯動，實時監控乘客的健康狀況。若發現高溫乘客，可立即追蹤其密接者。另外，軟件中應設置單獨模塊，用于記錄和分析采集到的每位乘客或船員的健康狀態信息，該模塊不僅能調取登船系統中的客戶數據，而且能向醫療系統輸送數據，全方位、多角度對乘客的健康保駕護航。

2 人臉識別視頻監控系統軟硬件部署

人臉識別視頻監控系統包含以下4個核心組成部分［3］。

1）視頻處理／人臉捕獲工作站：在視頻圖像中發現人臉，評估圖像的質量并將其提交給人臉識別比對工作站。

2）人臉識別比對工作站：提取目標人物的人臉圖像特征，并將其與數據庫中的相關數據相對比。

3）黑名單數據庫：根據實際需求制訂黑白單照片采集模板，并將相關數據錄入數據庫中。

4）報警顯示工作站：根據數據對比結果進行報警顯示，或將相關對比結果傳輸給操作人員的終端設備。

軟硬件部署主要涵蓋前端攝像機和后臺部署。對于已運營的郵輪而言，可單獨部署前端熱成像攝像機，在后臺設置相應的AI（Artificial Intelligence）算法和測溫服務器的軟硬件設備。對于在建的郵輪，可在視頻監控系統中規劃前端熱成像人臉識別攝像機，并將智能防疫追蹤系統嵌入視頻綜合服務平臺，實現統一部署、統籌管理。

2.1 前端硬件部署

以Carnival Vista級郵輪（中國首制郵輪船型）作為參考，雖然該船型的安防視頻監控點能達到1 000個，但只需在關鍵點位設置熱成像人臉識別攝像機。本文以商業甲板層和艙房標準層為例進行分析。熱成像人臉識別攝像機點位布置見圖2。

圖2 熱成像人臉識別攝像機點位布置

室內主要出入口應設置具有測溫和人臉識別功能的攝像機；其他場所應設置人臉識別攝像機；大型室內密閉場所（如劇院、會所等）應增加具有測溫功能的攝像機。舷梯和成人娛樂場所出入口應設置移動式測溫設備；室外場所應設置星光級或黑光級人臉識別攝像機。所有攝像機的像素要求不低于200萬。

2.2 視頻綜合服務平臺部署

2.2.1 整體部署

1）平臺硬件：在后臺控制室內安裝監控管理平臺服務器、AI算法及測溫服務器、控制鍵盤、智能存儲主機和視頻編／解碼器，并配備監控屏幕墻和4聯控制操作臺，存儲主機的容量需保證圖像保存時間不小于30 d。［4］

2）平臺軟件：部署的安防管理軟件平臺應基于“統一軟件技術架構”理念設計，采用業務組件化技術，滿足平臺對業務的彈性擴展需求。該平臺適用于全行業的通用綜合安防業務，對各系統資源進行整合和集中管理，實現統一部署、統一配置、統一管理和統一調度。

2.2.2 平臺功能

1）平臺子系統統一集成、統一監控。平臺對各子系統進行統一管理和控制，實現用相同的環境、相同的軟件界面對分散的、相互獨立的子系統進行集中管理，為系統交付及維護人員提供一站式安裝、運行和維護服務。

2）基于組件設計，便于擴展。平臺基于組件化理念設計，以各類功能與應用整合和集成為核心，實現由單純的圖像監控向基于深度學習算法的人臉識別應用的拓展和延伸。

3）應用接口開放。平臺通過Web Service和http接口提供基礎服務，實現應用接口開放，接口遵循RESTful規范。對于已運營的郵輪而言，安裝該系統需調用視頻監控系統的視頻等數據，廠家應提供SDK軟件開發包，SDK中需含有不同功能庫的動態鏈接庫（Dynamic Link library，DLL），DLL中封裝有廠家的功能函數。在系統開發過程中，為調用DLL中的函數，必須要有函數原型聲明的頭文件（.h文件）和庫文件（.lib文件）。因此，用戶必須將需使用的功能庫的DLL文件、頭文件和lib庫文件導入編程環境中［5］。

2.2.3 平臺架構

1）邏輯架構：可通過門戶、客戶端和移動客戶端訪問平臺，其中門戶為Web集成框架，集成各Web組件提供的菜單界面。

2）業務架構：綜合安防管理平臺采用組件架構，不同組件承擔不同的功能，從能力上分為共性業務組件、通用服務組件和基礎環境組件。

3）數據架構：平臺中的數據包含結構化的業務數據、資源數據、錄像數據、圖片數據及緩存。業務數據存儲在PostgreSQL中；資源數據存儲在目錄服務中；錄像數據存儲在智能存儲主機和云存儲中；圖片數據存儲在asw組件（存儲接入服務）中；部分高熱訪問數據存儲在redis緩存中。

4）部署架構：部署架構圖見圖3。平臺按組件維度進行拆分部署。拆分可將數據庫獨立部署到獨立的服務器中，可將tomcat容器中的組件拆分部署到獨立的服務器中，可將設備接入框架、媒體網關、視頻點播和級聯網關等組件獨立部署到其他服務器中，可將核心服務單獨部署。

圖3 視頻綜合服務平臺部署架構圖

3 基于視頻的人臉識別和跟蹤算法的應用

在進行圖像識別之前，應先對人臉圖像進行預處理，在圖像識別和分析過程中對輸入的人臉圖像進行分割、特征抽取和匹配等。預處理方法主要有直方圖均衡化、灰度拉伸、中值濾波和同態濾波等。對圖像進行預處理能去除圖像中與人臉不相關的信息，準確定位人臉部分，使圖像細節更明顯，進一步提高人臉圖像特征提取、匹配和識別的可靠性［6］。人臉驗證模式主要有3種：

1）1∶1 驗證，計算機對當前人臉與人像數據庫進行快速比對，得出是否匹配；

2）1∶N驗證，在海量的人像數據庫中找出當前用戶的人臉數據并進行匹配；

3）M∶N驗證，通過計算機對場景內的所有人進行面部識別，并將所得結果與人像數據庫相比對，是動態人臉比對。

1∶1驗證模式和1∶N模式屬于配合式驗證模式，適用于門禁考勤、海關通行等場景中。郵輪場景下的人流量較大，勢必需采用基于視頻的人臉識別算法和M∶N驗證模式作支撐。M∶N驗證模式屬于非配合驗證模式，通常在一段視頻中無法看到乘客的正面映像，因此必須利用少量側臉圖片，通過3D建模還原正臉圖片，并保證具有極高的還原度。模糊照片還原技術模型見圖4。模糊圖片還原之后，還原結果能在百萬級人臉的商業數據庫中將目標縮小到前50范圍內，實現將多張人臉照片合成為高質量照片和還原人臉功能。

圖4 模糊照片還原技術模型

算法的精準度取決于人臉識別算法模型，包括能識別的人臉特征點數量、年齡分布、人種、性別、圖片清晰度、角度、光線、面部遮擋、化妝情況和表情等。結果的可信度也取決于比對庫的大小，比對庫越大，誤識率就越高，越需更復雜精密的算法模型。同時，可結合體溫檢測進行關聯分析。在人臉識別的基礎上，通過姿態識別、行人檢測、物體識別圖像分類和像素分割實現人臉與身體姿勢及行動軌跡的融合，以實現更精準的密接者追蹤。

還可進一步進行人臉關鍵點檢測（包括眼角、眉毛尖端、嘴角和鼻尖等），各特征點以圖像坐標的形式呈現，不同的特征點數量（21～106個）可表達不同精度的人臉變化。人臉關鍵點檢測功能可采用基于級聯回歸的算法，結合深度學習的五官標定初始化，綜合多個不同標準的多點數據集知識，使同一個模型能應用于不同數量的關鍵點檢測中，以保證具有更小的誤差和更好的適應性。人臉檢測技術中的關鍵點定位算法可對各種表情、姿態和角度的人臉進行精準關鍵點定位。從專用數據集中隨機選取數據，其中，80%用于訓練，20%用于測試，計算所有圖的平均每點誤差與眼距之比的平均誤差需在5%以內。加入面部軌跡追蹤與視頻動態解析技術，極大地提高人臉檢測的速度，能隨著視頻內容的變化迅速定位人臉所在位置，進而計算與周圍人群接觸的距離和停留時間。新冠肺炎最容易發生接觸傳染的距離在2 m以內，最短接觸時間約為15 s。設定參數之后，即可通過大數據分析列出1號病人的Ⅰ類密接者、Ⅱ類密接者和Ⅲ類密接者。

為實現更精準的密接者追蹤，可通過提取在目標圖像跟蹤過程中得到的圖像的主要特征，組建圖像特征集，通過計算提取的特征的均布差值得到目標圖像與背景圖像的差別，將目標范圍約束在對應的空間中。在進行目標圖像識別時，融合EM（Expectation-Maximization）算法，根據目標圖像投影熵特征分布模型獲取目標圖像中與各目標特征相對應的混合高斯函數的Mahalanobis間距，得到目標圖像特征所屬類別，進而完成精確的目標圖像跟蹤。試驗結果表明，多攝像機下的目標跟蹤關聯算法精確度高，效率高［7］。

4 結 語

基于人工智能技術的郵輪智能防疫追蹤系統部署之后，能有效地對船上可能發生的疫情做出預判、告警和追蹤，為整個航程的防疫管控提供有利的先導條件。同時，從熱成像、人臉抓拍、告警提醒、人為干預和數據追溯等多個角度為防疫管控提供強有力的技術支持。此外，與登船系統和郵輪醫療系統進行實時對接和數據共享，符合智慧郵輪和安全郵輪的發展理念。本文所述防疫追蹤系統僅用于疫情的早期發現和感染人群軌跡追蹤中，為郵輪防疫安全管理提供告警和追溯等服務。后續可進一步將該系統拓展應用到疫情快速發展之后的工作中，輔助管理團隊對郵輪開展分區隔離管理工作。