基于多模態數據融合的飛行員生理心理訓練管理系統構建

李永剛，戰春霞，姜國瑞

（海軍航空大學，山東 煙臺 264001）

身心之間的關系既可以形成身與心的相互促進，也能夠相互消耗[1]。各飛行管理單位越來越重視飛行員在不同階段的生理心理測量信息和飛行訓練中飛行員的生理心理特點，并取得一些成效，但是目前尚未建立全面的生理心理管理系統。目前，部分訓練單位對飛行人員訓練數據的分析、比對工作均依靠人工記賬式操作或半人工半設備，指標針對性弱、信息反饋周期長、調整時效性差，導致存在信息利用成效低、數據基礎建設不扎實、各單位信息數據不相通和飛行職業特點不足等問題，身心能力表現數據尚無統一的多維度綜合評估標準，應對措施經常造成“一人生病、眾人吃藥”現象，極大制約了身心訓練的效能發揮。

飛行訓練不僅要著眼于基礎訓練，更要結合當下為訓練的轉型和發展提供的新手段。飛行員生理心理信息管理系統作為飛行員生理心理信息數據管理中心，客觀地記錄了飛行員生理心理特征及成長歷程，是全方位多角度認識飛行員個體的依據。本文從以提高人才的心理建設為主線，以科技推動為抓手，基于大數據分析融合技術的發展，對飛行人員生理心理訓練進行模式創新試點，將訓練個人與計算機智慧深度融合，構建“用數據說話、用數據決策、用數據管理、用數據創新”飛行員生理心理訓練管理系統。

1 飛行員生理心理信息管理系統模塊設計

飛行員生理心理數據融合管理系統功能結構如圖1 所示。

圖1 飛行員生理心理數據融合管理系統功能結構圖

1.1 用戶管理子系統

平臺系統將用戶劃分成3 種類型，即管理單位、施訓部門和飛行員。本系統將集成Spring Security，用于用戶登錄時的身份驗證及系統資源訪問控制、移動設備使用授權、某個角色在某個時間段內對某個資源進行授權等，保證系統訪問及資源安全，不同類型的用戶應有不同的操作權限，無關人員禁止進入系統，實現“非必要不授權”“授權后及時收權”。管理單位對信息管理平臺進行操作的最高權限為可使用所有功能，查閱數據庫內所有檔案信息，管理飛行員并設置相應操作使用權限，為決策的制定提供依據。施訓部門可以通過客戶端程序實現對系統數據庫中服務范圍內所有飛行員生理心理信息的查閱、錄入、編輯，并根據各項測量信息和訓練科目成績制定生理心理測試方案并導入平臺系統。飛行員能使用系統部分查閱和部分編輯功能，并只具有對自己個人信息的操作權限，飛行員登錄后的所有操作，平臺自動進行痕跡記錄，形成日志文件長期保存，以備查驗。

1.2 訓練檢測子系統

飛行員生理心理檢測的主要目的是能夠在非常心理狀態下對飛行員進行綜合心理素質、生理變化特點、專業技能測試和訓練。首先，是基本的體能體質訓練等，例如，力量訓練管理模塊、速度訓練管理模塊、耐力訓練管理模塊、靈敏訓練管理模塊、協調訓練管理模塊、柔韌訓練管理模塊、平衡訓練管理模塊和體型管理模塊。其次，是飛行職業能力檢測，通過平臺系統與生物反饋進行聯接，例如，在抗載荷能力、空間定向能力、抗疲勞能力等方面進行智能評估與健康管理，并形成大數據成果輸出展示，執行控制系統負責聲、光、電刺激輸出，完成對飛行員的心理壓力形成、心率、體溫和膚電等生理量的采集。另外，是對飛行員飛行后的心理狀態進行實時、動態的監測與評估，并根據生理心理等多維度指標的變化，結合訓練人員的心理動機、性格傾向等全方面進行分析、衡量、預警，通過平臺信息的綜合分析和處理，對飛行員的體質體能狀況進行評估和鑒定，制定有針對性的生理心理放松、訓練，并初步評估是否可以繼續進行下一科目的飛行訓練或任務的執行。

1.3 科目管理子系統

飛行員生理心理信息管理平臺的科目管理子系統支持生理心理訓練科目的新增、修改、刪除、導出、關注和智能查詢功能。通過對心理生理評估訓練科目的梳理，建立三級科目庫模型，主要包括實驗室訓練科目庫、測評與訓練科目庫、個性化訓練科目庫。系統利用視覺效果，通過時間序列、邏輯關系等不同維度，把訓練數據呈現出來，重點對核心模塊訓練的人員，進行訓練數據的快速精準展現，使受訓及指導實時理解數據評估訓練，智能調整訓練，從而提升飛行員訓練決策能力和訓練實效。智能查詢技術通過圖形化的界面輕松搭建專業水準的可視化應用和智能化數據挖掘分析，滿足訓練監控、運動傷病風險預警、訓練成效分析等需求。如場景實時受訓人員、場景訓練時間段分析、場景訓練成績分析和實時訓練成績動態展示等內容，點擊受訓人員姓名可進入到受訓人員科目可視化界面，對科目進行管理。

1.4 智能訓練子系統

智能訓練子系統是建立完整標準科學的飛行員體質體能、生理心理、健康狀態和任務績效的數據倉庫，根據個人素質差異、任務能力要求、任務條件環境，利用大數據與深度學習技術進行模式識別、迭代優化各數據模型，層層追溯和挖掘，快速掌握訓練情況，發現訓練中的問題和偏差，促進訓練計劃的改善，利用準確、及時、有效的信息不斷更新制定訓練決策，為實現個性化訓練循證方案提供數據與技術支持。通過智能數據建模技術自動生成個性化訓練方案及計劃，為飛行人員提供運動處方應用服務，平臺可提供多種預設的訓練處方供訓練人員進行選擇，同時訓練指導人員也可根據飛行員的訓練情況進行定制化調整，以保證飛行員的訓練質量提升及中心平臺的數據更新。

1.5 可視化大屏端子系統

可視化大屏展示從宏觀層面對整個系統的數據進行分析，并通過可視化圖表的方式直觀地展示給用戶，大屏端可視化展示主要包括整體數據融合分析可視化、數據融合分析可視化、場景實時監控分析可視化和受訓人員數據融合分析可視化等模塊。通過數據向下鉆取功能，可逐層了解數據維度詳細信息，方便用戶從宏觀到微觀，全面掌握系統數據情況。

可視化大屏端展示內容主要包括基礎數據分析、人物畫像分析、群體成績分析、評估結果分析和場景分析等模塊。基礎數據分析主要包括檔案分析和量表分析、科目分析、課外訓練方法分析、預警分析和設備分析等內容。人物畫像分析主要包括個人檔案分析和身體數據分析、測評計劃分析、訓練計劃分析和個人成績分析等內容。群體成績分析主要包括群體內分析和群體間分析等內容。評估結果分析主要包括評估數據分析及評估模型展示等內容。場景分析主要包括場景人員分析等內容。

2 多模態數據融合處理

多模態數據融合技術是對非結構化、多源化、多種類的數據進行采集、存儲、分析和交互[2]。多模態數據運算處理是對多種生理心理數據的預處理、特征提取、模式識別算法和數據運算模型等處理，并將個體的心理數據進行融合分析，基于生理指標形成各種生理心理評估報告。多模態數據運算處理子模塊處理的數據匯聚了多模態數據采集設備的數據，并進行了無效/重復數據清洗、數據降噪等數據處理，形成有效的數據。

2.1 數據接收

數據接收模塊主要負責接收采集設備上報的多模態生理心理數據。數據接收功能主要針對生理心理數據的不同模態提供分類接收服務，支持脈搏（PPG）、皮膚電（GSR）及運動加速度等數據上報，不同模態數據會根據特定的采樣率上傳到應用服務器，應用服務器會將多種生理-行為數據同步。除接收生理心理信號和行為數據外，還可以接收溫度、濕度、大氣壓等環境變量，用于輔助生理心理信號和行為數據（例如通過降噪處理去除體動對脈搏等生理信號的影響）的分析和解讀。

2.2 數據融合

本系統的多模態數據融合模塊主要包含生理數據同步功能。生理數據同步功能主要負責對PPG、GSR 及運動加速度等數據進行數據時間同步，將數據采集過程中產生的不同采樣率數據按照時間進行同步標定，并按照規定的結構輸出格式化數據文件。整體數據融合分析是針對受訓人員數據、歷史數據、訓練方案和訓練計劃等所有數據進行宏觀的統計分析。整體數據融合分析又可分為戰略型、分析型、操作型，為不同類型的使用人員提供個性化配置方案。如訓練場景綜合比較分析、訓練方案進度分析、訓練計劃進度分析、群組訓練成績綜合分析比較及心理指標維度綜合分析等可視化數據整合分析圖表。

2.3 數據分發

數據分發功能主要分為實時數據推送通道及數據存儲通道2 部分。實時數據推送通道主要提供實時監控平臺查看實時生理數據的通信能力，實時數據推送通道采用socket 常連接模式與監控平臺保持數據通信；數據存儲通道主要負責與服務器建立數據傳輸通道，數據存儲通道會根據不同的數據類型，將生理心理數據有指向性地推送到各自的存儲空間中，方便服務器對數據進行統一管理。

2.4 數據特征提取

數據特征提取模塊結合心理學、人因工程學心理狀態識別研究的相關文獻和實驗結論，針對不同模態的生理心理數據提取基于心理學先驗知識的特征指標。一般地，提取的特征信息應是原始數據信息的充分表示量或統計量[3]。

例如，針對脈搏數據，擬提取心率、R-R 間期、低頻心率變異性、高頻心率變異性和高低頻心率變異性的比值等時頻域特征，以及脈搏幅度、一階/二階導數及其均值、方差等描述性統計學指標。針對皮膚電阻，除了描述性統計學指標外，還將提取皮膚電導水平和皮膚電導反應2 種成分。皮膚電導水平是跨越皮膚2 點的皮膚電導的絕對值，可稱作基礎皮膚電傳導，一般認為其是在平靜狀態下生理活動的基礎值，是個體基線水平下心理狀態的重要參考指標。而皮膚電導反應是在皮膚電導水平中出現的一個瞬時的、較快的波動，是由刺激而引起的生理心理喚醒狀態，是個體的情緒喚醒水平的重要參考依據。

3 基于系統的生理心理訓練管理流程

為使數據信息能夠盡可能地反映飛行員的真實情況，需要對生理心理訓練流程進行規范化。訓練過程主要分為訓練準備、開始、執行和結束4 個階段。

3.1 訓練準備階段

訓練準備階段基于系統設備使用情況、訓練科目信息、人員的基礎心理和生理信息、歷史訓練數據等資源數據，采用推薦系統等技術，生成個性化的訓練方案，制訂訓練計劃。訓練開始階段是訓練管理員將個性化訓練方案和訓練計劃下發給相關參訓人員，參訓人員可在移動端的用戶訓練卡片中查看詳細的訓練任務。訓練管理員可以按照實際需求創建訓練場景和我的關注，方便對參訓人員進行實時監控。

3.2 訓練進行階段

訓練進行階段是參訓人員按照用戶訓練卡片中的訓練任務開始訓練，可手動變更訓練任務的狀態，系統也支持自動收集訓練設備生成的過程數據。訓練管理員可大屏和PC 端實時查看訓練計劃進度、訓練方案執行情況、參訓人員的訓練情況和訓練過程中產生的預警信息等。在訓練執行階段，根據訓練過程數據和系統自動分析的訓練結果數據，包括訓練成績、評估結果、人員生理心理等數據，及時調整訓練計劃和方案，提升訓練質量和訓練效率。

3.3 訓練結束階段

訓練結束階段是訓練結束后，訓練管理員可進行訓練成績打分和評價，系統基于器材產生的訓練數據、管理員的評價數據、訓練成績等數據自動得出綜合能力評估等信息。在訓練結束后，系統通過數據統計分析，可為下一步的訓練方案和計劃提供輔助性決策，最終實現整個訓練環節的全程可跟蹤、可實時調整、可監控分析的閉環管理。當受訓人員在訓練過程中觸發異常預警時，系統可根據異常預警級別主動執行預警處置預案，通過提醒、中斷訓練等手段，及時響應異常情況，保障受訓人員的生理、心理健康和訓練的可持續性。

4 飛行員生理心理信息管理系統效用分析

4.1 建立數據采集場景化串聯流程

數據采集主要是訓練過程中以多模態數據融合及生理心理監測系統為主要核心內容進行場景化流程串聯，實現從飛行員進入訓練中心為起點到結束訓練離開訓練中心為終點的一次生理心理訓練監測、干預、檢測的完整性訓練。

系統主要分為訓練前檢測、訓練中監測、訓練后檢測3 個核心功能。訓練前檢測主要采用Android Pad 為載體，預安裝認知行為測試軟件，對飛行員認知行為測試的全程進行生理數據實時監測，并采用模式識別算法對其生理狀態、心理壓力及疲勞水平進行分析，同時與行為測試績效數據進行融合分析。訓練中監測，在訓練過程中佩戴多模態生理采集手環，對完整的訓練全程進行生理數據實時監測，采用模式識別算法對其生理心理水平進行分析。同時，采用生物反饋放松座椅+虛擬現實頭盔和主機+電刺激干預放松設備，通過視覺、聲音、生理反饋和物理干預等多種放松方式對飛行后飛行員進行放松訓練。訓練后檢測主要以Android Pad 為載體，預安裝認知行為測試軟件，并在測試過程中佩戴多模態生理采集手環，對飛行訓練后的人員再次進行認知行為測試，并對全程進行生理數據實時監測，采用模式識別算法對其生理心理水平進行分析，同時與行為測試績效數據進行融合分析，評估訓練后飛行員的生理心理水平恢復情況。

4.2 建立心理效能綜合評估模型

系統將多模態生理與行為數據進行無效/重復數據清洗與數據降噪等處理得到有效數據，并進行特征提取，比如針對PPG 數據提取心率與R-R 間期、SDNN、LF 和HF 等時域與頻域上的心率變異性特征，針對皮膚電信號提取SCL 與SCR 等皮膚導電特性特征。之后以模式識別算法與數據運算模型對特征數據進行運算，基于有監督學習的方法，對帶有分類標記的訓練樣本進行學習，建立基于個體多種生理、行為指標的個性化心理狀態識別模型。

在數據特征及識別模型結果2 個層面上，對系統評估的狀態及結果進行展示。在特征層上，對實時采集的PPG 原始生理數據提取反映受試者心理狀態變化的關鍵特征，并進行動態實時展示，直接看到受試者的生理信號波動。在識別模型結果層，對心理效能評估的模型計算結果以圖表和數值的方式進行實時監測，將心理壓力與情緒變化等復雜的心理狀態直觀地展現出來，以及時發現高應激、情緒劇烈波動等異常心理狀態。

4.3 建立生理心理標準化的檔案

飛行員生理心理信息的采集量化是通過測量、計算和分析，以求達到對飛行員生理心理“本質”特點的把握。根據心理壓力產生的生理學機制，表明人的壓力感知、發生及平復的過程都是在神經系統的調控下完成的。統計分析表明，人體在壓力狀態下，其生理信號的相關特征值均比放松狀態下有不同程度的提高[4]。心理狀態評估之前，首先對生理信號（心電、脈搏、皮電、呼吸和血氧等）進行采集和預處理，進行生理信號特征提取，利用統計學方法進行特征統計與分析。該心理狀態評估方法基于SVM 和DS 證據理論，對心電、脈搏、皮電3 種信號的特征值進行分類，對比放松和壓力狀態下的數據與正確率，實現基于生理信號的心理狀態評估，并形成數字化檔案。

在訓練過程中，佩戴便攜穿戴式手環作為數據采集終端，在不影響個體身體活動自由度的前提下，實現高精度的脈搏（PPG）、皮膚電（GSR）、運動加速度等生理和行為數據的同步采集，對采集到的數據清洗后進行存儲，結合參訓者的心理準備能力、心理承受能力、心理適應能力、心理應激能力、心理調節和恢復能力全方面的科學評估，訓練結束實時生成心理評估報告，以數據報表的形式記錄、查詢、存儲心理測評結果，建立參訓者生理心理標準化的檔案信息。

5 結束語

隨著飛行器制造技術的不斷成熟，人的因素成為影響飛行安全的最主要因素[5]。在這樣的背景下加強飛行員生理心理訓練模式創新，應促進訓練數據的融合，提升飛行員的生理心理訓練績效，實現飛行人才生理心理訓練的“彎道超車”，進而形成符合我國飛行發展需求的獨特的訓練體系。