多模態數據融合的護理信息系統架構及應用分析

肖爽，趙慶華，鄒依然，胡磊，盧燁，王琦

一直以來，人們都知道生態環境、生活習慣對健康的影響不容忽視，因無法采集這部分數據，而沒有納入護理信息系統(Nursing Information System，NIS)等醫療系統中。隨著信息技術對生活各領域的深入滲透，數學運算能力的不斷提升，與健康相關的數據將不限于臨床檢驗檢查及各項評估，患者的動態生命體征、生態環境、生活習慣都是數據源，數據不再只產生于實驗室或醫務人員的監測，而來自多源多模態；且將開放給醫務人員以外的人員使用。有研究指出，為患者和護理合作伙伴提供訪問醫生筆記的方式可以改善護患溝通和患者自我健康管理的信心[1]，因此NIS面向的應用對象逐漸從單純的護理人員[2]擴展到醫務人員、患者等與健康產業相關人員。這意味著NIS從數據源到最終的展示都將發生根本性轉變。

多模態數據融合(Multi-Modal Data Fusion)技術將對非結構化、多源化、多種類的數據進行采集、存儲、分析、交互，打破傳統表單關聯形式實現數據互通，將采集的數據先管理再使用，從而實現數據的底層交互與深度學習，推動護理與大數據時代的有機融合，本文探索基于多模態數據融合技術的NIS架構，并進行應用分析，以期為完善NIS的建設提供參考。

1 NIS多模態數據信息源及采集方式

①多模態數據。包括文本、視頻、音頻、圖片等，其信息源類別、采集對象、采集方式和傳統NIS有較大區別。②多模態數據信息源類別。包括臨床業務數據(院內醫療過程產生的數據，如檢查檢驗、手術等)和社會數據(院內醫療過程以外的數據，如飲食、運動、睡眠、氣候、溫濕度等)。③多模態數據信息采集對象。包括患者，與患者醫療過程/生活相關的人員(醫生、護士、家屬等)，患者使用的物品(手術器材、檢查試劑等)，患者在醫療過程中的地點、溫度濕度(嬰兒保溫箱)等。④多模態數據信息采集方式。包括鼠標鍵盤錄入的文本，傳感器采集的文本、攝像錄音機采集的視頻、圖片、音頻等。

2 NIS多模態數據融合方法及系統架構

2.1多模態數據融合方法 多模態融合(Multimodal Fusion)是對多個模態的信息進行目標預測(分類或者回歸)，按照融合的層次，可分為像素層(Pixel-Level)，特征層(Feature-level)和決策層(Decision-level)。信息融合方法主要有基于估算、分類和規則3種方法，見圖1。NIS的用戶包括護士和患者，主要是Web用戶，信息融合方式要便于他們對信息的檢索或信息的精準推送；需要將各種數據放在特定護理事件中進行處理，而不是單一圍繞一種模態信息進行處理；同時要關注不同模態數據之間的潛在關聯性和相同模態數據間底層特征分布的不一致性，通過算法把不同媒介下的信息進行高效整合和串聯，從而形成一個完整的全方位的護理信息。

圖1 多模態數據融合方法

2.2多模態數據融合的NIS架構 基于多模態數據融合的NIS架構方面，可設計一種支持高并發業務的4層系統架構，分別以互聯網、物聯網及接口服務支持的智能設備為終端的數據采集層、采用多模態數據融合分析的數據交互層、支持多類型業務處理的數據應用層和滿足異構護理數據管理的數據展示層，囊括對護理實踐相關的多模態數據的采集、分析、應用及展示全過程。與傳統NIS不同之處在于，采集到的多模態數據不是直接應用于臨床場景，而是經過數據交互后再應用，也就是說數據先管理再使用，保證每個數據在系統中擁有“身份證”，數據作為獨立的對象進行存儲，并持續伴隨患者在院內、院外參與的各種場景，不斷進行自我更新和跨系統之間的共享；同時應用層數據可作為一種數據源反饋給采集層。如：入院體溫36.5℃，這條文本數據被護士錄入傳統NIS的體溫單界面后，畫于體溫單，當護理或醫療病程記錄需要入院體溫數據時，系統將體溫單的入院數據編輯為一條文本推送給護理、醫療病程記錄，形成多個表單之間的關聯?；诙嗄B數據融合技術的NIS，會先將36.5℃作為獨立對象經過數據交互(存儲、處理、挖掘)，賦予其多個“身份證”信息——入院時、靜息狀態、午后等，再將數據由其身份特征與不同場景關聯，也就是數據與應用場景的關聯取代表單與表單的關聯，通過改變數據之間的底層交互規則，從而打破圍墻、實現共享，見圖2。

圖2 多模態數據融合的NIS架構

3 多模態數據融合的NIS應用

3.1多模態數據融合的NIS的應用 隨著數字化的廣泛推進，海量多模態臨床數據需求日漸明顯[3]。過去10年，醫療圖像分析領域呈指數增長，促進了高通量定量特征提取方法的開發，多模態數據融合技術在放射性基因組學、疾病預測等領域成為熱點[4]，但在護理領域的研究尚處于起步階段，最早應用于重癥監護病區。Saeed等[5]報道了經過7年時間建立的重癥監護多參數智能監測II(Multiparameter Intelligent Monitoring in Intensive Care II，MIMIC-II)研究數據庫應用情況，這項研究由美國國立衛生研究院資助，利用先進的信息技術和數據算法，對患者實驗室數據、電子病歷文檔、床旁監護儀的數字及波形進行整合，每2～4周將數據從醫院以物理方式傳輸到實驗室，并轉換為開源數據格式，合并到MIMIC-II波形數據庫中，為重癥監護研究建立了新的公共訪問資源，支持了流行病學、臨床決策規則開發和電子病歷研發等各種分析研究。隨著通訊技術與機器智能的進步，多模態數據融合技術開始應用于患者生命體征采集和評估，如EmoPain 2020挑戰賽創建了一個多模式機器學習和多媒體處理平臺[6]，用于比較人類表達行為對慢性疼痛評估的準確性，以識別與疼痛相關的行為。挑戰的目標是為了促進通過實時監控和反饋來改善慢性疼痛患者生活質量的輔助技術研發，從而幫助他們管理自己的狀況并保持身體機能。Gruss等[7]研發壓力、感冒等產生的疼痛，并將記錄數據作為“X-ITE疼痛數據庫”。國內也有學者在糖尿病等領域探索多模態數據監測的應用[8]，取得顯著效果。本世紀初逐漸興起的數字孿生技術(Digital Twin)，為真實的物理世界搭建一個高度鏡像化的數字世界。通過物理設備的數據，將人類的各種行為數據化，在虛擬(信息)空間構建一個表征人體的虛擬實體和子系統，也就是搭建一個“數字克隆”的“孿生體”，依據對“本體”的傳感器收集的多模態數據，以及“本體”的歷史數據進行動態仿真，提前反映出個體目前生活模式將帶來的健康隱患，從而讓個體與醫務人員共同參與到自我健康管理實踐中，目前這一技術已在社區老年人監測領域開展研究[9]。

3.2多模態數據融合的NIS應用存在的困難與應對 當前，盡管以患者為中心的醫療數據已非常豐富，但還有大量醫療場景中的非結構化數據未被采集，如手術過程、睡覺監測中患者的鼾聲、住院期間患者的運動軌跡、飲食情況等，這些數據都可能影響到患者的診斷與治療方案；此外，護理信息學(Nursing Informatics，NI)是一門集成護理科學、計算機科學及信息科學的綜合性學科，但因缺乏師資等因素，護理教育中護理信息學課程并未普及，無論護士還是護生的計算機素養能力并不樂觀[10-12]；因NIS數據采集方式有限，主要依賴護士操作結束后通過計算機或移動終端進行記錄，屬于“回憶型”數據，其真實性和實時性均存在質疑，雖然物聯網(IOT)技術讓部分重癥監護室采用傳感器收集數據，但因投入過大，且設備不夠便捷，無法在普通病房推廣?？梢?，宏觀層質控標準與患者需求脫節、中觀層信息教育與臨床實踐脫節、微觀層底層技術與高層實踐脫節是當前多模態數據融合NIS的最大障礙。多模態數據融合面對的是海量多源數據庫，ICU設備復雜的接口和專有的數據格式，阻礙了設備與數據庫之間無縫聯結；數據的大量增加也會混淆分析，產生計算瓶頸，并降低得出有效因果推論的能力；用于決策支持的最大挑戰是跨多個站點共享圖像數據和元數據，而數據共享必須克服文化、行政、法規和個人問題[13]。

當人們的健康被時代所影響時，護理信息技術也應從用戶需求出發，主動擁抱“數據密集型”時代，開啟一次對護理的范式轉換[14]，邁入“全相護理”(Deep Holographic Care，DHC)[15]時代，一個由數據驅動健康的時代，深挖與健康相關數據需求、開展諸如《實用護理信息技術》等課程加速提升護理信息能力[16]、以多學科團隊協作模式推動護理與大數據時代的有機融合[17]，促進護理工作向全相護理轉型。