融合多維注意力機制與動態尺度的數據校核算法

張小凡，李濤

（河北北方學院附屬第一醫院，河北張家口 075000）

隨著我國醫療衛生信息化的快速發展，大數據、人工智能等新興技術被廣泛應用于醫療領域，這使得對相關活動中設備、藥品、耗材等物資以及人員的消耗進行實時監管成為可能。然而從海量醫療數據中挖掘出異常信息并進行校核的工作，在現階段仍具有較大的挑戰性[1-4]。

目前，國內外學者對醫療數據的挖掘也進行了諸多研究。文獻[5]為了能夠解決傳統單病種醫療費用分析方法處理數據時效率偏低的問題，使用模糊聚類（Fuzzy Clustering，FC）和BP 神經網絡對醫療費用數據進行統計分析，并獲得了較高的準確度。文獻[6]為了對醫療質量進行管控，建立了基于Hadoop的醫療數據監控系統。文獻[7]詳細介紹了基于物聯網的醫療數據挖掘模型，并對傳統算法加以改進。而文獻[8]則使用命名實體識別模型來對醫療大數據進行癥狀名識別以及嚴重程度的估計。為了能夠更有針對性且準確地對醫療設備、耗材及藥品的采購進行監控與數據核對，文中提出了基于多維注意力機制（Multi-dimensional Attention）的動態尺度數據校驗算法模型，從而幫助醫療機構和主管部門進行決策分析。

1 技術原理分析

傳統機器學習（Machine Learning，ML）在對海量數據進行處理時，通常使用支持向量機（Support Vector Machine，SVM）、邏輯回歸（Logistic Regression，LR）、決策樹（Decision Tree，DT）等模型[9-11]。這些模型對于醫療活動所產生的數據已經具備了一定的分析校核能力，但準確度偏低且仍有大量異常數據被遺漏。2017 年谷歌團隊提出了基于自注意力機制（Self-Attention）的模型Transformer[12]，并受到了廣泛的關注和認可。其在自然語言的處理上顯示出了強大的表征與信息融合的能力，因此該文以該模型作為算法的主要架構。

Transformer 模型[13-14]通常由編碼器和解碼器兩部分組成，前者負責對輸入數據執行編碼轉換，后者則將內部表示進行重新轉換并輸出數據。編碼器與解碼器的總體結構基本相似，主要由位置編碼、多頭注意力機制、歸一化、殘差連接（Skip-Connect）及前饋神經網絡（Feedforward Neural Network，FNN）組成，區別僅在于是否帶掩膜。值得注意的是，在Transformer 中也采用了類似殘差神經網絡ResNet 的殘差塊結構。通過向網絡添加一個直接連接通道，并保留前一個網絡層的輸出百分比，從而解決了傳統卷積網絡（Convolutional Neural Networks，CNN）或全連接網絡（Fully Connected Netural Network，FCN）在傳輸時因梯度消失或爆炸而造成深度較深的網絡無法訓練的問題。同時，還在解碼部分之后加入了線性映射和Softmax 函數實現對異常數據的發現。Transformer 的模型架構，如圖1 所示。

圖1 Transformer模型架構

2 動態尺度數據校驗

2.1 總體框架設計

該文所設計算法模型以Transformer 為主干網絡，提出了基于多維注意力機制的動態尺度數據校核算法。利用該機制可以有針對性地對醫療設備、藥品與耗材的各類相關信息進行特征提取，從而完成數據校核。算法的總體模型架構如圖2 所示。

圖2 算法模型總體架構

首先，對獲得的數據進行預處理；然后，采用通道和空間注意力機制對數據的時空信息進行加權融合，并將融合后的信息輸入至主干網絡Transformer模型中加以訓練，最終將完成訓練后的信息輸入到線性變換層及Softmax 層內，以實現數據的校核。該文所提算法模型的創新點為：1）將通道與空間注意力機制相融合，利用多維注意力機制對數據特征進行準確提取，同時還考慮了數據隨時間變化的因素；2）將Transformer 網絡應用于數據校驗模型中，提高了校驗的準確率；3）采用動態尺度，可以實現對全局特征的動態考慮，且進一步提升算法準確度。

2.2 Transformer主干網絡

在Transformer 網絡中，最關鍵的部分就是自注意力機制。對于輸入的任意數據向量xi(i=1,2,…,n)，將其編碼嵌入映射至中間向量ai(i=1,2,…,n)上，并乘以一組矩陣Wq、Wk、Wv，得到向量qi、ki、vi，再對其進行點積，則有：

在實際數據處理過程中為了防止點積的結果過大，通常還需進行壓縮，即：

然而僅利用這一組矩陣得到的注意力相對較為單一，無法滿足對復雜醫療數據核對的要求。所以，文中設置了多組矩陣來實現對不同數據向量間關聯性的表達。此時，多頭注意力機制（Multi-Head Attention）就發揮了較大作用。該機制在參數總量保持不變的情況下，將Q,K,V映射至高維空間的不同子空間中進行計算，最后再將獲得的信息進行合并，由此既可以防止過擬合，也能將不同數據序列間的關系進行綜合。其計算方式如下：

式中，Z為多頭注意力的輸出矩陣，該矩陣包含了所有醫療數據向量相互之間的關聯信息，便于之后流程的使用。同時，為了能夠保持與輸入矩陣相同的維度，還需要乘以矩陣Wz。

此外，為了預防梯度消失的問題，在每個Transformer 網絡的基本模塊中均加入了殘差連接。目的是增加更多的網絡層數，進而獲得更深層次的特征信息。

2.3 多維注意力機制

注意力機制（Attention Mechanism）源于對人腦視覺的研究，人們在處理信息時會選擇性地關注部分內容而忽略若干次要信息[15-16]。其核心思想是將注意力集中在重要的信息上，從而提高處理信息的靈敏度和準確度。為了能夠更好地識別并校驗不同類型的數據，該次引入了通道及空間注意力機制，利用多維注意力機制來實現對數據的準確識別。

通道注意力機制主要由壓縮和激勵兩部分組成，在學習各個通道的信息時，需要先壓縮特征圖空間，然后在通道維度中進行學習，具體結構如圖3所示。

圖3 通道注意力機制的結構

在壓縮部分對輸入的特征F進行平均池化與最大池化，得到兩個具有不同空間的描述符和，進而實現數據空間特征信息的聚合；之后將這些信息傳遞給由多層感知器MLP 組成的共享網絡，以獲得通道注意力Mc=?C×1×1。該文設置的隱藏激活空間的大小為?C/r×1×1，其可減少網絡參數的開銷，r表示縮減率。激勵部分會對各通道分配不同的權重，并進行加權求和，最終融入全連接層。計算通道注意力的公式為：

式中，W0∈?C/r×C，W1∈?C×C/r，而MLP 的權重和則是對兩個輸入共享的。

與通道注意力機制不同，空間注意力機制注重數據的位置信息，并與前者相互補充，其結構如圖4所示。首先該機制在通道方向上開展平均池化和最大池化，且將得到的結果相連接從而形成一個高效的特征描述符；然后通過卷積層生成空間注意力圖Ms(F)∈?H×W；之后利用兩個池化操作聚合特征圖的通道信息，進而形成兩個圖：和，每個圖均表示了跨通道的平均及最大池化特征；最后將這些特征全部連接，并利用卷積層生成空間注意力圖。空間注意力圖的計算方法為：

圖4 空間注意力機制的結構

2.4 動態尺度

在對數據的每次訓練迭代中，文中將獲取異常數據所造成的損失比例作為反饋，并在模型訓練期間的每次前向傳播后進行計算。若在當前迭代t次時統計的損失比例低于某個閾值，則可認為此時能夠通過潛補償來緩解網絡的不平衡，進而在t+1 次迭代中，使用下一個時間段的數據作為輸入；若統計量高于閾值，則以當前時間段的數據作為下一次迭代的輸入。上述二元確定性范式可以總結為：

式中，It+1表示在迭代t+1 次時輸入網絡的小批量數據；Ic和I表示在未來迭代中當前時間段和下一個時間段的數據；為迭代t次時占小尺度對象的損失比例；τ為控制數據準備的決策閾值。通過上述過程，便實現了數據的動態尺度調整。

3 數值實驗與分析

3.1 數據集的建立

該文使用的數據集來源于某省的醫療數據總庫信息，這些數據包含了醫療設備的價格、型號和參數，藥品招采的信息，器材損耗使用的信息以及部分電子病歷的疾病、診斷與用藥信息。數據類型則包括結構化數據、非結構化數據及圖片數據。考慮到疫情影響，數據選取的時間段為2018 年1 月1 日-2020 年12 月30 日，在每月的數據中隨機選取80%的數據集作為訓練數據，剩余20%則為測試數據。

3.2 實驗環境

實驗選擇了Windows 10 操作系統，該系統配備i7-7700k 處理器、64 GB 內存和GTX2080Ti 顯卡；編程語言為Python3.7；整個實驗基于Anaconda3 中的開源深度學習框架PyTorch 1.0。

該預測模型的相關參數設置如下：批量大小為32，采用AdamW 作為優化器，并使用余弦學習率衰減。通過對模型進行了100 次和5 次的訓練-測試交叉實驗來評估算法的分類性能。

3.3 結果與分析

數據校核是對海量數據進行檢查，發現存在的錯誤數據，從而實現對相關行為與運轉的監管。實驗選用了精確率（Precision）、召回率（Recall）和F-分數（F-score）作為評價指標。

其中，精確率表示判斷正確的正例數據占判斷為正例數據的比例；召回率表示判斷正確的正例數據占實際為正例數據的比例；F-分數為調和平均數。

圖5 顯示了訓練和測試的精確率與迭代次數的關系，圖6 則為訓練及測試中損失函數的損失值與迭代次數之間的關系。

圖5 精確率與迭代次數的關系

圖6 損失與迭代次數的關系

從圖5 和圖6 中可以看出，模型在迭代至80次后趨于收斂，測試及訓練結果逐漸穩定，即獲得了最佳的預測效果。此時模型的精確率達到了96%，損耗也為最小。

為進一步驗證所提模型的性能，實驗時將數據集應用于常見的主流模型中，并對比了預測結果的指標，具體如表1 所示。

表1 不同模型評價指標

由表1 可知，所提模型的精確率分別比卷積神經網絡（CNN）和Transformer 模型高21%與6%。同時召回率及F-分數也均優于其他模型，由此表明該模型對醫療數據的校核是有效的。

4 結束語

文中提出了基于多維注意力機制的動態尺度數據校核算法，該算法引入了通道注意力機制和空間注意力機制來更好地獲取數據的特征信息，使用前者能夠得到多維的特征向量，利用后者則可準確定位數據。同時還采用Transformer 模型完成對數據的校驗，而動態尺度可以通過潛補償來緩解不平衡網絡，從而實現對數據的精準判斷。將該算法應用于醫療大數據領域，實現了對臨床設備、藥品、耗材及病案等醫療數據的校核，并為相關機構的監管工作提供了一定的輔助手段。但該模型也存在一定的缺陷，其對于不同類型的數據并未進行嚴格區分，導致數據校核時仍有一定偏差。因此，下一步可以通過數據預處理技術實現對數據的分流建模，以獲得更為理想的校核效果。