結合眼動信息和序列指紋的亞暴事件識別方法

韓怡園，韓 冰+，高新波

1.西安電子科技大學電子工程學院，西安710071

2.重慶郵電大學重慶市圖像認知重點實驗室，重慶400065

極光亞暴[1-2]也稱作地磁亞暴，是地球磁層產生強烈擾動時的一種現象，它也是地球磁層中能量輸入、耦合和釋放的過程。據有關研究顯示，其發生時釋放的能量大約相當于一次中等地震的能量。巨大的能量釋放會對高緯度地區的通訊、飛行器、全球定位系統（global positioning system，GPS）等產生強烈的干擾和影響。而現代人類的生活非常依賴于這些設施，假如極光亞暴的發生對這些設備造成了破壞和干擾，則在一定程度上也會影響到現代人類社會的生活。因此，自動且高效地對極光亞暴進行識別、研究其發生機制、對其進行預測不僅具有非常重要的科學意義同時也對保障人類生活、避免不必要的損失起到了至關重要的作用。

隨著科技的發展，許多衛星攜帶的成像儀可以全方位地對高空極光現象進行有效捕捉。在眾多類型的極光圖像中，有研究表明，Polar 衛星[3]攜帶的紫外成像儀[4-5]獲取到的紫外極光（ultraviolet imager，UVI）圖像則是研究亞暴發生機制最有效的數據[6]。Polar 衛星在其運行過程中每一年可以采集到上千萬張UVI 圖像。準確地識別亞暴事件是后續對其發生機制等研究的前提，但由人工在海量的圖像中挑選出亞暴發生的序列是非常耗時且費精力的。因此，如何自動且準確地從海量的紫外極光圖像中識別出亞暴事件是當下該領域亟需解決的關鍵問題。

在對亞暴事件研究的初始階段，大多數方法是以人工篩選的方式進行識別的。這些方法[7-8]主要根據亞暴發生的階段性特點對其初始時刻進行判斷和定位，從而根據一般亞暴發生的時長得到亞暴發生的序列。除此之外，有部分學者發現某些空間物理參數的變化與亞暴發生有非常密切的關系。例如極光電集流指數（auroral electrojet，AE）的變化能夠反映亞暴發生對磁層的擾動強度[9-10]。通過觀測相關物理參數的變化就能夠定位和識別亞暴發生和結束的時刻。以上的這些方法雖然可以比較準確地識別亞暴事件，但都是非自動化的識別方法，完全依賴于研究者個人對亞暴發生特性的主觀認知，存在識別效率低下的問題。

隨著計算機科學和機器學習的迅猛發展，部分研究者則致力于如何利用機器學習領域的算法對亞暴事件進行自動的識別和檢測。這些方法[11-12]以人工標注的亞暴事件為基準，將UVI 圖像作為機器學習算法的輸入，從而實現對亞暴事件的自動化識別。但這些方法僅依賴于UVI 圖像在亞暴發生時所呈現的物理特性，因此，其識別結果與人工標注的亞暴事件相比，還具有一定的差距。

區別于一般的視頻/序列識別任務，亞暴事件的識別是非常依賴于空間物理科學的專業知識。而空間物理專家們對亞暴序列的視覺認知過程是識別亞暴事件最科學和有效的知識來源。現有能夠有效獲取人類視覺行為的儀器稱為眼動儀，它能夠實時跟蹤人類的視線[13]，獲取和記錄人類對任何圖像或場景的視覺眼動數據。因此，本文提出了一種新的基于眼動信息和序列指紋的極光亞暴事件識別方法。該方法結合了人工標注與機器學習算法兩者的優勢。首先通過眼動儀獲取空間物理領域專家對亞暴序列的視覺認知信息（眼動信息）；其次根據極光亞暴發生不同階段的物理特性對每個亞暴事件中的圖像進行標記得到其對應的序列指紋；最終以眼動信息為輸入，序列指紋為指導，利用機器學習算法實現對亞暴事件的自動且精確的識別。基于以上表述，本文的貢獻可總結如下：

（1）構建了一個新的基于極光亞暴事件的眼動數據庫。該數據庫包含了15 位不同的空間物理專家在觀察不同亞暴序列時的視覺認知信息（眼動信息），也就是每張紫外極光圖像對應的眼動注視圖。

（2）不同于直接對亞暴事件進行整體標記的方式，本文所提出的方法通過對亞暴事件中的每張圖像進行二分類的標記得到每個事件的序列指紋，從而將事件識別問題轉化為圖像分類問題，在一定程度上減小了該任務的難度。

（3）通過設計對序列指紋的判別策略，結合專家眼動注視圖，提出了基于眼動信息和序列指紋的極光亞暴事件識別方法。該方法的性能優于其他亞暴事件自動識別方法。

1 相關工作

本章除了介紹極光亞暴事件的識別相關工作，還主要介紹近年來基于圖像分類任務的相關深度學習網絡的研究進展。

1.1 極光亞暴事件識別方法

關于極光亞暴事件識別任務的相關研究主要分為三大類：人工篩選識別方法、基于物理參數的識別方法和基于機器學習的識別方法。

人工篩選識別方法主要有兩項工作。對于Polar衛星采集的UVI 圖像數據，Liou[8]挑選出了其運行期間所有年份的亞暴事件。對于IMAGE 衛星采集的UVI 圖像數據，Frey 等人[7]對其進行了人工標記。但人工篩選的工作量非常大，且在一定程度上會受到標記者的主觀認知的影響。因此，不適用于在海量的UVI圖像中識別亞暴事件。

基于物理參數的識別方法主要是通過尋找特定的亞暴事件，分析在該事件發生時與亞暴相關的空間物理參數的變化規律，利用這些規律對其余的UVI圖像數據進行判斷，從而實現對亞暴事件的識別。目前已有學者通過研究亞暴發生時Pi2地磁脈動[14-15]、AE[16-17]等參數的變化實現對亞暴事件的識別和檢測。例如Sutcliffe 借助Pi2 地磁脈沖的變化實現對亞暴事件的檢測[18]。這些方法都依賴于物理參數的變化規律，然而物理參數的獲取和UVI 圖像的獲取分辨率是不一致的，有些情況下會存在缺失的情況，這些問題都影響著該類方法的準確性。

基于機器學習的方法近年來也有許多工作。針對Polar 衛星的UVI 圖像，楊秋菊等人提出了一種基于亞暴膨脹相的自動亞暴事件識別方法[11]。Yang 等人也根據亞暴發生時的圖像序列特征，提出了一種基于形狀約束的稀疏低質矩陣分解的亞暴自動檢測方法[12]。連慧芳則基于美國的國防氣象衛星（defense meteorological satellite program，DMSP）和全球紫外線成像儀（global ultraviolet imager，GUVI）衛星的低時間、高空間分辨率的紫外極光圖像數據，通過檢測西行浪涌結構實現對亞暴事件的檢測[19]。這些方法均利用亞暴發生過程不同階段的圖像特征對亞暴事件進行識別，但都忽略了空間物理專家在識別極光亞暴事件時的視覺認知信息，其識別準確率與人工篩選的方式還具有一定的差距。

1.2 深度學習圖像分類方法

隨著深度學習算法的發展，近年來涌現出了許多深度學習網絡，這些網絡在圖像分類任務取得了非常好的效果。從2012 年AlexNet[20]在ImageNet 分類比賽中取得冠軍之后，深度學習網絡的性能在圖像分類任務中逐漸占據了領先地位。針對AlexNet網絡的參數量較大的問題，Simonyan 等人通過堆疊3×3 的卷積核加深網絡深度，進而提出了VGGNet[21]，提高了網絡的分類性能。隨后，Szegedy 等人提出的GoogLeNet[22]采用多支路并行的方式在保證計算資源使用效率的前提下，進一步地提高了網絡的性能。隨著深度學習網絡層數的增加，在訓練過程中出現了梯度爆炸、消失等問題，使得網絡難以優化。

為了解決上述問題，He 等人在2016 年利用殘差塊結構代替原有的卷積結構提出了ResNet[23]，該網絡不僅進一步地提升了分類效果，同時在網絡層數高達152 層時也能夠較好地克服梯度消失問題。在此之后，出現了許多基于ResNet 改進的深度學習網絡，例如Wide Residual Network[24]、DenseNet[25]、ResNeXt[26]、Res2Net[27]、ResNeSt[28]。這些網絡從寬度、模塊連接方式、通道分支數、特征提取粒度、增加通道注意力等不同方面對ResNet 進行了改進，并提高了網絡的分類精度。這些網絡雖然提高了網絡的性能，但訓練時間長、模型復雜，是非常耗費計算資源的。

在保證網絡性能的前提下，是否能夠盡可能地減少網絡計算量和參數？基于此思想，許多學者開始研究輕量化的深度學習網絡。典型的輕量化網絡有SqueezeNet[29]、Xception[30]、MobileNet[31]系列和Shuffle-Net[32]系列。這些網絡有效提高了內存利用率和網絡運行速度，但在分類性能上略低于傳統的深度學習網絡。上述的網絡均是研究者根據經驗或者知識人工設計網絡的結構。人工設計的網絡結構性能是有限的，因此出現了利用神經網絡自動設計神經網絡結構的方法，稱為神經架構搜索（neural architecture search，NAS）。2019 年，Tan 等人基于NAS 搜索設計出了EfficientNets[33]系列模型。該模型平衡了網絡的寬度、深度和分辨率，這一系列的部分網絡模型不僅具有輕量化的特性，同時在當前的所有深度學習網絡中其分類性能是處于優勢地位的。

2 極光亞暴事件眼動數據庫

該部分主要介紹極光亞暴事件眼動數據庫的構建和對眼動數據的分析。

2.1 數據組成

極光亞暴的發生主要有3 個階段：增長相、膨脹相和恢復相。如圖1 所示，在增長相階段，極光活動較弱，極光橢圓上的亮度較暗。在膨脹相階段，極光活動最為強烈，可以看到極光橢圓上的亮斑有明顯的向兩側擴散的現象。在恢復相階段，極光橢圓上的亮斑會逐漸消散，也就說明極光活動強度變弱并逐漸恢復平靜。

如表1 所示，本研究中構建的極光亞暴事件眼動數據庫包括原始極光亞暴序列、每個序列對應的眼動txt 數據（包括每位被試者的每個注視點位置和時長信息）和序列指紋、所有亞暴事件中圖像對應的二分類標簽及其對應的眼動注視圖。如圖1 所示，二分類標簽為0 和1，0 代表增長相和恢復相中的極光圖像，1 代表膨脹相中的極光圖像。序列指紋由每個序列中所有圖像的分類標簽組成，可表示為01110。眼動注視圖由各位專家觀看亞暴序列時眼動儀記錄的注視位置和時長生成，作為專家的眼動信息參與深度學習網絡訓練，具體實現細節將會在實驗部分介紹。

表1 極光亞暴眼動數據庫數據組成Table 1 Data composition of auroral substorm eye movement database

圖1 極光亞暴不同階段圖像樣例Fig.1 Image samples of different stages of auroral substorms

本文所使用的數據為1996—1997 年冬季的UVI數據，根據Liou[8]所提供的人工標注，共選取197 個亞暴序列與197 個非亞暴序列作為眼動測試數據。實驗中采用的亞暴序列基本上包含了大部分類型的亞暴事件，且根據亞暴發生持續的時間，每個序列的長度是不一致的。

2.2 眼動實驗設置

極光亞暴事件識別眼動實驗共邀請了15 位被試者參與。所有被試者均來自西安電子科技大學，年齡在20～40 歲，裸眼或矯正后視力良好。被試者中有7 位為常年從事極光亞暴研究的學生/老師，其余的為學習過極光亞暴相關知識的學生。使用Eyelink 1000 plus 眼動儀進行眼動數據采集。首先保證實驗環境安靜，其次每位被試者參與20～30 組的亞暴序列識別實驗，期間每5 組休息5～10 min 以保證眼動數據的準確性。

極光亞暴識別眼動實驗流程如圖2 所示，實驗過程中會在屏幕上隨機顯示一段極光圖像序列，要求被試者通過觀察判斷該序列是否為亞暴序列，若一次觀察無法確定該序列是否為亞暴序列，可按鍵選擇進行重復觀看直至做出判斷。為了使被試了解實驗流程，每位被試在正式開始實驗前，先進行一次預測試實驗，該測試實驗設置與極光亞暴事件識別的正式眼動實驗一致。為了保證不干擾被試對亞暴序列的判斷，僅將極光亞暴序列換成自然圖像序列。

圖2 眼動實驗流程圖Fig.2 Flowchart of eye movement experiment

2.3 眼動數據分析

在完成極光亞暴事件的眼動數據采集之后，首先對不同亞暴發生階段（增長相onset、膨脹相expansion 和恢復相recovery）的眼動注視位置分別在x坐標軸下和y坐標軸下進行了統計分析。所使用的統計指標為平均值、標準差、方差以及偏差數。其中偏差數為平均值與方差的比值，數值區間為[0，1]。

眼動數據的統計結果如圖3 和圖4 所示。從圖中可以看出，無論是在x坐標軸下還是y坐標軸下，眼動注視點位置的平均值和偏差數從增長相到膨脹相呈現增長的趨勢，在恢復相又逐漸減小。從方差和標準差上看，膨脹相的數值較小，也就說明在觀察膨脹相時，被試者的注視點位置較為集中。膨脹相中極光圖像上呈現的亮斑較為明顯，被試者的注意大部分會集中在有亮斑的區域。而增長相和恢復相中極光橢圓上的亮度分布較為均勻且亮斑不明顯，被試的注視點較為分散，因此增長相和恢復相中極光圖像注視點位置的方差和標準差會大于膨脹相中的極光圖像注視點位置的方差和標準差。

圖3 x 坐標軸下的眼動注視位置統計圖Fig.3 Statistics results of eye movement fixation position under x coordinate

圖4 y 坐標軸下的眼動注視位置統計圖Fig.4 Statistics results of eye movement fixation position under y coordinate

該統計結果說明，從整體上看，被試者在觀察亞暴序列時，在不同的亞暴發生階段其視覺認知存在明顯的差異。與此同時，發現當不同的被試者在觀察同一亞暴序列時，每位被試者的眼動信息在不同的亞暴發生階段同樣存在這種差異。這與原始亞暴序列在圖像上所表現出來的特征是一致的。因此，對任何一個亞暴序列，使用單一被試者的眼動信息作為先驗加入提出方法中的思想是可行的。

3 基于眼動信息和序列指紋的極光亞暴事件識別方法

本文方法主要分為兩部分：第一部分為基于眼動信息的序列指紋獲取模塊，該模塊基于原始UVI圖像和其對應的眼動注視圖，利用一個深度學習網絡對亞暴序列中的圖像進行分類預測得到其序列指紋。第二部分為序列指紋識別模塊，該模塊通過設計合理的序列指紋識別策略實現對亞暴事件的識別。算法框圖如圖5 所示。

3.1 基于眼動信息的序列指紋獲取模塊

基于眼動信息的序列指紋獲取模塊由一個基于分類任務的深度學習網絡實現。綜合考慮網絡模型的速度和精度，本文采用EfficientNets[33]系列網絡實現對UVI圖像的精確分類。

如圖5 所示，在訓練階段，不考慮圖像所屬的序列，將其與對應的眼動注視圖同時打亂輸入深度分類網絡中進行訓練，在訓練過程中，使用交叉熵作為Loss函數，如式（1）所示。

圖5 本文方法的流程圖Fig.5 Flowchart of proposed method

其中，n代表分類的總類別數，本實驗中設n=2 。GT代表真實標簽，CLS代表分類的結果。

在測試階段，按照亞暴序列中圖像的順序依次將其輸入網絡中進行測試，輸出的分類預測標簽則可組成其序列指紋。

3.2 序列指紋識別模塊

根據亞暴事件發生不同階段的特征可知，相比膨脹相中的圖像，增長相與恢復相中的圖像特不明顯。根據2.1 節對極光圖像的標記，任何一個亞暴事件的序列指紋都應該符合0-1-0 這樣的規律。因此在利用每個圖像的分類預測標簽得到每個亞暴事件序列指紋的前提下，本文提出了兩種序列指紋識別策略實現對極光亞暴事件的識別。

如圖6 以及算法1 所示，策略1 要求序列指紋必須完全服從亞暴發生的規律。也就是說必須出現膨脹相、增長相與恢復相3 個階段（0-1-0 模式），且增長相與恢復相中全部圖像的分類預測標簽必須為0，膨脹相中全部圖像的分類預測標簽必須為1。

圖6 兩種序列指紋識別策略示意圖Fig.6 Diagram of two sequence fingerprint recognition strategies

算法1序列指紋識別策略1

在策略2 中，只要符合以下3 種情況的序列指紋均可被認為符合亞暴發生的規律：

（1）序列指紋的模式保證有從增長相到膨脹相再到恢復相的轉換，增長相與恢復相中的全部圖像的分類預測標簽必須為0，并且膨脹相中全部圖像的分類預測標簽的容錯率為10%。

（2）序列指紋的模式保證有從增長相到膨脹相再到恢復相的轉換，但僅保證膨脹相的前一個圖像的分類預測標簽與膨脹相的后一個圖像的分類預測標簽必須為0。同時膨脹相中全部圖像的分類預測標簽的容錯率為10%。

（3）序列指紋的模式保證有從增長相到膨脹相的轉換，并且在膨脹相中全部圖像的分類預測標簽的容錯率為10%。具體的實現流程如算法2 所示。

算法2序列指紋識別策略2

4 實驗結果與分析

4.1 實驗數據和環境

本文在相同的實驗條件下構建了3 種不同輸入條件下實驗：第一種輸入為UVI 圖像。第二種輸入為極光卵邊界分割結果、UVI 圖像和眼動注視圖。UVI圖像背景具有多變性和干擾性，加入極光卵邊界分割結果是為了抑制UVI 圖像數據中背景干擾。第三種輸入為UVI 圖像和眼動注視圖，其目的是為了驗證眼動信息的加入是否提高了分類網絡的性能。

由于UVI 圖像為灰度圖像，而深度學習網絡更加適用于三通道的圖像。因此，首先將UVI 圖像進行復制，拼接成一個三通道的圖像。即每一個通道都是原始的UVI 圖像。這樣得到的UVI 圖像則不會缺失或增加信息。對于另外兩種輸入數據，同樣進行了通道拼接的操作。圖7 中的第二行是用UVI 圖像、極光卵邊界分割結果以及眼動注視圖拼接的圖像，其中極光卵邊界分割結果由目前精度最高的極光卵分割算法[34]得到。第三行是將UVI 圖像與眼動注視圖2：1 進行通道拼接的圖像。

圖7 不同輸入數據的示例Fig.7 Samples of different input data

本文中所有實驗均是在NVIDIA GeForce GTX 1070Ti 顯卡上進行，并且實驗環境為CUDA 10.0 +CUDNN v7.6.5+Python 3.6+Pytorch 1.2.0、torchvision 0.4.0。本文實驗部分所有表格中最好的實驗結果顯示為加粗且斜體，次好的實驗結果顯示為加粗。

4.2 基于眼動信息的序列指紋獲取模塊的消融實驗

利用分類準確率對基于眼動信息的序列指紋獲取模塊中深度學習網絡預測的分類結果進行驗證。網絡的輸入分別為圖7 所示的3 種不同類型的輸入數據。同時，考慮到速度和精度的平衡，僅使用Efficientnets 系列b0～b3 這4 個網絡進行實驗。由于這4個網絡的結構從簡單到復雜，網絡達到收斂狀態時訓練的次數是不一致的。因此，實驗也同時對比了不同網絡在20 次和40 次迭代次數下的實驗結果。網絡訓練采用隨機梯度下降（stochastic gradient descent，SGD）優化算法，批處理大小（batch size）設置為4，學習率設置為0.01。

實驗結果如表2 所示，從整體上看，在使用b2 網絡、迭代次數為40 且UVI 圖像和眼動注視圖作為輸入數據的條件下，網絡的性能最佳。

表2 序列指紋獲取模塊的消融實驗對比結果Table 2 Ablation experiment results of sequence fingerprint acquisition module

從輸入數據上來看，同時使用UVI 圖像和眼動注視圖數據時，除了b0 網絡，其他的網絡在不同的迭代次數下均比使用另外兩種數據作為網絡輸入的效果好。由于b0 網絡的結構比較簡單，使用40 次的迭代次數對其進行訓練會產生嚴重的過擬合現象[35]，從而導致其分類準確率大幅下降。另一方面，原始的UVI圖像相比其他兩種輸入圖像內容較為單一，對于較為簡單的b0 網絡而言，其能夠較好地學習UVI 圖像之間的差異，而對于加入眼動信息和分割信息的這兩種內容豐富的圖像而言，其學習能力則會下降。同樣，雖然分割結果圖在一定程度上起到了抑制背景干擾的作用，但由于部分圖像的分割結果不精確，使得邊界的變化特征較弱，網絡可能無法完全學習到其變化模式，從而使得其分類精度不如僅使用UVI圖像和眼動注視圖數據作為輸入時的效果。

對比不同的網絡結構，無論在哪一個迭代次數下將UVI 圖像和眼動注視圖作為輸入數據的b2 網絡取得了最好的分類準確率并且其在不同的迭代次數下的分類準確率非常接近。這也就說明，相對于其他的網絡，該網絡更加適合UVI 圖像的分類任務，且其穩定性較高。

4.3 序列指紋識別模塊的消融實驗

本節實驗條件與4.2 節實驗條件一致，為了驗證在不同模型、輸入、策略下的序列指紋識別準確率，實驗結果如表3 所示。其中，Acc-st1 和Acc-st2 分別代表兩種不同的序列指紋判別策略的準確率。從整體上看，除了b0 網絡之外，無論是在哪種策略和網絡模型下，使用UVI 圖像和眼動注視圖作為輸入均取得了最高的識別準確率。該結果與4.2 節的網絡分類準確率是一致的。

從表3 中可以看出，以策略1 為判別準則的亞暴事件識別準確率均低于以策略2 為判別準則的亞暴事件識別準確率。亞暴恢復相的形態多變，很多情況下是難以判定其具體消散時刻的。因此，根據與空間物理學家的討論，認為只要在某個極光圖像序列中出現增長相到膨脹相的轉換，并且膨脹相可以持續一段時間，就可認為該序列是亞暴序列。這與策略2 中所提出的3 種情況的判斷準則是一致的。因此，策略2 所提出的判別準則是完全符合客觀知識的，可以作為亞暴事件識別的客觀準則對其進行有效判別，其對應的識別準確率也是可靠的。

表3 序列指紋識別模塊的消融實驗對比結果Table 3 Ablation experiment results of sequence fingerprint recognition module

4.4 與不同亞暴序列識別方法的對比實驗

為了驗證文本方法的有效性，與近年來兩個亞暴事件識別方法[11-12]進行對比。這兩個對比方法均是基于UVI 圖像數據所提出的亞暴序列識別方法且以Liou[8]所標記亞暴事件為真實標簽計算識別準確率。楊秋菊等人[11]所提出的方法與文本所使用的數據一致。具體的實驗結果如表4 所示。表中Ours-st1 與Ours-st2 分別為b2 網絡在不同亞暴序列指紋判別策略下的結果。從表中可以看出，本文方法性能優于其余兩種對比方法。

表4 與其他方法的對比實驗結果Table 4 Comparative experiment results with other methods

楊秋菊等人[11]所提出的方法識別準確率較低，是因為其方法受限于UVI 圖像對極光卵的分割的結果。在分割效果準確率不高的前提下，后續借助物理特征對亞暴序列進行識別的誤差較大。SCLSD 方法[12]通過分離亞暴序列的運動特征和背景特征，結合亞暴發生時相關物理指標的變化對1996—2008 年南北極全部的亞暴序列進行了檢測。對比楊秋菊等人的方法，該方法大大提高了亞暴序列識別的準確率，但該方法的準確率略低于本文方法，并且其實現過程相較于本文方法也較為繁瑣。

4.5 基于不同輸入數據的外推實驗

在本文方法中，每一個極光亞暴序列都需要其對應的眼動信息（眼動注視圖）輔助。這樣的設定使得算法有一定的局限性且并不能減輕專家們的負擔。基于此，本文設計了基于不同輸入數據的外推實驗。該實驗使用包含眼動信息的數據訓練網絡，同時僅使用原始的亞暴圖像序列進行測試，以此檢驗所提出方法對數據的魯棒性。

實驗結果如表5 所示。表5 的前兩行是基于眼動信息的序列指紋獲取模塊中UVI 圖像的分類準確率，后四行是序列指紋識別模塊中根據不同序列指紋策略所得到的亞暴事件識別的準確率。從結果可以看出，當訓練與測試數據的類型不一致時，無論其分類結果還是事件識別結果均差于使用同一類型的輸入數據進行訓練和測試的結果。但當使用原始亞暴序列對使用包含眼動信息的數據訓練好的網絡進行測試時，其分類準確率在90%左右。

表5 外推實驗對比結果Table 5 Extrapolation experiment results

對于亞暴事件識別任務，不同模型準確率降低程度不同。有部分網絡的亞暴事件識別準確率在80%以上，并且性能最好的b3 網絡得到的事件識別準確率為86%。也就是說，即使在訓練和測試時數據信息缺失且差異較大的情況下，本文方法識別效果也與其他亞暴識別算法差距不大，在可接受的范圍內。

5 結束語

為了有效利用空間物理專家在識別極光亞暴事件時的視覺認知信息和亞暴發生時的物理特征，本文提出了一種基于眼動信息和序列指紋的極光亞暴事件識別方法。該方法通過對UVI 圖像分類標記得到亞暴事件的序列指紋，從而將序列識別任務轉化成簡單的二分類任務，在一定程度上降低了序列識別任務的難度。同時，充分利用專家的眼動注視圖以及設計了合理的序列指紋判別策略提升了現有亞暴事件識別算法的準確率。

但眼動注視圖的獲取是非常不易且繁瑣的，為了減少在采集眼動信息時專家們的勞動，擬設計一個端到端的深度學習網絡，將眼動注視圖預測與本文算法進行融合，從而進行多任務并行訓練。也就是說，對于任何一張UVI 圖像而言，網絡不僅能夠得到預測的眼動注視圖，同時還可以得到其序列指紋，從而在不需要額外采集專家眼動信息的條件下提高所提出方法的魯棒性，實現真正意義上的亞暴序列自動化檢測。