基于全天空極光圖像方向能量表征方法的極光事件分類

張軍 胡澤駿 王倩，3 梁繼民

(1西安電子科技大學，陜西西安710071;2國家海洋局極地科學重點實驗室，中國極地研究中心，上海200136;3西安郵電大學，陜西 西安710121)

0 引言

由于極光觀測圖像數據逐年遞增，單純依靠人工手段已無法進行有效及時的處理，因此，極光自動分類方法已成為極光圖像分析領域中的研究熱點。

Syrj?suo等［1-4］在早期的極光自動分類問題中采用極光圖像的一個或幾個特征，如亮度、能量密度、灰度共生矩陣(GCM)、傅里葉描述子等特征來進行分類，雖然算法的擴展性和可靠性有限，但是作為早期極光自動分類工作中的經典方法，具有極其重要的啟發意義，為后續的分類工作奠定了基礎。2009年，付蓉等［5］提出了一種形態分量分析(MCA)的方法并結合多種分類器進行分類。2010年，王鈺如等［6］提出采用X-灰度氛圍矩陣(X-GLAMs)提取極光圖像特征并結合支撐向量機(SVM)進行分類。同年，王倩等［7］利用局部二元模式(LBP)結合分塊策略提取圖像靜態特征，得到了局部紋理和全局形態的統一描述，并且結合K近鄰分類器取得了十分優異的分類效果。Han等［8］采用多階統計特征結合小波分解，提取了包括灰度分布、灰度共生矩陣、行程長度矩陣(RLM)等特征，并結合K近鄰分類器和后向神經網絡進行自動分類，在保證特征維度較低的情況下，得到了魯棒的分類性能。2013年，韓冰等［9］利用生物啟發特征(BIFs)并結合判別位置對齊(DLA)的流行學習方法對特征進行稀疏表征，結合支撐向量機分類，獲得了較好的實驗結果。

然而，極光是一個動態物理過程，目前大部分基于靜態圖像的分析往往忽略了極光的運動信息。而特定的極光事件同時包含豐富的形態和運動信息，所以針對極光事件的動態分析才能更好地理解這種物理現象。楊秋菊等［10］提出的基于隱馬爾科夫模型用于極光事件的檢測，王倩等［11］提出基于光流場的方法用來表征極光事件，這兩種方法都在極光事件的表征和檢測中取得了一定的效果，但是這兩種方法都是基于參數模型的算法，由于極光圖像的復雜性，不同事件之間存在模糊過渡事件，而同類事件又往往存在較大的差異，因此需要大量人為標定的已知數據對模型進行訓練。人工標定訓練數據非常費時費力，而且由于經驗和疲勞等原因很容易導致誤標記問題。此外，這類基于參數的方法，往往難以解決事件長度不一致的問題，即使解決也是采用近似的方式進行處理。

針對上述問題，本文采用一種非參數模型的基于單個樣本的表征方法用于動態極光事件自動分類。針對極光事件的運動方式，結合統計的動態紋理特性，本文提出一種基于方向能量的三維序列表征方法。首先，通過對多個方向上能量分解來描述極光事件中的局部紋理和各個方向上的運動信息，結合分塊策略獲得極光的全局形態信息。其次，為了最終計算統計表征，借鑒一種二元編碼重組的方式對多個方向能量進行融合，從而使得極光事件的表征具有同時捕獲多種類型信息的能力。最后，利用最近鄰和支撐向量機分類器分別對從中國北極黃河站拍攝到的極光數據中挑選的特定極光事件進行自動分類。該方法不需要復雜的訓練過程，參數簡單，卻能同時表征局部紋理，全局形態和運動信息。所提方法具有針對性，能有效用于極光事件的分析，并且所提特征完全不依賴于極光事件長度，方便表征不同持續時間的極光事件。

1 極光事件的表征方法

紋理、形態和運動特征在極光事件的表征中具有重要的意義，而同時獲取這三種特性在極光事件的表征中十分必要。本文采用方向能量來表征局部紋理和運動特性，利用二元編碼重組的方式對多個方向能量進行融合，結合分塊策略來獲取形態信息。

1.1 極光事件的方向能量

本文采用時空同時分解的方式獲取方向能量，具體采用三維可操控濾波器，計算各個方向上的能量［12］。采用高斯二階導數的輸出和其希爾伯特變換得到特定方向上的能量響應［13］:

這里，θ∈［0，2π］和 φ∈［0，π］為球坐標中的兩個角變量。圖1(a)-(g)為一個極光圖像序列的7個不同方向的能量示意圖，這7個方向(θ^p)分別對應:幀內垂直運動(1，0，0)，幀內水平運動(0，1，0)， 幀間閃爍搖曳(0，0，1)，幀間向右運動，幀間向上運動(0，和幀間向下運動通過這樣7個典型方向上的能量提取，可以全面地獲取紋理和運動信息。

1.2 二元編碼混合表征

為了進一步對7個方向能量進行聯合統計，受局部二元模式的啟發［14］，本文采用二元編碼的方式進行特征重組。定義Ec=I2(x，y，t)為圖像序列原始能量，重組后的編碼序列為:

圖1最后一行顯示了編碼之后的序列示意圖。圖2顯示了詳細的編碼過程，通過公式(3)差分和加權編碼，并對7個方向上能量進行編碼重組，可以使得多個方向上的能量通過一個總的能量函數表示，這對于后續的統計直方圖計算尤為重要。幀間向左運動

圖1 方向能量示意圖Fig.1.Diagram of orientated energies

圖2 編碼示意圖Fig.2.Diagram of coding procedure

1.3 分塊提取形態

圖3所示為兩種分塊模式的詳細描述，(a)為方形分塊策略，(b)為扇形分塊策略，(c)為如何提取特征的說明。每一幀圖像按照相同的分塊模式進行劃分，所有幀的相同位置子塊相連作為三維子塊的一個劃分提取三維序列特征。本文提出基于方形和扇形兩種分塊方式，每個的子塊分別統計直方圖特征為:這里，W(A)={1 如果A為真0 如果A為假，Ωi是所在子塊的三維坐標范圍，N是子塊的總數，因此每個子塊的直方圖為:所有特征串聯生成最終的圖像序列表征H:

假如分塊總數為N，最終特征維數為128×N。通過這種分塊方式，可以從整體上獲取極光圖像的形態信息，結合各個子塊方向能量的表征，實現所提特征能同時擁有獲取紋理、形態和運動信息的能力。

圖3 分塊方式示意圖Fig.3.Block partition scheme

1.4 正則化

由于每個極光事件的持續時間不同，所以對應的極光圖像序列幀數不同。通過采用簡單的歸一化函數即可得到完全與幀數無關的序列表征:這里ε0是一個很小的常數，用來保證分母不為零。由于直方圖特征的1范數為所有直方圖條目相加，即為整個圖像序列中所有像素數目總和，而由于每張圖像大小相同，所以歸一化之后可以得到與幀數無關的表征。這種簡單的歸一化操作，是很多基于參數模型難以做到的。

2 實驗數據及參數分析

2.1 實驗數據

中國北極黃河站拍攝的全天空極光數據，時間分辨率為10 s，原始圖像為512×512，經過一系列預處理(包括去除暗電流、噪聲、灰度增強和旋轉)后，得到圖像大小為440×440，灰度級為0-255的極光序列。

挑選具有穩定的極光過程的321個典型的極光序列進行分類實驗。按照胡澤駿等［15］對極光的研究和王倩等［7］對于靜態極光的分類，本文將數據庫中的極光事件分為4個類別，分別為弧狀極光序列(90)、帷幔型冕狀極光序列(62)、放射型冕狀極光序列(92)和熱點極光序列(77)，圖4所示為4種典型的極光序列示例。

本數據庫擁有4種類別的極光事件，整體來說同類之間擁有相似的形態和變化，但是具體的變化形態和運動模式卻復雜多樣，持續時間各異，并且類間依然存在少量過渡狀態，使得本數據庫中極光事件的分類非常具有挑戰性。

2.2 距離測度和分類器

本文分別采用支撐向量機［16］和最近鄰分類［17］的方式進行有監督的分類。對于支撐向量機，需要針對特征類型選擇適合的核函數，結合直方圖特征的性質和前人的工作經驗，通過大量的實驗篩選發現，采用卡方核函數進行距離測度可以取得最優的結果。對于最近鄰分類器，也采用卡方距離計算訓練模型和測試樣本之間的不相似度?？ǚ骄嚯x測度定義如下［18］:

這里x和y分別代表了訓練樣本和測試樣本的特征，B為直方圖特征的維度。

2.3 參數分析

圖4 極光事件示例Fig.4.Examples of auroral event

本文提出的表征方法中最重要的一個參數是如何進行分塊，本文定義m×n的方形分塊方式為Sm×n;定義扇形分塊為Cq×h，其中同心圓個數為q，徑向塊數h。通過采用留一法的策略進行最近鄰分類，以便選擇最優參數。留一法是交叉驗證中的一種極限情況，假設樣本數據集中有N個樣本數據，將每個樣本單獨作為測試集，其余N-1個樣本作為訓練集，這樣得到了N個分類策略對應的結果，用這N個分類策略的平均分類準確率作為此組參數的性能指標。

圖5所示為不同參數選擇下留一法的分類正確率，圖(a)為方形分塊的結果，圖(b)為扇形分塊的結果。當選擇S3×3和C2×3時分別獲得各自最高分類正確率為:85.78%和87.00%?？傮w來說，扇形分塊可以更好地描述極光的整體形態。但由于王倩等采用方形分塊策略進行靜態極光圖像的表征得到較好的分類效果，因此，在后續的實驗中，本文依然對兩種分塊策略分別進行了實驗比較，針對不同的分類策略探討兩種分塊方式的特點。

圖5 參數分析Fig.5.Parameter analysis

3 有監督分類

按照隨機的方式，挑選數據庫中一定量的樣本作為訓練集，剩余所有樣本作為測試集，訓練測試比例從1∶1到1∶10。圖6顯示分類結果隨著訓練測試比改變的情況?？梢钥闯霎敳捎蒙刃畏謮K方式和最近鄰分類器時可以得到最優的實驗結果，并且特征維度為768，相比方形分塊的1 152的特征維度有較大的降低。本文進一步給出扇形最近鄰方式，當訓練測試比為1∶1時的詳細分類結果的混淆矩陣顯示，如表1所示。從表中可以看出，弧狀和放射型冕狀極光事件得到較高的分類正確率，由于這兩類極光事件各自特征明顯而獨特，類內一致性較好，類間差異較大，這也符合人眼常規更易于區分這兩類極光的特性。反之，帷幔型冕狀極光事件中經常出現過渡狀態極光，尤其是熱點極光事件除了擁有強烈的亮斑也會伴隨其他各個類型極光的特征，所以出現誤分的可能性較大。

從另一個角度來看，圖6中，支撐向量機的方法沒能取得比最近鄰方法更優的分類結果。但是由于最近鄰分類器不可避免地需要計算每一個樣本與訓練集之間的距離，效率比較低下，在實際應用中難以推廣。由于訓練樣本較少的緣故，最近鄰分類器所需的計算時間還可以容忍，但是在大量的訓練和分類樣本中，支撐向量機往往能取得非常優異的性能，特別在分類效率上，有大量提升。所以，對于海量數據實時分類，使用支撐向量機更有利于對數據進行分類。

此外，本文將兩種經典的動態紋理表征方法Derpanis法［13］和 Doretto法［19］直接用于極光事件表征，結合最近鄰分類器分類與所提算法進行比較。與這兩種方法進行比較的原因有兩點:第一，Derpanis的方法是基于方向能量的直接表征，跟本文所提方法最為近似;第二，Doretto的方法是非常經典的基于參數模型的動態紋理表征方法，與其比較的結果具有代表性。從圖6中可以看出，相比于Derpanis的方法單純使用方向能量，本文所提出的二元編碼方式和分塊策略取得了更為準確的分類結果，使得分類性能大大提升，這也說明，所采用的二元編碼重組的方式，更加適用于極光序列的表征。Doretto基于參數模型的方法，取得了相對較低的分類結果，原因可能是訓練樣本較少，而且極光事件不同于普通的自然動態紋理序列，復雜的變化和不定的形態，類間差異不夠明確，使得此參數模型難以精確地描述極光事件。

此外，本文還進行了K近鄰分類，部分結果如圖7所示?？梢园l現大部分情況下，找到的若干個近鄰序列跟原始測試序列形態一致，但是偶爾也會出現標記不一樣的情況。通過仔細研究發現，有些結果中，雖然標記的類別不同，但事實上，圖像序列本身依然存在非常大的相似性，由于極光圖像是連續變化的過程，難免有些中間的過渡狀態，而對于這種情況，簡單的標記難以描述清楚，多類別標記或者模糊標記可能是一個很好的解決方法?？傮w來說，對于選擇的典型的極光事件，本文提出的算法取得了優異的分類效果，能方便地輔助極光專家進行數據的預選擇。

圖6 分類正確率隨測試訓練比變化Fig.6.Classification accuracy with different training-testing ratio

表1 各個類別分類正確率Table 1.Classification accuracies of different categories

圖7 K近鄰分類示例Fig.7.Samples from the results of K-nearest neighbor classification

4 結語

本文提出了一種新型的基于方向能量二元編碼的三維動態極光序列表征方法，結合不同的分塊方式，可以同時提取局部紋理、全局形態和運動信息。同時本文所提特征不需要復雜的訓練過程，參數簡單，并且跟極光事件持續時間無關，可以對不同持續時間的極光事件進行表征。

結合最近鄰分類器和支撐向量機分類器，本文的特征描述方法得到了優異的分類性能，尤其是最近鄰分類器結合扇形分塊方式取得了最好的分類結果。實驗結果表明，該算法可以進一步推廣到更為海量的數據應用中去，解決了人工不可能完成的工作量，對實際觀測結果的統計會有極大的幫助。如果具體應用中對效率和實時性要求比較高，支撐向量機可以用來進行分類，分類效率可以大幅提升。

但是，由于數據量較大，人工標記的訓練集，難免存在一些錯誤標記。在接下來的工作中，需要尋找一種針對訓練集進行重新篩選的策略，對訓練集的誤標記進行糾正或者剔除。除此之外，相比于海量的極光數據，本文實驗中，由于人工選擇的關系，所采用的極光事件數據量較少，實驗結果并不能完全反映海量數據中的應用效果。所以在接下來的工作中，可以考慮將本算法應用于海量的極光數據分析中去，對完全未標定的極光事件進行檢測和自動分類，為極光專家提供一種海量數據的自動分析方法。

1 Syrj?suo M T， Donovan E F.Analysis of auroral images:detection and tracking.Geophysica， 2002， 38(1-2):3-14.

2 Syrj?suo M T， Donovan E F.Diurnal auroral occurrence statistics obtained viamachine vision.Annales Geophysicae， 2004， 22:1103-1113.

3 Syrj?suo M T， Donovan E F， Qin X， et al.Automatic classification of auroral images in substorm studies//Proceedings of the International Conference on Substorms(ICS8)， University of Calgary， Alberta， Canada， 2007:309-313.

4 Syrj?suo M T， Kauristie K， Pulkkinen T I.A search engine for auroral forms.Advances in Space Research， 2001， 28(11):1611-1616.

5 Fu R，Li J，Gao X B，et al.Automatic aurora images classification algorithm based on separated texture//2009 IEEE International Conference on Proceedings of the Robotics and Biomimetics(ROBIO).Guilin:IEEE，2009:1331-1335.

6 Wang Y R，Li J，Fu R，et al.Dayside corona aurora classification based on X-grey level auramatrices and feature selection.International Journal of Computer Mathematics， 2011， 88(18):3852-3863.

7 Wang Q，Liang JM，Hu Z J，etal.Spatial texture based automatic classification of dayside aurora in all-sky images.Journal of Atmospheric and Solar-Terrestrial Physics， 2010， 72(5-6):498-508.

8 Han SM，Wu ZS，Wu G L，etal.Automatic classification of dayside aurora in all-sky imagesusing amulti-level texture feature representation.Advanced Materials Research，2012，341-342:158-162.

9 Han B，Zhao X J，Tao D C，etal.Dayside aurora classification via BIFs-based sparse representation usingmanifold learning.International Journal of Computer Mathematics， 2013， 91(11):2415-2426.

10 Yang Q J，Liang JM，Hu Z J，etal.Auroral sequence representation and classification using hiddenmarkovmodels.IEEE Transactionson Geoscience and Remote Sensing，2012， 50(12):5049-5060.

11 Wang Q，Liang JM，Hu Z J.Auroral event detection using spatiotemporal statistics of localmotion vectors.Advances in Polar Science，2013，24(3):175-182.

12 Derpanis K G，Gryn JM.Three-dimensional nth derivative ofGaussian separable steerable filters//IEEE International Conference on Image Processing，2005.Genova:IEEE，2005:Ⅲ-553-556.

13 Derpanis K G，Wildes R P.Dynamic texture recognition based on distributionsof spacetime oriented structure//2010 IEEEConference on Computer Vision and Pattern Recognition(CVPR).San Francisco， CA:IEEE，2010:191-198.

14 Ojala T，Pietikainen M，Maenpaa T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24(7):971-987.

15 Hu Z J，Yang H，Huang D，et al.Synoptic distribution of dayside aurora:Multiple-wavelength all-sky observation at Yellow River Station in Ny-?lesund， Svalbard.Journal of Atmospheric and Solar-Terrestrial Physics， 2009， 71(8-9):794-804.

16 Suykens JA K，Vandewalle J.Least squares support vectormachine classifiers.Neural Processing Letters，1999，9(3):293-300.

17 Duda R O，Hart PE，Stork D G.Pattern Classification.New York:John Wiley&Sons，2012.

18 Sokal R R， Rohlf F J.Biometry:The Principals and Practice of Statistics in Biological Research.New York:WH Freeman and Company，1995.

19 Doretto G，Chiuso A，Wu Y N，et al.Dynamic textures.International Journal of Computer Vision，2003，51(2):91-109.