基于DTSVMs-BNT協同訓練的雙偏振氣象雷達降水粒子分類方法

李 海 程新宇 尚金雷

(中國民航大學 天津 300300)

0 引言

我國廣闊的疆土導致了多種多樣的氣候條件，而復雜的氣候條件易形成繁多的氣象災害進而對交通運輸，生產資料，財產安全等造成損害。雙偏振氣象雷達作為新型氣象雷達，能夠獲取到降水粒子的大小、相態、空間位置等信息，因此利用雙偏振氣象雷達對降水粒子的精準分類對于災害預警、雨量估計、氣象預報等方面具有十分重要的意義。

1973年由Ecclesand Atlas提出利用雙偏振雷達進行云層中的粒子探測。在此之后Straka and Zrnic(1996年)首次在降水粒子分類領域應用了模糊邏輯算法。此后，大部分專家學者研究了不同權重系數、雷達偏振參量的選取以及差異性隸屬度函數等問題對模糊邏輯算法性能的影響。但是其隸屬度函數的選取，權重系數的大小等均需要依靠專家經驗值，具有很強的局限性。隨著機器學習理論的興起，其相關方法也逐漸被應用到降水粒子分類領域，如：監督學習方向的布爾決策樹方法，非監督學習方向的聚類方法等。布爾決策樹方法雖然原理簡單，但是在多分類類別較多時，其分類錯誤率會快速增加。聚類算法雖然不需要訓練樣本和標簽，但在面對非規則形狀的降水粒子(如：冰晶等)時表現欠佳。在降水粒子分類領域，監督學習方法以其算法多樣，分類準確性高的特點得到更多專家學者的青睞，但是其要求使用數量大、質量高的有標簽訓練樣本，而獲取有標簽數據最可靠的方法是使用帶有粒子檢測系統的探測器深入到云層中進行采集，造成數據獲取成本高、數量少的缺點。因此提高對無標簽數據的應用以達到增加有標簽訓練樣本的目的具有重要的研究價值。

在半監督學習方法中，協同訓練算法能夠利用無標簽數據擴充訓練樣本集，進而提高分類器的性能。1998年，Blum等人在具有充分冗余的視圖條件下，通過利用無標簽樣本優化分類器，并將這種算法命名為協同訓練，然而具有充分冗余視圖這一條件很難實現；2000年，S.Goldman 和 Y.Zhou提出一種擺脫該條件限制的協同訓練方法，但是增加了運行時間，并且分類器的種類也有局限性；2007年W.Wang等人經過進一步分析指出，只要使用的分類器差別明顯，就可以在不受該條件限制的情況下使用協同訓練算法，即：使用單視圖的數據依然可以得到良好的分類性能。然而在降水粒子分類領域，對協同訓練方法的研究尚為空白，但是針對有標簽訓練數據樣本不足的問題協同訓練算法具有十分重要的意義。

因此本文提出了一種基于DTSVMs-BNT協同訓練的雙偏振氣象雷達降水粒子分類方法。由于決策樹支持向量機(Decision Tree Support Vector Machines，DTSVMs)分類器和貝葉斯網絡(Bayesian Network，BNT)分類器的作用原理、區分降水粒子的方式不相同，因此可以作為差異性分類器進行協同訓練。該方法使用有標簽的訓練數據集，利用第一個SVM分類器判斷第一種降水粒子類別，第二個SVM分類器區分第二種降水粒子，以此類推分類完所有降水粒子的方法構造DTSVMs，之后通過計算確定貝葉斯網絡的結構，并且通過確定的網絡結構獲得條件概率表來構造BNT。然后使用兩個分類器分批次對無標簽數據分類，并且選取分類結果中置信度符合門限條件的數據加入到有標簽訓練數據集中，之后利用兩個分類器對新的有標簽樣本重新學習直到所有無標簽數據都被打上標簽完成協同訓練過程，最后利用分類器進行降水粒子分類。

1 基于DTSVMs-BNT協同訓練降水粒子分類算法

協同訓練兩個分類器的方法是利用一個分類器分類無標簽樣本，選擇結果中符合條件的數據加入訓練樣本集，隨后訓練另一個分類器，兩個分類器輪流重復上述過程。本文協同訓練采用的兩個分類器分別是DTSVMs和BNT。DTSVMs的實現方法是結合決策樹算法的思想使用SVM分類器實現多種降水粒子的分類。BNT分類器的實現方法是先進行結構學習獲得網絡結構，再進行參數學習獲得條件概率表。

1.1 DTSVMs降水粒子分類算法

DTSVMs是SVM算法的改進，通過組合多個二分類的SVM算法實現多分類的任務。DTSVMs的基本思路是使用一個SVM分類器進行一次二分類，區分出一種降水粒子后剩下的數據由下一個SVM分類器再次二分類，直到完全實現多種降水粒子分類。分類所得的降水類型為九類(視地雜波為一種降水類型)，如表1所示。在降水粒子分類算法中使用到的屬性條件分別是水平反射率因子、差分反射率因子、互相關系數和差分相移率，分別簡記為,，，。

表1 降水粒子輸出結果

DTSVMs分類算法示意圖如圖1所示，由于有9種降水粒子種類需要區分，因此需要8個SVM分類器，分類器的順序根據降水粒子類別之間的歐氏距離從大到小排序。

圖1 DTSVMs示意圖

使用SVM進行降水粒子分類的具體算法如下：

(1)

引入Lagrange因子，可將式(1)轉換為式(2)問題為

(2)

(3)

(4)

用SVM區分第1種降水粒子，SVM區分第2種降水粒子，以此類推。利用DTSVMs分類器進行降水粒子分類的具體方法為：當輸入測試數據到SVM中時，判斷()的值，若值為-1則輸出結果=1，表示第1種降水粒子；若值為+1則將輸入SVM中繼續判斷()的值，重復這一過程，直到()=-1，由此實現降水粒子多分類。

1.2 BNT降水粒子分類算法

BNT分類器是根據貝葉斯方法擴展出的概率模型，能夠結合圖形與貝葉斯公式有效的描述不確定的降水粒子分類事件，并且BNT分類器易于實現，分類效果好。BNT分類器還可以充分利用先驗信息，通過貝葉斯公式將先驗信息與樣本中的數據轉化為概率信息，從而將不確定的降水粒子分類的問題轉化為確定性的概率值問題，最終實現降水粒子分類的目標。

構造BNT分類器首先需要進行結構學習確定網絡結構，之后通過參數學習獲得屬性節點的條件概率，最后利用貝葉斯公式進行降水粒子分類過程。

1)貝葉斯網絡的結構學習

貝葉斯網絡結構由屬性節點,,,，類節點以及有向線段構成，進行結構學習需要計算屬性節點間的互信息值，并且對滿足互信息門限條件的屬性節點建立無向邊，最后給無向邊定向，如圖2所示。

圖2 貝葉斯網絡結構示意圖

(5)

互信息值門限通常取值為01～03，多次實驗證明當=025時有較好的效果，滿足互信息值大于的兩個節點視作可以形成無向邊的節點對。

確定無向邊方向的方法是與類節點之間的互信息值比較低的節點作為箭頭指向方向，如果計算出的貝葉斯網絡中產生環路結構，則去掉環路結構中互信息值最小的箭頭。最后形成的貝葉斯網絡如圖3所示。

圖3 貝葉斯網絡結構

2)貝葉斯網絡的參數學習

對貝葉斯網絡獲取每個屬性節點計算條件概率表，即可得到類節點與,,,，以及,,,之間相互的關系，完成參數學習過程。

(6)

為防止出現分子為0的情況，對公式(6)進行拉普拉斯平滑處理為

(7)

最后得到的條件概率表如圖4所示，在這個三維分布列中每一個概率值均由一個方格儲存。

圖4 ZDR條件概率表

3)貝葉斯網絡分類算法

利用貝葉斯網絡分類算法進行分類的具體方法如下：

獲得貝葉斯網絡結構以及條件概率表后，就可以輸入到貝葉斯公式中進行分類計算。用,,,分別表示輸入到分類器里面的雷達偏振參量,,,，根據貝葉斯公式實現降水粒子分類問題可以描述為式(8)所示。

(8)

其中，∈{1,2,…,9}表示降水粒子的標簽數；表示第個雷達偏振參量，∈{1,2,3,4}；(,,,)為常數。公式(8)轉化為式(9)。

(9)

1.3 協同訓練降水粒子分類算法

由于BNT分類器的速度快、運算量小，并且能夠輕松引入融化層信息，而DTSVMs分類器要想加入融化層信息，需要構建多個DTSVMs分類器來實現不同融化區域的降水粒子分類。由于分類器的復雜度隨著類別個數快速增加，運算速度在原來的基礎上還會大幅度下降。因此將BNT分類器的分類結果作為降水粒子分類的最終結果，而將DTSVMs分類器作為輔助分類器參與到BNT分類器的協同訓練過程中。

在協同訓練過程中只有當分類結果的置信度符合一定條件時才能夠視無標簽數據有資格加入到訓練樣本集，經過重新訓練的分類器才能有較好的準確性。

貝葉斯方法通過最大后驗概率確定分類結果，因此可以根據后驗概率確定分類置信度，后驗概率越大則置信度越高。對于支持向量機方法，分類置信度的高低由樣本與分類超平面距離決定，因此分類置信度選擇基于切邊權值統計特性進行估計，樣本所有切邊的權值之和越大說明分類正確的可能性越高。

1)BNT分類器的置信度確認方法如下：

將無標簽待定樣本數據,∈{1,2,…,}輸入到分類器中，根據公式(9)計算貝葉斯公式的最大后驗概率值，令公式(9)為有

(10)

將無標簽待定樣本的最大后驗概率值按照從大到小的順序排列為

={,,…,,…},
>>…>>…>,∈{1,2,…,}

(11)

計算出的最大后驗概率值越大則視其分類結果的準確性越高，越值得信賴，因此取集合中前個數據作為滿足置信度條件的樣本加入到有標簽數據集中，完成BNT置信度的計算。

2)DTSVMs分類器的置信度確認方法如下：

若某一待定樣本為(,)，其中無標簽待定樣本數據為，分類器分類結果標記為，則的置信度公式為

=∑∈

(12)

=(1-(=))∑∈

(13)

(14)

(,)=1-()

(15)

協同訓練時首先使用DTSVMs分類器對無標簽數據進行降水粒子分類，選取分類結果中置信度高的數據加入到有標簽數據集中，置信度低的數據重新放回無標簽數據集。利用更新后的有標簽數據集重新訓練BNT分類器。之后再取出部分無標簽數據集中數據使用新的BNT分類器進行分類，同樣選取置信度高的樣本更新訓練數據集，以及重新訓練DTSVMs分類器。兩個分類器輪流重復上述過程。對兩個分類器完成協同訓練之后，利用測試數據進行降水粒子分類過程。

1.4 基于DTSVMs-BNT協同訓練的雙偏振氣象雷達降水粒子分類方法流程

結合前文可得基于DTSVMs-BNT協同訓練的雙偏振氣象雷達降水粒子分類算法流程，如圖5所示。

圖5 基于DTSVMs-BNT協同訓練的雙偏振氣象雷達降水粒子分類流程

步驟如下：

1)步驟1：建立BNT和DTSVMs機器學習模型，使用有標簽數據集，初步訓練得到和分類器；

2)步驟2：從無標簽數據集中取個樣本，儲存在待定數據集′中，使用兩個分類器對′中的數據進行分類，得到預測結果；

3)步驟3：計算個樣本的置信度，將置信度符合條件的個樣本及其標簽補充到中，重新訓練和分類器；

4)步驟4：重復上述步驟，直到無標簽數據集=?，輸出BNT分類器和DTSVMs分類器；

5)步驟5：利用訓練好的BNT和DTSVMs分類器對新的無標簽數據集進行降水粒子分類。

通過上述步驟可知協同訓練的最終得到BNT和DTSVMs兩個分類器，每個分類器都可以單獨完成降水粒子分類任務，且分類結果較為準確。

2 實驗及結果分析

實驗數據集獲取自美國國家海洋和大氣管理局公開數據，該數據采集自美國新一代氣象雷達網WSR-88D雙偏振氣象雷達網。其中有標簽數據集是2018年5月俄克拉荷馬市(OKLAHOMA)的KTLX雷達采集的回波數據，無標簽數據集是2019年6月密爾沃基市(Milwaukee)的KMKX雷達采集的回波數據。兩個數據集均是每類降水粒子1000個樣本，兩個數據集分別有9000個訓練樣本。測試數據集使用的是KMKX雷達于2019年8月6日5點06分采集到的0.5°仰角回波數據。

2.1 KMKX雷達回波圖像數據

測試數據集雷達回波圖像數據信息如圖6所示。

圖6 測試數據集KMKX雷達數據

2.2 實測數據驗證

按照前文所述方法，完成DTSVMs-BNT協同訓練之后，使用獲得的協同訓練BNT分類器對測試數據集進行降水粒子分類，分類結果如圖7所示。其中圖7(a)表示僅使用有標簽訓練數據集訓練得到的決策樹支持向量機分類器對測試數據集的分類結果；圖7(b)表示僅使用有標簽訓練數據集訓練得到的貝葉斯網絡分類器對測試數據集的分類結果；圖7(c)為協同訓練BNT分類器的分類結果圖；圖7(d)是美國國家海洋和大氣管理局官方提供的降水粒子分類類別，將其作為測試數據集的真實類別。從圖7中可以看出，相比于兩種前置分類器分類結果(圖7(a)、圖7(b))協同訓練后分類器性能有了顯著提升，分類結果更接近測試數據集的真實類別。

圖7 降水粒子分類實驗結果與真實類別對照

將降水粒子分類實驗結果與真實類別進行對照，不難看出BNT分類器分類結果(圖7(b))和協同訓練BNT分類器分類結果(圖7(c))更加接近官方提供的真實的分類結果(圖7(d))。因此將BNT分類器對各個降水粒子的分類性能與協同訓練BNT分類器對各個降水粒子的分類性能進行進一步量化。統計降水粒子分類實驗結果和官方提供的真實的分類結果中的各類別粒子數量及占比，對比如表2所示。在BNT分類器分類結果中，冰雹和冰晶等粒子占比遠高于官方提供的真實分類結果，準確率僅84.4%。相比于BNT分類器，協同訓練使BNT分類器獲得了更高的準確率，各個類別粒子的數量及占比與官方提供的真實分類結果相差很小。協同訓練BNT分類器降水粒子的識別準確率提高到了90.3%，很大程度地提高了BNT算法的分類性能。協同訓練算法使用一部分有標簽的訓練數據結合一部分無標簽的數據有效地提升了分類器的分類性能，實現了降水粒子的準確分類。

表2 BNT分類器、協同訓練BNT分類器和NOAA真實場景各類別粒子數量占比

3 結束語

針對有標簽樣本數不足的問題，本文提出了一種基于DTSVMs-BNT協同訓練的雙偏振雷達降水粒子分類方法。該方法首先使用有標簽的訓練數據集進行初步訓練得到BNT和DTSVMs兩個降水粒子分類器。之后使用兩個分類器逐漸對無標簽數據進行分類預測，計算分類結果的置信度，選取分類結果中置信度較高的無標簽數據及對應的預測標簽加入到訓練樣本集中，并且重新訓練分類器。重復上述過程直到所有無標簽訓練數據都被打上標簽，這時完成訓練得到兩個降水粒子分類器，最后使用得到的協同訓練BNT分類器對測試數據集進行測試驗證。實驗證明該方法使用一部分有標簽的訓練數據結合一部分無標簽的訓練數據有效地提高了分類器性能，實現了降水粒子分類的準確分類。