基于觀察學習的機場噪聲監測點關聯預測研究*

陳 曦，王建東，陳海燕

(南京航空航天大學計算機科學與技術學院，江蘇 南京 210016)

1 引言

大規模的機場建設使機場噪聲問題日益嚴重。機場噪聲的產生因素非常復雜，涉及航班調度、機場建筑布局、飛行程序、發動機功率、飛行速度以及氣溫、濕度、氣壓等環境因素。噪聲是不可避免的，但可以在可控的因素上人為地降低機場噪聲的大小，以減少對周圍環境的影響[1]。針對這個問題，現有方法是通過在噪聲波及范圍內設置噪聲監測點來及時捕獲噪聲數據，為噪聲防治提供決策依據。 然而，由于監測點設備的損壞和老化時有發生，導致監測點失效或數據采集錯誤，這時就無法得知該區域噪聲的真實情況。因此，如何在設備發生故障時準確預測失效監測點區域的噪聲成為一個值得深入研究的問題。

機場的噪聲監測點設備通常比較昂貴，且維護成本高[2]。在傳感器布置上，為了防止單一節點失效而引發的監測數據異常，一般是采用硬件冗余的方式，即在各個監測節點上，布置多個傳感器。這樣勢必會造成一系列巨大的硬件浪費，特別在像機場噪聲監測這種大規模監測活動中。

通過對歷史實測噪聲數據的分析發現：監測點之間存在一定的關聯性，如，相鄰兩個監測點的噪聲數據相近、相鄰區域內的噪聲數據呈相似的變化趨勢等。因此，通過選取與失效監測點相關性最高的幾個監測點，利用這些點的噪聲值學習一種基于監測點關聯的預測回歸模型，就可以對失效的監測點進行噪聲值估計。目前，關于基于噪聲監測點的關聯預測問題的研究在學術界還很少見。鑒于BP神經網絡在對非線性回歸預測問題上的良好表現，及其在機場噪聲預測上取得的良好效果[3,4]，本文提出了一種基于觀察學習的機場噪聲監測點關聯預測模型，針對BP神經網絡在小樣本數據集上的欠擬合問題，以及受初始網絡節點權重影響較大的問題，建立了BP神經網絡集成，并提出一種基于學習成果優異度加權的觀察學習算法，提升整個預測模型的泛化能力和預測精度。最后用基于機場噪聲實測數據的實驗來檢驗該模型的有效性。

2 觀察學習算法(OLA)原理

在神經網絡集成中，數據集的大小直接影響了最后的訓練效果。對于復雜的回歸問題，過小的訓練樣本集有可能會導致神經網絡發生欠擬合。而在許多情況下，受制于客觀因素，增加訓練樣本是困難的，甚至無法做到。因此，如果大多數神經網絡發生欠擬合狀況，那么勢必整個集成模型也會受到拖累，無法得到較好的回歸效果。

觀察學習算法OLA(Observational Learning Algorithm)是1999年由Jang M[5,6]提出的一種應用于人工神經網絡的集成學習技術。它的提出正是為了解決上述問題。其學習的方式為在訓練的過程中，不斷生成虛擬數據來擴充訓練集，同時集成模型中各個神經網絡互相學習其他神經網絡的成果來提高整個集成模型的泛化能力。

其思路來源于班杜拉的社會學習理論。OLA認為，對于集成的神經網絡，如果一個學習器從訓練數據集上獲得的直接經驗無法訓練出較好的結果，那么可以通過觀察其他學習器是如何做的并且學習它們來獲得間接經驗。在起始階段，受制于訓練樣本集過小，單個學習器對任務的認知較匱乏，那它們的集成模型的預測精度也會較低。通過按照訓練樣本分布規律生成虛擬數據集，將其擴充到訓練數據集中，可在一定程度上解決訓練樣本集過小的問題，避免欠擬合。隨著觀察和訓練的過程不斷重復，單個學習器將逐漸對任務有充分的學習，并且各個學習器之間互相學習、提高，最后，提升了集成模型的泛化能力，從而在一定程度上解決了集成中弱學習器影響模型整體回歸效果的問題[7]。

OLA的模型訓練過程如圖1所示，包括兩個階段：訓練階段(T-step階段)和觀察階段(O-step階段)。在T-step階段，在數據集上進行多個學習器的訓練；在O-step階段，觀察其他學習器的結果，產生用于各個學習器的虛擬數據集。這兩個階段交替進行，對集成模型進行訓練。對于集成模型中各個神經網絡i的虛擬數據集的輸入，為其初始訓練數據集加上高斯白噪聲產生，其輸出為利用虛擬數據集輸入在-i集成上產生(集成模型中，去除神經網絡i的決策輸出)。

Figure 1 OLA working mechanism圖1 OLA運行機制

在Jang M的工作基礎上，學者們對OLA做了進一步的研究，Yu Fan等人[8]將OLA擴展到異構集成模型上，并證明其能較大程度地提高模型的泛化能力；Wong P M等人[9]將OLA應用到儲層的多滲透率預測，取得良好的應用效益，并將模型擴展到多預測輸出問題上；Shin H[10]在OLA中引入聚類思想，將數據集劃分給不同網絡訓練并進行模塊化的集成，提出了MOLA模型； Lu Zong-lei等人[11]將OLA擴展到用于預測概率分布。然而，前人的研究側重OLA的應用和模型的集成，對其中權值和參數的設置未做詳細研究。本文一方面嘗試將OLA方法用于機場噪聲監測點的關聯預測，另一方面研究如何設置權值和參數來提高OLA的性能。

3 關聯監測點的篩選

關聯監測點的選取方式有很多，最直觀的方式是根據監測點之間距離直接選取，監測點之間的距離越近，它們監測到的噪聲大小應該越接近，其關聯度越高。這種方法適用于監測點布局比較密集的情況。對于監測點布局較為稀疏，或者有建筑物干擾的情況，選取距離最近點并不完全適用，目前機場噪聲監測點的布局正是這種情況。因此，比較可靠的做法是根據歷史監測數據來計算監測點之間的關聯度，進而選取到關聯度較高的監測點。這里，使用常見的皮爾遜相關系數(Correlation coefficient)作為監測點之間關聯度的衡量標準，其計算方法如式(1)所示。

(1)

假設除失效監測點x外的監測點集合為P={p1,p2,…,pr}，則關于x的關聯度集合為ρxy={ρx1,ρx2,…,ρxr}。通過設置關聯度閾值ε，當ρxy≥ε時，可選入監測點y的關聯監測點集合Q={q1,q2,…,qr′|r′≤r}。在此集合上，構造訓練和測試模型所需的數據集。

使用相關系數來衡量監測點之間關聯度的優勢在于：不但考慮監測點之間的噪聲值是否相近，同時還考慮到監測點之間噪聲值的變化趨勢是否相類似。這樣，即便在監測點布局較為稀疏或建筑物較多的情況下，也能選擇到合適的關聯監測點。關聯監測點的篩選同時還起到了降維的作用，剔除了對關聯預測貢獻不大的監測點。

4 基于觀察學習的噪聲監測點關聯預測模型的建立

4.1 數據集的準備和BP神經網絡的構造

BP神經網絡結構為三層[12，13]。由于是利用關聯監測點的噪聲值來預測失效監測點的噪聲值，因此在模型中，輸入層的神經元節點數等于r′，輸出層的節點個數為1，隱藏層的節點個數為2×r′。構造出含有L個BP神經網絡的集成模型F=[f1,f2,…,fL]。采用Bootstrap在訓練集D上產生給各個神經網絡fi的訓練集DF=[D1,D2,…,DL]。

4.2 MSE-OLA

為了更好地發揮觀察學習的優勢，以及提升模型在小樣本條件下的泛化能力，本文在OLA的框架下，提出一種基于學習成果優異度加權的觀察學習算法MSE-OLA(Mean Squared Error OLA)。

算法MSE-OLA

輸入：初始BP神經網絡集成模型F=[f1,f2,…,fL]，初始訓練數據集DF=[D1,D2,…,DL]，模型最大訓練次數G。

步驟2For(t=0;t≤G;t++)

為了在本模型上得到更好的訓練效果，該算法從三個方面進行權值和參數的設置。

4.2.1 高斯白噪聲的方差

虛擬數據集的生成是觀察學習的重要步驟，直接影響子學習器的重訓練效果。OLA的訓練結果對于高斯白噪聲的方差不太敏感，只要不是極端，都能有較好的訓練效果，因此其方差設置通常是按照經驗來設置的[6]。對于較小的訓練集來說，方差會對模型的重訓練效果產生影響。本文將高斯白噪聲設置為均值0，方差為1/n，其中n為原始訓練數據集的大小。這樣，當數據集較小時，方差較大，能產生具有多樣性的數據，避免過擬合；當數據集較大時，方差較小，數據的多樣性降低，可以在一定程度上控制擬合偏差。

運用于BP神經網絡i的虛擬數據集輸入可表示為：

zk～N(0,1/n),k=1,…,n}

(2)

其中，zk為滿足分布為均值0、方差1/n的高斯白噪聲向量，xk屬于神經網絡i的初始訓練集Di。

(3)

(4)

(5)

矩陣每一行表示其他神經網絡參與第i個神經網絡的-i集成的權值。

這種基于學習成果優異度加權方法從社會學習理論的角度可以理解為：學習者對一項任務的完成能力是有限的，他們在觀察其他人是如何完成任務時，總是會向能力較強的人多學習一些，而向能力較弱的人少學習一些甚至不學習，即有側重地學習。

(6)

至此，其運用于下一個訓練階段的虛擬數據集則為：

(7)

4.2.3 集成模型中各個網絡的決策輸出權值

(8)

其中，fi為模型中的各個BP神經網絡，αi為其在決策輸出時的權值。在OLA中，αi一般采用均值的方式，即αi=1/L。

在經過OLA訓練后，模型中的各個神經網絡都能夠得到充分的訓練，并且提升預測精度。不過，在預測的能力上參差不齊的現象還是無法避免。 因此，為了能夠使集成模型具有更好的預測效果，本文同樣也使用“基于學習成果優異度的加權”，令各個神經網絡在測試集上的表現能力作為各自參與模型決策輸出的權重。因此，定義其計算方法如式(9)所示：

(9)

其中，σi由式(3)計算得出。

5 實驗與評價

已有數據為國內某國際機場2010年至2011年16個監測點日均噪聲數據，從全部16個監測點中選取一個點作為需要進行預測的失效監測點，其余點作為候選關聯監測點。數據集包含了兩年監測的730條數據，每條數據為這16個監測點在同一天的日均噪聲數據值，隨機選取其中的200條作為測試數據集，另外530條作為原始訓練數據集。

5.1 關聯監測點的篩選

將每天的日均噪聲數據值作為監測點的屬性，則每個監測點有530個屬性，利用皮爾遜相關系數計算出失效監測點與其他15個監測點的關聯度，計算結果如表1所示。

Table 1 Correlation between abnormal node and normal nodes

從表1中可知，關聯度大于0.9的點占了一大半，為了得到較好的訓練效果，本文只選擇關聯度大于0.9的8個監測點來構造BP神經網絡集成模型。

5.2 數據集的構造和BP神經網絡集成模型的構造

經過篩選出來的關聯監測點有8個，所以訓練數據集的輸入屬性維度為8，輸出屬性維度為1。由于輸入維度和數據集較小，因此本實驗采用五個BP神經網絡進行集成。

5.3 訓練

首先，采用Bootstrapping算法在原始數據集上生成五組訓練集；進而，訓練得到五個BP神經網絡；根據各神經網絡在測試集上的MSE計算它們在觀察學習階段對產生虛擬數據集輸出的權值。

接著，把原始數據集中的每個數據加上高斯白噪聲生成虛擬輸入數據，其中高斯白噪聲的均值為0，方差為1/530。表2顯示了對模型進行21次觀察學習訓練(一次原始訓練集訓練和20次虛擬數據集訓練)時，每個訓練階段各個BP神經網絡以及集成后產生的MSE。

從表2中可以看出，在沒有加入虛擬數據集進行重訓練時，各神經網絡的泛化能力不強，集成模型的預測精度也不高；當循環重訓練開始時，各神經網絡的學習效果在不斷地發生波動，MSE的總體呈現下降的趨勢，集成模型的預測精度也在提高，MSE下降得很快；隨著重訓練次數的增多，集成模型預測精度趨于穩定。

Table 2 Trend of MSE for MSE-OLA

表3顯示了同樣條件下普通取均值加權的觀察學習算法各訓練階段的MSE。

從表3中可以看出，取均值加權的OLA對集成模型有很大的優化，使集成模型的預測精度得到提高，但多個神經網絡的MSE波動起伏很大，總的集成效果不如MSE-OLA。

BP神經網絡集成模型在兩種算法的優化下，訓練過程的MSE變化趨勢圖如圖2所示。

Figure 2 MSE for two OLA algorithms圖2 兩種OLA的MSE變化趨勢

次數BP1BP2BP3BP4BP5AverageOLA00.06300.09800.05520.04690.04690.045410.05740.01290.05220.07100.07010.045320.05740.01340.03470.07100.07010.042130.04730.01390.03470.08850.04360.038740.04730.01560.02890.08850.04360.039050.04730.01560.02890.05760.04500.035060.04730.01560.02890.05760.04500.035070.03080.01560.02890.05760.04500.031980.02930.06480.02890.05760.04500.032990.02930.06480.02890.05760.04500.0329100.02930.06480.02890.05760.04500.0329110.02930.06480.02890.05610.09810.0389120.02930.01930.02890.05610.09050.0373130.02930.01930.02890.05610.09050.0373140.02930.01930.02890.05610.09590.0377150.02580.01930.02890.05240.09590.0365160.02580.01930.02890.05240.05590.0316170.02580.01930.02890.05240.05590.0316180.02580.01930.02830.05240.05590.0310190.02580.01930.02830.04990.05590.0307200.02580.01930.03210.04990.05590.0313

從圖2中可看出，MSE-OLA相比取均值加權的OLA，重訓練的效率得到提升，穩定性也增加了；同時，MSE下降的速率也提升了，這說明MSE-OLA相比于取均值加權的OLA能夠在最少的重訓練次數下較快地達到較好的訓練效果，加速了模型的優化。

5.4 預測結果

經過上面的步驟得到了基于觀察學習的機場噪聲監測點關聯預測模型，該模型在測試數據集上的預測結果如圖3和圖4所示。

Figure 3 Comparison between predicted outputs and expected outputs圖3 預測輸出與期望輸出對比結果

Figure 4 Percentage of prediction error圖4 預測誤差百分比

從圖3和圖4可以看出，基于觀察學習的噪聲監測點關聯預測模型，在測試集上的預測誤差百分比控制在[-0.01,0.015]，因此該模型在預測失效點的日均噪聲值時，預測結果能達到理想的精度。

6 結束語

本文針對機場噪聲監測點失效導致的噪聲采集數據錯誤問題，在不借助硬件的條件下，嘗試以軟件方式尋求解決方案。發現并分析了監測點之間的關聯性，提出了利用監測點關聯的對失效監測點日均噪聲數據的預測模型。該模型使用相關系數來衡量和篩選關聯度高的監測點，并利用BP神經網絡集成作為學習器。為了解決小樣本數據對模型訓練的不充分以及提高模型的預測精度，提出一種基于學習成果優異度加權的觀察學習集成算法對模型進行訓練。實驗中，用所提出模型對國內某機場的監測點噪聲數據進行預測，實驗結果表明，本文所提出模型具有較高的預測精度，且MSE-OLA較普通取均值的OLA能有效提升訓練效率和穩定性。

本文的預測目標是失效監測點的日均噪聲值，而對于時序性較強的實時噪聲值預測將會是下一步研究的方向。另外，對于監測點間的關聯性分析和度量方式，由于前人研究較少，所以有待做進一步的深入研究。

[1] Du Ji-tao. Research on airport noise prediction model and its application[D]. Nanjing:Nanjing University of Aeronautics and Astronautics,2011.(in Chinese)

[2] Ding Wen-ting. Research on location model of airport noise monitoring points[D]. Nanjing:Nanjing University of Aeronautics and Astronautics,2011.(in Chinese)

[3] Yang Y, Hinde C, Gillingwater D. Airport noise simulation using neural networks[C]∥Proc of the International Joint Conference on Neural Networks(IJCNN),2008:1917-1923.

[4] Du Ji-tao, Zhang Yu-ping, Xu Tao. Airport noise prediction model based on BP neural network[J]. Computer Engineering and Applications,2013,49(9):236-239.(in Chinese)

[5] Jang M, Cho S. Ensemble learning using observational learning theory[C]∥Proc of the International Joint Conference on Neural Networks(IJCNN),1999:1287-1292.

[6] Jang M, Cho S. Observational learning algorithm for an ensemble of neural networks[J]. Pattern Analysis & Applications, 2002, 5(2):154-167.

[7] Wang Shuo. Class imbalance learning[D]. Birmingham :University of Birmingham, 2009.

[8] Yu Fan, Yang Li-ying, Qin Zheng. Classifiers combination with observational learning[J]. International Journal of Computer Science and Network Security, 2006, 6(3A):53-56.

[9] Wong P M, Jang M, Cho S, et al. Multiple permeability predictions using an observational learning algorithm[J]. Computers & Geosciences, 2000, 26(8):907-913.

[10] Shin H, Lee H, Cho S. Observational learning with modular networks[C]∥Proc of the 2nd International Conference on Intelligent Data Engineering and Automated Learning(IDEAL), 2000:183-192.

[11] Lu Zong-lei, Xu Tao. A new method to predict probability distribution based on heterogeneous ensemble learning[J]. International Journal of Advancements in Computing Technology, 2012, 4(14):17-25.

[12] Hagiwara M. Removal of hidden units and weights for back propagation networks[C]∥Proc of the International Joint Conference on Neural Networks(IJCNN), 1993:351-354.

[13] Li Kai,Huang Hou-kuan.Study of a neural network ensemble algorithm for small data sets[J]. Journal of Computer Research and Development, 2006,43(7):1161-1166.(in Chinese)

附中文參考文獻：

[1] 杜繼濤.機場噪聲預測模型及應用研究[D].南京:南京航空航天大學,2011.

[2] 丁文婷.機場噪聲監測點分布模型研究[D].南京:南京航空航天大學,2011.

[4] 杜繼濤,張育平,徐濤.一種BP神經網絡機場噪聲預測模型[J].計算機工程與應用,2013,49(9):236-239.

[13] 李凱,黃厚寬.小規模數據集的神經網絡集成算法研究[J].計算機研究與發展,2006,43(7):1161-1166.