逐步貝葉斯判別分析中的變量優化方法研究

胡建鵬，陳強，黃容

上海工程技術大學電子電氣工程學院，上海 201620

逐步貝葉斯判別分析中的變量優化方法研究

胡建鵬，陳強，黃容

上海工程技術大學電子電氣工程學院，上海 201620

判別分析中特征變量是影響判別結果的決定性因素，選取適當的特征變量組合可以提高正判率、減少計算量。介紹了貝葉斯判別和逐步判別法的基本原理，分析了目前出現的一些特征變量優化方法，以油氣解釋評價中的貝葉斯判別應用為例，對于逐步貝葉斯判別中的變量優化方法進行了研究和總結，提出了變量的多步優化策略和分步多模型優化策略，包含了從變量范圍選擇、數據預處理、特征變量提取到初步篩選和逐步判別的完整過程，使得正判率不斷優化，最終得到了較為滿意的判別結果。

貝葉斯判別；逐步判別；變量優化；判別因子；氣測錄井

1 引言

貝葉斯（Bayes）判別是經典的判別分析方法，既考慮到各個總體出現的先驗概率，又考慮到錯判造成的損失，這是相較于其他判別方法的優點所在，其判別效果比較理想，應用也非常廣泛，尤其是在地質和勘探領域[1-4]。判別分析是要根據不同類別所提取的特征變量來建立待判樣品歸屬于哪個已知總體的數學模型，要對待判樣品做出正確的歸類，首先要獲取樣本總體及待判樣品的特征變量，然后對總體及待判樣品事物的特性進行變量指標的描述，進而判別待判樣品的歸屬。由此可知，特征變量的優化是判別分析中的一個重要問題，是判別效果優劣的關鍵，例如在某個判別問題中，如果將其中主要的指標忽略了，由此建立的判別函數其效果一定不好；另外在判別分析中，不是特征變量越多越好，較多的變量個數增大了建立判別函數需要的計算量，同時，因為特征變量之間的不獨立性及判別方程組的階數太高，可能導致計算精度下降，甚至出現病態[5]，在排除了變量之間的相關性之后選擇適當的變量個數是較好的解決方案。因此要獲得理想的判別效果，判別變量的選取和優化就顯得非常重要。

在判別分析的特征變量優化問題上，連承波等[2]利用R型因子分析對特征變量進行降維分析，在參數大部分信息不丟失的情況下，對11個氣測參數優化組合降維，提取了4個氣測解釋綜合參數，然后利用加權灰色關聯分析方法進行儲層含油氣性識別，得到了較高的正判率，該方法R型因子分析模型的精確度對于標準模型庫的代表性要求較高，對最終正判率的影響較大。劉宏杰等[6]利用一種基于粗糙集屬性約簡的方法對特征變量進行優化選擇，充分利用粗糙集屬性約簡不需要屬性分布的先驗信息這一特點，再使用貝葉斯判別法來進行油氣儲層預測，正確率較高，該方法使用了很少的樣本進行屬性約簡，對于樣本的挑選就顯得很重要，在連續屬性離散化時，臨界值的確定也非常關鍵，少量樣本的代表性和臨界值的精確度決定了模型的正判率。武曉巖等[7]應用隨機森林逐步判別方法，對三類癌癥的基因表達數據進行變量篩選，建立隨機森林模型，僅用較少數目的基因就可以實現它們的判別分類，這種方法對于成千上萬個基因作為特征變量的判別問題十分有效，計算時間也較長。相較于以上所提及的較新的特征變量優化方法，傳統的逐步判別法的應用還是最廣泛，同時也是最成熟的[8-11]，而同樣是進行基因微陣列數據的降維，荀鵬程[12]等使用的三步降維策略來進行判別分析，進一步提高了降維效率和正判率，其中第三步就是使用的逐步判別法。逐步判別分析是一種能自動剔除變量，挑出必要的、較好的指標建立判別函數的方法，有利于判別結果的穩定性和提高判別能力[11]；但是如果不加判斷盲目使用此方法或者不聯系相關領域知識將問題看作純粹的數學問題的話都可能會使判別結果不夠理想，甚至出現難以解釋的出乎意料的結果。本文總結了逐步貝葉斯判別法中變量優化的要點，并引入相關文獻的降維思想，提出多步和分步實施的策略，使得變量優化的效果更加明顯。

2 貝葉斯判別的原理和應用

2.1 基本原理

貝葉斯判別分析[13]是根據已掌握的每個類別的若干樣本的數據信息，總結出客觀事物分類的規律性建立判別函數，然后，根據總結的判別函數，就能夠判別新樣本函數所屬類別，對于一個待判樣品(x1，x2，…，xp)，判別它屬于已知m組中何組的方法，是計算樣品屬于其中某一組的條件概率P(l|X)(l=1，2，…，m)，比較這m個概率的大小，將該樣品歸入概率最大的一組。設有總體Gi(i=1，2，…，m)，Gi具有概率密度函數fi(x)。并且根據以往的統計分析，知道Gi出現的概率為qi。即當樣本x0發生時，求它屬于某一類的概率。判別規則：若

則x0判給Gl。在正態的假定下，fi(x)為正態分布的概率密度。當Gi～Nm(μi，Σi)時有：假設k個總體的協方差陣相同，判別函數可化簡為：

2.2 貝葉斯判別應用于油氣解釋評價

貝葉斯判別在石油和天然氣勘探領域的應用十分活躍，尤其是在儲層流體性質識別和預測的問題上，這是錄井解釋評價的核心，傳統錄井現場油氣評價技術中多采用人工經驗和圖版、圖表分析法。錄井解釋的途徑有很多，氣測、地化、核磁、定量熒光、X射線熒光（XRF）以及綜合錄井分析等方法可以獲取很多原始測量數據，能提取的特征變量可以達到上百個，這些變量可以按照獲取途經的不同分別進行解釋評價，也可以聯合起來進行綜合分析，以氣測解釋為例，根據文獻[1，10]的經驗，選擇采用全烴含量TC、全烴背景值Cb、甲烷C1、乙烷C2、丙烷C3、異丁烷iC4、正丁烷nC4這些原始數據直接應用到貝葉斯判別法中，對湖北江陵探區一批錄井數據進行判別，原始數據如表1所示。

表1 樣本原始測量數據1）

將30個樣本分為油（氣）層、含烴水層和干層3類總體（各10個樣本），通過訓練后求出判別函數，將樣本數據回代到判別模型中，得到的綜合正判率只有63.3%，只有水層的正判率達到了90%，另外兩類總體的正判率都只有50%，這樣的判別效果肯定是不能接受的，究其原因，是因為地質條件的不同會導致儲層含油氣性類型對應氣測指標分布特征的差異，如果直接使用其他地方的判別模型或選取類似的特征變量在錄井解釋領域是絕對行不通的，貝葉斯判別方法本身是沒有問題的，關鍵是特征變量的優化。一般來說，在錄井解釋的實際現場應用過程中，合適地使用貝葉斯判別法可以使正判率達到70%至95%之間。

3 變量的多步優化策略

逐步判別法是挑選特征變量的最常用方法，其基本原理是在已知預判別的類型和數目，并已取得各種類型的一批已知樣品的情況下，根據各變量在分類判別式中作用的大小進行排序，并逐步地選入判別式中，直到既無變量選入，又無變量剔除為止，最后計算出相應的判別函數和評價對象從屬各類的概率值，實現判別分類[4]。但是特征變量的優化不只是逐步挑選變量，應采用多個優化步驟。

3.1 特征變量的范圍選擇

在原始樣本數據中，會存在很多可選變量，但并不是所有變量都與判別有關，以氣測解釋數據為例，表1中列出了最常用的氣測解釋變量，其中包含相鄰蓋層鉆時ROPn與儲層最小有效鉆時ROPs，另外還包含有異戊烷、正戊烷、硫化氫、氫氣以及二氧化碳的測量值，但是后五種在做油氣解釋評價時意義不大，異戊烷、正戊烷、硫化氫、氫氣經常在大部分井段是不能明顯檢出的，而二氧化碳在不同含油氣性儲層類型中的含量都差不多，故不在選擇范圍之內。因此，特征變量的范圍選擇要根據行業知識和經驗進行，將有可能與判別相關的變量一并選入，第一步選擇范圍可以稍微大一些。

3.2 特征變量預處理和特征參數提取

樣本原始的測量數據有時候并不是直接應用與判別，不同變量量綱不同，量級也有很大差別，如表1中各種烴含量均是百分比，其值較小，而ROP鉆時的值均較大，所以有必要將各烴含量值放大，文獻[1]為了消除不同錄井儀器檢測數據絕對含量上的差異，也有將數據放大的處理方式，同時計算不同烴含量的比值，將絕對含量轉化為相對含量，在這里將各烴相對含量的數據放大100倍。

除了數據的預處理以外，根據行業知識與經驗，還可以引入一些基于原始測量數據的特征參數，如文獻[2]將勝利油田樁海地區的氣測信息轉化為11個氣測參數，如烴氣平衡：X1=（C1+C2）/（C3+iC4+nC4）和烴氣濕度比：X2=（C2+C3+iC4+nC4）/C1等參數。在傳統的氣測解釋評價方法中，流體性質識別的最常用的就是交會圖解釋，如鉆時比值與烴對比系數交會圖和輕烴比值[C1/C2-C1/C3]解釋圖版等，其中用到的重要參數就有鉆時比值ROPn/s，是指相鄰蓋層鉆時ROPn與儲層最小有效鉆時ROPs之比，反映儲層孔隙性的相對變化；烴對比系數Kc是指全烴顯示值與基值或背景值之比，反映儲層含油性的相對變化。因此本文按照此類經驗，在原始測量數據基礎上提取特征參數ROPn/s、Kc、C23（C2/C3）和niC4（nC4/iC4）作為特征變量，求比值時若分母為零，設定比值為1。

3.3 特征變量初步篩選

將處理過的原始數據和提取的特征參數組合在一起，組成了待選特征變量，需要進行組間均值檢驗，并用Wilk’sλ統計量對每個判別變量單獨檢驗其判別能力；對于顯著性檢驗，可進行普遍使用的F檢驗，檢驗結果相當于分組變量和判別變量間的簡單方差分析[14]。本文對上述所有特征變量進行了組間均值檢驗，結果如表2所示，Wilk’sλ統計量是組內離差平方和與總離差平方和的比，值的范圍在0到1之間，值越小表示組間有很大的差異，值接近1表示沒有組間差異。表2按照Wilk’sλ統計量從小到大排列，說明變量ROPns的單獨判別能力最強，而當某個變量的顯著性水平小于常用的置信水平（一般設為0.05），就有足夠理由拒絕“組間均值沒有差異”的假設，說明組間均值過于接近，很難區分，這樣的特征變量應該考慮剔除掉，如表2中的最后4個變量；但是這也不是絕對的，由于判別變量間可能相互關聯，盡管某些變量本身具有較小的判別作用，但在與其他變量聯合后對于判別效果的提高也可能有較大的貢獻。

另外作為判別分析的特征變量應該相互獨立，避免冗余和相互干擾，故應該對特征變量進行相關性分析，尤其是在部分特征參數的提取過程中，使用了較多的相對比值和原始數據混合在一起的情況，若兩個變量之間的相關系數大于0.9，則應考慮是否二者選其一，這里使用的是合并的組內相關矩陣，是通過計算各組分離的相關矩陣的平均值而獲得的。表3顯示了特征變量的相關矩陣，篇幅所限，只列出了部分變量，其他未列出變量的相關系數絕對值均沒有超過0.8，其中可以看出ROPn和ROPs相關系數達到了0.94，TC和KC的相關系數達到了0.96，但是TC和KC的獨立判別能力都是比較強的，通過實驗表明二者結合加入判別時的判別效果更好。

表3 判別變量相關矩陣

綜合組間均值檢驗和變量間相關性分析的結果，決定剔除掉ROPn和Cb兩個變量，在進行逐步判別之前保留11個變量。

3.4 逐步判別挑選變量

所謂變量擇優算法則是采用有進有出的算法，即每一步都要對變量的附加信息進行檢驗，使其優勝劣汰。其原理和計算步驟不再贅述，可參照文獻[13-14]，挑選變量的依據是對其判別能力的衡量，有多種準則可以選擇[15]。

（1）Wilk’sλ準則：在每一步挑選使得Wilk’sλ最小的變量進入判別模型，對于每個候選判別變量都要計算F統計量，與Wilk’sλ統計量成反比，即具有最大F值的變量進入判別模型，F值由下式計算：

公式（3）中，n為樣本數，g為類別數，p為變量個數，λp為添加變量以前的Wilk’sλ值，λp+1為添加變量以后的Wilk’sλ值。

（2）馬氏距離（Mahalanobis Distance）準則：在計算的每一步中，使兩個相鄰類別之間最近的馬氏距離最大的變量進入判別模型。組a和組b之間的馬氏距離由下式定義：

公式（4）中i和j從1到p求和，p為變量個數，g為組數，為第a組第i個變量的均值，為第b組第i個變量的均值，為協方差矩陣的逆矩陣的元素。

（3）Rao’s V準則：每步都是使Rao’s V統計量產生最大增量的變量進入判別函數?？梢詫σ粋€要加入到模型中的變量的V值指定一個最小增量。當某變量導致的V值增量大于指定值時才進入判別函數。Rao’s V又稱為Lawley-Hotelling跡，用下式定義：

公式（5）中i和j從1到p求和，k從1到g求和，p為變量個數，g為組數，nk為第k組的樣本大小，為第k組第i個變量的均值，為組內協方差矩陣的逆矩陣元素。

應用以上3種準則分別對含11個變量的30個樣本數據和36個待判數據進行逐步判別，這里需設定F門檻值，即對于每一步按照規則挑選的變量，其判別能力由公式（3）中計算的F值必須大于F門檻值才能引入到判別模型當中，F門檻值的設定直接決定了入選變量的數量，這里設定添加變量的F值為2.0，剔除變量的F值為1.8，三種不同規則的逐步判別結果如表4所示，Wilk’sλ準則和Rao’sV準則挑選出來的變量組合是完全一致的，所以判別結果也一致，在計算步驟當中就可以看出，Rao’sV值基本上與F值成正比，F值最大的變量其Rao’sV值也最大；而馬氏距離準則挑選了更多的變量，也獲得了更好的判別效果。

表4 不同判別規則判別結果

上述三種判別準則主要思想都是建立一個基于這些總體的目標函數，然后通過對這個函數值來判斷總體間的差異程度，除此之外還有利用統計距離定義的總體可分性函數[16]，它的增值可以反映變量區分總體的顯著程度，一個能顯著區分總體的變量會帶來大的增值，可以用于判別總體間區別相對較小的情況。綜合來講，Wilk’sλ準則使用最為廣泛，在區分最難判別的組別時可以考慮使用馬氏距離準則，而對于備選變量存有疑慮的話，可使用Rao’sV準則，此準則可以再增加一個門檻值。通過設置合適的F門檻值，利用多步優化策略對本文實例進行判別，最終回代正判率和待判數據正判率分別為96.7%和83.3%。

通過對于特征變量優化方法的研究，得出以下結論：

（1）特征變量的優化對于判別結果起著至關重要的作用，特征變量的優化不是簡單地使用逐步判別法，而是從范圍選擇、數據預處理、特征變量提取到初步篩選和逐步判別的完整過程。

（2）特征變量的個數既不是和正判率成正比也不是成反比，對于確定的訓練樣本，特征變量的個數到達某個值或是某個區間時正判率最佳。一般來說，在去除了變量相互影響的前提下，特征變量越多，正判率越高；若特征變量冗余且相關性較高時，剔除一些特征變量反而能提高正判率。

（3）逐步判別法使用不同的F門檻值和不同的判別準則決定了選取特征變量的個數，F門檻值越低，選出的變量個數越多；不同的判別準則適用于不同情況，其實質是在逐步判別的過程中用不同的方法衡量變量的判別能力，不僅決定著入選的變量個數，也決定了變量的組合，從而影響最終判別結果。

（4）逐步判別法篩選出的特征變量組合不一定是相同數量變量組合中的最優，因為每次引入新變量都是在保留已引入變量的基礎上進行，然后有些變量還在引入后被剔除了。特征變量的獨立判別能力并不能直接決定其去留，獨立判別能力弱的變量加入組合后也能明顯提高正判率，特征變量的優化在于尋找最優變量組合。

4 分步多模型變量優化策略

通過對逐步判別過程的分析，發現不同的變量區分不同組別時的能力各有不同，根據組間最近馬氏距離最大值可以衡量這種能力，表5顯示了在一次逐步判別的最后階段，已入選的9個變量所對應的組間馬氏距離最大值，一部分變量更適合區分第1和第2類總體，另外的則適合區分第2和第3類總體，依照這種情況，可以考慮將三類總體先合并成兩類總體，例如將上述實例中的總體劃分為油（氣）層和非油氣層，利用一次逐步貝葉斯判別先把油（氣）層從所有樣本中區分開來，然后在判定為非油氣層的樣本中再用一次判別把干層和含烴水層分開。

表5 判別變量與組間馬氏距離

這樣做的實質是先用一個貝葉斯判別模型將所有待判樣本劃分為若干子集，然后在各個子集中再用判別模型將各個總體區分開來，對于3至5個總體來說，兩三步判別即可得出結果，而且可以在分步實施的各個判別模型中選用對于不同組別判別能力較強的不同判別變量組合，也可以選擇不同的判別準則，可以得到較好的判別效果。表6顯示了分步判別的結果數據，綜合兩步的判別結果，最終統計36個待判樣本誤判6個，總的正判率也達到了83.3%。

表6 分步多模型逐步判別結果

表7 優化過程中不同階段和不同方法的判別結果

5 結束語

通過對貝葉斯判別中的特征變量進行不斷的優化，使得正判率穩步提高，表7顯示了優化過程中不同階段和不同方法的判別結果，比較說明本文提出的多步優化策略和分步多模型優化策略均具有較好的優化效果。多步優化策略是在總結和分析已有的優化方法的基礎上提出的一套綜合性較強的變量優化方法，包含了從變量范圍選擇、數據預處理、特征變量提取到初步篩選和逐步判別的完整過程，適用于包含油氣解釋在內的諸多領域；而分步多模型優化策略的提出是利用了變量在判別不同總體分類時各有所長的特點，對于某些特定的總體分類可以取得不低于多步優化的正判率，但若總體數較多，采用分步多模型優化策略會增加計算量，此時可考慮部分使用該策略。

[1]郭暉，駱福貴，倪有利，等.Bayes多母體判別模型在油氣層評價中的應用[J].錄井工程，2010，21（2）：5-7.

[2]連承波，鐘建華，李漢林，等.氣測參數信息的提取及儲層含油氣性識別[J].地質學報，2007，81（10）：1339-1443.

[3]魏治文，方坤河，楊華山，等.貝葉斯（Bayes）判別分析在粉煤灰分類中的應用[J].粉煤灰綜合利用，2006（6）：11-13.

[4]陳紅江，李夕兵，劉愛華.礦井突水水源判別的多組逐步Bayes判別方法研究[J].巖土力學，2009，30（12）：3655-3659.

[5]陳輝，郭科.判別分析中的變量擇優及其MATLAB實現[J].河南師范大學學報：自然科學版，2004，32（1）：12-16.

[6]劉宏杰，馮博琴，李文捷，等.粗糙集屬性約簡判別分析方法及其應用[J].西安交通大學學報，2007，41（8）：939-943.

[7]武曉巖，閆曉光，李康.基因表達數據的隨機森林逐步判別分析方法[J].中國衛生統計，2007（2）：151-154.

[8]孟凡奇，李廣杰，李明，等.逐步判別分析法在篩選泥石流評價因子中的應用[J].巖土力學，2010，31（9）：2925-2929.

[9]段新國，王允誠，李忠權，等.應用多組逐步判別分析優選油氣層[J].大慶石油地質與開發，2007，26（1）：68-71.

[10]龍鑠禺.應用逐步判別法建立氣測解釋模型[J].錄井技術，1999（3）：22-28.

[11]畢淑峰，朱顯靈，馬成澤.逐步判別分析在中國烤煙香型鑒定中的應用[J].熱帶作物學報2006，27（4）：104-107.

[12]荀鵬程，錢國華，富春楓，等.判別分析驅動的微陣列數據的降維策略[J].中國衛生統計，2009（2）：147-149.

[13]任雪松，于秀林.多元統計分析[M].2版.北京：中國統計出版社，2011.

[14]Backhaus K，Erichson B，Plinke W，et al.Multivariate statistical analysis[M].Berlin：Springer，2005.

[15]蘇金明.統計軟件SPSS 12.0 for Windows應用及開發指南[M].北京：電子工業出版社，2004.

[16]潘志文，汪國強.判別分析中基于總體可分性的變量選擇[J].華南理工大學學報：自然科學版，2001，29（11）：81-84.

HU Jianpeng,CHEN Qiang,HUANG Rong

School of Electrical&Electronic Engineering,Shanghai University of Engineering Science,Shanghai 201620,China

Characteristic variables selection is a critical factor that affects the result of discriminant analysis.Appropriate selection of variable combination can improve the correct rate and reduce the amount of computation.This paper introduces the basic principle of Bayes discriminant and stepwise discriminant method,analyses some methods of characteristic variables optimization at present,takes application of Bayes discriminant in oil gas interpretation and evaluation as an example to research on variable optimization method in stepwise Bayes discriminant analysis,and puts forward a variable step optimization strategy and a multi-model optimization strategy,including variable range selection,data preprocessing,feature extraction,preliminary screening of variables and stepwise discriminant,which makes correct judgement rate optimized gradually,and obtains more satisfactory discriminant result.

Bayes discriminant;stepwise discriminant;variable optimization;discriminant factor;gas logging

A

TP391

10.3778/j.issn.1002-8331.1211-0277

HU Jianpeng,CHEN Qiang,HUANG Rong.Study on variable optimization method in stepwise Bayes discriminant analysis.Computer Engineering and Applications,2014,50（21）：63-67.

上海工程技術大學科技發展基金項目（No.2011Q07，No.2011Q06）；上海工程技術大學學科專業建設項目（No.XKCZ1212）。

胡建鵬（1980—），男，講師，CCF會員，研究方向：計算機應用；陳強，博士，教授，研究方向：數值分析和計算機圖形學。E-mail：mr@sues.edu.cn

2012-11-23

2013-05-10

1002-8331（2014）21-0063-05

CNKI出版日期：2014-01-15，http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1211-0277.html