軟件故障樹算法建模的研究

段明璐

（華北計算技術研究所 軟件測評中心，北京 100083）

0 引言

科技在發展，軟件已經漸漸隨著信息化的普及而與我們的生活密不可分，然而，它的生產過程又和其他產品有很大不同。不管是國家級的軟件項目還是個人開發的共享軟件，都或多或少地存在各種各樣的缺陷，我們不可能對所有缺陷都進行關注和修復，但有的缺陷帶來的惡劣后果是大到我們無法接受的，甚至會造成諸如人員傷亡、財產損失的重大事故，比如 1996年歐洲的 Ariane火箭，由于程序溢出引起了爆炸，又如90年代美國Therac25型放射治療儀軟件，由于設計缺陷導致了群體死亡事件的發生，我們必須想辦法盡量避免此類問題的產生[1]。

很多軟件公司試圖在軟件交付用戶之前找到所有的缺陷進行修復，但這是不現實的，因為這依賴于成本、進度、資源等諸多因素。因此開發者應該對缺陷進行分析，依據分析結果來確定可能導致嚴重問題的因素和模塊，這樣就可以有針對性的調整準則規范、測試范圍和測試程度，以此來杜絕同類缺陷的再次發生，在成本進度與質量之間找尋一個相對合理的平衡點，由此判斷何時軟件可以相對成熟的交付給用戶使用[2]。

本文的主要目的是依據筆者經歷過的大型項目中出現過的典型重要缺陷類別，結合故障樹建模方式構建一個基于貝葉斯算法的典型軟件故障樹算法分析模型，在缺陷數據的基礎上，探索出適合大型軟件測試使用的、質量要求高的、基于貝葉斯網絡的軟件故障樹建模及分析方法。用于降低國內軟件企業在大型項目中對重要缺陷分析的難度和成本，為其他單位使用軟件故障樹分析的方法進行缺陷分析開拓思路、提供參考。

1 軟件故障樹模型的研究

1.1 軟件故障樹的相關概念

1.1.1 基本概念

軟件故障樹分析法是把軟件系統及其應用環境看成一個整體來考量的分析方法，其最終目的是為了找到包含在軟件設計和實現中的可能導致軟件系統發生故障的錯誤，并且會導致軟件系統功能失效的環境條件[3]。

軟件故障樹分析方法一般有以下兩種應用情況：

（a）對軟件系統已發現的重大缺陷進行分析，以便找到導致其產生的根本原因，及時制定糾正措施；

（b）在項目前期，針對用戶使用中可能造成嚴重后果的情況或是用戶最在意最擔心出現的情況進行分析，在可能導致這種情況產生的模塊中加強設計規范檢查或是測試，從根本上扼殺出現這些情況的可能性。

軟件故障樹分析法使用的基本符號與一般故障樹是一樣的，具體符號及其意義[4]如表1所示。

用簡化的方式來描述，軟件故障樹分析法就是把軟件使用中最不希望出現的嚴重缺陷作為軟件系統故障的分析對象，然后尋找會直接導致此類缺陷發生的全部因素，再繼續找出直接造成下一級事件發生的全部因素，直到跟蹤到無需再探明其發生原因的因素為止。

產生這個最不希望出現的嚴重缺陷的事件，我們稱之為“頂事件”，也就是軟件故障樹的“樹根”，用規定的邏輯符號表示。而最終無需再探明其發生原因的因素事件稱為“底事件”，也叫“基本事件”。在找出所有可能導致這一缺陷產生的直接因素和原因的過程中，那些介于頂事件與底事件之間的事件稱為“中間事件”。

表1 故障樹的基本圖元表Tab.1 The basic sign of fault tree

對于所有的故障樹而言，不管它的層次有多深，包含的因素有多復雜，它都只有三個邏輯層次，即頂事件-最小割集-底事件[5]。

1.1.2 建模方法

故障樹建模的最初流程是要確定故障樹的分析范圍，包括可能產生的事件，也包含所分析的問題、系統設計的水平、系統的使用層面、其它的運行環境條件等細節。故障樹應以能清晰地表示導致頂事件發生的各結構事件的形式構建。

當明確定義了頂事件、系統的類型和分析的范圍后，故障樹就可自上而下的進行構建了。從頂事件開始分析其導致發生的直接事件，并通過適當的門建模和表示。然后這些事件又成為起因，逐層地展開各自的原因事件。每個事件分別自上而下地發展各自的故障樹，當達到最底事件時，故障樹的構建就完成了[6]。

故障樹分析隨著事件自頂向下逐步展開，并確定事件的原因。故障樹分析可采用定性的分析或定量的分析，或者兩者混合使用。應用故障樹分析的定量分析可確定哪些事件對頂事件有較大影響及一些高概率事件發生的原因。例如，若系統中某一模塊的故障發生概率較高，對系統故障的影響較大，那么便可對其原因進行調查分析，找出其明確的原因，減小其失效模式的影響。舉例簡單說明，未在界面中對特殊字符做校驗這個問題對界面系統故障概率有較大影響，那么編寫相應的測試用例校驗界面可減小保存操作的故障概率，系統的故障概率也隨之減小。

1.2 貝葉斯網絡的相關概念

1.2.1 基本概念

貝葉斯網絡[7-9]是一種結合圖論和概率論來闡述知識的方法，通過這種方法建立的模型是可以進行概率計算的。從直觀上描述，貝葉斯網絡就是一個賦值的復雜因果關系網絡圖，網絡中的每個節點代表了一個事件，各事件之間的弧表示事件發生的因果關系。

下面介紹貝葉斯網絡的基本概念：

（1）隨機變量的屬性

包括兩類屬性，即變量的狀態和概率。

（2）條件概率

假設事件A和事件B之間不是相互獨立的，且已知事件B發生，我們可以得到 P （ A）的相關信息，即A在B中的條件概率 P （ A | B）：

（3）先驗概率和后驗概率

無條件概率 P （ A）被稱為先驗概率，它一般是根據之前的經驗數據分析得到的概率，在全概率公式中是“持因求果”問題中的因；而條件概率 P （ A |B ）則被稱為后驗概率，是在已知結果信息的情況下對概率的修正，是“由果尋因”問題中的因，相比先驗概率，后驗概率是基于最新信息對原概率估計的更接近實際情況的修正。

（4）聯合概率

假設事件 A和事件 B同時發生，那這個概率P（ A ∩ B）就被叫做A和B的聯合概率。

（5）相關公理

1. 所有事件A的概率均滿足0<= P （ A）<=1；

2. P（ Ω ）=1；

3. 假設事件A和事件B相互獨立，則

（6）條件獨立性

如果 P （ AB）= P （ A ） P（ B），則可判斷事件A和事件B之間是相互獨立的。

（7）乘法規則

（8）貝葉斯定理

假設空間S包含有n個互斥事件，每個事件被稱為S的一個劃分：

對于 S中的任意一個事件B，可以描述為由 n個不相交事件1BA,2BA,3BA,...,nBA組成，即：

轉化為全概率定律可以表示為：

進一步結合條件概率就可以得到貝葉斯公式[10]：

其中 P (A1), P ( A2),..., P ( An)是在初始就知道得到它們以概率分布的形式，這就是先驗分布。假設在求果的過程中事件 B發生了，這就導致事件A1,A2,A3,…,An產生的概率出現變化，也就是P（ Ai | B），這個概率由式6可以得出，它是在發生變化之后對原先估計修正得出的，因此是后驗概率。P( A1|B)，P( A2|B)，…， P ( An|B)形成了一類分布，也就是后驗分布。它結合了先驗概率和求果過程中的新變化，形成了關于事件A發生概率的最新信息。這個由先驗概率向后驗概率的轉化，就是貝葉斯統計方法最主要的特征。

1.2.2 貝葉斯網絡的建立方法

貝葉斯網絡是由有向無環圖和條件概率表[11]兩部分組成的，圖1就是一個簡單的貝葉斯網絡。

圖1 典型貝葉斯網絡圖Fig.1 The classic bayesian network

（1）有向無環圖：Directed Acyclic Gragh，簡稱DAG，屬于貝葉斯網絡的定性部分，其中節點代表隨機變量，可以解釋為任何事物的抽象，節點具有以下特點：

1. 所有節點可以是連續或是離散的；

2. 所有節點可以有兩個或者更多的狀態；

3. 所有節點可以是確定型的或是可能型的。

而節點之間的有向邊則代表了節點的因果關系，貝葉斯網絡規定了圖中每個節點 X i與由其父節點給定的非 X i后代節點構建的節點子集條件獨立，也就是說如果用 M ( X i)表示非 X i后代節點構建的節點子集，用 P a( X i ) 表示 X i的父節點，則可得出條件獨立性假設公式[12]：

（2）條件概率分布：CPD，屬于貝葉斯網絡的定量部分。

條件概率表：Conditional Probability Table，簡稱CPT，是反映變量間是否存在關聯的概率分布集合，可以用式（8）中的 P a( X i | P a( X i) )來表示，它表達了節點同其父節點間的條件概率，而沒有父節點的條件概率就是先驗概率。每個節點的條件概率一般都在條件概率表中進行存放。

邱兵兵(1989—)，男，山東濰坊人，博士生，研究方向為非線性船舶運動控制。E-mail：bbqiu.dmu@gmail.com

當已知節點及其相互關系（有向邊）和條件概率表，通過貝葉斯網絡就可以表達出組成網絡所有節點的聯合概率，而且可以通過先驗概率或是某些節點的概率，計算出其他任意節點的概率。聯合概率的計算公式如下：

由此可得出圖1中貝葉斯網絡的聯合概率分布公式為：

貝葉斯網絡可以表達出節點的聯合概率分布，并且可以使節點的聯合概率求解大大簡化。

以下給出一個工程實例來對貝葉斯網絡的結構做具體說明，如圖2所示。

貝葉斯網絡的構建主要包括以下四個步驟[13]：

（1）首先我們需要定義待解決的問題，也就是確定構建模型所需的X和Y，即網絡模型的起始節點和終止節點。

（2）然后開始構建貝葉斯網絡結構。因為網絡結構是一個有著多節點的有向無環圖，因此第一步是添加圖中的節點，把全部X設為起始節點，全部Y設置為總結節點。如果發現X會直接影響Y，則將該X節點直接指向Y節點。如果只是間接影響到Y，則需要在網絡中添加中間節點，先將X節點指向中間節點，然后該中間節點經過指向后最終要連接到Y節點上。通過上述方法就構建出貝葉斯網絡的初步架構。在這個步驟中，如果要確定兩個節點之間是否存在推理關系，往往需要依賴于大量歷史數據和領域專家的經驗，主觀性較高。

圖2 軟件輸入異常案例Fig.2 The case of software inputting exception

（3）計算每個節點的概率表，即各節點對其他節點影響程度的概率。這個步驟同樣需要依賴于專家經驗和歷史數據確定兩個節點的條件概率，然后依據貝葉斯定理公式（7）來構建兩個節點之間的推理關系。

（4）對貝葉斯網絡進行驗證。因為貝葉斯網絡的構建過程畢竟有很多因素是主觀性較強的，構建后應該通過實際案例進行校驗，查看網絡模型是否與實際情況一致，并不斷進行調整完善。

1.3 故障樹向貝葉斯網絡的轉換

從圖形表示方式來看，故障樹與貝葉斯網絡有很多相似處，兩者均通過推理建立圖形內部聯系[14]。故障樹從頂至下逐步探索問題原因，貝葉斯網絡從底至上計算問題在某種情況下的發生概率。兩者定性定量的結合可以更好的解決問題。故障樹的推理過程是邏輯性較強的過程，并且有多種邏輯門的支持，而貝葉斯網絡的節點和有向邊建立的連接性更靈活，運用范圍更為廣泛，更易于表示更豐富的信息內容，加上貝葉斯網絡節點概率值依賴于構建專家的經驗數據，使問題的解決更切合實際。

為軟件測試問題找最終原因是一個相對主觀又復雜的過程，為了使這個過程的因果分析更嚴密，采用故障樹分析技術可以起到很好的理論支撐作用。而由于測試的軟件領域不同，軟件開發的人員團隊特點，每類問題的原因又有一定的差別，這種差別的量化表示就需要貝葉斯網絡這種建立在某種條件下的概率來更為清晰的描述。因此，建立起同一軟件問題的故障樹模型和貝葉斯模型，并將兩者轉換結合共同使用就顯得尤為重要。具體怎樣建立起事件與節點的轉換，邏輯門與有向邊的轉換在文章的算法建模研究中會進一步探討。

2 軟件故障樹建模實例分析

2.1 軟件測試缺陷數據分析

軟件行業的產品質量因素受軟件組織所處的成熟度階段、軟件領域等諸多因素的影響，所以軟件組織測試所產生的缺陷問題也是千差萬別的，缺陷的相關信息以及原因也不盡相同，這就要求軟件缺陷分析的基礎數據在特定范圍進行采集。收集并分析的統計數據有實時性及行業相關性，還受開發團隊、開發進度要求等條件的限定，所以采集的項目測試數據的分析結果為采集對象服務，也就是說通過數據分析出的問題的糾正措施和解決方案是為數據來源企業量身定制的，不能適用于所有企業單位，這也是軟件工程不同于其他傳統學科的原因，沒有任何一個模型可以全面覆蓋所有的軟件工程過程，實現數據的通用，實現完全的自動化，甚至在某種特定情況下還需要統計人員根據實際情況結合經驗數據作出主觀判斷。

根據業界成熟的缺陷分類方法 ODC及缺陷分析方法根本原因（Root Cause）方法對歷史數據進行分析分類，收集缺陷不同維度的屬性信息進行整理，從中挖掘出有用的信息作為對缺陷原因進行逐層分析直至最終確定缺陷產生原因數據集。最終整理信息表《缺陷分類表》、《缺陷溯源表》，如表2、表3所示。

《缺陷分類表》是根據測試項目數據分析總結而成的典型缺陷集，未涵蓋所有缺陷，只是重點測試類型重點項目出現頻度較高的測試問題的部分范例。

《缺陷溯源表》本文也只列出了18類錯誤中的4類作為范例。針對《缺陷分類表》中的問題，結合《缺陷溯源表》中數據采用故障樹建模方法可較快速地找出缺陷問題的原因。

表2 缺陷分類表Tab.2 The classification of software defect

表3 缺陷溯源表Tab.3 The tracing of software defect

2.2 軟件故障樹快速建模

按照故障樹的建造流程分析建造軟件故障樹，首先確定建模的范圍，也就是確定頂事件。在《缺陷分類表》中選取第16個問題“點擊報表打印按鈕，按鈕點擊后，頁面跳轉到一空頁面”作為此次建樹的頂事件，將這個頂事件簡稱為“打印無效”。確定了頂事件后，開始尋找導致其發生的直接事件，然后這些事件又成為起因，逐層地展開各自的原因事件，此時結合表格《缺陷溯源表》可得出表4如下：

這個頂事件被確認為級別為“二級”的測試問題，對二級問題的定義為“嚴重問題，系統需求未實現或欠缺、不完整、沒有達到要求”，使用故障樹建模方式解決此類問題會更方便。

此表中數據為從《缺陷溯源表》中逐步分析選取的原因，根據歷史數據及建表人的經驗信息最終找到問題根本原因，此時將這個表格的各個事件自上而下地以故障樹的形式表示出來，當表示完最后一個底事件節點后，這顆軟件故障樹就快速的構建完成了，如圖3所示。

2.3 軟件故障樹向貝葉斯網絡的轉換

從表示故障樹和貝葉斯網絡的圖形組成結構看，故障樹由兩大要素事件（頂事件、中間事件和底事件）和各種邏輯門組成，它們分別對應到貝葉斯網絡就是節點和有向邊。

由于故障樹中假定各種事件均可用正常和故障兩種狀態表示，可將故障樹中的事件看作是貝葉斯網絡中節點的某種特殊狀態。

故障樹中的邏輯門描述的是上一級事件與下一級事件之間的故障邏輯關系，該節只分析兩個最常用的重要邏輯門與門和或門。對于與門，表示當所有下一級事件都發生時，上一級事件才發生；對于或門，表示至少有一個下一級事件發生時，上一級事件就發生。這種邏輯關系與貝葉斯網絡中有向邊的概念是相對應的。

表4 打印無效缺陷分析表Tab.4 The analysis of software print exception

圖3 打印無效故障樹Fig.3 The fault tree of software print exception

假設當軟件中的缺陷Z發生時，用Z＝1表示；未發生時，用Z＝0表示。軟件缺陷狀態在貝葉斯網絡中可以用變量的取值來表示。如圖4所示，故障樹中邏輯或門、與門的貝葉斯網絡表達形式。故障樹底事件的先驗概率與其對應貝葉斯網絡父節點的先驗概率是同等概念，條件概率表達式表現了節點為某種狀態時其條件概率的值。具體的轉換步驟如下：

1. 把故障樹中全部底事件逐一轉換為貝葉斯網絡中的節點，在故障樹中的節點重復出現多次的情況下，可以在貝葉斯網絡中將其簡化為一個節點；

2. 將故障樹中全部底事件的概率值對應到貝葉斯網絡中相應節點；

3. 故障樹中的全部邏輯門可以轉化為貝葉斯網絡中的某個節點，故障樹中邏輯門的上一級事件狀態與該節點狀態取值保持一致；

4. 依據故障樹中邏輯門與底事件之間關系鏈接貝葉斯網絡中的各節點，通過有向邊的方向來表達故障樹中邏輯門的關系；

5. 將故障樹中不同邏輯門的邏輯關系表達為貝葉斯網絡中對應節點的條件概率表。

圖4 故障樹向貝葉斯網絡轉換圖Fig.4 The transition graph of fault tree to bayesian networks

根據此轉換建模方法對圖3“打印無效故障樹”進行轉換，如圖5“打印無效貝葉斯網絡表示”：

如上圖所示，T為頂事件，表示“打印無效”；其他節點的名稱用表4打印無效缺陷分析表中的原因標號表示，也就是打印無效故障樹中事件的名稱，其中中間事件包括節點 1、4、1.1、4.2、1.1.1；底事件包括節點，1.2、4.3、1.1.3、1.1.4、1.3.3、4.1.3、4.2.1、4.2.2、1.1.1.1、1.1.1.2、1.1.2.1、1.4.1.2。這些節點名稱的含義可在表4中對應找出。圖5中的一些中間事件可以在圖中省略，在建造貝葉斯網絡模型時與其他節點合并，如節點1.4、4.1。

2.4 軟件故障樹缺陷分析

根據對筆者單位的大量項目測試數據的統計和對樣本數據的觀察分析，結合領域專家知識和用戶的反饋，考慮測試過程中各種可能影響軟件測試缺陷產生的因素及之間的相互關系及相互影響程度的大小，確定貝葉斯網絡中各節點的條件概率。為使分析更實用，我們盡量精確的分析出每一個節點的概率值，決定其在某種特定情況下可能的狀態。最終分析得出“打印無效貝葉斯網絡”中各個節點的條件概率如表5、表6所示：

如表 5、表 6所示，根據歷史數據可進行不同節點概率的賦值[15]，對于底事件節點，其概率包含發生的概率和不發生的概率兩種值；對于中間事件節點，需要考慮在不同輸入節點的概率下的節點概率，表6中用節點4.2作為一個例子解釋節點M的概率受節點J、節點K影響制約的情況，并給出了發生概率表示方式。

頂事件T的狀態有兩種，“打印無效”事件發生或不發生，在貝葉斯網絡公式中，可規定T＝0的項乘以 0，T＝1的項乘以 1，這樣可根據公式計算出任意底事件發生對頂事件發生的影響概率。計算出所有底事件發生對頂事件發生影響的概率，便可比較分析問題產生的各種直接原因的重要程度，根據分析結果指導開發和測試。具體可按照底事件的重要程度對整個開發測試環境的各種因素進行分析診斷，包括開發團隊的能力、產品的提交進度、對產品質量目標要求的高低，硬件資源等等。對分析出的關鍵因素的關鍵問題采取糾正措施進行缺陷預防，達到減少問題產生，提高軟件開發效率及測試效率的目的，最終提升整個軟件工程過程和產品的質量。

圖5 打印無效貝葉斯網絡表示Fig.5 The bayesian networks of software print exception

表5 打印無效底事件概率表Tab.5 The bottom events probability of software print exception

表6 打印無效中間事件概率表Tab.6 The middle events probability of software print exception

3 結論

本文針對目前國內軟件企業對提升軟件質量的需要，研究了結合貝葉斯網絡的軟件故障樹缺陷分析建模技術，構建了模型，并在實踐中得以應用，形成了包括缺陷數據收集和分類、軟件故障樹建模、基于貝葉斯網絡的缺陷分析在內的一套完整的軟件故障樹建模分析流程。對于同類的軟件企業用來進行缺陷預防提高軟件質量具有借鑒和指導作用。

[1] 單錦輝, 徐克俊. 軟件故障診斷探討[J]. 北京化工大學學報, 2007.SHAN J H, XU K J. A Diagnose and discuss of software defect[J]. Journal of Beijing University of chemical Technology,2007. (in Chinese)

[2] 朱少民. 軟件質量保證和管理[M]. 北京: 清華大學出版社, 2007.ZHU S M.Software Quality Assurance and Management[M].Beijing: Tsinghua University Press, 2007. (in Chinese)

[3] 周凱, 王璞. 軟件故障樹分析技術[J]. 航空計算技術,1997, (3): 54-57.ZHOU K, WANG P. Software fault tree analysis technology[J]. Aeronautical Computing Technique, 1997, (3): 54-57.(in Chinese)

[4] 蔡一平, 王玉璽. 軟件故障樹分析實施指南[M]. 北京: 中國國防科技信息中心, 2000.CAI Y P, WANG Y X. Software fault tree analysis and implementation guide[M]. Beijing: China Defense Science and Technology Information Center, 2000. (in Chinese)

[5] 侯安華, 秦紅磊. 基于故障樹和規則的故障診斷專家系統[J]. 微計算機信息, 2008, 7(1): 191-193.HOU A H, QIN H L. The expert system based on fault tree and rule[J]. Microcomputer Information, 2008, 7(1): 191-193.(in Chinese)

[6] 胡中偉, 吳芳美. 形式化故障樹分析建模和軟件安全性測試[J]. 同濟大學學報, 2001, 11.HU Z W, WU F M. Formal Fault Tree Modeling and software security testing[J]. Journal of Tongji University, 2001, 11. (in Chinese)

[7] PEARLl J, Graphical Models for Probabilistic and Causal Reasoning[J]. The Computer Science and Engineering Handbook, Kluwer Academic Publishers, 1997: 697-714.

[8] KRAUSE P J. Learing Probabilistic Networks[J]. Knowledge Engineering Review, 1998, 13: 321-351.

[9] Hong G.Y, Xie M. A Statistical Method For Controlling Software Defect Detection Process[J]. Computers & Industrial Engineering, 1999, 37: 137-140.

[10] 張金槐, 唐雪梅. Bayes方法[M]. 長沙: 國防科技大學出版社, 1989.ZHANG J K, TANG X M. Bayes method[M]. Changsha: National Defense University Press, 1989. (in Chinese)

[11] AMASAKI S, TAKAGI Y, MIZUNO O, et al. A Bayesian Belief Network for Assessing the Likelihood of Fault Content[R]. Proceedings of the 14th International Symposium on Software Reliability Engineering, 2003.

[12] 王朔. 基于貝葉斯網絡的艦艇導彈防御系統決策模型算法研究[D]. 長沙: 國防科學技術大學, 2005.WANG S. Research of naval vessels and guided missile defense system based on bayesian network decision Algorithm Modeling[D]. Changsha:National University of Defense Technology, 2005. (in Chinese)

[13] 林士敏, 田鳳占, 陸玉昌. 貝葉斯網絡的建造及其在數據采掘中的應用[J]. 清華大學學報(自然科學版), 2001, 41(l):l～2.LIN S M, TIAN F Z, LU Y C. The construct and application of Bayesian network in data mining[J]. Journal of Tsinghua University (Science and Technology), 2001, 41(l): l-2. (in Chinese)

[14] 張少中. 基于貝葉斯網絡的知識發現與決策應用研究[D].大連: 大連理工大學, 2003.ZHANG S Z. Research of knowledge discovery and decision application based on bayesian network[D]. Dalian:Dalian University of Technology, 2003. (in Chinese)

[15] 白成剛. 基于Bayes網的軟件殘留錯誤數度量[J]. 計算機工程, 2003, 10: 39～40.BAI C G. Software residual errors measurement based on bayesian network[J]. Computer Engineering, 2003, 10: 39-40.(in Chinese)

[16] ChANG C P, CHU P P. Defect Prevention in Software Processes: An Action-Based Approach[J]. Journal of Systems and Software, 2007.

[17] LEE S F, BAI X Y, CHEN Y N. Automatic Mutation Testing and Simulation on OWL-S Specified Web Services[R]. 41st Annual Simulation Symposium (ANSS-41), IEEE Computer Society, 2008.

[18] NIAZI M, BABARC M A, VERNERD J M. Software Process Improvement barriers: A cross-cultural comparison[J]. Information and Software Technology, 2010, 52(11): 1204-1216.

[19] WALT C, BARNARD E. Data characteristics that determine classifier performance[J]. SAIEE Africa Research Journal, 2007.