基于機器學(xué)習(xí)的軟件缺陷預(yù)測研究.pdf

1、為開發(fā)高質(zhì)量的軟件并保障其可靠性，軟件測試是軟件開發(fā)過程中非常重要且不可缺少的階段。然而隨著當前軟件在規(guī)模和復(fù)雜度上不斷的提高，對軟件進行全面的測試，以發(fā)現(xiàn)和修復(fù)隱藏的缺陷所耗費的成本也在迅速的增加。軟件缺陷預(yù)測技術(shù)可以為測試人員提前定位軟件中可能產(chǎn)生缺陷的模塊，以指導(dǎo)決策人員分配有限的測試資源優(yōu)先用于有缺陷模塊的檢測，在提高軟件質(zhì)量同時也節(jié)約了大量的時間和成本。
　　本文主要針對基于機器學(xué)習(xí)的缺陷預(yù)測方法進行了討論和研究，雖然先

2、前的研究利用各種機器學(xué)習(xí)算法提出了許多有效的預(yù)測模型，但現(xiàn)有的方法在實際應(yīng)用中仍存在著一些問題：（1）早期缺陷預(yù)測中缺乏足量的訓(xùn)練樣本，可能導(dǎo)致傳統(tǒng)的預(yù)測模型無法進行有效的訓(xùn)練，同時對于缺陷樣本進行標注的工作本身也需要耗費一定的代價。（2）缺陷數(shù)據(jù)集存在著類不平衡的特性，常常使得預(yù)測模型產(chǎn)生偏向于無缺陷類別的結(jié)果。而且不平衡數(shù)據(jù)集中往往還存在著類重疊現(xiàn)象，使得少數(shù)類的有缺陷樣本更加容易被分類器所忽視，從而加劇了類不平衡的影響。（3）在對

3、一些極不平衡的缺陷數(shù)據(jù)集進行缺陷預(yù)測時，軟件中含有的有缺陷模塊絕對數(shù)量過少，導(dǎo)致缺乏有缺陷類別的訓(xùn)練數(shù)據(jù)來建立有效的預(yù)測模型。
　　通過對以上的問題的分析和研究，本文提出了一系列新的軟件缺陷預(yù)測模型，并獲得了以下創(chuàng)新性成果：
　　（1）針對測試初期缺乏有標記的訓(xùn)練樣本問題，提出了基于遷移Boosting的預(yù)測算法，利用其它公司已標記的數(shù)據(jù)來建立跨公司的缺陷預(yù)測（CCDP）模型。首先，利用數(shù)據(jù)引力算法對跨公司的樣本按照與公司內(nèi)

4、部樣本的屬性分布相似度賦予相應(yīng)的權(quán)重。其次利用遷移 Boosting算法結(jié)合少量有標記的公司內(nèi)部數(shù)據(jù)對不符合 CCDP的跨公司樣本進行了消除，并在此基礎(chǔ)上建立了預(yù)測模型。提出的模型在15個公開軟件數(shù)據(jù)集上進行了測試，實驗結(jié)果和統(tǒng)計分析顯示：提出的算法不僅在測試的 CCDP模型中獲得了最優(yōu)的總體性能，并且與傳統(tǒng)的僅利用公司內(nèi)部數(shù)據(jù)進行缺陷預(yù)測（WCDP）的模型相比，明顯優(yōu)于僅有少量樣本訓(xùn)練時的WCDP模型，并與使用大量樣本進行充分訓(xùn)練的W

5、CDP模型性能相當。
　　（2）針對軟件缺陷數(shù)據(jù)集中廣泛存在的類不平衡問題，本文提出了基于類重疊和不平衡學(xué)習(xí)的缺陷預(yù)測模型。首先針對不平衡數(shù)據(jù)集中的類間分布重疊問題，提出了基于領(lǐng)域清除規(guī)則的方法清除了造成重疊的非缺陷樣本，從而更利于分類器對有缺陷樣本的學(xué)習(xí)；其次針對類間樣本數(shù)量不平衡的情況，通過對不平衡數(shù)據(jù)集進行多次隨機下采樣來建立多個平衡的子集，并在各個子集上進行子分類器訓(xùn)練，最后采用集成學(xué)習(xí)的方式建立了預(yù)測模型。本文在公開數(shù)據(jù)

6、庫中9個不平衡的數(shù)據(jù)集上進行了對比實驗。實驗結(jié)果顯示：對比現(xiàn)有的傳統(tǒng)缺陷預(yù)測方法和不平衡學(xué)習(xí)算法，提出的模型不僅具有更高的缺陷檢出率，且在綜合性能上均獲得了總體最優(yōu)的性能。
　　（3）針對極不平衡數(shù)據(jù)中有缺陷樣本絕對數(shù)量太少不足以訓(xùn)練的情況，本文首先基于單類SVM提出了僅利用非缺陷樣本進行訓(xùn)練的單類預(yù)測模型，并在6個極不平衡的數(shù)據(jù)集上進行了實證研究。結(jié)果顯示單類模型僅利用部分的非缺陷樣本就能達到較高的缺陷檢出率以及綜合識別率，且在

7、大部分測試數(shù)據(jù)集上優(yōu)于對比的傳統(tǒng)缺陷預(yù)測模型以及不平衡的學(xué)習(xí)算法。其次，本文提出了動態(tài)選擇集成的方法對單類SVM進行了改進，實驗結(jié)果表明提出的方法在綜合識別率相當?shù)那闆r下，有效的提高了單類模型的缺陷檢出率，從而進一步增加了單類模型在缺陷預(yù)測中的實用性。
　　本文為基于機器學(xué)習(xí)的軟件缺陷預(yù)測技術(shù)提供了新的思路，提高了缺陷預(yù)測模型在不同的軟件數(shù)據(jù)集上的效果和可用性，為軟件工程人員將缺陷預(yù)測技術(shù)應(yīng)用于實際軟件測試中提供了可行的解決方案。