面向編程問答網(wǎng)站的主題挖掘及其應(yīng)用研究.pdf

1、編程問答網(wǎng)站作為軟件開發(fā)者搜尋問題解決方法的主要來源，它匯聚了大量的軟件編程相關(guān)知識(shí)和經(jīng)驗(yàn)，這些知識(shí)和經(jīng)驗(yàn)往往能夠反映出軟件開發(fā)活動(dòng)的內(nèi)在本質(zhì)。其近年來一直受到軟件工程研究者和軟件開發(fā)從業(yè)者們的廣泛關(guān)注，一度成為軟件工程研究領(lǐng)域的熱點(diǎn)課題之一。
　　隨著語義分析技術(shù)在軟件工程領(lǐng)域應(yīng)用的快速發(fā)展，它在軟件工程各類關(guān)鍵問題的解決上取得了開創(chuàng)性的進(jìn)展。LDA主題模型作為語義分析的經(jīng)典模型，它能夠挖掘出自然語言文本的深層次隱含語義。本文通

2、過對(duì)在線編程問答網(wǎng)站Stack Overflow進(jìn)行主題挖掘，運(yùn)用現(xiàn)代軟件工程方法，結(jié)合數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)及信息處理領(lǐng)域技術(shù)，深入挖掘編程問答網(wǎng)站的數(shù)據(jù)信息，從而解決軟件工程領(lǐng)域的兩大關(guān)鍵應(yīng)用問題：非功能需求關(guān)注問題和重復(fù)問題的檢測(cè)。論文的具體工作內(nèi)容和創(chuàng)新點(diǎn)如下：
　?、贁?shù)據(jù)抽取及語義特征表示。通過對(duì)編程問答網(wǎng)站的結(jié)構(gòu)化自然語言文本數(shù)據(jù)的抽取及預(yù)處理，對(duì)編程問答網(wǎng)站內(nèi)容進(jìn)行主題語義深度挖掘，對(duì)其中的問題、回答、評(píng)論等進(jìn)行主題語義

3、特征表示，從而為解決本文兩大軟件工程領(lǐng)域關(guān)鍵應(yīng)用問題提供數(shù)據(jù)基礎(chǔ)。
　?、谘芯课谋局黝}與非功能需求之間的映射關(guān)系，實(shí)現(xiàn)編程問答網(wǎng)站的非功能需求自動(dòng)標(biāo)注算法。作為最受歡迎的全球性編程問答網(wǎng)站之一，Stack Overflow匯集了大量的軟件開發(fā)代碼及文本數(shù)據(jù)，其中包括了許多非功能性需求相關(guān)問題，然而，鑒于還沒有研究學(xué)者對(duì)編程問答網(wǎng)站中的非功能需求關(guān)注問題進(jìn)行詳細(xì)研究，本文首先通過主題模型挖掘全球編程問答網(wǎng)站Stack Overflo

4、w的文本內(nèi)容，然后通過特定的單詞列表實(shí)現(xiàn)對(duì)提取主題的非功能需求標(biāo)注，從而為之后的非功能需求關(guān)注問題研究提供支持。
　?、劬幊虇柎鹁W(wǎng)站的非功能需求關(guān)注問題經(jīng)驗(yàn)研究。本部分工作展示了基于工作(2)中算法所開展的實(shí)證經(jīng)驗(yàn)研究，主要包括兩個(gè)部分，一是評(píng)估了工作(2)中的非功能需求標(biāo)注方法的準(zhǔn)確性；二是設(shè)計(jì)了五個(gè)非功能需求研究問題，從開發(fā)者角度看待非功能需求的熱點(diǎn)問題、難點(diǎn)問題、以及他們的演化趨勢(shì)問題，并為每個(gè)研究問題給出了詳細(xì)的實(shí)驗(yàn)結(jié)果和

5、分析。本文的經(jīng)驗(yàn)研究結(jié)果為軟件開發(fā)活動(dòng)提供了一定的指示作用。
　?、芫幊虇柎鹁W(wǎng)站重復(fù)問題檢測(cè)算法設(shè)計(jì)。Stack Overflow編程問答網(wǎng)站每天產(chǎn)生成千上萬的問題，其中有很多問題是重復(fù)問題，目前，Stack Overflow網(wǎng)站解決重復(fù)問題主要依靠活躍用戶手動(dòng)標(biāo)記重復(fù)，不僅極為耗時(shí)，且仍然遺漏了大量的重復(fù)問題未被標(biāo)記，因此迫切需要一種自動(dòng)重復(fù)問題檢測(cè)算法來對(duì)編程問答網(wǎng)站進(jìn)行重復(fù)問題標(biāo)記。本文通過結(jié)合LDA主題模型和改進(jìn)的N-gr

6、am語言模型，綜合考慮語義信息、文本信息，詞順序，上下文關(guān)聯(lián)信息，以及標(biāo)簽信息，提出Stack Overflow編程問答網(wǎng)站進(jìn)行重復(fù)問題檢測(cè)的新方法DupLNG模型。
　?、菥幊虇柎鹁W(wǎng)站重復(fù)問題檢測(cè)實(shí)證研究。本部分工作展示了基于工作(4)中的重復(fù)問題檢測(cè)算法，對(duì)編程問答網(wǎng)站的重復(fù)問題進(jìn)行實(shí)證研究。首先介紹了實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)，然后給出了詳細(xì)的實(shí)驗(yàn)結(jié)果并對(duì)DupLNG模型進(jìn)行了評(píng)估。實(shí)驗(yàn)結(jié)果表明，DupLNG模型可以較精準(zhǔn)的檢測(cè)編程問答