Web文本挖掘技術(shù)研究及應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)的發(fā)展，每天都有大量的網(wǎng)站出現(xiàn)。大量的網(wǎng)站產(chǎn)生了海量的Web網(wǎng)頁，這些Web網(wǎng)頁包含的信息非常廣泛，內(nèi)容也千差萬別。因此如何從海量的Web網(wǎng)頁中精準(zhǔn)的獲取到所需要的信息就成為提高人們學(xué)習(xí)和工作效率的關(guān)鍵。在這種情況下，Web文本分類就顯示了極其重要的作用。
　　本文結(jié)合了中文文本分類的流程，從網(wǎng)頁的獲取、中文分詞、特征提取、分類算法的改進(jìn)及實(shí)現(xiàn)五個(gè)方面做了詳細(xì)的研究和實(shí)現(xiàn)。主要工作包括如下:
　　(1)論文說明了網(wǎng)頁

2、獲取的過程，介紹了常見的分詞算法和特征提取算法。論文分析了Web文本挖掘中常見的分類算法的原理，并且總結(jié)了各種分類算法的優(yōu)勢和劣勢，以及在現(xiàn)實(shí)應(yīng)用中存在的問題。
　　(2)論文針對待分類的數(shù)據(jù)，從分類精確度和效率方面綜合考慮，選擇了樸素貝葉斯分類器并對其進(jìn)行了改進(jìn)。重點(diǎn)分析了貝葉斯分類算法的原理及存在的不足，即:屬性之間獨(dú)立型的假設(shè)。然后結(jié)合實(shí)際情況提出了改進(jìn)算法。改進(jìn)算法在不改變其屬性獨(dú)立假設(shè)的前提下充分考慮了特征項(xiàng)在整個(gè)數(shù)據(jù)集

3、中出現(xiàn)的頻次，然后引入了一個(gè)加權(quán)系數(shù)作用在各個(gè)特征項(xiàng)的條件概率上，這樣就使得分類算法更加準(zhǔn)確，并且基本沒有增加計(jì)算強(qiáng)度。另外，改進(jìn)算法召回率方面也有不錯(cuò)的性能。
　　(3)論文對改進(jìn)樸素貝葉斯分類器算法的并行計(jì)算進(jìn)行了可行性的分析，結(jié)合目前常見的大數(shù)據(jù)處理框架MapReduce，對改進(jìn)的樸素貝葉斯分類器設(shè)計(jì)了具體的流程，并且做出了實(shí)現(xiàn)方案。設(shè)計(jì)方案在偽分布模式下搭建實(shí)驗(yàn)環(huán)境進(jìn)行實(shí)驗(yàn)。從網(wǎng)頁的獲取、分詞和分類三個(gè)方面進(jìn)行了實(shí)驗(yàn)和探索