基于web文本挖掘技術(shù)的研究與應(yīng)用.pdf

1、Internet的快速發(fā)展使得信息資源急劇增長，越來越多的信息通過互聯(lián)網(wǎng)被傳送到世界各地?；ヂ?lián)網(wǎng)中也積聚了越來越多的信息，網(wǎng)絡(luò)成了人們獲取信息的主要來源。但是由于它數(shù)據(jù)的半結(jié)構(gòu)化和無索引特點，使我們充分利用這些豐富的信息變得越來越困難。以人工智能為基礎(chǔ)的數(shù)據(jù)挖掘技術(shù)迅速發(fā)展，為解決這一問題帶來了希望，web文本挖掘的概念應(yīng)運(yùn)而生。本文主要研究web文本挖掘技術(shù)。 本文首先介紹了web文本挖掘技術(shù)的研究背景、研究目的、研究意義以及

2、國內(nèi)外研究現(xiàn)狀，接著介紹了web文本挖掘的一般過程，進(jìn)一步介紹了web文本挖掘過程中的幾個關(guān)鍵技術(shù)。針對web文本分類中的中文分詞算法問題，設(shè)計了一個三層存儲格式的詞典并采用對字符串正向先取兩字，隨后逐一增一字的方法進(jìn)行分詞。針對經(jīng)典挖掘頻繁項集算法—Apriori算法所存在的問題，采用修剪頻繁集策略，減少了候選項目的數(shù)量；采用優(yōu)化連接策略，減少了執(zhí)行次數(shù)，提高了Apriori算法的運(yùn)行效率；采用庫優(yōu)化策略，減少了數(shù)據(jù)庫中事務(wù)的個數(shù)，并

3、且避免了事務(wù)的大量重復(fù)掃描，實驗證明這一策略可以提高算法的效率。 本文最后設(shè)計并實現(xiàn)了一個中文web文本分類系統(tǒng)。把每個文本文檔看作是一個具體的事務(wù)，把該文本文檔中的頻繁出現(xiàn)的詞語看作是項，通過文檔的詞條集推出文檔所屬的類別。采用向量空間模型來表示文本，采用詞和類別的互信息量作為特征項抽取的判斷標(biāo)準(zhǔn)，采用CBA算法來構(gòu)造分類器。經(jīng)過分詞實驗，測試表明采用三層存儲格式的詞典及改進(jìn)的分詞算法改善了分詞的速度和分詞的精度。經(jīng)過文本分類