基于weka的web文本挖掘的研究和實(shí)現(xiàn).pdf

1、隨著電腦的普及，網(wǎng)民的數(shù)量級數(shù)倍增長，文本信息數(shù)量也呈現(xiàn)了指數(shù)級的增長。如何充分利用關(guān)鍵有用的數(shù)據(jù)，廢棄虛偽無用的數(shù)據(jù)，從而解決數(shù)據(jù)應(yīng)用的質(zhì)量問題是十分重要的，為了解決這個問題我們就需要對搜索的數(shù)據(jù)再次進(jìn)行挖掘。因此采用基于web的文本挖掘技術(shù)從繁多的信息中提取隱含的、未知的、非平凡的以及有潛在應(yīng)用價值的信息，就具有十分重要的現(xiàn)實(shí)意義和廣泛的應(yīng)用前景。
　　 本文分析了中文文本挖掘的內(nèi)容以及國內(nèi)外的研究現(xiàn)狀，主要工作:首先基于N

2、utch在掌握Nutch架構(gòu)和工作原理的基礎(chǔ)上，實(shí)現(xiàn)基于Nutch的垂直搜索，用來進(jìn)行旅游行業(yè)信息的獲取，這些信息包括互聯(lián)網(wǎng)上的web頁面信息和一些論壇上信息的抓取。
　　 其次在獲得信息的基礎(chǔ)上，利用hadoop系統(tǒng)完成信息的選擇和處理。抓取的頁面數(shù)據(jù)包括文本、圖片、超鏈接，主要選擇的是文本數(shù)據(jù)，進(jìn)行初步的數(shù)據(jù)處理。
　　 最后基于處理后的數(shù)據(jù)，使用weka來進(jìn)行文本挖掘。討論對比了文本分類中常見的三種分類方法，分別是