大規(guī)模異構(gòu)環(huán)境下的文本分類算法研究及應(yīng)用.pdf

1、以網(wǎng)絡(luò)為重要組成部分的計(jì)算機(jī)應(yīng)用走到了一個(gè)空前繁榮的時(shí)代,各種新的應(yīng)用環(huán)境、應(yīng)用需求紛紛出現(xiàn),在一些如搜索引擎、社交網(wǎng)絡(luò)等大規(guī)模應(yīng)用中,數(shù)據(jù)每天都在以極高的速度增長.如何能在有效時(shí)間內(nèi)快速地對(duì)這些數(shù)據(jù)進(jìn)行處理,獲得其中的應(yīng)用價(jià)值,是業(yè)界正在努力解決的問題。同時(shí),多數(shù)的數(shù)據(jù)都是以異構(gòu)的形式存在,使得對(duì)其利用的過程變得更加具有挑戰(zhàn)性。
　　 文本分類作為一門比較重要的技術(shù),在大規(guī)模的數(shù)據(jù)環(huán)境下也同樣很重要,它使得我們能夠快速地獲得未

2、知文檔的類別,對(duì)于信息的處理是非常有益的。傳統(tǒng)的分類算法固然有諸多優(yōu)點(diǎn),但是速度多存在限制,這對(duì)一些高數(shù)據(jù)流量的環(huán)境是不相稱的。對(duì)于如何解決這些問題,論文中作者做了以下幾點(diǎn)嘗試:
　　 1)基于一些傳統(tǒng)分類領(lǐng)域的優(yōu)秀思想,提出了一種基于單字計(jì)算的快速文本分類算法;
　　 2)為了能夠快速抓取網(wǎng)頁,設(shè)計(jì)出一種簡潔、可擴(kuò)展的分布式網(wǎng)頁爬蟲;
　　 3)對(duì)如何利用XML技術(shù)對(duì)異構(gòu)數(shù)據(jù)進(jìn)行整合做了研究,在網(wǎng)頁處理環(huán)節(jié)里,