WEB文本挖掘的聚類分析.pdf

1、數(shù)據(jù)采集和存儲技術(shù)的進(jìn)步導(dǎo)致龐大的數(shù)據(jù)庫日益增多，從這些數(shù)據(jù)中提取出有價值的信息，成為人們?nèi)找骊P(guān)心的問題，而且已經(jīng)形成了一門學(xué)科，成為“數(shù)據(jù)挖掘”。如果僅涉及到很小的數(shù)據(jù)集，那么就可以僅僅討論統(tǒng)計學(xué)家們所使用的標(biāo)準(zhǔn)數(shù)據(jù)探測和分析方法了。數(shù)據(jù)挖掘所分析的經(jīng)常是龐大的數(shù)據(jù)集。聚類和分類同是數(shù)據(jù)挖掘的重要內(nèi)容。 文本是存儲和交換信息的最自然的方式，文本挖掘具有非常重要的現(xiàn)實意義。文本挖掘所要處理的數(shù)據(jù)規(guī)模更大，因而使得許多對數(shù)據(jù)庫中數(shù)

2、據(jù)挖掘很有效的聚類算法，對于文本挖掘變得不可行。規(guī)模的增大，要求算法必須能夠增量的執(zhí)行，因為沒有可能將數(shù)據(jù)一次調(diào)入內(nèi)存處理。另外這對算法的效率也提出了苛刻的要求。同時，Web的文本數(shù)據(jù)是不斷增長的，新的信息類型不斷出現(xiàn)。算法必須有能力在不完全重新分析已有數(shù)據(jù)的情況下，增量處理新的數(shù)據(jù)，更新聚類結(jié)果。 通過對以Web文本數(shù)據(jù)為代表的高維數(shù)據(jù)特點的分析，認(rèn)識到傳統(tǒng)的聚類技術(shù)在這里面臨許多新的困難。本文嘗試以概率理論特別是貝葉斯方法為