基于Web日志的分布式并行數(shù)據(jù)挖掘算法研究.pdf

1、在21世紀(jì)的今天，飛速發(fā)展的互聯(lián)網(wǎng)給人們?nèi)粘Ｉ顜?lái)了巨大的便利，各行各業(yè)都在向互聯(lián)網(wǎng)化靠攏。同時(shí)，用戶在網(wǎng)絡(luò)上的行為足跡大多被記錄在Web日志文件中，通過(guò)對(duì)這些文件進(jìn)行有效的算法分析，將得到很多有價(jià)值的信息。和普通的文本挖掘文件源不同的是，由于人們經(jīng)常進(jìn)行網(wǎng)絡(luò)操作，Web日志文件的數(shù)據(jù)量十分巨大，因此普通的串行化算法不再適用，而并行化算法開始在 Web數(shù)據(jù)挖掘領(lǐng)域快速流行起來(lái)。Apache Hadoop作為目前最為成熟的并行化框架，被

2、開發(fā)人員在Web數(shù)據(jù)挖掘中廣泛的使用。在算法方面，使用并行化的聚類算法對(duì)Web日志文件進(jìn)行運(yùn)算，可以為日志文件所在站點(diǎn)在內(nèi)容結(jié)構(gòu)優(yōu)化、用戶內(nèi)容推薦等方面提供依據(jù)。
　　本文在Hadoop平臺(tái)下利用Web日志文件作為數(shù)據(jù)源對(duì)象進(jìn)行聚類分析，同時(shí)研究分析聚類算法。主要完成幾個(gè)方面的工作：
　　1.研究Hadoop和Web數(shù)據(jù)挖據(jù)的相關(guān)知識(shí)；
　　2.進(jìn)行Hadoop分布式平臺(tái)的整體搭建，除了基本的Hadoop平臺(tái)，還有Ma