微博數(shù)據(jù)提取及話題檢測(cè)方法研究.pdf

1、微博作為近年來急速流行起來的網(wǎng)絡(luò)應(yīng)用，正在快速深入每個(gè)人的日常生活中。由于其不僅可以通過電腦而且可以通過手機(jī)等移動(dòng)便攜設(shè)備進(jìn)行內(nèi)容發(fā)布，所以其具有諸如實(shí)時(shí)性，碎片性等特點(diǎn)。同時(shí)微博博主可以有關(guān)注和被關(guān)注的關(guān)系，微博內(nèi)容也有評(píng)論轉(zhuǎn)發(fā)等形式，故也體現(xiàn)出其互動(dòng)性和靈活性。本文基于微博以上特點(diǎn)做了數(shù)據(jù)提取和話題檢測(cè)兩方面工作。
　　傳統(tǒng)的網(wǎng)絡(luò)文本數(shù)據(jù)提取一般是利用圖遍歷的思想通過網(wǎng)絡(luò)爬蟲搜集信息，本文在此基礎(chǔ)上研究了使用微博開放API接口

2、進(jìn)行數(shù)據(jù)獲取的方法。首先著重分析了OAuth2.0認(rèn)證原理，然后研究了獲取認(rèn)證的流程，此認(rèn)證的獲取是利用開放接口的前提條件，目的是讓第三方應(yīng)用可以接入服務(wù)方的數(shù)據(jù)且不泄露個(gè)人信息，最后利用新浪微博的開放接口實(shí)現(xiàn)數(shù)據(jù)的提取并將獲取的數(shù)據(jù)以更高效的JSON格式保存，實(shí)驗(yàn)證明此方法相比傳統(tǒng)方法處理效率更高，在同等數(shù)據(jù)量前提下文件大小更小。
　　話題檢測(cè)在數(shù)據(jù)挖掘領(lǐng)域已經(jīng)得到了深入的研究，其可以從分散的多個(gè)文本文件中提取出少量的不同主題，

3、從而可以更清晰明了地展現(xiàn)數(shù)據(jù)的整體概況。在進(jìn)行話題檢測(cè)時(shí)傳統(tǒng)的基于空間向量模型建模方法容易造成語義丟失的問題，于是本文改進(jìn)現(xiàn)有的特征權(quán)重和相似度計(jì)算方法，采用與語義相結(jié)合的方式，同時(shí)針對(duì)微博內(nèi)容實(shí)時(shí)性的特點(diǎn)，在前期建模階段添加時(shí)間參數(shù)以保證話題檢測(cè)的正確性，傳統(tǒng)的檢測(cè)方法主要是針對(duì)無結(jié)構(gòu)文本的分析，本文中考慮到微博轉(zhuǎn)發(fā)功能的結(jié)構(gòu)化特性，最后選取改進(jìn)的單遍聚類Single-Pass方法實(shí)現(xiàn)話題檢測(cè)。通過比較實(shí)驗(yàn)證明本文方法在話題檢測(cè)標(biāo)準(zhǔn)的