基于規(guī)則與統(tǒng)計(jì)的熱詞發(fā)現(xiàn)及聚類算法研究.pdf

1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨(dú)立完成的研究成果。本人在論文寫作中參考其他個(gè)人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動(dòng)規(guī)范(試行)》。另外，該學(xué)位論文為()課題(組)的研究成果，獲得()課題(組)經(jīng)費(fèi)或?qū)嶒?yàn)室的資助，在()實(shí)驗(yàn)室完成：(請(qǐng)?jiān)谝陨侠ㄌ?hào)內(nèi)填寫課題或課題組負(fù)責(zé)人或?qū)嶒?yàn)室名稱，未有此項(xiàng)聲明內(nèi)容的，可以不作特別聲明。)聲明人c㈣：蘊(yùn)晚奸珈哆年參

2、月fEl摘要熱點(diǎn)詞匯(以下簡(jiǎn)稱熱詞)是一種普遍的網(wǎng)絡(luò)詞匯現(xiàn)象，反映了特定一段時(shí)間內(nèi)人們普遍關(guān)注的問題，對(duì)熱詞進(jìn)行快速識(shí)別和定向跟蹤，可以快速地了解民情、了解社會(huì)動(dòng)態(tài)和發(fā)展趨勢(shì)，更快捷更準(zhǔn)確地抓住輿論導(dǎo)向，從而進(jìn)行正確地引導(dǎo)和宣傳。因此，如何挖掘熱點(diǎn)詞匯將是中文信息處理中的一個(gè)重要研究課題。目前，對(duì)于熱詞的檢測(cè)方法總體可以分為兩大類：基于規(guī)則和基于統(tǒng)計(jì)?；谝?guī)則的方法的優(yōu)點(diǎn)是準(zhǔn)確率高，但靈活性差，規(guī)則維護(hù)困難；基于統(tǒng)計(jì)的方法的優(yōu)點(diǎn)是靈活性

3、好，可移植性強(qiáng)，但需要對(duì)大規(guī)模語(yǔ)料進(jìn)行訓(xùn)練，會(huì)產(chǎn)生大量的垃圾串，準(zhǔn)確率并不是很高。因此本文提出了一種基于規(guī)則和統(tǒng)計(jì)相結(jié)合的熱點(diǎn)詞匯發(fā)現(xiàn)方法，并在此基礎(chǔ)上建立熱點(diǎn)詞匯搜索庫(kù)，對(duì)熱點(diǎn)詞匯進(jìn)行聚類，對(duì)未來詞匯發(fā)展提供推測(cè)手段，完成了制定方向分類的詞匯預(yù)測(cè)統(tǒng)計(jì)。首先，用分詞軟件對(duì)語(yǔ)料進(jìn)行切分，在此基礎(chǔ)上對(duì)傳統(tǒng)的Nagao串頻統(tǒng)計(jì)算法進(jìn)行了改進(jìn)，利用改進(jìn)后的算法提取高頻的重復(fù)串作為候選子串。實(shí)驗(yàn)結(jié)果表明，經(jīng)過改進(jìn)的Nagao串頻統(tǒng)計(jì)算法能更加有效

4、地提取有價(jià)值的候選子串。其次，對(duì)于非實(shí)體短語(yǔ)，將其分為單字串和復(fù)合串，對(duì)五字以內(nèi)的候選串采用通用度過濾、IWP過濾、互信度過濾、詞性過濾以及首尾字過濾等手段進(jìn)行垃圾串的過濾工作，并提出了一種針對(duì)熱詞多種組合模式的垃圾串過濾算法。實(shí)驗(yàn)結(jié)果表明，過濾算法對(duì)單字串和大部分復(fù)合串的過濾是有效的，可以得到比較理想的準(zhǔn)確率和召回率，而且產(chǎn)生的熱詞比中科院NLPIR系統(tǒng)生成的更符合人們的關(guān)注偏好。最后，構(gòu)造了文檔特征向量，提出了基于互信息的層次聚類算