BBS熱點話題挖掘與觀點分析.pdf

1、分類號UDC密級單位代碼_10巧1BBS熱點話題挖掘與觀點分析姚曉娜指導(dǎo)教師魯明羽職稱教授學(xué)位授予單位大連海事大學(xué)申請學(xué)位級別工學(xué)碩士學(xué)科與專業(yè)計算機(jī)軟件與理論論文完成日期2008年5月論文答辯日期2008年6月答辯委員會主席系中文摘要摘要隨著互聯(lián)網(wǎng)的飛速發(fā)展，BBS(即網(wǎng)絡(luò)論壇)已經(jīng)成為人們自由發(fā)表言論，表達(dá)民意的重要平臺。政府和網(wǎng)管部門需要利用有效的智能技術(shù)，對BBS進(jìn)行輿情監(jiān)控，以便及時掌握各個時期民眾關(guān)心的熱點話題，并了解民眾對

2、這些熱點話題的觀點和態(tài)度，從而做出正確、科學(xué)的決策。本文的主要研究內(nèi)容如下:(1)BBS信息的自動抽取:為了實現(xiàn)對BBS網(wǎng)頁的自動采集和信息抽取，本文采用HTMLParser包和正則表達(dá)式對HTML類型的BBS網(wǎng)頁進(jìn)行解析，從中抽取BBS帖子線索的各項信息，并將抽取結(jié)果存入XML文件中。(2)面向BBS文本的特征選擇及權(quán)重計算:BBS文本的語言和結(jié)構(gòu)與傳統(tǒng)的文本有所不同，有著自己的特點。本文選取詞條的出現(xiàn)次數(shù)、出現(xiàn)位置、詞長以及包含該詞

3、條的帖子數(shù)目等四個因子來評估特征項，并用綜合評估函數(shù)代替了TF一IDF公式中的TF項，來計算特征項在向量空間模型中的權(quán)重。(3)BBS熱點話題挖掘:話題識別是熱點話題挖掘的一個關(guān)鍵步驟，本文分別采用single一Pass、K一Means以及K一Medoids聚類算法進(jìn)行話題識別，在實際應(yīng)用時根據(jù)原算法存在的缺陷做了相應(yīng)改進(jìn)，并給出實驗結(jié)果及其分析。在話題識別的基礎(chǔ)上，綜合話題的線索數(shù)、精華線索數(shù)、回復(fù)數(shù)、單位時間瀏覽數(shù)等信息，對話題進(jìn)行