基于主題劃分的Web文檔自動(dòng)摘要研究.pdf

1、隨著Internet的迅速發(fā)展，Web上的各種數(shù)據(jù)急劇增加，網(wǎng)絡(luò)已經(jīng)成為數(shù)據(jù)的倉(cāng)庫(kù)和知識(shí)的潛在源泉。用戶如何才能快速有效地獲取和利用這些資源，已經(jīng)成為迫切需要解決的一個(gè)問(wèn)題，而信息檢索和自動(dòng)摘要是目前解決這一難題的關(guān)鍵技術(shù)。自動(dòng)摘要技術(shù)將文檔內(nèi)容以簡(jiǎn)潔精練的形式呈現(xiàn)出來(lái)，是信息檢索技術(shù)發(fā)展到一定程度的自然延伸。目前，搜索引擎作為信息檢索的一個(gè)重要工具，往往只是簡(jiǎn)單截取關(guān)鍵字所在的部分句子或段落作為摘要提供給用戶，造成用戶在瀏覽搜索結(jié)果時(shí)

2、無(wú)法把握整個(gè)網(wǎng)頁(yè)的內(nèi)容提要，進(jìn)而影響檢索效率。而傳統(tǒng)基于詞頻統(tǒng)計(jì)的摘要方法又主要針對(duì)純文本文檔，且單純考慮文本的表層特征，缺乏對(duì)文檔的語(yǔ)義分析，生成的文摘質(zhì)量不高，因此也難以直接適用于Web文檔摘要的自動(dòng)提取。 本課題針對(duì)傳統(tǒng)摘要技術(shù)的不足，提出了一種基于主題劃分的Web文檔自動(dòng)摘要方法。該方法以非受限領(lǐng)域的Web文檔為處理對(duì)象，在機(jī)械文摘基礎(chǔ)上融合了理解文摘中的相關(guān)語(yǔ)義分析技術(shù)，充分挖掘Web文檔的結(jié)構(gòu)特征來(lái)提取摘要。首先，利

3、用HTML文檔的標(biāo)記信息劃分網(wǎng)頁(yè)主題，以劃分的主題為單位抽取摘要，使得最終文摘覆蓋的內(nèi)容更加全面。其次，利用WordNet中的語(yǔ)義關(guān)系以概念統(tǒng)計(jì)代替?zhèn)鹘y(tǒng)的詞頻統(tǒng)計(jì)以消除同義詞的影響，使得提取的主題特征更加準(zhǔn)確。最后，根據(jù)句子之間的語(yǔ)義相似度，提出一種新的文摘句動(dòng)態(tài)抽取算法，有效避免了文摘內(nèi)容的重復(fù)。在具體研究過(guò)程中，本論文所作的主要工作如下：網(wǎng)頁(yè)主題劃分：利用Web文檔的標(biāo)記信息構(gòu)建相應(yīng)的DOM樹，設(shè)計(jì)了兩級(jí)不同粒度的過(guò)濾器對(duì)網(wǎng)頁(yè)進(jìn)行預(yù)

4、處理。在此基礎(chǔ)上，通過(guò)樹中節(jié)點(diǎn)的自然分割功能和節(jié)點(diǎn)間的語(yǔ)義相似性比較，將文檔劃分成不同的主題塊。 主題概念提取：利用WordNet詞典中的同義和上下位關(guān)系，將同義詞歸結(jié)為它們的祖先概念，對(duì)同義詞的統(tǒng)計(jì)就歸結(jié)為對(duì)它們上位詞的統(tǒng)計(jì)，從而有效降低向量空間的維數(shù)。并針對(duì)網(wǎng)頁(yè)特點(diǎn)，通過(guò)對(duì)自身頻率、覆蓋度等指標(biāo)的衡量來(lái)選取主題概念。 摘要?jiǎng)討B(tài)生成：基于上述工作提取的主題概念，為文檔中的每個(gè)句子構(gòu)建向量空間模型，利用網(wǎng)頁(yè)標(biāo)簽對(duì)摘要的重