基于LDA和圖割的文本主題分割研究.pdf

1、文本分割的本質(zhì)是根據(jù)文本內(nèi)部的主題相似性獲得分割之間的邊界位置，使得分割內(nèi)部具有最大的語(yǔ)義一致性而分割之間的語(yǔ)義一致性相對(duì)較小。本文探討基于LDA和圖割的文本主題分割技術(shù)，通過(guò)在相似性度量方法中使用LDA等主題模型，并采用改進(jìn)的α-膨脹算法對(duì)文本分割的邊界進(jìn)行搜索，提出了基于LDA等主題模型與圖割技術(shù)的文本分割模型。
　　 本文在對(duì)前人提出的語(yǔ)義相似性度量方法進(jìn)行概述之后，首先分別討論了LDA、HDP&LDA和CTM等主題模型，

2、然后嘗試將這三個(gè)主題模型用于語(yǔ)義相似性度量，為文本分割提供主題信息。文本分割通常是在獲得文本內(nèi)隱含主題的基礎(chǔ)上進(jìn)行的。由于詞匯是構(gòu)成文本最基本的語(yǔ)義單位，因此可通過(guò)對(duì)文本內(nèi)部的詞匯進(jìn)行統(tǒng)計(jì)以獲得關(guān)于主題的淺層信息、通過(guò)PLSA、LDA等主題模型來(lái)表達(dá)文本內(nèi)部的深層語(yǔ)義信息。研究表明，在文本分割中利用LDA模型可明顯提高文本分割的效果。HDP和CTM主題模型作為L(zhǎng)DA的衍生模型，相比LDA模型HDP模型可以確定合適的主題數(shù)量，CTM模型引

3、入了主題相關(guān)性。本文通過(guò)對(duì)比實(shí)驗(yàn)，進(jìn)一步驗(yàn)證了在主題模型中設(shè)定合適的主題數(shù)量和考慮主題之間的相關(guān)性有助于改善文本分割的效果。
　　 本文中使用視覺(jué)問(wèn)題中成熟的圖割算法作為文本分割問(wèn)題中的邊界搜索方法。目前的文本分割方法在搜索分割邊界時(shí)需要人工給出先驗(yàn)參數(shù)，這些參數(shù)值通常對(duì)分割結(jié)果有較大影響，并且僅靠人工方法無(wú)法確定理想的參數(shù)值，因此我們引入圖割算法。為了將圖割算法應(yīng)用于文本分割任務(wù)中，本文做了以下三個(gè)方面的工作:通過(guò)重新定義文本