基于語(yǔ)言模型的文本分割研究.pdf

1、文本分割的實(shí)質(zhì)是根據(jù)文本內(nèi)子主題的相似程度，將文本切分成若干個(gè)語(yǔ)義段落，每個(gè)段落的內(nèi)部具有最高的語(yǔ)義一致性。因此，文本分割最需要解決的技術(shù)難點(diǎn)為度量文本的相似性及識(shí)別語(yǔ)義段落的邊界。本文從以上兩個(gè)問(wèn)題出發(fā)，重點(diǎn)研究了基于語(yǔ)言模型的詞語(yǔ)特征提取，利用 Dotplotting模型進(jìn)行文本分割的相關(guān)內(nèi)容及算法。
　　本文對(duì)語(yǔ)言模型進(jìn)行了相關(guān)研究。語(yǔ)言模型是一種概率統(tǒng)計(jì)模型，已被廣泛應(yīng)用于字符識(shí)別、機(jī)器翻譯、信息檢索等技術(shù)中，能很好的解決

2、文本中詞匯出現(xiàn)的概率問(wèn)題。由于詞匯構(gòu)成了一篇文本，是文本最基本的組成部分，因此，可以通過(guò)對(duì)文本詞匯的統(tǒng)計(jì)，獲得文本主題的淺層信息。但是語(yǔ)言模型僅僅考慮了詞匯概率并未考慮詞匯的語(yǔ)義相關(guān)性，無(wú)法進(jìn)一步獲得主題的深層信息?；诖?，本文提出了一種改進(jìn)的二元語(yǔ)言模型 Bigram，利用關(guān)聯(lián)矩陣加強(qiáng)詞匯之間的約束力，借此來(lái)描述句子的相關(guān)性并進(jìn)行特征提取，進(jìn)而確定子主題的相似性。
　　由于本文使用語(yǔ)言模型進(jìn)行特征提取，在自然語(yǔ)言中，絕大部分的詞

3、是低頻詞，因此肯定存在著稀疏的問(wèn)題。而在語(yǔ)料訓(xùn)練中，最大似然估計(jì)賦予沒(méi)有出現(xiàn)過(guò)的Bigram模型0概率，因此必須對(duì)語(yǔ)言模型進(jìn)行數(shù)據(jù)平滑處理。本文分析了目前常用的幾種平滑處理算法的特點(diǎn)，結(jié)合Bigram模型的特性，采用Katz算法進(jìn)行平滑處理，以期得到更好的參數(shù)。
　　本文使用 Dotplotting算法進(jìn)行文本分割。該算法考慮了文檔中詞匯分布情況并進(jìn)行了全局的優(yōu)化，但是在確定新的語(yǔ)義段落邊界時(shí)，未能充分考慮之前已經(jīng)確定的邊界，且前

4、向掃描與后向掃描得到的密度結(jié)果不相同。本文針對(duì)上述Dotplotting算法存在的一些不足，對(duì)其進(jìn)行了一些改進(jìn)：增加了后向掃描的密度值；考慮了過(guò)于短小的語(yǔ)義段落無(wú)法很好的描述一個(gè)子主題，增加一個(gè)段落的長(zhǎng)度懲罰因子來(lái)加以約束；最后提出了改進(jìn)的密度評(píng)價(jià)函數(shù)。
　　總之，本文基于詞語(yǔ)匯聚的思想，采用了二元語(yǔ)言模型 Bigram以及Dotplotting算法對(duì)文本分割進(jìn)行了深入研究，針對(duì)某些不足之處提出了改進(jìn)的方法，通過(guò)實(shí)驗(yàn)結(jié)果的對(duì)比，驗(yàn)