基于正則化線性統(tǒng)計模型的文本分類研究.pdf

1、文本是信息最基本、最常用的載體之一，隨著信息技術的飛速發(fā)展，文本信息迅速膨脹。如何有效地組織和管理這些海量信息，并且能夠從中快速、準確、全面地找到所需要的信息是當前信息科學與技術領域面臨的一大挑戰(zhàn)。文本分類技術是組織和管理文本信息的有力手段，也是信息檢索和數(shù)據(jù)挖掘的重要基礎。
　　 本文在分析文本分類相關研究的基礎上，結合正則化線性統(tǒng)計模型的思想及其發(fā)展，從特征降維及表達、分類器的快速學習、以及降維和分類一致性模型等方面展開研究

2、，完成了如下的一系列工作:
　　 1.提出了一種基于類別信息融合的非負矩陣分解的文本降維算法。針對傳統(tǒng)的非負矩陣分解在實現(xiàn)降維時難以利用多標簽類別信息的情況，通過類別編碼并擴展維數(shù)的方式實現(xiàn)將類別信息融入矩陣分解，從而達到提高系統(tǒng)抗干擾能力并增強基的判別性的目的。之后通過對矩陣分解施加約束項驅(qū)使基向量正交歸一化以減少其冗余信息。最后通過矩陣裁剪及變換實現(xiàn)了將文本數(shù)據(jù)從高維項空間映射到由一組非負基向量張成的低維語義子空間的降維目的

3、。實驗結果表明，該方法提高了基的判別能力，在維數(shù)降到很低情況下仍然獲得很好的分類性能。
　　 2.提出了一種面向文本分類的非負稀疏語義編碼算法。針對常見的降維方法產(chǎn)生的稠密表達與常識不符，以及通常的稀疏表達方法耗時且可能存在負元素（難以解釋文本語義）等問題，本文開發(fā)了一個高效的字典構造算法，該字典包含的一組非負基向量可以張成一個語義子空間，在其中，所有的文本被表示為非負稀疏形式，這種編碼方式符合一篇文檔通常只包含不多的語義概念的

4、實際情況。實驗結果表明，該方法不僅達到了很好的分類性能，而且也獲得了較好的可解釋性。
　　 3.提出了一種基于極限學習機的文本分類算法。極限學習機是近年來快速發(fā)展的一種機器學習方法，其模型通常可以通過解析方式獲得，避免了模型學習過程中常見的收斂性問題，從而達到很高的學習速度。本文針對極限學習機應用在高維稀疏文本數(shù)據(jù)上的一些問題，構建了一個正則化極限學習機模型，并給出其相應的解析解和理論證明以保證解的存在性。之后，根據(jù)模型的結構特

5、點給出了相應的分類方法。實驗結果表明，該方法在分類性能上優(yōu)于BP神經(jīng)網(wǎng)絡，與支持向量機相當，但在學習和分類速度上均遠超BP神經(jīng)網(wǎng)絡或支持向量機。
　　 4.提出了一種基于分組結構的正則化回歸模型的文本分類方法。目前，基于lasso約束的回歸模型可以較好地解決降維和分類不一致的問題。但文本特征的相關性常會導致這類模型過度稀疏（丟失較多的判別特征）。本文通過聚類方法獲得相關特征的分組結構，并將該結構以正則化方式嵌入logistic回