基于相似語義的文本相似度的判別研究.pdf

1、隨著信息技術(shù)的迅速發(fā)展，大量文本信息不斷涌入我們的視野，在這樣一個信息化時代里，如何快速有效地在這浩瀚的信息海洋里找到需要的東西是亟待解決的問題。目前的檢索效果不是很理想，主要原因在于用戶不能很好地表達自己的需求,而系統(tǒng)給出過多的查詢結(jié)果，給用戶檢索帶來諸多不便。如果能讓用戶在結(jié)果集中去掉或保留和某一文本相似的文本集合，就可以大大減少用戶閱讀量。而文本的自動分類研究以及文本相似度的判別研究工作在這里就起到了重要的作用。目前文本自動分類所

2、采用的主要方法是向量空間模型。該方法的思想是把文本分割成由詞或字組成的特征項，進而把文本表征成由特征項構(gòu)成的向量空間中的一個點，通過計算向量之間的夾角來判定文本之間的相似程度。目前關(guān)于自動分類的研究已經(jīng)取得了很大的進展，并提出了一些有效的算法，如Bayes 算法、支撐向量機SVM(support vectormachine)、Boosting、KNN（k-nearest neighbors）算法等等，其中適用最廣泛的是KNN算法。基于向

3、量空間模型的算法作為一種簡單、有效的算法，在文檔分類中引起廣泛關(guān)注，并且取得了很好的成果。但是，其中的大多數(shù)算法都因為計算復(fù)雜度太高而不適用于大規(guī)模的場合，而造成算法復(fù)雜度太高的原因之一，就是向量空間模型中向量空間的維數(shù)過多。因此，如果能夠有效地降低向量空間的維數(shù)，則算法復(fù)雜度將大大降低，準(zhǔn)確度也將大大提高。 論文中提出了一種提高算法分類精度的方法：對一個標(biāo)準(zhǔn)詞庫按照語義相似程度進行統(tǒng)一分類，把4萬多個詞條聚集成300個左右的類