基于知網(wǎng)的詞語聚類算法的評價方法設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在自然語言處理的研究中,詞語聚類算法是被廣泛研究的課題。它在自然語言處理各個應(yīng)用中均扮演十分重要的角色。詞聚類算法在文本信息檢索，機(jī)器翻譯，語音識別以及自然語言理解等相關(guān)領(lǐng)域都有廣泛的應(yīng)用。然而在詞聚類算法的詞聚類效果評價上，目前的詞語聚類算法評價方法還存在著許多的不足。
　　目前，詞語聚類算法的評價方法主要有人工評價和機(jī)器自動評價兩種方法。人工評價費(fèi)時費(fèi)力，而且評價的結(jié)果往往存在很大的個人主觀性，容易產(chǎn)生偏差；而機(jī)器評價主要是在

2、空間向量模型和統(tǒng)計(jì)模型的基礎(chǔ)上使用歐式距離或余弦角的方法來對詞聚類結(jié)果進(jìn)行評價，而沒有從語義層次上考慮詞語之間的語義關(guān)系，這導(dǎo)致評價結(jié)果的不理想。
　　本課題研究的目的在于在知網(wǎng)語義體系的基礎(chǔ)上建立語義模型，并將基于此語義模型的詞關(guān)聯(lián)度計(jì)算方法引入到詞語聚類算法的評價方法中，在語義層面上對得到的詞聚類結(jié)果進(jìn)行評價，分析它們的聚類效果，進(jìn)而判斷出各個詞聚類算法的聚類效果的優(yōu)劣性。
　　本文主要研究內(nèi)容有以下幾個方面：
　

3、　(1)本文采用了語義信息的量化模型，用詞矢量來表示詞語的語義信息。并且從語料庫中選出高頻的特征詞作為待聚類詞集合，并構(gòu)造出待聚類詞集的詞矢量矩陣。
　　(2)分別使用基于SOM，K-means，F(xiàn)uzzy-C-Means和ART2的四個詞聚類算法對待聚類詞集合進(jìn)行自動聚類，得到四個不同的聚類結(jié)果。
　　(3)在知網(wǎng)的語義模型的基礎(chǔ)上，將基于知網(wǎng)的詞關(guān)聯(lián)度計(jì)算方法引入到詞聚類算法的聚類結(jié)果評價上，對得到的詞聚類結(jié)果進(jìn)行相對客