詞語相似度計算方法研究.pdf

1、自然語言處理最根本的目的就是讓計算機(jī)能正確處理人類語言,利用計算機(jī)對詞語語義進(jìn)行理解是自然語言處理中最為關(guān)鍵的問題。詞義相似度計算作為語義理解的基礎(chǔ)性工作已被廣泛應(yīng)用于詞義消歧、機(jī)器翻譯、信息檢索、自動應(yīng)答等各種領(lǐng)域。
　　 目前詞義相似度的計算方法主要分為兩個大類:一類是通過具有一定層次體系的詞典計算詞義相似度;另一類是利用詞語的上下文獲取詞義信息,從而計算詞義相似度。第一類方法是將詞語構(gòu)建于一個具有層次關(guān)系的樹形結(jié)構(gòu)體系詞典

2、中,通過計算整個體系中兩個目標(biāo)詞之間的路徑、上下位關(guān)系、屬性之間的關(guān)系來表征目標(biāo)詞之間的詞義相似度。這種方法過分依賴詞典的設(shè)計,需要完備的層次關(guān)系,因此受人的主觀影響較大。第二種是利用語料中目標(biāo)詞上下文詞語作為目標(biāo)詞詞義的表示,通過計算兩個目標(biāo)詞上下文之間的關(guān)系來確定兩者之間的相似度。這類方法受上下文影響較大,同時會有數(shù)據(jù)稀疏問題。
　　 本文針對這兩種方法的優(yōu)缺點,通過詞典對上下文詞語的概念提升,提高了目標(biāo)詞詞義的表示程度,從

3、一定程度上緩解了向量空間模型中的數(shù)據(jù)稀疏問題,并起到良好的降維效果。同時,通過利用上下文詞語獲取詞義表示信息,從詞語的實際使用環(huán)境出發(fā),真實反映詞語使用時的動態(tài)詞義。在此基礎(chǔ)上,本文還將相對詞頻比運用于向量空間模型的特征選擇中,進(jìn)一步提高了詞語相似度的準(zhǔn)確性和合理性。
　　 詞義區(qū)分是自然語言處理的另一個重要內(nèi)容,本文在構(gòu)建詞義相似度計算模型的基礎(chǔ)上,將該模型運用到詞義區(qū)分的計算中去。通過詞語相似度算法改進(jìn)K-means聚類方法