基于支持向量機(jī)的中文分詞系統(tǒng)的研究.pdf

1、通計(jì)學(xué)習(xí)理論，著重研究在小樣本情況下的統(tǒng)計(jì)規(guī)律及學(xué)習(xí)方法性質(zhì)。它為機(jī)器學(xué)習(xí)問題建立了一個(gè)較好的理論框架，也發(fā)展了一種新的通用學(xué)習(xí)算法一支持向量機(jī)(SViM)。本文從支持向量機(jī)理論、方法和應(yīng)用結(jié)合的角度出發(fā)，研究了支持向量機(jī)在中文分詞中的應(yīng)用。主要包括了以下的工作內(nèi)容： 1、通過對SVIM的研究，根據(jù)SVM的分類特征，對樣本輸入的要求，核函數(shù)與參數(shù)進(jìn)行選擇。并且在對支持向量機(jī)分類時(shí)出錯(cuò)樣本點(diǎn)的分布進(jìn)行研究的基礎(chǔ)上，考慮將支持向量機(jī)

2、與其它分類方法進(jìn)行結(jié)合，如與最近鄰分類(KNN)等分類算法進(jìn)行結(jié)合，形成一種具有更高分類準(zhǔn)確率的分類器。同時(shí)可以較好的解決應(yīng)用支持向量機(jī)分類時(shí)核函數(shù)參數(shù)的選擇問題，能較廣泛的應(yīng)用在各個(gè)分類領(lǐng)域中。 2、詳細(xì)介紹SVM在詞頻統(tǒng)計(jì)中文分詞中的應(yīng)用。可將輸入的連續(xù)字串進(jìn)行分詞處理，輸出分割后的漢語詞串，一般為二字詞串，并得到一個(gè)詞典。詞典中不重復(fù)地存儲了每次處理中得到的詞語，以及這些詞語出現(xiàn)的頻率。選用了互信息原理進(jìn)行統(tǒng)計(jì)。并采用SV