基于詞向量表征的新詞發(fā)現(xiàn)及命名實(shí)體識別研究.pdf

1、數(shù)據(jù)挖掘中結(jié)構(gòu)化數(shù)據(jù)的挖掘分析相對成熟，但非結(jié)構(gòu)化的數(shù)據(jù)挖掘分析面臨許多挑戰(zhàn)。文本數(shù)據(jù)是一種非常重要的非結(jié)構(gòu)化數(shù)據(jù)，對于該種數(shù)據(jù)類型的挖掘分析面臨著更多的挑戰(zhàn)，主要面臨如中文分詞、命名實(shí)體識別、實(shí)體關(guān)系抽取、語義理解，情感分析等等一系列的問題。其中，分詞技術(shù)幾乎是絕大多數(shù)中文文本數(shù)據(jù)挖掘分析的基礎(chǔ)步驟。然而，由于人們總是在不斷地創(chuàng)造新的詞匯，這些新詞是不可能被人們完全收錄，所以會導(dǎo)致分詞錯誤，從而引致命名實(shí)體的標(biāo)記錯誤。因此，新詞識別已

2、經(jīng)成為文本挖掘的一個難點(diǎn)和瓶頸問題。
　　近幾年利用神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)訓(xùn)練語言模型而得到的詞向量表征能夠很好的表征詞與詞之間的語義關(guān)系，受此啟發(fā)，本文把這種詞向量表征用于中文的新詞發(fā)現(xiàn)識別中，提出了一個基于詞向量表征和n-gram相結(jié)合的無監(jiān)督的新詞發(fā)現(xiàn)方法。
　　首先，本文通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)語言模型把詞映射到一個高維空間，并且對比了Skip-gram模型和CBOW模型得到的詞向量對新詞結(jié)果的影響，發(fā)現(xiàn)Skip-gram模型能

3、夠取得更好效果。其次，考慮到如果幾個相鄰的詞經(jīng)常的共同出現(xiàn)在不同的詞序列中，那么他們一定存在某種關(guān)系。本文受關(guān)聯(lián)規(guī)則算法的啟發(fā)，設(shè)計了高效的n-gram挖掘算法，把挖掘出的n-gram作為新詞候選詞串。接著，本文利用訓(xùn)練好的詞向量對候選詞串進(jìn)行剪枝，剔除噪音數(shù)據(jù)，從而得到新詞結(jié)果。本文還設(shè)計了剪枝算法，并且對比了不同向量相似性度量方法對最終結(jié)果的影響，發(fā)現(xiàn)余弦相似性剪枝效果最好。同時，本文也和其他新詞發(fā)現(xiàn)方法做了相應(yīng)對比，證實(shí)了本文方法