基于詞向量表征的新詞發(fā)現(xiàn)及命名實(shí)體識(shí)別研究.pdf

1、數(shù)據(jù)挖掘中結(jié)構(gòu)化數(shù)據(jù)的挖掘分析相對(duì)成熟，但非結(jié)構(gòu)化的數(shù)據(jù)挖掘分析面臨許多挑戰(zhàn)。文本數(shù)據(jù)是一種非常重要的非結(jié)構(gòu)化數(shù)據(jù)，對(duì)于該種數(shù)據(jù)類型的挖掘分析面臨著更多的挑戰(zhàn)，主要面臨如中文分詞、命名實(shí)體識(shí)別、實(shí)體關(guān)系抽取、語(yǔ)義理解，情感分析等等一系列的問(wèn)題。其中，分詞技術(shù)幾乎是絕大多數(shù)中文文本數(shù)據(jù)挖掘分析的基礎(chǔ)步驟。然而，由于人們總是在不斷地創(chuàng)造新的詞匯，這些新詞是不可能被人們完全收錄，所以會(huì)導(dǎo)致分詞錯(cuò)誤，從而引致命名實(shí)體的標(biāo)記錯(cuò)誤。因此，新詞識(shí)別已

2、經(jīng)成為文本挖掘的一個(gè)難點(diǎn)和瓶頸問(wèn)題。
　　近幾年利用神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)訓(xùn)練語(yǔ)言模型而得到的詞向量表征能夠很好的表征詞與詞之間的語(yǔ)義關(guān)系，受此啟發(fā)，本文把這種詞向量表征用于中文的新詞發(fā)現(xiàn)識(shí)別中，提出了一個(gè)基于詞向量表征和n-gram相結(jié)合的無(wú)監(jiān)督的新詞發(fā)現(xiàn)方法。
　　首先，本文通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型把詞映射到一個(gè)高維空間，并且對(duì)比了Skip-gram模型和CBOW模型得到的詞向量對(duì)新詞結(jié)果的影響，發(fā)現(xiàn)Skip-gram模型能

3、夠取得更好效果。其次，考慮到如果幾個(gè)相鄰的詞經(jīng)常的共同出現(xiàn)在不同的詞序列中，那么他們一定存在某種關(guān)系。本文受關(guān)聯(lián)規(guī)則算法的啟發(fā)，設(shè)計(jì)了高效的n-gram挖掘算法，把挖掘出的n-gram作為新詞候選詞串。接著，本文利用訓(xùn)練好的詞向量對(duì)候選詞串進(jìn)行剪枝，剔除噪音數(shù)據(jù)，從而得到新詞結(jié)果。本文還設(shè)計(jì)了剪枝算法，并且對(duì)比了不同向量相似性度量方法對(duì)最終結(jié)果的影響，發(fā)現(xiàn)余弦相似性剪枝效果最好。同時(shí)，本文也和其他新詞發(fā)現(xiàn)方法做了相應(yīng)對(duì)比，證實(shí)了本文方法