基于數(shù)字電視節(jié)目的相關(guān)語(yǔ)義庫(kù)的實(shí)現(xiàn)與應(yīng)用.pdf

1、在人們對(duì)語(yǔ)言的感官認(rèn)知中，判斷詞語(yǔ)間的語(yǔ)義相關(guān)程度一直扮演著一個(gè)重要的角色，同時(shí)，這種語(yǔ)義相關(guān)關(guān)系在很多領(lǐng)域中都有實(shí)際的應(yīng)用，例如信息檢索，文本分類，機(jī)器翻譯等等。 構(gòu)造相關(guān)語(yǔ)義庫(kù)通常有基于知網(wǎng)和語(yǔ)料訓(xùn)練兩種方法。知網(wǎng)采用人工方法，主觀性太強(qiáng)，且不能動(dòng)態(tài)更新；通常的語(yǔ)料訓(xùn)練對(duì)時(shí)空復(fù)雜度的要求都比較高，受語(yǔ)料稀疏和語(yǔ)料噪聲的影響也比較大，不宜直接應(yīng)用于嵌入式環(huán)境。為了解決以上問(wèn)題，本文提出了一種以向量空間模型為基礎(chǔ)的相關(guān)語(yǔ)義庫(kù)的構(gòu)

2、造方法。本文將所要介紹的相關(guān)語(yǔ)義庫(kù)稱為Corpus庫(kù)。 本文首先提出了Corpus的邏輯模型，Corpus庫(kù)綜合考慮了多種與詞語(yǔ)間語(yǔ)義關(guān)系有關(guān)的因素，創(chuàng)新性地將詞語(yǔ)之間的共同出現(xiàn)次數(shù)、平均距離、窗口大小、信息熵、單字匹配等概念引入模型。接下來(lái)，我們給出了訓(xùn)練詞語(yǔ)相關(guān)度的裁剪公式，在構(gòu)建相關(guān)語(yǔ)義庫(kù)過(guò)程中，依此公式對(duì)大量語(yǔ)料進(jìn)行了多次迭代式學(xué)習(xí)以盡量控制空間大小。其中，我們對(duì)模型中相關(guān)詞空間各個(gè)因素進(jìn)行統(tǒng)計(jì)，針對(duì)每一個(gè)詞語(yǔ)，根據(jù)與其

3、相關(guān)的詞語(yǔ)的統(tǒng)計(jì)信息，為這些相關(guān)詞語(yǔ)分配權(quán)值，最后按照權(quán)值大小進(jìn)行排序，排位靠前的相關(guān)詞語(yǔ)會(huì)被最終留下存入主詞語(yǔ)的相關(guān)空間。 本文針對(duì)Corpus自身模型和Corpus應(yīng)用做了兩大實(shí)驗(yàn)。實(shí)驗(yàn)一證明了用這樣的構(gòu)建方法得到的相關(guān)語(yǔ)義庫(kù)能夠較好的反映現(xiàn)實(shí)世界中詞語(yǔ)之間的相關(guān)程度。實(shí)驗(yàn)二提出了一種基于Corpus庫(kù)的模糊信息匹配模型，它基于一個(gè)四維的向量空間，在模糊匹配的過(guò)程中該模型會(huì)用擴(kuò)展后的檢索信息與待查全部文本資源進(jìn)行匹配，并得出