語言淺層分析與句子級(jí)新信息檢測(cè)研究.pdf

1、針對(duì)粒度更小、冗余更少的信息需求，本文圍繞句子級(jí)別的信息檢索與新信息檢測(cè)，進(jìn)行了深入而又細(xì)致的研究，提出了有針對(duì)性的淺層語言分析技術(shù)，討論了句子檢索的主要建模方法，并闡述了信息新穎度的多種量化手段。在多組對(duì)比實(shí)驗(yàn)和國際上公開的評(píng)測(cè)比賽中，依據(jù)本文技術(shù)方法研制的Noovel系統(tǒng)取得了當(dāng)前最好的性能，超過了所有正式公開的結(jié)果，這也表明：本文提出的句子檢索方法與新信息檢測(cè)技術(shù)是卓有成效的。 針對(duì)新信息檢測(cè)的英文淺層語言分析主要包括斷句

2、、詞匯切分、詞性標(biāo)注以及詞形還原等自然語言處理過程。作者在已有研究工作的基礎(chǔ)上，結(jié)合新信息發(fā)現(xiàn)的特點(diǎn)，提出了有針對(duì)性的改進(jìn)措施。在中文淺層語言分析方面，本文提出了一種將漢語分詞、詞性標(biāo)注、切分排歧和未登錄詞識(shí)別相結(jié)合的基于層次隱馬模型的理論框架。在語言的分析基礎(chǔ)上，查詢分析過程通過輔助詞過濾與傾向分類，從自然語言表述的主題中理解用戶的查詢意圖，從而抽取出可用于直接建模計(jì)算的查詢向量。在目前所有能獲取的公開數(shù)據(jù)集合上進(jìn)行對(duì)比實(shí)驗(yàn)，基于淺層

3、語言‘分析的系統(tǒng)性能均超過了目前所見到發(fā)表的最好水平。 在句子檢索方面，Noovel采取了三種模型：向量空間模型、概率檢索模型與語言模型。為了克服句子的局限性，本文引入了查詢擴(kuò)展的技術(shù)，主要包括：借助于WordNet的語義衍生擴(kuò)展、偽相關(guān)反饋擴(kuò)展、采用高頻共現(xiàn)詞語的局部共現(xiàn)擴(kuò)展。在TREC2003數(shù)據(jù)集上的實(shí)驗(yàn)表明：在淺層語言分析的基礎(chǔ)上，簡(jiǎn)單向量空間模型可以達(dá)到目前最好的結(jié)果，受到語義資源和分析深度的限制，當(dāng)前階段的語義擴(kuò)展作

4、用有限，而偽相關(guān)反饋與局部共現(xiàn)擴(kuò)展都能夠幫助提高句子檢索的性能，局部共現(xiàn)擴(kuò)展是很有潛力的查詢擴(kuò)展與文檔擴(kuò)展的技術(shù)。 句子級(jí)別的新信息檢測(cè)是本項(xiàng)研究的最終目標(biāo)，這是個(gè)時(shí)序性很強(qiáng)的信息過濾任務(wù)，在總結(jié)現(xiàn)有方法的基礎(chǔ)上，本文提出了三種具有代表性的信息新穎度的量化方法，其中包括：詞重疊度及其擴(kuò)展方法、相似度比較方法與信息增強(qiáng)的評(píng)價(jià)方法。初衷在于兼顧信息與主題的相關(guān)性，同時(shí)還要與已有歷史的信息進(jìn)行比對(duì)，尋找新信息之所在。 除了非監(jiān)

5、督條件的新信息檢測(cè)之外，本文還探討了在監(jiān)督條件下如何進(jìn)行機(jī)器自動(dòng)學(xué)習(xí)并調(diào)整參數(shù)的策略，主要的手段包括：進(jìn)一步的特征選擇、真實(shí)反饋、調(diào)整參數(shù)、閾值設(shè)置。作者還進(jìn)一步的提出了基于分類的句子檢索與新信息檢測(cè)方法。 Noovel系統(tǒng)參加了第13屆TREC比賽新信息發(fā)現(xiàn)任務(wù)的全部四個(gè)子任務(wù)，在最關(guān)鍵的任務(wù)1中，Noovel的新信息檢測(cè)結(jié)果排名第一：任務(wù)3的句子檢索性能方面，提交的兩個(gè)結(jié)果并列排名第一，其他的子任務(wù)也取得不俗的成績(jī)，與參賽的