半監(jiān)督算法在自然語言處理中應用的研究.pdf

1、自然語言處理技術的發(fā)展給人們生活帶來了很多方便。有監(jiān)督學習方法在自然語言處理領域取得了巨大成功，然而由于其依賴大量的標注語料，很難擴展到標注語料缺乏的情況。自然語言處理領域有很多任務缺乏標注語料，但是未標注語料卻很容易獲得，此時，半監(jiān)督學習是一個好的選擇。半監(jiān)督學習主要研究內(nèi)容是如何同時利用標記數(shù)據(jù)和無標記數(shù)據(jù)，獲得比僅能利用標記數(shù)據(jù)的有監(jiān)督學習方法更好的性能。目前，半監(jiān)督學習受限于高昂的計算代價，不能很好的應用與規(guī)模較大的自然語言處理

2、任務中。
　　本文主要研究了如何將基于主動學習（active learning）以及基于圖（graph based）的半監(jiān)督機器學習算法更好的應用于自然語言處理任務中。首先，本文提出了一種基于主動學習策略的半監(jiān)督支持向量機框架，使用平均隨機梯度下降（ASGD）方法做模型求解，并重點研究了合理的主動學習策略，將時間和空間復雜度都降到了線性。在文本分類和情感分類的實驗結果證明我們的方法能夠和其他主流的半監(jiān)督支持向量機達到相當?shù)男Ч?，?/p>

3、且大幅的提升了訓練速度。同時，該學習框架也可以推廣到其他半監(jiān)督學習模型中。然后，本文研究了基于圖的半監(jiān)督算法在詞性標注上的應用，將基于錨圖的標記傳播算法應用到了詞性標注任務中，重點研究了自然語言處理中數(shù)據(jù)稀疏的解決辦法，探討了詞向量的使用方式。實驗結果表明基于圖的半監(jiān)督算法結合詞向量的上下文特征表示方式可以有效提高詞性標注準確率。本文又對上述兩種機制的算法進行了深入的分析比較，從理論和實驗上分析了兩種方法的原理，基本假設，時間空間復雜度