基于時(shí)間信息的輿情話題發(fā)現(xiàn)技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)信息的繼續(xù)指數(shù)級(jí)增長(zhǎng),以及互聯(lián)網(wǎng)在全球范圍內(nèi)的日益普及,互聯(lián)網(wǎng)已經(jīng)成為全球最大最具潛力的社會(huì)輿論集中地。在這樣的形勢(shì)下,對(duì)輿情信息的監(jiān)控和分析就顯得越來越重要。互聯(lián)網(wǎng)每天都會(huì)產(chǎn)生大量的信息,如何高效準(zhǔn)確的挖掘出每天的熱點(diǎn)話題和突發(fā)事件成為輿情監(jiān)控的研究重點(diǎn)。
　　中文時(shí)間表達(dá)式識(shí)別是近年來研究的熱點(diǎn),中文時(shí)間表達(dá)式識(shí)別多使用機(jī)器學(xué)習(xí)方法識(shí)別范圍,使用規(guī)則的方法規(guī)范化,但是特征的選擇和規(guī)則的制定都很不健全,本文提出一種特征

2、選擇算法,并人工制定了規(guī)范化規(guī)則。傳統(tǒng)熱點(diǎn)話題發(fā)現(xiàn)的研究對(duì)時(shí)間信息的考慮過于單一,本文針對(duì)這種情況,將時(shí)間粒度精確到分鐘,并通過新聞的文本表示和聚類的相似度計(jì)算兩方面將時(shí)間信息融入到了話題發(fā)現(xiàn)算法中。在突發(fā)事件識(shí)別方面,加入時(shí)間信息,考慮時(shí)間相近因素。本文以規(guī)范化的時(shí)間表達(dá)式為基礎(chǔ),研究輿情熱點(diǎn)話題和突發(fā)事件識(shí)別技術(shù),主要工作如下:
　　1.提出一種中文時(shí)間表達(dá)式范圍識(shí)別的特征選擇算法。針對(duì)傳統(tǒng)的特征選擇算法難免會(huì)丟失最佳特征組合

3、的缺陷,本文提出一種增減特征交集的特征選擇方法,對(duì)這些特征進(jìn)行了進(jìn)一步的篩選,并用窮舉實(shí)驗(yàn)結(jié)果對(duì)這種特征選擇方法進(jìn)行了驗(yàn)證。分別利用條件隨機(jī)場(chǎng)、SVM、最大熵模型在TempEval-2中文語料上的實(shí)驗(yàn)結(jié)果進(jìn)行了比較分析,并分析了標(biāo)注錯(cuò)誤的可能原因。利用本文的方法,最后識(shí)別的結(jié)果F1值比其他研究者的結(jié)果都要高。
　　2.加入規(guī)則方法對(duì)中文時(shí)間表達(dá)式類型識(shí)別。本文在SVM方法的基礎(chǔ)上,加入了規(guī)則的方法對(duì)中文時(shí)間表達(dá)式的類型進(jìn)行了識(shí)別,

4、通過在TempEval-2中文語料上的實(shí)驗(yàn)證明了方法的有效性,其正確率達(dá)到了96.88％,明顯高于其他研究者的方法。
　　3.提出中文時(shí)間表達(dá)式規(guī)范化格式和算法。本文以UTC時(shí)間為標(biāo)準(zhǔn)時(shí)間,將不同來源的新聞文本按照時(shí)區(qū)進(jìn)行統(tǒng)一的映射。在參考時(shí)間概念里,為了對(duì)大規(guī)模的數(shù)據(jù)進(jìn)行實(shí)時(shí)分析,加入了新聞獲取時(shí)間的概念。人工定義了一些模糊時(shí)間詞的范圍,設(shè)計(jì)了中文時(shí)間DATE和TIME類型的規(guī)范化格式。在上述基礎(chǔ)上設(shè)計(jì)了中文時(shí)間表達(dá)式的規(guī)范化算

5、法。
　　4.在輿情熱點(diǎn)話題發(fā)現(xiàn)技術(shù)中融入時(shí)間信息。本文將時(shí)間信息以新聞表示模型和聚類相似度計(jì)算因子兩種形式加入到Single-Pass算法中。本文用tfidf作為向量空間模型的權(quán)重表示新聞文本,并對(duì)其中的人名、地名、機(jī)構(gòu)名、時(shí)間詞、標(biāo)題詞、正文第一段詞提高其權(quán)重,來更加準(zhǔn)確全面有重點(diǎn)的表示新聞文本。這里的時(shí)間詞是規(guī)范化后的時(shí)間表達(dá)式。在計(jì)算相似度的時(shí)候,本文除了利用傳統(tǒng)的余弦相似度計(jì)算公式,還加入了時(shí)間距離的因素,并定義了時(shí)間距