Web數(shù)據(jù)集成中有價(jià)值事件識(shí)別研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，Web成為巨大的信息源，擁有海量數(shù)據(jù)，同時(shí)Web具有開(kāi)放性、交互性、便捷性的特點(diǎn)，已成為人們獲取信息的重要平臺(tái)。如何準(zhǔn)確、有效地從Web中獲取所需信息，對(duì)信息進(jìn)一步分析和挖掘，對(duì)諸如市場(chǎng)情報(bào)分析、商業(yè)智能等分析型應(yīng)用尤為重要。
　　相對(duì)于傳統(tǒng)數(shù)據(jù)集成中結(jié)構(gòu)化數(shù)據(jù)，Web網(wǎng)頁(yè)包含大量無(wú)結(jié)構(gòu)數(shù)據(jù)，其中在特定時(shí)間、地點(diǎn)發(fā)生，由特定參與者參加的活動(dòng)語(yǔ)句稱(chēng)為事件。識(shí)別網(wǎng)頁(yè)中有價(jià)值事件，即識(shí)別出分散在大量網(wǎng)頁(yè)中的事件

2、信息并關(guān)聯(lián)事件的價(jià)值數(shù)據(jù)，為市場(chǎng)情報(bào)分析等應(yīng)用提供數(shù)據(jù)支持。
　　Web網(wǎng)頁(yè)的新聞報(bào)道中蘊(yùn)含大量事件，為用戶(hù)提供及時(shí)、廣泛的信息，但報(bào)道這些事件的描述語(yǔ)句陳述角度各異，表達(dá)方式隨意，難以識(shí)別是否指向同一事件。網(wǎng)頁(yè)報(bào)道中對(duì)同一事件的不同描述語(yǔ)句稱(chēng)為事件表象。在Web大量網(wǎng)頁(yè)中，通過(guò)聚合事件表象發(fā)現(xiàn)其共同所指的事件，利用共指同一事件的表象間互相印證和補(bǔ)充的信息對(duì)事件有一個(gè)較全面、準(zhǔn)確的認(rèn)識(shí)。另外，分析事件主題，集成事件主題熱度信息，從

3、不同層面識(shí)別有價(jià)值事件。識(shí)別出的有價(jià)值事件，數(shù)據(jù)較豐富和準(zhǔn)確，而且集成了事件主題等不同層面的價(jià)值信息，可以為市場(chǎng)情報(bào)分析等應(yīng)用提供支持，也是進(jìn)一步進(jìn)行數(shù)據(jù)分析和挖掘的基礎(chǔ)。
　　Web有價(jià)值事件識(shí)別已經(jīng)成為當(dāng)前的熱點(diǎn)研究問(wèn)題之一，由于Web事件具有海量、無(wú)結(jié)構(gòu)、描述隨意和聯(lián)系豐富等特點(diǎn)，有價(jià)值事件識(shí)別不僅進(jìn)行Web事件發(fā)現(xiàn)，還要集成事件價(jià)值信息，研究中仍然存在以下問(wèn)題有待解決。(1)同一事件網(wǎng)絡(luò)中有不同的新聞報(bào)道，報(bào)道該事件的事件

4、表象語(yǔ)句因描述角度不同，存在較大差異。這些事件表象分布于大量網(wǎng)頁(yè)中，如何從網(wǎng)頁(yè)中快速、準(zhǔn)確的發(fā)現(xiàn)重復(fù)事件表象，聚合指向同一事件的表象，是需要研究的問(wèn)題;(2)事件表象從不同角度描述事件，如何充分利用表象間相互印證和補(bǔ)充信息，將形式各異的共指事件表象統(tǒng)一成一條表象，保證合并后的事件表象具有較準(zhǔn)確和豐富的數(shù)據(jù)，是需要解決的問(wèn)題;(3)Web不同事件可以擁有共同主題，如何準(zhǔn)確發(fā)現(xiàn)不同事件的主題，分析主題詞熱度，從主題層面識(shí)別有價(jià)值事件，是需要

5、解決的問(wèn)題。
　　本文以Web數(shù)據(jù)集成為目標(biāo)，針對(duì)Web有價(jià)值事件識(shí)別中存在的以上問(wèn)題展開(kāi)研究，本文的貢獻(xiàn)主要包括以下三個(gè)方面:
　　(1)提出一種基于維度匹配和共現(xiàn)約束的重復(fù)事件表象發(fā)現(xiàn)方法。使用事件的8維度表示形式，提出使用網(wǎng)頁(yè)事件表象共現(xiàn)約束減少事件表象的匹配次數(shù)，能夠準(zhǔn)確、高效的發(fā)現(xiàn)網(wǎng)頁(yè)中重復(fù)事件表象。
　　本文提出一種基于維度匹配和共現(xiàn)約束的重復(fù)事件表象發(fā)現(xiàn)方法，事件使用{agent，activity,obj

6、ect，time，location，cause，purpose，manner}8個(gè)維度表示，賦予事件一定的結(jié)構(gòu)特性。針對(duì)不同維度內(nèi)容使用不同匹配器分別匹配，使用擴(kuò)展證據(jù)理論模型綜合維度匹配結(jié)果。針對(duì)大規(guī)模網(wǎng)頁(yè)重復(fù)事件表象的發(fā)現(xiàn)，提出網(wǎng)頁(yè)事件表象共現(xiàn)約束，減少網(wǎng)頁(yè)間事件表象匹配次數(shù)。實(shí)驗(yàn)結(jié)果表明，該方法能夠準(zhǔn)確聚合大量共指同一事件的重復(fù)事件表象，并且減少事件表象間匹配次數(shù)，有效降低了網(wǎng)頁(yè)重復(fù)事件表象發(fā)現(xiàn)的時(shí)間，提高了重復(fù)事件表象發(fā)現(xiàn)的效率

7、。
　　(2)針對(duì)指向同一事件的Web事件表象形式多樣，提出一種通過(guò)維度內(nèi)容重組的事件表象統(tǒng)一方法，選取大量重復(fù)事件表象中較準(zhǔn)確和詳細(xì)的維度內(nèi)容并組合到一條事件表象中，反映現(xiàn)實(shí)事件。
　　本文提出一種通過(guò)維度內(nèi)容重組的事件表象統(tǒng)一方法，提出使用Markov邏輯網(wǎng)結(jié)合多種一階邏輯規(guī)則綜合判斷，選擇事件表象中較完整、準(zhǔn)確的維度內(nèi)容。組合分散在多個(gè)事件表象中較準(zhǔn)確詳細(xì)的維度內(nèi)容到一條事件表象中。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效選擇較完

8、整、準(zhǔn)確的維度內(nèi)容，事件表象統(tǒng)一有較高的準(zhǔn)確率。
　　(3)針對(duì)不同事件可以擁有共同主題，提出一種基于主題特征聚類(lèi)和擴(kuò)展LDA模型的事件主題分析方法。分析事件的主題詞和主題詞熱度，從主題層面識(shí)別有價(jià)值事件。
　　本文提出一種擴(kuò)展LDA模型DLDA，在LDA模型中集成事件的維度信息，避免在主題無(wú)關(guān)的事件維度上分配主題概率（如時(shí)間、地點(diǎn)等維度內(nèi)容），選取主題特征維度。根據(jù)選取的主題特征維度內(nèi)容聚類(lèi)，準(zhǔn)確識(shí)別事件主題。提出一種主題