基于電商數(shù)據(jù)和用戶行為的信息抽取.pdf

1、隨著互聯(lián)網和電子商務在中國的爆炸式發(fā)展，以阿里巴巴為首的電子商務公司，正在產生海量的數(shù)據(jù)并吸引數(shù)以億計的用戶。換言之，大數(shù)據(jù)時代正在步步逼近，面對海量的數(shù)據(jù)，怎樣提高數(shù)據(jù)利用率，怎樣提取用戶最想要的，最有價值的信息是核心價值的問題。在電子商務這塊戰(zhàn)斗在互聯(lián)網產業(yè)最前沿的陣地上，尤其需要快速完成從數(shù)據(jù)到信息的轉化。這就是本文要研究的信息抽?。╥nformation extraction）問題，尤其專注于電子商務領域。
　　現(xiàn)有的信息

2、抽取技術主要包括命名實體識別（Named Entity Recognition）和關系抽取（Relation Extraction）。命名實體識別現(xiàn)在主要有以下技術方法：基于規(guī)則和詞典的方法、基于統(tǒng)計的方法、二者混合的方法等。其中基于規(guī)則和詞典的方法，在有針對性的優(yōu)化規(guī)則的基礎上，準確率很高，但是人力成本較大，可復用和可擴展性不強，往往只能解決某些特定的應用場景?；诮y(tǒng)計的方法準確率和召回率往往不盡如人意，算法復雜度也較高，但是可擴展性

3、強，進步空間很大，大量學者致力于改進數(shù)學統(tǒng)計模型，以達到更高的準確率和召回率，從而真正實現(xiàn)機器智能識別。經典的命名實體識別模型有HMM（隱馬爾科夫模型），ME-HMM（最大熵隱馬爾科夫模型），CRF（條件隨機場）等。關系抽取是從海量語料中分析抽取命名實體之間的關系，比如地名與機構名之間的從屬關系，物品名之間的相似關系，各種簡稱與全稱之間的同義關系等。
　　同時，信息抽取是一個應用性很強的領域，理論算法必須要形成系統(tǒng)實現(xiàn)，才能準確評

4、定算法模型的效果。但是，現(xiàn)在流行的信息抽取系統(tǒng)有華盛頓大學領導開發(fā)的 OPENIE系列軟件包，只能應用于英文信息抽取?，F(xiàn)在迫切需要一種高效使用的中心信息抽取系統(tǒng)。
　　本文的主要貢獻為：
　　1)介紹了經典的信息抽取模型，分別是命名實體識別領域的HMM，ME-HMM，CRF等，近義詞關系抽取領域的詞向量模型。同時還介紹了信息抽取任務常用的評價指標準確率，召回率和F值。
　　2)基于經典的命名實體識別模型——隱馬爾科夫模

5、型做了針對于電子商務數(shù)據(jù)的優(yōu)化，提出了一種基于詞匯的隱馬爾科夫模型（Lexical-HMM），提升了模型對于電商應用場景下，對于命名實體識別的準確率。對于近義詞關系抽取，則提出了一種基于用戶搜索和瀏覽行為的二部圖模型，可以高效準確的抽取實體近義關系，并做了對比實驗，證明了算法效果。
　　3)設計并驗證了本文提出的信息抽取系統(tǒng)?；赟park平臺和人工訓練集，采用DAG的設計方式，可以高效準確地從輸入數(shù)據(jù)從抽取命名實體庫和近義詞庫，