財經(jīng)領(lǐng)域命名實體識別方法的研究與系統(tǒng)實現(xiàn).pdf

1、隨著大數(shù)據(jù)處理技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)金融也進入了大數(shù)據(jù)時代。面對海量的財經(jīng)文章，使用自然語言處理技術(shù)對其進行解析已成為技術(shù)發(fā)展的必然趨勢。而命名實體識別作為自然語言處理技術(shù)中的重要基礎(chǔ)，為信息抽取、信息過濾、信息檢索、問答系統(tǒng)等多種自然語言處理技術(shù)提供了重要的基礎(chǔ)技術(shù)支持。因此，開發(fā)一個識別財經(jīng)領(lǐng)域中的股票名稱、股票代碼等命名實體的系統(tǒng)，具有重要的現(xiàn)實意義和使用價值。
　　論文通過查閱相關(guān)文獻，詳細論述了課題的產(chǎn)生背景和相關(guān)技術(shù)的

2、發(fā)展與應(yīng)用。在總結(jié)需求的基礎(chǔ)上，對命名實體識別系統(tǒng)進行了深入研究，確定了解決方案和技術(shù)措施。針對命名實體識別，本系統(tǒng)采用了條件隨機場(Conditional Random Field，CRF)模型，在模型訓(xùn)練過程中結(jié)合了Co-Training方法，不僅可以提高模型識別性能，還減少了因標(biāo)注語料而消耗的大量人力物力。對于命名實體的識別采用的是 Viterbi算法。此外，為了解決 CRF模型訓(xùn)練和實體識別時間較長的問題，將系統(tǒng)架構(gòu)在Hadoo

3、p框架之上，使用并行化處理的方式來縮短其運行時間。
　　本系統(tǒng)在設(shè)計上可以劃分為模型訓(xùn)練和實體識別兩大模塊。模型訓(xùn)練模塊采用CRF模型，使用選取的標(biāo)注語料和特征模板，基于Co-Training方法訓(xùn)練得到一個CRF模型。命名實體識別模塊可以從財經(jīng)新聞、公司年報、個股研報等財經(jīng)文章中識別出股票名稱、股票代碼等實體信息，識別過程使用了Viterbi算法，從而將識別問題轉(zhuǎn)化為了序列標(biāo)注問題。最后還對模型的識別性能進行了評測、比較，驗證了