面向企業(yè)競爭情報的Web文本挖掘技術(shù)研究.pdf

1、目前，Internet以驚人的速度向前發(fā)展，Web作為信息發(fā)布與處理的主要平臺，蘊含著大量人們迫切需要的知識。而如何將Web中的海量信息中的知識提取并加以利用，一直是人們努力探索的問題。因此，Web文本挖掘技術(shù)應(yīng)運而生，如何通過Web文本挖掘技術(shù)來提高文本情報的利用價值成為本文研究的重點。
　　本文通過分析Web頁面結(jié)構(gòu)，設(shè)計和實現(xiàn)了解析HTML文檔樹的方法，從Web頁面中抽取出了對企業(yè)有價值的文本內(nèi)容。采用了基于字典的統(tǒng)計分詞算

2、法對文本進行分詞處理，并在此基礎(chǔ)上去除了文本中的無意義詞。在分析已有關(guān)鍵詞提取方法的基礎(chǔ)上，引入了一種基于詞的統(tǒng)計和分布的權(quán)重計算方式實現(xiàn)了文本關(guān)鍵詞的提取。綜合考慮關(guān)鍵詞、句子在文章中的位置以及特殊標(biāo)記等因素，采取直接從文中提取句子的方法實現(xiàn)了文摘的自動獲取。針對重復(fù)的文本情報，在計算文本特征句最長公共子序列的基礎(chǔ)上實現(xiàn)了文本去重。本文同時分析了SVM分類器所存在的問題，在SVM分類器兩類可分的基礎(chǔ)上通過結(jié)合二叉決策樹實現(xiàn)了多類可分，