面向新聞?lì)I(lǐng)域的文本數(shù)據(jù)獲取系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、文本的自動(dòng)分類(lèi)是在對(duì)文本內(nèi)容分析的基礎(chǔ)上把文本分配給一個(gè)或多個(gè)預(yù)定的類(lèi)別。在信息如此膨脹和信息源如此多樣的時(shí)代，由人工搜索來(lái)獲取信息，其操作過(guò)程已變得非常繁瑣，其速度和效率極低，信息質(zhì)量也得不到保證。因此，快速、有效地獲取主題相關(guān)信息并進(jìn)行分類(lèi)存儲(chǔ)已成為目前信息處理研究的熱點(diǎn)。
　　 本文從信息管理系統(tǒng)的角度介紹了面向新聞?lì)I(lǐng)域的文本數(shù)據(jù)獲取系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)，該系統(tǒng)集成了信息管理與信息獲取。一方面，系統(tǒng)提供了友好的新聞信息的管理界

2、面，另一方面，系統(tǒng)提供了一種新聞文本信息的自動(dòng)獲取功能，可自動(dòng)從網(wǎng)絡(luò)抓取新聞信息并歸類(lèi)存儲(chǔ)。本文在研究網(wǎng)絡(luò)爬蟲(chóng)技術(shù)、網(wǎng)頁(yè)過(guò)濾技術(shù)，文本表示方法，中文文本分類(lèi)方法的基礎(chǔ)上，介紹了Web文本新聞信息自動(dòng)獲取功能的設(shè)計(jì)和實(shí)現(xiàn)。爬蟲(chóng)程序把從新聞網(wǎng)站抓取的新聞信息以文本的形式保存到本地的存儲(chǔ)器中，然后系統(tǒng)采用特定的網(wǎng)頁(yè)內(nèi)容提取技術(shù)從抓取的文本網(wǎng)頁(yè)中提取新聞內(nèi)容，得到新聞的標(biāo)題和正文信息等，最后使用特定的文本特征提取技術(shù)提取新聞的特征信息，并使用基