垂直搜索中信息屬性抽取和分類(lèi)模型研究與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的普及和發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為人們生活、學(xué)習(xí)、工作、娛樂(lè)的重要途徑?；ヂ?lián)網(wǎng)作為信息載體，近年來(lái)以驚人的速度在增長(zhǎng)，信息量以TB計(jì)算，擁有上千萬(wàn)個(gè)網(wǎng)站、數(shù)十億的用戶，而且這個(gè)數(shù)量還在不斷的增長(zhǎng)。Web的發(fā)展改進(jìn)了人們的生活方式，越來(lái)越多的人通過(guò)網(wǎng)絡(luò)來(lái)發(fā)布信息和搜索信息。由于Web信息抽取可以將網(wǎng)絡(luò)上網(wǎng)頁(yè)的主題內(nèi)容提取出來(lái)，并以統(tǒng)一的結(jié)構(gòu)形式存儲(chǔ)，因此整個(gè)互聯(lián)網(wǎng)將會(huì)變成一個(gè)巨大的數(shù)據(jù)庫(kù)，從而為互聯(lián)網(wǎng)上海量數(shù)據(jù)的再利用提供了可能，構(gòu)建垂

2、直搜索引擎就是應(yīng)用之一。與主題相關(guān)的Web文本信息的抽取是影響垂直搜索性能的關(guān)鍵技術(shù)，垂直搜索中的Web信息抽取是從具有相同主題、分散存放、表現(xiàn)各異的半結(jié)構(gòu)化信息中抽取出特定的結(jié)構(gòu)化信息，重新形成結(jié)構(gòu)良好、便于檢索和表示的數(shù)據(jù)，因而Web信息抽取技術(shù)成為當(dāng)今研究的熱點(diǎn)。
　　 本文對(duì)基于神經(jīng)網(wǎng)絡(luò)的信息抽取方法進(jìn)行研究，分析其缺陷，并提出改進(jìn)方法。文中對(duì)改進(jìn)方法進(jìn)行了詳細(xì)闡述，并通過(guò)實(shí)驗(yàn)驗(yàn)證該方法的可行性。改進(jìn)的方面有：
　

3、　 1)在過(guò)濾原則中加入了相關(guān)度計(jì)算，即將每行文本的文字內(nèi)容與標(biāo)題的相關(guān)度作為神經(jīng)網(wǎng)絡(luò)的一個(gè)訓(xùn)練參數(shù)。
　　 2)在對(duì)頁(yè)面文檔進(jìn)行信息統(tǒng)計(jì)前，先將網(wǎng)頁(yè)代碼中書(shū)寫(xiě)不規(guī)范的代碼行進(jìn)行合并，以提高算法的處理效率。
　　 3)采用BP神經(jīng)網(wǎng)絡(luò)作為訓(xùn)練模型，依靠其多次反復(fù)修改權(quán)值和閾值的特性，獲得更合理的閾值。
　　 另外，本文在改進(jìn)算法的基礎(chǔ)上結(jié)合文本分類(lèi)知識(shí)設(shè)計(jì)了一個(gè)信息抽取和分類(lèi)模型，并在此模型的基礎(chǔ)上實(shí)現(xiàn)了一個(gè)信