網(wǎng)絡(luò)學(xué)術(shù)資源主題判定技術(shù)研究.pdf

1、互聯(lián)網(wǎng)絡(luò)的迅速發(fā)展，使網(wǎng)絡(luò)資源成指數(shù)級增長，對各專業(yè)領(lǐng)域的發(fā)展也帶來了巨大的影響，對于專業(yè)領(lǐng)域人員而言，怎樣準確地從浩如煙海的網(wǎng)絡(luò)信息資源中找到所需的專業(yè)學(xué)術(shù)資源是一件非常有意義的事情，因此判斷學(xué)術(shù)資源是否屬于該專業(yè)領(lǐng)域就十分重要了?，F(xiàn)有的一些專業(yè)領(lǐng)域?qū)W術(shù)資源大都是手動人工整理出來的，存在著工作量大、維護困難、適應(yīng)性差等缺點。 本文對網(wǎng)絡(luò)學(xué)術(shù)資源主題判定技術(shù)進行了研究。其基本思想是：使用基于HTML標(biāo)簽的網(wǎng)頁正文信息抽取算法抽取

2、得到網(wǎng)頁正文，根據(jù)訓(xùn)練階段得到的該專業(yè)領(lǐng)域主題特征詞集及其權(quán)值計算主題相關(guān)度。由于大網(wǎng)頁正文向量空間消耗資源過多，TIARI系統(tǒng)提出了基于網(wǎng)頁摘要的主題判定方法予以修正，使用基于網(wǎng)頁結(jié)構(gòu)的摘要選擇方法和基于句子的摘要選擇方法相結(jié)合的方式得到網(wǎng)頁的摘要信息，進而計算主題相關(guān)度。結(jié)合基于網(wǎng)頁正文的主題判定方法和基于網(wǎng)頁摘要的主題判定方法這兩種主題判定方法的優(yōu)點，TIARI系統(tǒng)提出了綜合主題判定方法。綜合主題判定方法根據(jù)專業(yè)領(lǐng)域網(wǎng)頁超鏈接的特

3、征和網(wǎng)頁內(nèi)超鏈接之間的內(nèi)在聯(lián)系得到一定的權(quán)值，并分析基于網(wǎng)頁正文的主題判定方法和基于網(wǎng)頁摘要的主題判定方法的內(nèi)在聯(lián)系，以此作為兩者權(quán)值分配的依據(jù)，從而使得主題判定更加準確。本文基于Windows操作系統(tǒng)平臺，采用Java語言實現(xiàn)了SemreX的TIARI系統(tǒng)，并且對系統(tǒng)進行了測試。功能測試表明：對網(wǎng)絡(luò)學(xué)術(shù)資源的主題判定功能正常。性能測試結(jié)果表明：當(dāng)閾值取0.35時，基于網(wǎng)頁正文的主題判定、基于摘要的主題判定、綜合主題判定這三種方法的準確