北大計算機科學(xué)技術(shù)研究所

1、ICST 參加SEWM2005評測報告,北京大學(xué)計算機科學(xué)技術(shù)研究所路 斌,內(nèi)容提綱,CWT100G數(shù)據(jù)預(yù)處理Web檢索文本檢索鏈接分析任務(wù)處理Web Page分類未來工作,CWT100G數(shù)據(jù)的預(yù)處理,URL消重提取552.6萬條可用數(shù)據(jù)提取內(nèi)容：網(wǎng)頁信息超鏈接關(guān)系,從原始網(wǎng)頁得到更多的信息,提取六個字段，賦予不同權(quán)重網(wǎng)頁正文、Title、Meta、正文標(biāo)題、鏈出文字鏈入文字提取鏈接關(guān)系網(wǎng)頁間的指向關(guān)系,

2、內(nèi)容提綱,CWT100G數(shù)據(jù)預(yù)處理Web檢索文本檢索鏈接分析任務(wù)處理Web Page分類未來工作,文本檢索,自動分詞,正向最大匹配法逆向最大匹配法雙向匹配法聯(lián)想-回溯法...,索引技術(shù),倒排索引,查詢處理,查詢處理流程查詢分詞短語查詢and查詢or查詢,相關(guān)度排序,向量空間模型初始檢索結(jié)果根據(jù)tf*idf排序文章長度TF/總詞數(shù),字段權(quán)重調(diào)整,提取內(nèi)容包括六個域：網(wǎng)頁正文、標(biāo)簽、Meta、鏈出文字、正

3、文標(biāo)題、鏈入文字各個字段分別建立索引權(quán)重計算線性搜索方法粗粒度－>細(xì)粒度,鏈接分析,HITSPageRank衰減因子值的選擇： 0.85衰減因子值越大，計算所需的迭代次數(shù)就越多PageRank值與IR系統(tǒng)結(jié)果值相乘,Web檢索任務(wù),主頁/指定頁面查詢實施與主流搜索引擎所用技術(shù)基本相同主題提取任務(wù)當(dāng)前主流搜索引擎并不能很好的完成這項任務(wù)，對檢索結(jié)果運用特別的算法進行再處理,主頁/指定頁面查詢,區(qū)分HomePa

4、ge和NamedPageHP對主頁加分線性搜索最佳系數(shù)NP/HP采用不同系數(shù),,主題提取任務(wù),鏈接關(guān)系利用將查詢結(jié)果中同一網(wǎng)站的網(wǎng)頁聚集在一塊，尋找入口網(wǎng)頁（在較上層且指向較多的結(jié)果網(wǎng)頁）二次篩選處理使得前10/20個結(jié)果包含盡可能多的不同站點，允許一定程度的冗余（2/3),實驗結(jié)果分析,NP/HP任務(wù)區(qū)分針對任務(wù)采取不同策略HP任務(wù)相對于NP較難TD任務(wù)更難如何更好利用鏈接關(guān)系,內(nèi)容提綱,CWT100G數(shù)據(jù)預(yù)處理

5、Web檢索文本檢索鏈接分析任務(wù)處理Web Page分類未來工作,Web Page分類,分類算法SVM文檔模型向量空間模型網(wǎng)頁特征網(wǎng)頁正文、Title、Meta、正文標(biāo)題、鏈出文字鏈入文字,實驗結(jié)果分析,各個字段權(quán)重計算,內(nèi)容提綱,CWT100G數(shù)據(jù)預(yù)處理Web檢索文本檢索鏈接分析任務(wù)處理Web Page分類未來工作,未來工作,文檔模型相似度計算模型自動分詞詞性標(biāo)注、消除歧義、未登錄詞識別URL匹