基于表單特性的深層網絡數(shù)據(jù)源分類方法研究.pdf

1、當前，Deep Web中蘊含著高質量的海量信息并且其數(shù)量還在不斷地增長，由于DeepWeb具有分布、異構、自治等特點，用戶高效、快捷地獲取自己感興趣的信息面臨巨大挑戰(zhàn)。然而，將Deep Web數(shù)據(jù)源按領域分類是解決這一挑戰(zhàn)的基礎。因此，研究DeepWeb數(shù)據(jù)源的組織問題具有重要意義。
　　 本文通過Web字典、課題組開發(fā)的深層網絡數(shù)據(jù)源自動抽取工具以及搜索引擎收集了大量深層網絡數(shù)據(jù)源，它們分別來自于航空訂票、圖書銷售、汽車和房地

2、產等四個領域。針對其中的200多個數(shù)據(jù)源進行統(tǒng)計和分析發(fā)現(xiàn)：第一，“主題詞”能夠較好地區(qū)分深層網絡數(shù)據(jù)源。具體來說，查詢接口源代碼中，絕大多數(shù)title標記含有內容，而且這部分內容中的有些詞往往只出現(xiàn)在某個領域并且在一定程度上反映了該查詢接口的主題，即所屬的相關領域；第二，同一領域查詢接口間相似屬性的個數(shù)往往較多，不同領域接口間相似屬性的個數(shù)則較少，或者幾乎沒有；第三，對于每個領域，隨著深層網絡數(shù)據(jù)源的增長，查詢接口中屬性出現(xiàn)的總的詞匯

3、量往往趨向于一個較小水平，平均大概在60左右；第四，深層網絡中大部分為結構化的數(shù)據(jù)源。
　　 受此啟發(fā)，基于表單特性-主題和表單屬性信息，本文提出了一種新的深層網絡數(shù)據(jù)源分類方法以及改進的查詢接口相似性度量方法，實現(xiàn)了按照現(xiàn)實領域自動組織大規(guī)模深層網絡數(shù)據(jù)源的目的。該方法主要由四大模塊組成：預處理模塊、標記策略模塊、半監(jiān)督K-Means聚類模塊和后分類模塊。本文還提出了一種查詢接口標記策略，以降低隨機選擇初始中心點所產生的影響。