大規(guī)模文檔標(biāo)簽自動標(biāo)注技術(shù)研究.pdf

1、作為一種全新的網(wǎng)絡(luò)應(yīng)用，社會化標(biāo)注系統(tǒng)（Social Bookmarking System）通過Web2.0技術(shù)為普通用戶提供了便利的網(wǎng)絡(luò)資源的標(biāo)注機制，由此收集到了大量用戶標(biāo)注資源：標(biāo)簽（User Tag），并形成了一種全新的信息分類模式：分眾分類法（Folksonomy）。由于受到不完整與錯誤的用戶標(biāo)注行為的影響，標(biāo)簽的可重用性問題成為影響社會化標(biāo)注系統(tǒng)數(shù)據(jù)質(zhì)量的關(guān)鍵問題。該問題在一定程度上影響了社會化標(biāo)注系統(tǒng)的信息索引能力，并降低

2、了標(biāo)簽數(shù)據(jù)作為信息資源的可用性。因此，如何在不影響用戶使用體驗與標(biāo)注積極性的前提下，解決標(biāo)簽的可重用性問題，成為了社會化標(biāo)注系統(tǒng)中一個亟待解決的關(guān)鍵性技術(shù)問題。
　　針對標(biāo)簽的可重用性問題，標(biāo)簽自動標(biāo)注技術(shù)基于對用戶的歷史行為及待標(biāo)注網(wǎng)絡(luò)資源的深入分析與學(xué)習(xí)，作為一種輔助機制被提出并得到了廣泛的關(guān)注。該技術(shù)可以自動篩選出與待標(biāo)注資源相關(guān)的優(yōu)質(zhì)標(biāo)簽并實時的將其推薦給用戶；通過標(biāo)簽自動標(biāo)注技術(shù)，社會化標(biāo)注系統(tǒng)可以在降低用戶標(biāo)注門檻的同

3、時，鼓勵用戶貢獻更多標(biāo)簽，并通過自動的質(zhì)量控制策略，引導(dǎo)用戶提供質(zhì)量更高的標(biāo)簽，從而形成一個良性的自反饋學(xué)習(xí)系統(tǒng)，逐步提高標(biāo)簽的可重用性。
　　本文針對大規(guī)模文檔的標(biāo)簽自動標(biāo)注技術(shù)展開了相關(guān)研究，研究內(nèi)容包括以下四個方面：
　　第一，通過對文本對象的深入分析，結(jié)合傳統(tǒng)的信息推薦技術(shù)，將產(chǎn)生式的理論框架融入標(biāo)簽自動標(biāo)注技術(shù)之中，提出了一種基于統(tǒng)計語言模型的文檔標(biāo)簽排序標(biāo)注框架（Language Model for Tag Ra

4、nking，LMTR），使得標(biāo)簽自動標(biāo)注技術(shù)能夠更為精確地描述標(biāo)簽集與文本對象之間的關(guān)系，并據(jù)此提出了兩種排序標(biāo)注語言模型，在隨后的實驗中，驗證了上述模型的標(biāo)注性能。
　　第二，針對LMTR模型所存在的標(biāo)注效率問題，就大規(guī)模文檔的標(biāo)注效率優(yōu)化問題展開了研究。通過分析影響LMTR模型標(biāo)注效率的相關(guān)因素，提出了一種基于候選標(biāo)簽生成策略的大規(guī)模文檔自動標(biāo)注系統(tǒng)框架，以及基于向量空間模型、標(biāo)簽共現(xiàn)理論以及信息抽取理論的三種候選標(biāo)簽生成算法

5、，并對上述算法進行了實驗驗證。
　　第三，針對標(biāo)簽排序推薦技術(shù)所面臨的優(yōu)質(zhì)標(biāo)簽詞典的構(gòu)建問題，就標(biāo)簽質(zhì)量評估問題展開了研究，提出了基于明晰度和分類特征的標(biāo)簽質(zhì)量度量方法，并通過實驗驗證了上述方法的性能。隨后，通過排序融合算法就標(biāo)簽質(zhì)量對LMTR算法的影響進行了實驗探索。
　　第四，基于對用戶行為與社會化標(biāo)注系統(tǒng)的深入觀察，提出了最小描述標(biāo)簽集（Minmum Description Tag-set, MDT）的定義，并據(jù)此提出