基于隱變量模型的監(jiān)督式哈希算法.pdf

1、隨著信息技術(shù)時代的來臨,人們每天都在互聯(lián)網(wǎng)上產(chǎn)生著海量的信息。如何對信息進(jìn)行檢索,從而在海量的信息中快速找到對自已有用的信息,就變得十分重要?；谶@樣的需求,搜索引擎在過去的十年間取得了巨大的成功,同時數(shù)據(jù)分析與挖掘技術(shù)也得到了廣泛的關(guān)注。相似最近鄰搜索是數(shù)據(jù)分析與挖掘領(lǐng)域的一個基本問題。為了能夠在大數(shù)據(jù)集上高效地進(jìn)行相似最近鄰搜索,并且避免數(shù)據(jù)維數(shù)過高時所產(chǎn)生的一些問題,人們利用哈希算法將高維的特征向量轉(zhuǎn)換為低維的二進(jìn)制編碼。隨著近幾

2、年機(jī)器學(xué)習(xí)的廣泛發(fā)展,人們開始嘗試提出基于機(jī)器學(xué)習(xí)的哈希算法。
　　在本文中,我們對現(xiàn)有的哈希算法做了系統(tǒng)的回顧和分析。在學(xué)習(xí)的過程中,我們發(fā)現(xiàn)了其中存在的一些問題和可以改進(jìn)的地方?；诖?我們提出了一種全新的基于隱變量模型的監(jiān)督式哈希算法。實(shí)驗(yàn)結(jié)果表明,我們的算法在準(zhǔn)確率和時間花費(fèi)上與現(xiàn)有的算法相比都有很大的改善。
　　我們進(jìn)一步利用基于哈希算法的k最近鄰回歸實(shí)現(xiàn)了一個針對FM L網(wǎng)站的自動評審系統(tǒng)。該系統(tǒng)從網(wǎng)頁中提取每個

3、帖子的原始信息,利用自然語言處理工具對這些原始信息進(jìn)行加工,并從中抽取出可以表示帖子內(nèi)容的特征向量。基于采集到的訓(xùn)練數(shù)據(jù),該系統(tǒng)能夠自動地對網(wǎng)站上帖子內(nèi)容的評分做預(yù)測,從而達(dá)到自動評審的目的。
　　此外,在實(shí)驗(yàn)的過程中,我們設(shè)計搭建了一個通用的平臺,可以十分方便地在其上添加各種哈希算法。該平臺支持使用多種標(biāo)準(zhǔn)評價方法對算法的性能做對比。我們在這個實(shí)驗(yàn)平臺上移植了目前已有的大部分算法,并實(shí)現(xiàn)了自已提出的全新算法,并通過大量的實(shí)驗(yàn)對它