網(wǎng)絡(luò)視頻爬蟲的緩存和更新策略.pdf

1、隨著視頻技術(shù)在互聯(lián)網(wǎng)上的應(yīng)用,網(wǎng)絡(luò)視頻成為互聯(lián)網(wǎng)越來越重要的組成部分。傳統(tǒng)的文本搜索引擎已經(jīng)不能滿足人們對視頻搜索的需要,如何查找這些網(wǎng)絡(luò)視頻內(nèi)容成為近年來的研究熱點?；趫D像的視頻搜索引擎Go2View通過對網(wǎng)絡(luò)視頻進行下載、分析并提取出可視化特征,為用戶建立起新的基于圖像的視頻搜索途徑。相比于傳統(tǒng)的文本搜索引擎,基于圖像的視頻搜索引擎在很多方面都還不完善,尤其是在內(nèi)容獲取和內(nèi)容更新上,如不突破將成為視頻搜索引擎發(fā)展的瓶頸。

2、本文針對這兩點提出了網(wǎng)絡(luò)視頻爬蟲緩存算法的設(shè)計和更新策略的改進。論文首先介紹了基于圖像的視頻搜索引擎Go2View和其視頻爬蟲InfoGather的架構(gòu)和特點,接著從網(wǎng)絡(luò)視頻爬蟲的工作方式入手,詳細討論了緩存算法和更新策略的設(shè)計。 在緩存設(shè)計方面,通過對比分析幾種不同緩存算法在普通網(wǎng)絡(luò)爬蟲中的應(yīng)用,結(jié)合網(wǎng)絡(luò)視頻爬蟲的特點,提出了網(wǎng)絡(luò)視頻爬蟲的LRU改進算法。文章給出了該算法的詳細設(shè)計方案,并對實現(xiàn)LRU緩存的雙鏈表結(jié)構(gòu)進行了闡述