大規(guī)模Web文本快速分類關(guān)鍵技術(shù)研究.pdf

1、互聯(lián)網(wǎng)上的以 HTML網(wǎng)頁文本形式承載的信息，呈現(xiàn)出大規(guī)模爆炸形式的劇增，不只對分類精度提出了新的要求，更重要的是重新定義了分類速度的標(biāo)準(zhǔn)和要求。以往關(guān)于文本分類的研究側(cè)重于算法的精細設(shè)計以提高分類精度，而現(xiàn)在除了對精度有所要求，對于分類速度快速提升的需求尤其迫切。面對互聯(lián)網(wǎng)快速發(fā)展時期的這一新的挑戰(zhàn)，本文對大規(guī)模 Web文本快速分類過程中的若干關(guān)鍵問題展開了深入的研究，取得了具有一定借鑒意義的進展。
　　本文研究了相關(guān)經(jīng)典的網(wǎng)頁

2、正文提取技術(shù)，發(fā)現(xiàn)大多數(shù)算法是需要分析 HTML標(biāo)簽意義或者 HTML結(jié)構(gòu)特點的，而這個分析過程會非常耗費時間。本文提出了基于窗口長度的最長連續(xù)串的提取算法。該算法無需分析具體 HTML標(biāo)簽意義和結(jié)構(gòu)，只是根據(jù)字符串的長度的特點就可以求出正文所在的位置。提取出網(wǎng)頁正文文本后，由于互聯(lián)網(wǎng)上有很多文本信息是重復(fù)的或者是相似的，為了降低計算量，需要做文本去重。算法Simhash是大規(guī)模網(wǎng)頁去重的經(jīng)典算法，但它是針對詞語的組合形式，對于詞語順序

3、排列沒有檢查，由此本文提出用 Shingle思想有序詞語的劃分作為局部語序影響因子，加入到Simhash算法中，彌補了Simhash算法中語序無關(guān)的不足。接下來是文本分類過程。在文本分類的幾個處理階段中，除了將各個階段算法應(yīng)用到了分布式并行化框架Hadoop中，著重的優(yōu)化了 NB算法分類。主要思想是參考信息檢索中倒排樹結(jié)構(gòu)，在索引樹節(jié)點中存儲需要重復(fù)計算的中間結(jié)果，以及使用倒排索引結(jié)構(gòu)來查詢檢索詞語及其某些分類信息，同時做了橫向和縱向的