基于二次特征提取的中文文本抄襲檢測方法.pdf

1、近年來，隨著信息技術(shù)和通信網(wǎng)絡(luò)的飛速發(fā)展，人們獲取信息的方式從大量的物質(zhì)介質(zhì)轉(zhuǎn)化為網(wǎng)絡(luò)文檔，這種發(fā)展給人們帶來了方便的同時(shí)也給我們的生活和技術(shù)本身的發(fā)展起到負(fù)面的作用。相比于傳統(tǒng)文件，電子文檔更容易被非法復(fù)制，且文本抄襲現(xiàn)象出現(xiàn)在很多領(lǐng)域，如學(xué)術(shù)界，商業(yè)界等都已非常嚴(yán)重。為了維護(hù)高校正常教學(xué)秩序，保護(hù)知識產(chǎn)權(quán)，抑制抄襲現(xiàn)象的蔓延，文本抄襲檢測技術(shù)的研究具有重要意義。目前文本抄襲檢測研究領(lǐng)域中比較有效的檢測系統(tǒng)有Siff，COPS和中國知

2、網(wǎng)檢測系統(tǒng)，但普遍存在檢測準(zhǔn)確率不高的問題。
　　 中文文本文本抄襲檢測的主要思想是:首先對文本進(jìn)行預(yù)處理，包括去掉文本中與文本檢測無關(guān)的信息和文本分詞;其次是提取文本特征;最后計(jì)算待測文本與源文本的相似度，若得到的相似度值較事先設(shè)定的閾值高，說明該待測文本有抄襲的嫌疑。文本預(yù)處理和特征提取是文本抄襲檢測的研究重點(diǎn)和難點(diǎn)。文本圍繞這兩個(gè)方面開展研究，主要研究工作包括:
　　 1、文本預(yù)處理:目前，大多針對中文的文本抄襲檢

3、測方法都是對文本進(jìn)行簡單的處理，未考慮中文文本的單字詞與多字詞特征，從而導(dǎo)致文本特征提取不全面的問題，致使檢測準(zhǔn)確率不高。針對此問題，提出一種合并整體詞的文本預(yù)處理方法，在文本分詞之后，根據(jù)各個(gè)詞的前后語義關(guān)系，合并具有整體意義的詞，以此作為文本預(yù)處理結(jié)果。實(shí)驗(yàn)表明，經(jīng)過合并整體詞后的文本，能減少后文中的計(jì)算次數(shù)，為特征提取提供更好的提取方案，從而提高檢測準(zhǔn)確率。
　　 2、文本特征提取:特征提取是要選取能夠代表文本特征的文本塊

4、。選出的文本塊要求是能代表文本特征的信息，包括語義信息和一定的結(jié)構(gòu)信息，使文本抄襲檢測的準(zhǔn)確率盡量高。但是現(xiàn)階段的提取方法，提取的特征不全和特征數(shù)量太多，算法的計(jì)算次數(shù)多，時(shí)間復(fù)雜度高等問題。針對此類問題，我們提出將預(yù)處理之后的文本進(jìn)行二次特征提取，提高特征的精確度和減小特征長度。主要采用數(shù)字指紋來表示文本信息，將所有的文本轉(zhuǎn)化為數(shù)字指紋集合，統(tǒng)計(jì)各個(gè)指紋出現(xiàn)的頻度，并將指紋集合利用匹配統(tǒng)計(jì)的相似度計(jì)算方法進(jìn)行相似度計(jì)算。實(shí)驗(yàn)表明，本特