版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、互聯(lián)網(wǎng)技術(shù)飛速發(fā)展,衍生出了海量的網(wǎng)絡(luò)文本數(shù)據(jù)。但是大部分海量數(shù)據(jù)沒有經(jīng)過處理和分類,導(dǎo)致了垃圾郵件、廣告推送等不良網(wǎng)絡(luò)行為的出現(xiàn),使得人們很難從海量數(shù)據(jù)中提取出有用信息,浪費了大量時間精力去處理垃圾信息。因此,如何對海量文本數(shù)據(jù)進(jìn)行高效的分類,具有重要理論意義和應(yīng)用價值。
論文首先分析了傳統(tǒng)的文本分類算法存在的問題:(1)提取特征向量速度慢,效率低。因為海量數(shù)據(jù)的特征空間趨近無窮開放,但是傳統(tǒng)的文本表示算法使用批處理的方式進(jìn)
2、行離線的特征提取,不僅計算效率低,而且內(nèi)存占用大,甚至導(dǎo)致內(nèi)存溢出等嚴(yán)重問題。(2)傳統(tǒng)的分類器不適合在大數(shù)據(jù)計算框架中進(jìn)行計算。海量數(shù)據(jù)通常使用分布式并行計算的方式進(jìn)行處理,而傳統(tǒng)的分類算法,例如SVM,樸素貝葉斯分類器,并不適合分布式并行計算。另外,深度學(xué)習(xí)算法,雖然廣泛運用在語義識別中,但是應(yīng)用在文本分類系統(tǒng)時卻是成效甚微,反而需要耗費很長時間進(jìn)行模型訓(xùn)練,收益并不明顯。
因此,針對以上問題,論文主要在文本表示、分類器設(shè)
3、計兩個方面進(jìn)行研究和探索,主要工作如下:
(1)在文本表示方面,提出了基于流數(shù)據(jù)的在線分域特征選擇算法(OFFS算法)。該算法對向量空間模型進(jìn)行改進(jìn),可以對流數(shù)據(jù)進(jìn)行實時的特征提取,快速生成文本向量。解決了傳統(tǒng)特征提取算法效率低、耗費內(nèi)存等問題。
(2)在分類器設(shè)計方面,設(shè)計出基于BP神經(jīng)網(wǎng)絡(luò)與OFFS算法相結(jié)合的OFFS-BP神經(jīng)網(wǎng)絡(luò)文本分類器。該分類器適應(yīng)了分布式并行計算環(huán)境,減少模型訓(xùn)練時間,能夠兼顧計算效率和
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于Spark的文本分類技術(shù)的研究與實現(xiàn).pdf
- 基于Spark的文本分類的研究.pdf
- 基于Spark并行化文本分類方法的研究.pdf
- 基于Spark的貝葉斯文本分類算法研究與實現(xiàn).pdf
- 基于hadoop的文本分類系統(tǒng)的設(shè)計與實現(xiàn)
- 基于Hadoop的文本分類系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 基于Bayes方法的文本分類器的研究與實現(xiàn).pdf
- 文本分類系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 基于FPGA的文本分類高效實現(xiàn)方法研究.pdf
- 中文文本分類方法的研究與實現(xiàn).pdf
- 基于KNN算法的文本分類系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 多級文本分類系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 基于文本分類的知識管理系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 基于隨機(jī)森林和Spark的并行文本分類算法研究.pdf
- 基于Hadoop的SKNN文本分類算法的設(shè)計與實現(xiàn).pdf
- 基于改進(jìn)KNN的文本分類算法的設(shè)計與實現(xiàn).pdf
- 基于粗糙集的文本分類器的設(shè)計與實現(xiàn).pdf
- 基于SVM的中文文本分類系統(tǒng)的設(shè)計與實現(xiàn).pdf
- 基于優(yōu)化類中心分類算法的文本分類系統(tǒng)設(shè)計與實現(xiàn).pdf
- 基于文本分類的問答系統(tǒng)的研究與實現(xiàn).pdf
評論
0/150
提交評論