基于機(jī)器學(xué)習(xí)的自動(dòng)文本分類(lèi)研究.pdf

1、該文重點(diǎn)研究了基于間隔最大化原理的自動(dòng)文本分類(lèi)技術(shù),以最新的機(jī)器學(xué)習(xí)理論成果為基礎(chǔ),提出并解決了與自動(dòng)文本分類(lèi)相關(guān)的多個(gè)重要理論與實(shí)踐問(wèn)題,發(fā)展與豐富了多項(xiàng)信息檢索的關(guān)鍵應(yīng)用技術(shù).本文的創(chuàng)新性研究工作主要有以下幾個(gè)方面:1.該文提出了兩個(gè)文本分類(lèi)的理論模型,從文本集合"被分類(lèi)能力"這個(gè)嶄新的角度揭示了自動(dòng)文本分類(lèi)的機(jī)器學(xué)習(xí)本質(zhì),同時(shí)也從理論上進(jìn)一步解釋了支持向量機(jī)技術(shù)在自動(dòng)文本分類(lèi)中能夠取得成功的根本原因.標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果充分

2、驗(yàn)證了這些結(jié)論.2.在已經(jīng)得到的文本分類(lèi)理論模型的基礎(chǔ)上,該文提出了實(shí)現(xiàn)啟發(fā)式模型選擇的HMSAD算法.最初的支持向量機(jī)用于兩類(lèi)分類(lèi)問(wèn)題,在組合多個(gè)原始支持向量機(jī)的基礎(chǔ)上,已經(jīng)提出了多種多類(lèi)分類(lèi)器架構(gòu).但是目前在大規(guī)模多類(lèi)自動(dòng)文本分類(lèi)研究中,尚未提出有效的模型選擇方法,使得支持向量機(jī)的應(yīng)用受到一定限制.本文在DAGSVM多類(lèi)分類(lèi)器架構(gòu)的基礎(chǔ)上,利用DAGSVM泛化能力的一些相關(guān)理論成果,結(jié)合前面部分得到的基于間隔最大化的文本分類(lèi)模型,以

3、ADM-FSM模型為例,提出了在DDAG中進(jìn)行啟發(fā)式模型選擇的指示函數(shù),并給出了基于DAGSVM的HMSAD算法.并且就該算法的性能與常規(guī)的1-v-r支持向量機(jī)、1-v-1的DAGSVM進(jìn)行了比較、分析,相關(guān)的理論分析結(jié)果表明,HMSAD算法相對(duì)于傳統(tǒng)算法具有突出的性能優(yōu)勢(shì).3.該文首次解決了支持向量機(jī)跨距界的計(jì)算問(wèn)題,提出了支持向量機(jī)的Alpha-SV界,并給出了相關(guān)的信息檢索性能估算子.目前提出的各種分類(lèi)器性能估計(jì)方法中,精度高的方

4、法普遍效率比較低下,而計(jì)算代價(jià)較小的方法又往往存在精度不夠理想、估計(jì)的魯棒性能不佳等一些缺點(diǎn).針對(duì)這個(gè)問(wèn)題,重點(diǎn)研究了支持向量機(jī)的LOO跨距界,首次給出計(jì)算支持向量跨距的實(shí)用方法,進(jìn)而提出了一種新的支持向量機(jī)LOO界——Alpha-SV界,這個(gè)界源于跨距界,具有嚴(yán)密的理論基礎(chǔ),同時(shí)又避免了遍歷支持向量集合進(jìn)行多個(gè)二次規(guī)劃求解,大大降低了計(jì)算代價(jià),從而得到了一種全新的效率高、性能好的支持向量機(jī)分類(lèi)性能估計(jì)方法.更進(jìn)一步,從應(yīng)用自動(dòng)文本分類(lèi)