基于機(jī)器學(xué)習(xí)的專利分類研究.pdf

1、實(shí)現(xiàn)專利文本的自動(dòng)分類有著重要的意義。專利以每年幾十萬(wàn)條的速度遞增，完全依靠人類專家進(jìn)行分類需耗費(fèi)大量人力物力。此外，專利分類是專利分析的基礎(chǔ)，通過(guò)對(duì)專利進(jìn)行分析，可以挖掘出許多有價(jià)值的信息，例如某個(gè)領(lǐng)域的技術(shù)發(fā)展趨勢(shì)，競(jìng)爭(zhēng)對(duì)手的市場(chǎng)策略和研發(fā)方向等。然而專利分類是大規(guī)模、層次結(jié)構(gòu)、多標(biāo)號(hào)和不均衡的文本分類問(wèn)題，大多數(shù)傳統(tǒng)的學(xué)習(xí)算法都是針對(duì)小規(guī)模的、單標(biāo)號(hào)且平衡的問(wèn)題設(shè)計(jì)的，無(wú)法很好地解決類似專利分類這樣的復(fù)雜問(wèn)題。 支持向量機(jī)

2、是一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的通用模式分類方法，由于其強(qiáng)大的學(xué)習(xí)能力和良好的泛化性能，支持向量機(jī)已經(jīng)應(yīng)用到許多模式分類領(lǐng)域。支持向量機(jī)的學(xué)習(xí)過(guò)程是一個(gè)求解二次規(guī)劃問(wèn)題的過(guò)程，其訓(xùn)練時(shí)間與訓(xùn)練樣本個(gè)數(shù)接近平方級(jí)關(guān)系。因此，利用支持向量機(jī)解決大規(guī)模的實(shí)際問(wèn)題是相當(dāng)費(fèi)時(shí)的。因此呂寶糧和他的合作者提出了一種并行的支持向量機(jī)，稱為最小最大模塊化支持向量機(jī)。它能夠?qū)?fù)雜問(wèn)題分解成一系列簡(jiǎn)單的容易解決的子問(wèn)題。這些子問(wèn)題彼此獨(dú)立，因此可以利用計(jì)算集群

3、實(shí)現(xiàn)并行計(jì)算。最后將子問(wèn)題的解通過(guò)兩條基本的規(guī)則進(jìn)行合并，從而得到原問(wèn)題的解。 本文提出使用最小最大模塊化支持向量機(jī)來(lái)解決專利分類問(wèn)題。在其基礎(chǔ)上，我們提出了利用專利的先驗(yàn)知識(shí)的問(wèn)題分解策略來(lái)提高最小最大模塊化支持向量機(jī)的性能。該分解策略利用了專利的時(shí)間信息和分類體系結(jié)構(gòu)的信息，可以實(shí)現(xiàn)對(duì)問(wèn)題的有效分解，使得分解結(jié)果逼近原始數(shù)據(jù)的分布情況。傳統(tǒng)的分類器如SVM對(duì)參數(shù)的依賴性較大，為了達(dá)到該分類器的最佳性能，需要使用最優(yōu)的訓(xùn)練參數(shù)

4、。然而調(diào)參的過(guò)程對(duì)于大規(guī)模的學(xué)習(xí)問(wèn)題需要耗費(fèi)大量的時(shí)間。我們發(fā)現(xiàn)最小最大模塊化支持向量機(jī)通過(guò)把復(fù)雜問(wèn)題分解為簡(jiǎn)單子問(wèn)題，從而降低了與訓(xùn)練參數(shù)的依賴性。此外最小最大模塊化支持向量機(jī)還支持增量學(xué)習(xí)，這對(duì)于專利分類系統(tǒng)具有實(shí)際意義。專利分類系統(tǒng)可以學(xué)習(xí)新的專利知識(shí)而無(wú)需對(duì)已學(xué)習(xí)過(guò)的模塊進(jìn)行反復(fù)學(xué)習(xí)，從而實(shí)現(xiàn)快速的系統(tǒng)更新。我們?cè)贜TCIR專利數(shù)據(jù)庫(kù)上進(jìn)行的專利分類的仿真實(shí)驗(yàn)，比較了不同的數(shù)據(jù)劃分方法的性能以及支持向量機(jī)與最小最大模塊化支持向量