中文分詞方法在農(nóng)業(yè)搜索中的應(yīng)用研究.pdf

1、為了方便從事專業(yè)農(nóng)業(yè)的相關(guān)研究人員，準確及時的獲取相關(guān)信息，為其提供決策依據(jù)，加快農(nóng)業(yè)信息化、智能化建設(shè)的趨勢不可逆轉(zhuǎn)。中文分詞技術(shù)是農(nóng)業(yè)垂直搜索、農(nóng)業(yè)專家系統(tǒng)、農(nóng)業(yè)知識推送、農(nóng)業(yè)信息檢索、農(nóng)業(yè)數(shù)據(jù)挖掘等方面不可或缺的一個重要環(huán)節(jié)。通過對現(xiàn)有的中文分詞方法的研究，切分的準確率主要取決分詞方法和分詞詞典，因此，本文提出基于粒子群的N最短路徑方法分詞模型，并將其應(yīng)用于農(nóng)業(yè)搜索方面。全文的主要研究結(jié)果如下:
　　(1)基于詞的n元語法模

2、型的分詞方法，針對該方法是基于詞典的分詞，構(gòu)造出所有的分詞路徑，最后利用相關(guān)的搜索算法，從所有路徑中找到代價最小的路徑作為最后的分詞結(jié)果，本文所用的搜索算法是改進的粒子群算法，主要的改進有以下兩點。
　　首先，針對其收斂精度不高，極易收斂于局部最優(yōu)的問題。引入了一種隨迭代次數(shù)和粒子間距離大小動態(tài)改變的慣性權(quán)重，通過設(shè)置比例系數(shù)控制二者對慣性權(quán)重的影響力度，在此基礎(chǔ)上為了增加種群多樣性，又引入“雜交變異”算子，設(shè)計了一種基于雜交變異

3、的動態(tài)粒子群優(yōu)化算法，通過測試算法的測試有效的提高了算法的效率;
　　其次，深入分析后結(jié)合粒子群算法的優(yōu)點，利用最優(yōu)粒子和其它粒子在種群中的不同作用，給出了一種自適應(yīng)變異粒子群算法，算法中最優(yōu)粒子根據(jù)種群進化程度，自適應(yīng)調(diào)整自身搜索鄰域大小，增強種群的局部搜索能力;對非最優(yōu)粒子的位置進行小概率的隨機初始化，當(dāng)其速度為零時，速度自適應(yīng)變化，以便增強種群多樣性和全局搜索能力。仿真實驗結(jié)果表明，增強種群多樣性的同時提高了局部搜索能力。<

4、br>　　(2)將改進的粒子群算法用于分詞算法的最短路徑尋優(yōu)，創(chuàng)建基于粒子群的N最短路徑方法分詞模型，并將其用于分詞，實驗結(jié)果表明，在同一核心詞典分詞詞庫下，粒子群N-最短路徑方法相對于其他算法句子的正確召回率更高，進一步分析實驗發(fā)現(xiàn)正確切分率有很大一部分取決于核心詞典。
　　(3)利用Python編程工具，實現(xiàn)并利用網(wǎng)頁抓取技術(shù)，建立了農(nóng)業(yè)專業(yè)領(lǐng)域的真實語料庫，該語料主要來源于中國知網(wǎng)農(nóng)業(yè)基礎(chǔ)科學(xué)、農(nóng)業(yè)工程、農(nóng)藝學(xué)、植物保護、農(nóng)

5、作物、園藝、林業(yè)、畜牧與動物醫(yī)學(xué)、蠶蜂與野生動物保護、水產(chǎn)和漁業(yè)等專題，共包含694種期刊，近五年的全部文章的題目、關(guān)鍵字以及摘要，一共有968125條記錄;選取真實語料庫中，694中期刊2014年第一期的所有文章的摘要，共21269條記錄作為分詞標準語料庫，以此為基礎(chǔ)構(gòu)建訓(xùn)練語料庫，以及分詞詞典。
　　(4)利用基于粒子群的N最短路徑方法分詞模型、網(wǎng)頁抓取技術(shù)以及網(wǎng)絡(luò)垂直搜索技術(shù)，將中文分詞技術(shù)應(yīng)用于農(nóng)業(yè)專業(yè)領(lǐng)域搜索。設(shè)計并開發(fā)