面向農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)構(gòu)建的數(shù)據(jù)清洗方法優(yōu)化研究.pdf

1、大數(shù)據(jù)時(shí)代，數(shù)據(jù)的意義在于對(duì)其進(jìn)行專業(yè)化處理。數(shù)據(jù)質(zhì)量成為數(shù)據(jù)挖掘、專家決策、商業(yè)智能等活動(dòng)成功的關(guān)鍵。但是，迅速膨脹并變大的數(shù)據(jù)量妨礙了清洗數(shù)據(jù)的效率，使得漫長(zhǎng)低效的人工清洗變得不可能。因此，提高數(shù)據(jù)清洗的自動(dòng)化程度和時(shí)間效率勢(shì)在必行。同時(shí)，科學(xué)研究進(jìn)入數(shù)據(jù)密集型的第四范式，要在時(shí)代的浪潮中更好地駕馭第四范式，必須科學(xué)地管理數(shù)據(jù)，并在數(shù)據(jù)互操作中游刃有余。建立領(lǐng)域知識(shí)庫(kù)是目前各界都在積極探索的方式。在政策的引導(dǎo)和支持下，各類農(nóng)業(yè)服務(wù)平

2、臺(tái)和信息資源激增，構(gòu)建面向農(nóng)業(yè)領(lǐng)域的知識(shí)庫(kù)，能系統(tǒng)有效地收集和整理農(nóng)業(yè)領(lǐng)域信息和知識(shí)，將大量隱含知識(shí)編碼化和數(shù)字化，實(shí)現(xiàn)海量農(nóng)業(yè)領(lǐng)域知識(shí)有序化，便于對(duì)其進(jìn)行有效組織、檢索、利用、分析和共享。要實(shí)現(xiàn)農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)的功能和目標(biāo)，就必須在構(gòu)建知識(shí)庫(kù)時(shí)對(duì)數(shù)據(jù)進(jìn)行自動(dòng)化清洗，以保證數(shù)據(jù)質(zhì)量，提高處理效率。
　　目前領(lǐng)域知識(shí)的數(shù)據(jù)清洗方法多是由專家制訂規(guī)則并由計(jì)算機(jī)自動(dòng)執(zhí)行來(lái)完成，這種方法固然準(zhǔn)確，但需要領(lǐng)域?qū)＜覅⑴c，并反復(fù)修改與更新規(guī)則集合

3、，在數(shù)據(jù)量很大、數(shù)據(jù)規(guī)律不明顯的情況下存在局限性。而且，面對(duì)不同數(shù)據(jù)集都要重新制定規(guī)則，人工勞動(dòng)非常大。
　　同時(shí)，現(xiàn)有的清洗框架和流程都是按照數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建要求制定的，大多是基于規(guī)則的，在面對(duì)農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)構(gòu)建時(shí)，會(huì)有些不適用。而且，多種數(shù)據(jù)清洗方法彼此孤立，各自為營(yíng)，并沒(méi)有一個(gè)用于指導(dǎo)構(gòu)建知識(shí)庫(kù)時(shí)針對(duì)領(lǐng)域知識(shí)的框架和流程，使人在面臨眾多方法和工具時(shí)不知所措。眾多的工具各有側(cè)重，并不能完全解決構(gòu)建知識(shí)庫(kù)時(shí)遇到的數(shù)據(jù)清洗問(wèn)題。