基于Hadoop的知識(shí)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、科研院所在長(zhǎng)期的科研工作中,積累了大量豐富的寶貴數(shù)據(jù)、資料和經(jīng)驗(yàn)知識(shí)。有效地收集、管理、加工和利用這些知識(shí),是科研院所增強(qiáng)科研人員互相的知識(shí)滲透與融合,提升原始創(chuàng)新和集成創(chuàng)新能力的有力措施,急需建立知識(shí)管理信息服務(wù)平臺(tái),為科研院所帶來更好的發(fā)展機(jī)遇。
　　Hadoop分布式計(jì)算平臺(tái)隨著云計(jì)算技術(shù)而出現(xiàn),為科研院所解決以上難題提供了可行的途徑。運(yùn)用Hadoop平臺(tái)存儲(chǔ)知識(shí)文檔可以提升科研院所文檔存儲(chǔ)與數(shù)據(jù)計(jì)算能力。
　　針對(duì)中

2、國(guó)工程物理研究院面臨的信息資料內(nèi)容龐大、文件類型繁多;信息或知識(shí)查找和獲取成本高;缺少有效的知識(shí)管理工具等問題,本文為了解決科研知識(shí)文檔的大容量存儲(chǔ)與處理,設(shè)計(jì)研發(fā)了基于Hadoop的知識(shí)管理系統(tǒng)。在深入學(xué)習(xí)、研究HDFS文件系統(tǒng)和MapReduce并行計(jì)算框架的基礎(chǔ)上,選擇以HDFS分布式文件系統(tǒng)作為知識(shí)管理系統(tǒng)的底層文件系統(tǒng),MapReduce編程框架作為文檔數(shù)據(jù)處理工具。重點(diǎn)分析研究了Hadoop平臺(tái)的HDFS分布式文件系統(tǒng)體系結(jié)

3、構(gòu)、存儲(chǔ)原理,MapReduce編程模型的體系結(jié)構(gòu)和實(shí)現(xiàn)方法,Lucene全文檢索框架的系統(tǒng)構(gòu)成及SSH分層架構(gòu)模型?；谥R(shí)文檔數(shù)據(jù)處理特點(diǎn),全文檢索基本原理、日志分析工作機(jī)制及個(gè)性化文檔推薦算法的分析與研究,提出了系統(tǒng)的優(yōu)化和改進(jìn)措施。并對(duì)基于Hadoop的知識(shí)管理系統(tǒng)進(jìn)行了設(shè)計(jì),主要包括系統(tǒng)的業(yè)務(wù)架構(gòu)、邏輯架構(gòu)、數(shù)據(jù)架構(gòu)和部署架構(gòu),以及全文檢索、日志分析和個(gè)性化文檔推薦等三大功能模塊;采用分頁(yè)Bean和數(shù)據(jù)持久類技術(shù),完成了系統(tǒng)的