大數(shù)據(jù)環(huán)境下面向垂直領(lǐng)域的異構(gòu)資源整合與信息挖掘.pdf

1、近年來，垂直微博平臺的興起，為垂直行業(yè)的信息交流帶來了很大的方便。但就目前來講，面向垂直領(lǐng)域的大量有用信息資訊仍隱藏在互聯(lián)網(wǎng)上的海量數(shù)據(jù)中，用戶需要在不同數(shù)據(jù)源間切換查找數(shù)據(jù)，對于廣大手機用戶來說，這種方式不僅費時費力，還可能帶來巨大的流量消耗。因此，針對垂直領(lǐng)域的相關(guān)信息進行采集和整理，基于垂直微博平臺來實現(xiàn)分類資訊的統(tǒng)一推送服務(wù)，對于解決用戶的信息獲取難題具有重要的現(xiàn)實意義。
　　針對垂直微博平臺上的分類資訊智能生成和推送問題

2、，首先，通過擴展Heritrix開源爬蟲框架，增加主題相關(guān)性判斷模塊，實現(xiàn)對垂直領(lǐng)域的主題相關(guān)信息的爬取，并基于KNN算法設(shè)計更加高效的分類方法對數(shù)據(jù)進行分類。然后，根據(jù)分類整理后的信息自動生成不同類別的公共微博，通過農(nóng)業(yè)微博上的公共賬號實現(xiàn)信息推送。最后，針對信息推送過程中的種子用戶選擇問題進行研究，考慮到目前具有最優(yōu)求解效果的貪心算法在時間復(fù)雜度上的缺陷和啟發(fā)式算法在求解精度上的不足，對于貪心算法中耗時的用戶影響力邊界增益計算過程，

3、在PageRank算法的基礎(chǔ)上設(shè)計了更加高效的評估方法來進行取代，實現(xiàn)了有效的種子用戶選取算法ScoreDiscount。
　　分類資訊智能生成和推送系統(tǒng)現(xiàn)已在農(nóng)業(yè)微博平臺上進行部署，實現(xiàn)了農(nóng)業(yè)信息的采集、分類和推送功能。主題爬蟲在針對農(nóng)業(yè)信息的爬取準(zhǔn)確率上達到了現(xiàn)有主題爬蟲的正常水平，分類算法在分類準(zhǔn)確率上與原始的KNN算法保持接近，而在分類效率上有了明顯提高。模擬測試結(jié)果表明，ScoreDiscount算法在傳播效果上能夠達到