數(shù)據(jù)管理平臺——內(nèi)容識別模塊的設(shè)計與實現(xiàn).pdf

1、隨著智能設(shè)備的飛速發(fā)展，越來越多的人通過各種智能設(shè)備成為互聯(lián)網(wǎng)中的一員，這期間產(chǎn)生的海量用戶數(shù)據(jù)若能夠有效的利用起來，將會產(chǎn)生巨大的價值。另一方面，隨著分布式集群的成本的降低及分布式算法的成熟，對大批量數(shù)據(jù)的分析也越來越方便、高效。本文所述項目即是分布式集群及分布式算法在廣告投放行業(yè)的應(yīng)用。
　　本論文所涉及的項目旨在通過分布式集群及分布式算法對海量用戶上網(wǎng)數(shù)據(jù)進行分析，找到最有可能促成對需要投放廣告的產(chǎn)品的購買行為的人群，以實現(xiàn)

2、對廣告行業(yè)廣告投放方式的改革——由無差別盲目投放轉(zhuǎn)變?yōu)榫_到某個人的投放。本人參與了如下工作:爬蟲項目的開發(fā)，內(nèi)容識別系統(tǒng)架構(gòu)及識別規(guī)則制定，內(nèi)容識別系統(tǒng)的開發(fā)及測試，廣告投放系統(tǒng)日志分析。
　　本文所述項目依托于Hadoop集群，通過Java及Python編寫的MapReduce程序，根據(jù)存儲于關(guān)系數(shù)據(jù)庫(MySQL)的通過爬蟲(Scrapy)爬取的內(nèi)容識別（域名、商品、應(yīng)用、搜索關(guān)鍵字、CookieId、終端類型、User A