涉華輿情新聞庫數(shù)據(jù)清洗方法研究.pdf

1、2013年被學(xué)術(shù)界定義為大數(shù)據(jù)元年，經(jīng)過了近些年的快速發(fā)展，大數(shù)據(jù)對(duì)各個(gè)領(lǐng)域都引起了深刻的變革，其影響力日益凸顯。新聞?lì)I(lǐng)域的大數(shù)據(jù)變革尤為顯著，隨著自動(dòng)撰稿技術(shù)的發(fā)展和移動(dòng)終端的普及，媒體的新聞發(fā)布量呈爆發(fā)式增長(zhǎng)，海量新聞的涌現(xiàn)給國(guó)際輿論研究人員帶來了新的挑戰(zhàn)，以往依賴人工處理的新聞稿件采集、篩選流程已經(jīng)無法應(yīng)對(duì)如此大規(guī)模的數(shù)據(jù)源。境外媒體的涉華輿論分析工作具有特殊的意義，其研究成果極大的影響信息時(shí)代中的新型政治輿論博弈的工作展開，所以

2、我們必須緊跟技術(shù)發(fā)展潮流，轉(zhuǎn)變傳統(tǒng)的思維觀念、打造新型處理手段。本次研究中，通過對(duì)涉華輿情研究人員的訪談交流，明確了傳統(tǒng)新聞稿件采集的工作流程及要求，并依此梳理出新聞媒體評(píng)級(jí)體系與新聞稿件評(píng)級(jí)體系的基本邏輯框架，形成新聞稿件數(shù)據(jù)清洗方法的規(guī)則庫主體。此外，研究過程中閱讀了大量的新聞學(xué)、對(duì)外傳播學(xué)等學(xué)科的領(lǐng)域文獻(xiàn)，根據(jù)新聞傳播及涉外交流的自身特點(diǎn)對(duì)數(shù)據(jù)清洗方法進(jìn)行了有針對(duì)性擴(kuò)充完善，形成本次研究的涉華輿情數(shù)據(jù)清洗規(guī)則庫。其后對(duì)規(guī)則庫中的各

3、項(xiàng)具體評(píng)級(jí)指標(biāo)進(jìn)行建模評(píng)分，通過確定評(píng)判等級(jí)和隸屬函數(shù)使定性的描述轉(zhuǎn)化為具體評(píng)級(jí)分?jǐn)?shù)。在構(gòu)建涉華新聞數(shù)據(jù)清洗規(guī)則庫的基礎(chǔ)上，結(jié)合大數(shù)據(jù)處理技術(shù)將數(shù)據(jù)清洗規(guī)則進(jìn)行技術(shù)實(shí)現(xiàn)。實(shí)驗(yàn)首先對(duì)新聞稿件進(jìn)行預(yù)處理，包括:數(shù)據(jù)標(biāo)準(zhǔn)化、匹配消重、補(bǔ)全缺失數(shù)據(jù);然后根據(jù)隱馬爾可夫模型建立交互式規(guī)則庫。實(shí)驗(yàn)過程中以商業(yè)化新聞數(shù)據(jù)庫作為實(shí)驗(yàn)數(shù)據(jù)對(duì)涉華輿情新聞數(shù)據(jù)清洗方法進(jìn)行了檢驗(yàn)。檢驗(yàn)結(jié)果表明應(yīng)用數(shù)據(jù)清洗方法能夠較為有效的減少數(shù)據(jù)處理總量、去除無關(guān)新聞噪音，對(duì)